大数据架构师的基本职责（31篇）

大数据架构师的基本职责（31篇）

大数据架构师的基本职责篇1

职责：

1.负责整个大数据平台架构的设计和构建；

2.负责构建大数据平台的数据交换、任务调度等通用平台；

3•制定开发、测试,、实施、维护的标准和规范，指导和培训

工程师，不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开

发以及测试与部署，负责编写核心部分代码。

5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、

可扩展等技术难点。

任职要求：

1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机

器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通SparksMR,熟练HDFS>Yarn、Hbase、Hive、MongoDB,

熟悉Kafka、Redis、Storm、Mahout>Flume、ElasticSearch>

GraphDB（NE04J或其他）等，并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理（流计算，分布式计算，分布式文件系

统，分布式存储等）相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体

系和方法，熟练Linu_/Uni_平台上的开发环境

6.本科或以上学历，计算机软件或相关专业，丰富的java开

发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力，有比较优秀的动手能

力，热衷技术，精益求精

大数据架构师的基本职责篇2

职责：

1.深刻理解政府行业业务模式，构建政府行业的数据模型，

制定公司大数据技术发展路线；

2.对接业务研究和技术部门，主动搜集和转化需求，组织数

据中心业务开发，进行数据相关产品需求分析和设计；

3.搭建数据仓库，研发数据库管理系统，搜集、提取、处理

业务积累的海量数据，开展数据分析和挖掘；

4.根据公司战略和发展需要，规划数据中心重点工作和任务;

落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外

交流与合作。

职位要求:

1.5年以上相关工作经验，有团队管理和项目管理经验者优

先；

2.了解政府运作机制，掌握财政行业知识，有电子政务行业

经验者优先；

3.熟练掌握使用Java或Python,精通数据库查询语言如SQL,

Oracle等，在机器学习模型和算法方向有应用经验者优先；

4.具备数据中心产品策划整体思维，有大数据处理、分析、

挖掘经验者优先；

5.逻辑思维严密，具备业务抽象、分解和标准化的能力，口

头和书面表达优秀；

6.有较强的大局意识和良好的团队合作意识，富有领导力，

具备优秀的人际交往和沟通能力。

大数据架构师的基本职责篇3

职责；

1、负责公司的大数据处理框架的研发设计工作，梳理可实现

方案和技术规范；

2、开发、完善公司大数据平台；参与公司离线、实时大数据

处理系统的设计、开发、测试及多个业务模块的自动化集成；

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计；

3、参与研究数捱库之间的数据转换方式，参与项目中的数据

移植工作，收集在项目中的数据移植经验，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据

模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上（DB2、Oracle.

SQLServer、Mysql等）ETL设计、开发经验，具备大型数据仓库逻

辑模型和物理模型设计经验，精通SQL,有较好的SQL性能调优

经验；

2、拥有Python,R等数学建模工具的使用经验，并具备一定

的数据处理和建模经验，可以输出相应的模型分析结果、模型比

较、模型效率以及对模型的理论和判断依据方法并对其进行完整

的解释和说明；

3、熟悉统计学基本原理，做过实战的数据建模项目；

4、有分布式数据仓库建设相关经验者优先，具备电信行业数

据仓库建设相关经验者优先；

大数据架构师的基本职责篇5

职责：

1、负责大数据平台的架构设计、核心代码开发等任务；根据

项目要求编写相关技术文档;

2、负责大数据平台的架构评审，代码评审，上线评审；参与

数据应用需求、设计、审核和评审；

3、负责核心模块研发，负责大数据平台的搭建，完成系统调

试、集成与实施；

4、负责建立和维护大数据平台技术标准规范，指导开发人员

编写代码；

任职要求：

1、本科及以上干算机相关专业毕业；

2、精通离线和实时数据处理流程，掌握离线数据处理框架

hive、impala.spark-sql等，掌握实时数据处理常用技术工具，

包括Storm、SparkStreaming等；

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据

平台构建经验；

4、掌握常见数据流接入工具，包括Flume、ka珠&等；

5、熟练掌握基本的Linu_操作系统和某种脚本语言编程（如

Shell等）；

6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON

等，有SCALA经验者优先；

7、有实际大规模数据（TB级以上）处理经验优先;

大数据架构师的基本职责篇6

职责：

L负责企业数据中心建设，设计数据逻辑模型和物理模型，

并完成相关开发

2.梳理公司各业务线常用的指标和维度，统一指标定义口径

3,根据数据应用开发和数据分析需求，设计数据仓库信息层

模型，提高数据开发的效率

4.负责数据模型的运营和优化，及时响应业务逻辑变更，保

证模型的数据质量和稳定性

5.负责公司数据标签体系的建设，并推动标签体系在实际业

务场景中落地

岗位要求：

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相

关经验

2.有较强的数据分析能力，精通数据仓库架构，熟悉Erwin或

PowerDesigner建模工具

3.精通一种主流关系数据库（如mysql等），熟悉Hive开发

4.有电商业务经验，元数据管理，数据质量管理或标签体系

搭建经验者优先

5.优秀的协调沟通与团队协作能力，极强的责任心，能承受

一定的工作压力，认同企业文化和团队价值

大数据架构师的基本职责篇7

职责：

1、负责大数据基础平台、海量数据存储处理分布式平台、数

据分析系统架构设计和研发；

2、负责实时计算平台基础架构设计、部署、监控、优化升级;

3、制定项目数据仓库设计及实现规范，指导设计研发和部署;

4、协助策略和算法团队工作，保障数据挖掘建模和工程化；

5、深入研究大数据相关技术和产品，跟进业界先进技术。

任职要求：

1、3年以上大数据系统架构经验；

2、精通lladoopIIBaseHiveSparkFlinkKafkaRcdis技术

及其生态圈；

3、具备JavaScalaPython等开发经脸，熟悉数据挖掘和分

析的策略与算法；

4、精通数据抽取，海量数据传输，数据清洗的常用方法和工

具。

5、具备良好的系统分析能力、故障诊断能力；

6、有大数据策略、算法、可视化经验优先；

7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师的基本职责篇8

职责：

1、负责大数据平台架构的评估、规划和设计；负责海量数据

采集、处理及存储、应用方案的技术选型及架构实现；

2、开发大数据平台的核心代码，负责大数据平台的搭建，完

成系统调试、集成与实施，技术难题的解决，保证大数据产品的

上线运行；

3、根据业务需求持续优化数据架构，保证产品的可靠性、稳

定性；

4、指导开发人员完成数据模型规划建设，分析模型构建及分

析呈现，分享技术经验；

5、负责大数据平台的架构评审，代码评审，上线评审；参与

数据应用需求、设计、审核和评审；

6、深入研究大数据相关技术和产品，跟进业界先进技术；

任职资格：

1.本科及以上学历，数学或计算机相关专业毕业，不少于5

年的工作经验，具有扎实的计算机基础理论知识；

2.有3年以上Hadoop、SparksHbase平台性能调优经验；熟

悉sparkstreaming等实时计算技术

3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、

Spark、Kafka等，具备实际项目设计及开发经验;

4.熟悉sparkstreaming等相关的实时计算技术；

5,熟悉大规模数据挖掘、机器学习、自然语言处理、分布式

计算中一项或多项技术，并具备多年的实际工作经验；

6,熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库,

熟悉pl/sql编程；精通Linu_操作系统，熟练使用Java；熟悉常乐

框架.如Spring.MyBatis等；

7.具有较强的执行力，高度的责任感、很强的学习、沟通能

力，能够在高压下高效工作；

大数据架构师的基本职责篇9

职责：

1、负责spark,hadoop,flink等开发和优化。

2、参与前期需求沟通和分析，以产品化开发的思维，完成需

求分解和数据架构设计。

3、与研发和数据科学家合作保证产品定义清晰，按时完成产

品上线。

4、能够洞察市场状况，与各部门合作转化为基于大数据挖掘

的新策略或方案.

5、主动创造和发掘新的基于大数据挖掘产品商业模式.

任职要求：

1、全日制本科及以上学历，计算机软件相关专业，5年以上

开发经验，3年以上架构经验

2、精通

hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式

数据存储和分布式计算平台原理，流式计算开发，有开源二次开

发经验者优先。

3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python

至少一种编程语言。

4、具有数据挖掘和分析、机器学习等项目实施相关经验者优

先；

5、良好的跨部门沟通合作能力，解决不同观点能力并取得结

果。具备敏锐的互联网产品理解力，学习能力和逻辑思维能力强;

6、较强的自我驱动力、推动和协调能力，强烈的责任心和团

队合作精神；

大数据架构师的基本职责篇10

1.负责数澜大数据平台的架构设计和研发，建立数据生态服

务，解决海量数据面临的挑战；

2.管理和优化Eadoop、Spark等集群，计算作业的调优，保

证集群和平台的高效和稳定；

3.负责Hadoop、Spark.Flink的功能、性能和扩展，解决

并实现业务需求;

4.负责大数据产品的自动化、离线与实时计算、即席计算、

数据质量、数据安全、机器学习等平台的设计和开发；

5.调研和把握当前的最新技术，将其中的先进技术引入到自

己的平台中，改善产品，提升竞争力；

大数据架构师的基本职责篇11

职责：

1.负责大数据基础和应用平台的整体规划和架构设计，参与

需求分析，架构设计，详细设计以及技术选型决策

2.参与数据挖掘和建模相关核心算法的代码实现

3.负责大数据算法平台的技术把关，性能调优，控制架构质

量，解决项目技术难题；对研发项目和任务需求进行评估和方案设

计、拆分任务并指导工程师完成开发

4.带领团队提供并实现大数据算法平台上各项数据接入、数

据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施

5.负责数据库设计、应用架构设计、核心技术选型等工作

6.协调解决开发中的技术问题、设计和监控运营指标，保障

系统稳定运行

7.培养，指导有能力的员工，指导工程师进行技术验证实现,

核心技术攻关，解决开发过程中的技术难题

任职要求:

1.熟悉大数据和数据仓库的系统架构设计方法

2.熟练使用并理解HadoopSpark架构及生态。（Hadoop,Hive,

Hbase,Elasticsearch,Kafka,SparkFlink等）

3.熟悉分布式系统架构，有分布式实时、离线和机器学习平

台的架构和开发经验，具备海量数据清洗、分析处理及存储的实

践经验

4.熟练使用JAVA,具有大规模分布式系统调优经验

5.熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学

习开源框架（Tensorflow.PyTorch等）者优先；

6.具备良好的团队合作精神，对工作充满激情。

7.熟悉Fusioninsight平台开发经验者优先

大数据架构师的基本职责篇12

职责：

1）负责大数据平台系统架构设计、核心开发工作

（HadoopSpark技术方向），基于业务场景设计最优的系统解决方

案。

2）构架支持大数量级的数据的大数据平台系统，及相关监控，

拓展系统设计及实现。

3）利用Hadoop.Spark等大数据技术对海量数据进行处埋，

支持BI和数据科学（建模）的应用实现。

4）对现有系统的进行架构深入分析及系统优化，进一步提升

系统的性能及数据处理能力。

任职资格

1）统招本科或以上学历，计算机相关专业，5年以上软件开

发经验、3年以上大数据项目经验。

2）具备较丰富的大数据平台相关构建，维护及调优经验，有

大数据量级下的大数据集市相关经验。

3）具备较丰富的基于Hadoop或Hive或Spark等大数据处理

项目经验，具备一定的数据挖掘经验C

4）具有阿里云的EMR（emapreduce）的经验者优先考虑。

5）具有良好的业务理解、沟通和协作能力，具有较强的学习

和总结能力。

6）优秀的团队合作精神、诚实、勤奋、严谨，敢于接受挑战。

7）机器学习技术、数据挖掘经验丰富者优先考虑。

大数据架构师的基本职责篇13

职责：

L能够带领技术人员基于hadoop平台进行海量数据应用系

统开发；

2.负责结构化和非结构化数据的解析和清洗，海量数据查询

和报表展现;

3.负责超大规模数据平台的搭建、维护和优化；

4.负责大数据采集、存储框架研究，参与在线或离线数据存

储模型设计；

5.负责大数据平台新技术的开发使用和性能优化，测试。

任职资格：

1.计算机相关专业本科及以上学历；

2.熟悉hadoop相关各种开源项目，比如HDFS/Hive/Hbase

等有实际应用。（5年以上开发经验者优先）；

3.两年以上熟练编写mapreduce代码经验，有三年以上网络

日志分析、ETL经验。熟悉0志分析框架chukwa,flume,scribe者

优先；

4.两年以上海量数据存储的安装部署、优化、二次开发经验，

对大规模数据存储、传输、处理等有丰富的经验；

5.在数据挖掘、数据密集型处理、分布式计算、网格计算领

域有深入理论基础；

6.具有较强的文档撰写能力，较强的团队精神和合作精神，

对工作有热情，能承受压力。

大数据架构师的基本职责篇14

职责

1、参与打造数据中内容的规划、设计、开发和优化工作，实

现高质量数据的互通与共享；

2、参与数据模型体系构建及数据主题设计和开发，搭建离线、

实时数据公共层；

3、参与数据产品与应用的数据研发，发掘数据商业价值，打

造极致体验的数据产品；

4、深入理解数据产品的使用场景，为业务方在可用性、成本

上做更好的设计做参考；

5、团队成员的搭建与培养，任务划分，进度监控，代码规范，

质量保证C

任职要求

1、熟悉数据仓库建模理论，3年以上相关领域实践经验；

2、Hadoop.Hive、Hbase、Storm.Spark等技术框架；

3、精通Java、Python、Scala、go等开发语言中的1到2种;

4、熟练使用Python/Java/scala或其他语言进行复杂业务逻

辑的数据处理工作，具备海量数据处理以及性能优化的能力；

5、对MySQL、Redis、HBase等数据库有一定的了解和使用经

验；

6、对olap,多维分析及kylin熟悉的更好；

7、思路清晰，具备良好的沟通能力和浬解能力，较强的学习

能力以及快速解决问题的能力;

8、对新技术，新事物有很好的探索和求知欲；

9、熟悉常规的机器学习算法：降维（PCA、SVD）、SVM、逻辑回

归（LogisticsRegression）、决策树（GBDT、RandomForest）>关联

规则（Apriori、FP-Growth）、聚类（K-Means）等优先。

大数据架构师的基本职责篇15

职责：

1、对业务需求深入分析，从而进行大数据平台核心应用的架

构设计、开发和技术支持；

2、规划业务应用系统和基础平台的技术架构，参与需求分析、

建模、架构设计、技术决策以及详细设计；

3、把握复杂系统的设计，确保系统的架构质量，编写核心部

分代码；

4、带领团队攻克例如大数据量、高并发、高稳定性等带来的

各种挑战及技术难关；

5、在大数据平台建设路线图指导下，进行架构实施和交付物

投递，同时确保研发质量和方向的准确性；

6、进行团队技术的培训和梯队建设岗位要求；

任职条件：

1、本科或以上学历，计算机相关专业，8年以上研发经验,

3年以上大数据平台相关工作经验;

2、精通Java开发技术，熟悉Shell、Scala语言和PYTHON

优先；

3、编程基础扎实，熟悉I/O、多线程、集群等基础框架和原

理，熟悉分布式、缓存、消息等机制；

4、熟悉常用设计模式，代码评审规则，单元测试，持续集成;

5、熟悉AWS云服务或阿里云服务；

6、熟悉容器技术原理、生态系统，熟悉Docker、Mesos、

Kubernetes等容器系统、大规模容器资源调度系统、分布式应生

生命周期C

大数据架构师的基本职责篇16

职责：

(1)负责公司大数据平台搭建，相关的设计和技术开发工作,

负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等

的设计、研发以及维护、优化工作；

(2)通过数据分析技术，挖掘有利于营销中各业务场景的变

量或规则类标签，以提升模型效果，为文旅、教育业务提供数学

模型理论及编程支撑；

(3)对接沟通业务系统研发团队和产品部门，提供数据驱动

方面的专业咨询方案，并对业务的大数据应用场景提出建设性意

见；

(4)配合部门领导进行项目需求分析、设计开发工作。

任职要求：

(1)计算机、统计学，数学等相关专业本科以上学历，5年以

上大数据或文旅、教育数据产品设计开发经验，高效高质量产出

需求和技术文档；

(2)精通Hadoop,熟悉大数据生态技术，如Storm、Spark.

Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，

有大规模集群架构、开发及运维经验；熟悉HDFS/MapReduce等；

(3)熟悉Java,能够独立应用python.R、SAS或类似分析工

具进行数据分析；

(4)熟悉大数据挖掘、可视化分析，各种BI算法和产品等,

在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算

法领域的研发经验，能够运用数据作为产品解决业务方运营及决

策问题；

(5)有互联网行业工作经验者优先，有海量数据的机器学习

算法实践经验优先；

(6)工作认真、负责，有良好的团队合作精神，良好的分析

能力、沟通技巧。

大数据架构师的基本职责篇17

职责：

1.负责产品级业务系统架构(如业务数据对象识别，数据实

体、数据属性分析，数据标准、端到端数据流等)的设计与优化。

协助推动跨领域重大数据问题的分析、定位、解决方案设计，从

架构设计上保障系统高性能、高可用性、高安全性、高时效性、

分布式扩展性，并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化，推动

云数据平台建设和持续升级，并制定云数据平台调用约束和规范。

3.结合行业应用的需求负责数据流各环节上的方案选型，主

导云数据平台建设，参与核心代码编写、审杳；数据的统计逻辑回

归算法、实时交互分析;数据可视化方案等等的选型、部署、集成

融合等等。

4.对云数据平台的关注业内技术动态，持续推动平台技术架

构升级，以满足公司不同阶段的数据需求。

任职要求：

1.熟悉云计算基础平台，包括Linu(Ubuntu/CenlOS)和

KVM、0penStack/K8S等基础环境，熟悉控制、计算、存储和网络;

2.掌握大型分布式系统的技术栈，如：CDN、负载均衡、服

务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉

大数据应用端到端的相关高性能产品。

3.精通Java,Python,Shell编程语言,精通SQL、NoSQL

等数据库增删改查的操作优化;

4.PB级别实战数据平台和生产环境的实施、开发和管理经

验；

5.熟悉Docker等容器的编排封装，熟悉微服务的开发和

日常调度；

6.计算机、软件、电子信息及通信等相关专业本科以上学历，

5年以上软件工程开发经验，2年以上大数据架构师工作经验。

大数据架构师的基本职责篇18

职责：

1.负责公司大数据平台的设计和开发，负责spark,hadoop,

flink等云计算平台的开发和优化;制定数据架构规范，进行核心

代码编写，指导团队落地；

2.负责数据基础架构和数据处理体系的升级和优化，技术难

题攻关，持续提升核心系统性能，保证系统的安全、稳定、高效

运行

3.设计并实现对BI分析、数据产品开发、算法开发的系统

性支持

4.研究未来数据模型和计算框架的创新与落地，包括但不限

于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框

架轻量化、数据模型组织方式业务化等方面参与制定并实践团队

的技术发展路线

5.建立良好的公司内外的业界技术影响力；参与培养未来数

据人才;有效辅导团队，提升数据研发能力

任职要求：

1.有很强的数据设计抽象能力，善于从复杂的数据问题中找

到关键路径，能够开发创新而实际的分析方法以解决复杂的商业

问题

2.有作为技术负责人系统化解决问题的成功案例；有海量数

据建模实践经验优先

3.熟练掌握Hadoop、Spark>Flink、HBase的原理特性以及

适用场景，精通流式计算开发，有开源二次开发经验者优先，有

NLP数据处理经验者优先

4.性格积极乐观，诚信，能自我驱动，有较强的语言表达能

力；具备强烈的进取心、求知欲及团队合作精神；具有良好的沟通、

团队协作、计划和创新的能力

5.本科以上学历，扎实的计算机专业基础，有5年以上大数

据平台开发经验；

大数据架构师的基本职责篇19

职责：

L负责公司大数据底层框架的整体架构设计，结合公司实际

业务情况进行技术选型及大数据战略规划;

2,负责统一数据平台项目的整体评估、设计、架构及关键模

块的开发，不断提升系统的稳定性和效率；

3.负责架构优化及系统关键模块的设计开发，协助团队解决

开发过程中的技术难题；

4.建立良好的公司内外的业界技术影响力；有效辅导团队，提

升数据研发能力；

任职要求：

1.从事大数据项目相关开发和设计2年以上经验；有作为技

术负责人系统化解决问题的成功案例；有海量数据实践经验优先；

2.拥有一定的算法和数据结构基础；有很强的数据设计抽象

能力，善于从复杂的数据问题中找到关键路径；

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用；

包括但不仅仅限于：hadoop、storm、spark、等；

4.良好的逻辑思维能力，良好的业务解读能力，懂电力或通

信业务优先；

5.具有钻研精神，乐于接受挑战；

大数据架构师的基本职责篇20

1、负责大数据平台资源规划、权限控制、运维架构设计，为

各产品业务提供稳定、高效、安全的运行环境;

2、负责实时，离线数据分析处理及实时平台的建设和搭建

3、熟悉Plink流式计算引擎的使用以及源码原理，并且有

相关的流式处理平台的经验。

4、Java基础扎实，熟练掌握垃圾回收，网络，多线程编程，

了解python或scala

5、负责大数据平台技术架构、数据架构的分析与设计；

大数据架构师的基本职责篇21

职责：

1、负责自然语音交互、I0T家电物联控制、知识图谱等相关

模块和系统的开发；

2、负责掌握第三方接口的调用和功能实现，持续优化服务性

能和容量，并保证产品的兼容性和执行效率；

3、根据设计文档和需求说明完成代码编写、调试、单元测试

与维护，确保项目进度和质量；

4、协助制定测试计划，及时发现并修复BUG,实现服务端的

性能优化。

任职资格：

1、大学本科3年以上工作经验，计算机相关专业；

2、熟悉软件项目开发流程，具有良好编码风格及文档编写能

力;

3、熟悉Linu_服务器相关技术，能够独立完成服务器部署,

具有相关经验；

4、熟悉Hadoop/Spark框架,JAVA基础扎实；

5、熟练使用Mysql数据库,了解MongoDB或neo4j等分布式

数据库；

6、熟悉SpringCloud,SSM,Docker,redis开发者优先；

7、熟悉前端（包前但不限于Html5、css、Angularjs>aja_>

jquery等）开发技术优先；

8、了解Socket网络编程、MQTT等，有相应实践经验者优先;

9、有智能语音语义、知识图谱服务端开发经验者优先。

大数据架构师的基本职责篇22

1.负责大数据项目整体架构规划，包括应用架构、技术架构、

物理架构和数据架构等；

2.负责指导工程师进行技术验证与实现，核心技术问题的攻

关，解决项目开发过程中的技术难题；

3.负责项目对外技术沟通，具有较强的沟通，表达和文档撰

写能力；

4.根据公司项目和业务发展特点，负责研究相关大数据前沿

技术；

5.推动技术能力的沉淀。

大数据架构师的基本职责篇23

职责：

1、负责规划大数据平台及应用产品的需求和技术方案设计；

2、负责数据对接和对外服务设计、开发和维护，并能保证质

量和性能；

3、负责基于大数据平台的应用设计、开发和维护；

4、能从系统全局和各子系统的角度思考可能存在的问题，并

提出改进方案建议；

任职要求：

1、大学本科6年以上工作经验，计算机相关专业。

2、至少4年以二的Java开发经验，3年以上大数据应用系

统的开发和设计经验.

3、熟悉Hadoop生态圈技术体系，对离线计算、内存计算和

流式计算均有深刻理解，如Hadoop、StormsSpark三个中的任

意二个，能进行平台和组件优化。

4、精通Hive、HBase仓库设计，深刻理解MR运行原理和机

制，能进行以提供高任务执行效率的优化。

5、精通Java开发，熟悉JVM调优，对GC有深刻理解。

6、熟悉Linu_、Shell、Kafka.Oracle>Mysql、Redis等相

关技术，能进行hbase可靠性诊断和维护。

7、快速研究和学习技术能力。

大数据架构师的基本职责篇24

职责：

负责公司大数据产品架构的设计与实现；

配合大数据产品经理完成产品的快速研发与交付；

负责大数据产品架构的持续优化设计；

负责大数据产品核心组件设计；

负责大数据相关数据架构规划、数据建模、数据库设计以及

大数据产品研发工作；

为应用开发团队提供技术支撑。

任职要求：

本科及以上学历，3年以上的大数据开发经验、

2年以上大数据架构设计经验；

丰富的JAVA研发经验，精通JAVA,熟悉PythonScala等编

程语言；具备深厚的分布式系统或数据库系统的理论基础，熟悉分

布式计算系统的工作机制，具有分布式文件系统、分布式数据库

系统、集群存储系统等架构设计经验；

熟悉整个大数据的完整处理流程（数据的采集、清洗、预处理、

存储、分析挖掘、机器学习和数据可视化）；

精通各种大数据相关技术体系：Hadoop、Spark、Storm、

ElasticSearch^Kafka；

有数据挖掘、机器学习相关应用或研究背景；

沟通能力较好，积极主动意识较强，责任心较强。

大数据架构师的基本职责篇25

职责：

1、正确理解业务需求，对需求进行工作量评估；

2、参与项目相关的需求、设计、投产手册等文档的编写；

3、根据进度计划，完成所承担功能模块的设计、开发、单元

测试、联调测试；

4、配合测试组修复代码缺陷，确保功能实现与代码质量；

5、负责所承担功能模块投产、部署，及上线后的日常维护；

6、完成项目经理或者架构师安排的其他工作；

任职资格：

1、本科以上学历，计算机相关专业，两年以上大数据开发经

验；

2、熟悉Linu_环境,掌握shell或python；

3、熟练使用hadoop,hive,IlBase,YARN,kafka,spark等

大数据开发组件；

4、精通ETL,数据仓库的设计和开发；

5、有大数据处理实战经验，熟悉整个大数据的完整处理流程,

包括数据的采集、清洗、存储;

6、较强的动手能力和学习能力，良好的沟通能力、团队协调

能力；

7、具有银行、金融行业从业背景者优先。

大数据架构师的基本职责篇26

职责：

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计

工作，包括系统总体规划、架构设计、系统分析、软件实现、性能

优化；

3、指导开发人员开发，并解决系统出现的问题，理解物业需

求；

4、制定开发计划和控制开发进度，负责指导研发团队开展设

计工作；

任职要求：

1、硕士以上，干算机或先关专业；

2、5年左右软件开发经验，含3年以上系统分析、设计经验，

有大型软件项目大型软件项目；有中大型互联网企业数据库架构

设计及管理经验，

3、具备良好的组件级建模能力，熟悉HTTP、TCP等协议

4、熟练使用UML进行软件架构设计，至少精通EA,RATIONAL,

VISIO等一种设计工具.

5、精通至少一种编程语言，熟悉Linu„相关技术，能独立

在上面进行开发、测试和部署

6、深入理解数据库、数据仓库、大数据、分布式体系架构和

关键技术

大数据架构师的基本职责篇27

职责：

1、负责规划科技大数据平台及科技数据入库自动化的方案设

计；

2、负责大数据平台的开发和维护，以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历，5年以上开发经验，其

中3年以上为互联网、大数据相关的开发经验；

2、熟知Hadoop生态圈体系，精通Hadoop/Spark/Storm/Kafka

中的一项或几项,深刻理解MapReduce的运行原理和机制，有MPI

经验者尚佳；

3、熟悉Elasticsearch.Redis、Hbased等相关数据库的构

建和操作，尤其是数据库集群的构建和操作，熟悉Neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

大数据架构师的基本职责篇28

职责：

L负责数据仓库建设，基于数据驱动构建企业级数据模型，

根据架构设计进行各层数据模型开发。

2.面向PB级别超大规模数据处理和查询需求，设计适合业务

变化的合理的多维数据分析系统架构，满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统，

保证系统稳定高效运行，以实现数据的最大价值C

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审，参与企业数据管理体系建设。

任职要求：

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计

与ETL开发经验，掌握Kimball的维度建模设计方法，具备海量

数据加工处理(ETL)相关经验°

3.具有一定数据模型和数据架构基础，熟悉hadoop\hive和

常用数据库。

4.精通SQL,有一定的SQL性能调优经验，熟悉hivesql的

开发。

5,具有管理团队开发经验，具备良好的组织能力、协调能力

及项目管理能力。

6.具有较好的文字功底及语言表达能力，能够快速、准确地

理解需求。

7,具有专研、快速学习和创新精神，具备独立分析问题和解

决问题的能力。

8.具有责任心，时间观念强，工作独立性强，有良好的团队

合作精神。

9.全日制普通本科毕业