大数据工程师岗位职责18篇

Word版本，下载可自由编辑大数据工程师岗位职责(18篇）大数据工程师岗位职责（1）

职责:

1、负责所分管团队的团队建设和日常管理工作;

2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务;

3、担当城市数据标准编制和数据模型的设计;

4、担当项目中数据相关方案设计及数据团队管理;

5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。

任职资格:

1、1年以上数据开发工作阅历，娴熟使用SQL查询引擎;

2、熟识Hadoop、Mpp、Oracle等至少一种数据仓库工具

3、具备良好的编程语言基础如：java/python/scala/c++/shell等

4、二本以上学历，计算机相关专业或者有相关培训经受者优先

5、个人素养要求：目光长远、态度恳切、岗位有稳定性，能够长期培育、具备很强的自学力量、承压力量强、接受出差支援项目等工作。对数据工作具备深厚的爱好并有明确职业规划，优秀的学习力量和团队沟通协作力量，对新技术有深厚爱好并有钻研精神。

大数据工程师岗位职责（2）

职责

1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜寻引擎的产品研发;

2、基于海量用户行为数据和其他数据，分析和研发数据与实际业务的关联关系，并与实际业务应用相结合开发;

3、负责大数据分析需求设计和开发，担当数据抽取、清洗、转化等数据处理程序开发。

任职要求：

1、熟识Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发阅历，有数据实时计算项目阅历优先;

2、有搜寻引擎全文检索开发阅历，如：elasticsearch、solr;

3、熟识python、R任意一门开发语言;

4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发阅历优先考虑;

5、本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作阅历;

6、拥有良好的代码习惯，要求结构清楚、命名规范、规律性强、代码冗余率低，代码解释清楚;

7、熟识使用svn，禅道等项目管理工具，有良好的团队协作开发阅历.

大数据工程师岗位职责（3）

职责：

1、负责数据分析、加工、清理，相关处理脚本和程序的开发;

2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研发;

3、负责分布式大数据平台应用开发(Hadoop/Spark/Hive/HBase等);

4、负责大数据相关平台的维护、优化。

任职要求：

1、本科及以上学历，计算机相关专业，具有5年及以上的大数据ETL或数据开发阅历，熟识大数据组件的维护以及调优;

2、娴熟掌控Java或Python编程语言，熟识大数据架构体系，熟识Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个，熟识Sqoop、DataX等数据导入工具;

3、能娴熟使用Hive、HBase、Spark等加工和处理数据，有海量数据处理阅历;

4、有数据仓库开发阅历/BI系统开发阅历优先;

5、有电商行业数据处理与分析平台开发阅历者优先。

大数据工程师岗位职责（4）

职责：

1、依据客户需求完成大数据项目的数据分析及建模;

2、进行大数据核心算法的编写;

3、参与项目的需求分析、系统设计、编码工作;

4、参与开发过程中相关新技术的研发和验证。

帮助担当架构性的体系设计和改造工作，协作制定技术实施方案，依据总体设计组织子系统的设计和开发。

任职要求：

1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关阅历;

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设阅历，精通基于hadoop源码的开发、优化改造及胜利应用案例;

3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维阅历;

4、具有对大型hadoop集群的硬件规划力量;

大数据工程师岗位职责（5）

职责：

1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发;

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;

3、大数据平台各类数据业务抽象及模型化;

4、参与大数据管理平台的开发及维护;

5、负责大数据平台数据及相关的应用开发，调优及维护;

6、为项目相关开发人员供应大数据技术指导及解决大数据平台应用中遇到的技术难题;

7、良好的团队合作与沟通力量。

任职要求：

1、本科及以上学历，2年以上大数据应用开发阅历;

2、具备Java、Python、Scala其中两种语言的开发阅历;

3、认识泛Hadoop大数据生态圈，熟识HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发阅历，有相关源码研发者优先;

4、具备ETL开发与运维力量，有Flume、kettle阅历优先;

5、熟识大数据平台的搭建过程，熟识数据处理流程，有TB级以上数据处理阅历优先，有实时数据处理阅历者优先;

6、熟识离线和实时数据处理流程，娴熟使用Spark，Flink处理TB级数据优先;

7、熟识Linux系统环境，有shell等脚本编写阅历，熟识Mysql、PostgreSql、Oracle等常用关系数据库，娴熟编写SQL语句;

8、熟识Yarn,Kubernetes,Azkaban等资源调度框架者优先;

9、熟识Datax的二次开发，并有实际开发阅历优先。

大数据工程师岗位职责（6）

职责：

1、负责公司大数据集群的构建，目标调度、监控预警，持续完善大数据平台，保证稳定性、平安性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

3、深化研发大数据业务相关自动化运维技术，持续优化集群服务架构，探究新的大数据运维技术及进展方向;

任职要求：

1、熟识Linux系统及基础命令操作，能够单独编写Shell或Python脚本，开展日常服务器的运维工作;

2、熟识并不限于大数据生态圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs

等相关基础组件的框架学问和运行原理;

3、熟识软硬件设备，网络原理，有丰富的大数据平台(CDH、HDP)部署、集群运维和性能优化等阅历;

4、具备肯定的系统自动化运维理论体系和实际阅历，能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作目标;

5、具备较强的学习力量、抗压力量、动手力量和分析解决问题的力量;

6、熟识JVM虚拟机调优;

7、熟识jenkins持续集成;

8、有肯定的文档编写力量;

9、能适应短期出差,有视频图像侦查业务方向阅历者优先;

大数据工程师岗位职责（7）

职责：

负责公司大数据业务集群的运维工作、集群容量规划、扩容及性能优化;

设计实现大规模分布式集群的运维、监控和管理平台;

参与业务架构设计，在设计阶段给出可运维性改进建议;

深化研发大数据业务相关运维技术，持续优化集群服务架构，探究新的大数据运维技及进展方向;

负责公司大数据平台的应用监控、容量管理，应急响应等;

领导支配的其他工作。

任职要求：

1、本科及以上学历，软件工程、计算机等相关专业;

2、熟识计算机原理、网络原理等学问;至少2年以上运维或开发工作阅历;

3、搭建，管理及调优Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

4、至少掌控java/python/go中的一种语言;

5、熟识HBase/Flink/mysql/redis运维优先;

6、熟识zabbix/graphit/grafana加分;

7、具有很强的分析和解决问题的力量;

8、具有攻克难题的剧烈爱好，以及提升技术力量的意愿;

9、擅长积极学习，责任心强，能够承受较大的工作压力。

大数据工程师岗位职责（8）

职责：

负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)确保高可用;

负责大数据平台的日常部署、升级、扩容、迁移;

设计实现大规模分布式集群的运维、监控和管理平台;

参与业务架构设计，在设计阶段给出可运维性改进建议;

深化研发大数据业务相关运维技术，持续优化集群服务架构，探究新的大数据运维技及进展方向;

兼顾应用系统的运维工作。

任职要求：

要求掌控java、shell语言，有SpringCloud微服务架构开发阅历的优先;

认识Docker，能够做简洁应用;

熟识Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

熟识Linux操作系统的配置、管理及优化，能够单独排查及解决操作系统层面的问题;

掌控puppet、kerberos应用的优先;

良好的客户服务意识，剧烈的责任心和使命感，落实力强，富有团队合作精神;

对大数据方向运维有很高的热忱和爱好，能积极学习认识相关学问;

大数据工程师岗位职责（9）

职责：

负责公司大数据平台的运维保障;

负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;

为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

负责生产及测试集群诸如故障定位恢复、系统平安、性能优化等;

任职要求：

计算机相关专业本科及以上学历，3年以上相关工作阅历

精通Hadoop大数据生态圈，熟识Hadoop各组件的原理，并有实际部署维护阅历;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

具备很强故障排查力量，有很好的技术敏感度和风险识别力量,良好的服务意识，擅长团队协作，项目管理，积极思索，自我驱动力强;

有相关动态编排容器技术和虚拟化技术工作阅历者优先;

深化理解Hadoop各组件的原理和实现，有阅读源码力量者优先;

具备很强的ownership，故障排查力量，有很好的技术敏感度和风险识别力量。

大数据工程师岗位职责（10）

职责：

负责公司核心集群的运维工作,保证其高可用和稳定性。

负责集群容量规划、扩容及集群性能优化。

深化研发大数据业务相关运维技术，持续优化集群服务架构，探究新的Hadoop运维技术及进展方向。

设计实现分布式集群的运维、监控和管理平台。

职位要求：

年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维阅历。

对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优,性能优化等有实际阅历。

有实际踩坑经受,对于相关组件的版本跟进,补丁跟踪,bug追踪等有相关阅历。

实际处理过各种集群在线版本升级,数据迁移,集群扩容,稳定性监控等工作。

熟识Kerberos平安认证系统，实施过集群权限管理,资源隔离方面的方案规划或二次开发工作。

有Cloudera的CM使用阅历尤佳。

大数据工程师岗位职责（11）

职责：

负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)确保高可用;

负责大数据平台的日常部署、升级、扩容、迁移;

设计实现大规模分布式集群的运维、监控和管理平台;

参与业务架构设计，在设计阶段给出可运维性改进建议;

深化研发大数据业务相关运维技术，持续优化集群服务架构，探究新的大数据运维技及进展方向;

兼顾应用系统的运维工作。

任职要求：

要求掌控java、shell语言，有SpringCloud微服务架构开发阅历的优先;

认识Docker，能够做简洁应用;

熟识Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

熟识Linux操作系统的配置、管理及优化，能够单独排查及解决操作系统层面的问题;

掌控puppet、kerberos应用的优先;

良好的客户服务意识，剧烈的责任心和使命感，落实力强，富有团队合作精神;

对大数据方向运维有很高的热忱和爱好，能积极学习认识相关学问;

大数据工程师岗位职责（12）

职责：

1、负责公司大数据集群的构建，目标调度、监控预警，持续完善大数据平台，保证稳定性、平安性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

3、深化研发大数据业务相关自动化运维技术，持续优化集群服务架构，探究新的大数据运维技术及进展方向;

任职要求：

1、熟识Linux系统及基础命令操作，能够单独编写Shell或Python脚本，开展日常服务器的运维工作;

2、熟识并不限于大数据生态圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs

等相关基础组件的框架学问和运行原理;

3、熟识软硬件设备，网络原理，有丰富的大数据平台(CDH、HDP)部署、集群运维和性能优化等阅历;

4、具备肯定的系统自动化运维理论体系和实际阅历，能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作目标;

5、具备较强的学习力量、抗压力量、动手力量和分析解决问题的力量;

6、熟识JVM虚拟机调优;

7、熟识jenkins持续集成;

8、有肯定的文档编写力量;

9、能适应短期出差,有视频图像侦查业务方向阅历者优先;

大数据工程师岗位职责（13）

职责：

负责公司大数据平台的运维保障;

负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;

为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

负责生产及测试集群诸如故障定位恢复、系统平安、性能优化等;

任职要求：

计算机相关专业本科及以上学历，3年以上相关工作阅历

精通Hadoop大数据生态圈，熟识Hadoop各组件的原理，并有实际部署维护阅历;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

具备很强故障排查力量，有很好的技术敏感度和风险识别力量,良好的服务意识，擅长团队协作，项目管理，积极思索，自我驱动力强;

有相关动态编排容器技术和虚拟化技术工作阅历者优先;

深化理解Hadoop各组件的原理和实现，有阅读源码力量者优先;

具备很强的ownership，故障排查力量，有很好的技术敏感度和风险识别力量。

大数据工程师岗位职责（14）

1、负责建设大数据平台的规划、架构设计和技术选型;

2、开发和使用Hadoop大数据自动化运维与监控工具;

3、基于大数据应用需求，负责优化平台的性能，消退性能瓶颈，解决业务的疑难问题;

4、熟识Hadoop、Hive、Hbase、Storm、Spark等技术框架;熟识java、scala、sqllite等相关技术;具备软件设计、编码开发测试、文档编写的力量;

5、乐观认识业界进展、互联网相关新技术及趋势，参与规划公司大数据产品以后技术架构方向;

6、负责大数据平台内部所涉及到的各类数据库、数据存储的搭建、备份、日常维护、性能调优;以及大数据平台系统运维、监控和故障分析与处理;

7、能够很好的和其它团队的同事沟通协作;

8、负责文档的书写和完善，保证文档的准时更新;

9、有大型开源系统维护阅历优先。

大数据工程师岗位职责（15）

职责:

1、负责所分管团队的团队建设和日常管理工作;

2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务;

3、担当城市数据标准编制和数据模型的设计;

4、担当项目中数据相关方案设计及数据团队管理;

5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。

任职资格:

1、1年以上数据开发工作阅历，娴熟使用SQL查询引擎;

2、熟识Hadoop、Mpp、Oracle等至少一种数据仓库工具

3、具备良好的编程语言基础如：java/python/scala/c++/shell等

4、二本以上学历，计算机相关专业或者有相关培训经受者优先

5、个人素养要求：目光长远、态度恳切、岗位有稳定性，能够长期培育、具备很强的自学力量、承压力量强、接受出差支援项目等工作。对数据工作具备深厚的爱好并有明确职业规划，优秀的学习力量和团队沟通协作力量，对新技术有深厚爱好并有钻研精神。

大数据工程师岗位职责（16）

职责：

1、依据客户需求完成大数据项目的数据分析及建模;

2、进行大数据核心算法的编写;

3、参与项目的需求分析、系统设计、编码工作;

4、参与开发过程中相关新技术的研发和验证。

帮助担当架构性的体系设计和改造工作，协作制定技术实施方案，依据总体设计组织子系统的设计和开发。

任职要求：

1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关阅历;

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设阅历，精通基于hadoop源码的开发、优化改造及胜利应用案例;

3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维阅历;

4、具有对大型hadoop集群的硬件规划力量;

大数据工程师岗位职责（17）

职责

1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜寻引擎的产品研发;

2