2023大数据开发工程师的工作职责

1/12023大数据开发工程师的工作职责2023大数据开发工程师的工作职责【篇1】

职责：

1.有***工作力量，工作踏实仔细，以及较强的团队协作精神。

2.负责日志大数据平台的搭建和规划;

3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;

4.参加业务日志的大数据分析;

5.准时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有方案地完成开发任务

任职资格:

1、计算机等相关专业本科以上学历，2年以上开发阅历;

2、熟识linux操作系统，熟识shell脚本语言，精通Java，有较强的开发力量;

2、娴熟使用SQL，熟识Mysql、MongoDB、Hive等数据库技术的基本操作及原理;

3、熟识Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发阅历;

4、熟识Elastic产品线(如Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟识Elasticsearch部署、监控及性能调优;

5、熟识数据挖掘、机器学习、网络数据分析等技术优先;

2023大数据开发工程师的工作职责【篇2】

职责：

1、负责针对业务源系统进行数据抽取、处理、分析等相关工作。

2、负责项目中涉及到的数据库创建、维护及供应数据接口工作;

3、负责***府等业务数据库的开发、维护工作。

岗位要求：

1、计算机相关专业，有数据处理、数据库分析、开发阅历，条件优秀者可适当放宽要求;

2、熟识主流数据库的处理、分析、设计工具;

3、熟识SQL关系数据语言;

4、熟识常用数据库oracle、sqlserver、db2的管理，有数据库管理阅历;

5、有良好的表达沟通力量;品德端正、诚恳守信，具备团队合作精神，有剧烈的事业心和创新开拓精神;

6、具有较强的学习、分析和推断力量。

2023大数据开发工程师的工作职责【篇3】

职责

1、负责传感器数据核心数据库产品整体架构设计及开发工作;

2、负责传感器数据数据库产品核心代码开发，并对存储性能进行持续调优;

3、进行传感器数据数据库系统的上线及部署方案设计及开发;

4、负责传感器数据库前端页面的开发，并针对业务需求进行持续调优;

5、对应用系统中存在的问题及性能瓶颈进行快速定位并解决;

岗位要求

1、具有3年以上数据库系统研发阅历，大数据集群部署阅历者优先;

2、精通数据库管理，娴熟使用Mysql、SqlServer、ORACLE数据库、SQL语言，能***进行应用排错、调优、数据库结构设计、数据备份和恢复等.

3、具有大型数据仓库或者数据库平台设计阅历;

4、有大数据平台开发或者数据结构设计阅历;

5、娴熟把握应用前端Web的开发;

6、沟通力量较好，对传感器有肯定思索和了解;

7、踏实肯干，技术视野开阔，对业界新技术敏感，喜爱钻研，具有良好的学习力量并注意团队合作;

2023大数据开发工程师的工作职责【篇4】

职责

1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜寻引擎的产品研发;

2、基于海量用户行为数据和其他数据，分析和讨论数据与实际业务的关联关系，并与实际业务应用相结合开发;

3、负责大数据分析需求设计和开发，担当数据抽取、清洗、转化等数据处理程序开发。

任职要求：

1、熟识Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发阅历，有数据实时计算项目阅历优先;

2、有搜寻引擎全文检索开发阅历，如：elasticsearch、solr;

3、熟识python、R任意一门开发语言;

4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发阅历优先考虑;

5、本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作阅历;

6、拥有良好的代码习惯，要求结构清楚、命名规范、规律性强、代码冗余率低，代码解释清楚;

7、熟识使用svn，禅道等项目管理工具，有良好的团队协作开发阅历.

2023大数据开发工程师的工作职责【篇5】

职责：

1.编写存储过程和SQL脚本实现简单业务规律;

2.依据业务规律完成数据库表设计，和整个数据的抽取清洗转换过程(ETL)，以及数据输出;

3.对于运行缓慢的SQL语句调优;

4.数据处理自动化脚本部署和维护。

5、定时巡查数据库系统，发觉潜在问题和性能瓶颈，并预警

【任职要求】

大专以上学历，计算机相关专业，有存储开发阅历;

2、数据Oracle或SQLSERVER的运行机制，娴熟把握Oracle或SQLSERVER的基本操作和调优;

3、精通SQL语句，基础扎实

2023大数据开发工程师的工作职责【篇6】

职责：

1、依据数据库仓库及BI项目的需求，制定ETL相关的设计方案和开发方案，并进行后续的设计、实施、维护;

2、负责整个数据仓库数据模型的管理工作(建模、设计、实施);负责数据源调研、入库、开发的全流程工作，并保证数据质量;

3、负责数据仓库的模型的标准制定，实施，监督工作;担当数据抽取、清洗、转化等数据处理程序开发。

任职要求：

1、精通关系型数据库理论，娴熟把握Oracle数据库，熟识数据仓库架构与模型;

2、熟识Informatica等主流ETL开发工具;

3、精通SQL语句，对SQL查询优化有丰富的阅历，熟识PLSQL，熟识函数、存储过程，触发器等的开发;

4、熟识Linux操作系统SHELL脚本。

2023大数据开发工程师的工作职责【篇7】

职责：

1.负责ORACLE、SQLSEVER等数据库的实时数据处理、故障分析出来，性能优化等;

2.定位和解决数据集群组件性能和高可用问题，帮助数据集群监控系统的开发;

3.深化探究业务数据，制造性的思索和发觉问题，能够提出有效解决方案，帮助新项目的预研和开发，数据驱动业务，

4.负责公司内外部各数据的接入和清洗处理。

任职资格：

1、计算机相关专业，本科及以上学历，1年以上hadoop开发阅历，对分布式计算理论有深刻理解。

2、熟识Linux开发环境，娴熟Java、scala编程，有良好的编码习惯;

3、熟识Hadoop、HBase、HIVE、Spark、KAFKA等系统相关技术原理与实现;

4、熟识mysql、sqlserver、oracle开发环境，对SQL语句相当娴熟，具备sql调优力量;

5、有大数据运维相关阅历优先

6、具备良好的沟通力量、学习力量、分析解决问题力量;

7、英语娴熟优先

2023大数据开发工程师的工作职责【篇8】

职责：

1、参加需求的调研、分析和设计工作，并依据需求设计说明书，编写数据模型存储过程设计文档;

2、负责数据提取和数据分析，以及数据库转换和迁移;

3、负责数据模型设计、后台存储过程开发;

4、负责数据库日常维护与性能优化;

5、负责项目上数据库相关业务的支撑。

任职要求：

1、本科及以上学历、计算机相关专业;(可以考虑去掉)

2、3年以上数据库存储过程开发工作阅历，有一个或以上大型数据项目开发阅历;

3、能***撰写存储过程、视***、数据库函数、触发器;

4、熟识ORACLE/DB2数据库，有数据库、SQL语句优化的阅历;

5、熟识银行各业务部门常用报表类业务学问，包含资产负债类、中间业务类、票据类、信用卡类等。

6、能适应出差的工作环境;

2023大数据开发工程师的工作职责【篇9】

职责：

1、本岗位培育方向为证券基金行业数据架构师;

2、帮助大数据架构师制定项目开发流程、规范，帮助数据模型设计人员进行模型设计;

3、帮助技术架构师进行大数据平台调优(业务规律角度);

4、负责大数据平台开发，包括数据抽取、转换和加载;

5、负责掌握数据需求、管理项目开发进度，协作QA完成项目质量管理;

职位要求：

1、2年以上证券或者基金行业数据中心、大数据平台建设阅历;

2、具备较强的学习力量，对数据模型和大数据技术有深厚的爱好;

3、娴熟把握基于ORACLE或MPP数据库或Hadoop等开发技术;

4、至少把握一种ETL开发工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的团队合作精神、公司供应优厚待遇。

2023大数据开发工程师的工作职责【篇10】

职责

1、进行业务系统数据库的规划、设计、实施，设计并优化数据库物理建设方案;

2、对数据库进行管理，负责业务系统数据库的运营及监控;

3、业务系统数据库的定期维护和特别处理;

4、对数据库性能分析与调优，排错，保证数据平安;

5、对数据库进行定期备份、和按需恢复;

6、协作其他部门进行的数据处理、查询，统计和分析工作。

任职资格

1、计算机相关专业，本科以上学历，两年以上相关工作阅历;

2、精通关系