大数据开发工程师的具体职责

1、大数据开发工程师的具体职责职责 : 1 年，负责公司大数据平台数据处理工具 ETL、流处理平台等的建设。、功能规划、平台演进、维护和优化；2 ，结合公司的业务特点， 负责公司的数据仓库规划、 数据仓库建设、仓库管理等。；3 ，负责大数据处理技术的研究和新技术的引进，参与超大规模实时离线数据计算框架、存储、查询和可视化解决方案的设计、研究和开发；，负责建立公司的业务数据仓库模型，开拓整个业务数据领域；，负责商业智能报告和可视化项目，与客户深入沟通，了解客户的业务挑战，提供解决方案， 制定发展计划并实施，支持各单位的日常数据需求和任务；:1 。精通关系数据库，如甲骨文、Mysql 、Vertica

2、等。熟悉NoSql数据库，如 HBase、Redis 、MongodDB等。具有丰富的数据库管理和运维优化经验；2 ，熟悉数据仓库领域的知识和技能优先，包括但不限于: 元数据管理、数据开发和测试工具和方法、数据质量、主数据管理、数据访问等。；3 。有分布式数据存储和计算平台应用开发经验，熟悉Hadoop 生态相关技术及相关实践经验者优先，如 Hdfs、Mapreduce、Hive 、Hbase、Spark、Storm、精通数据预处理、检验、清理、分析方法，精通各种常用的统计检验方法；精通一种或多种编程语言，有大型项目建设经验者优先，如 Java、Python、Shell 和 scala 。，精

3、通 Linux ，熟悉日常操作和维护，能够构建通用服务器，定位和解决日常问题，有 ETL开发经验者优先；，良好的语言沟通和表达能力， 丰富的数据开发经验， 较强的数据、平台、技术理解能力；，数学、计算机等相关学科本科以上学历， 3 年以上大数据开发经验，有互联网行业背景者优先大数据开发工程师的具体职责 2职责 :1 、在 hadoop 平台上进行 hive/hbase/spark开发；、处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作；，熟悉基于 hadoop/Hbase 的存储平台架构的设计、构建和优化；，熟悉从整体上提高 hadoop/Hbase/Storm

4、/Spark 集群的高可用性、高性能和高可扩展性；、部门相关工作199 岗位要求 :1 ，计算机及相关专业大专以上学历；2 ，3 年以上软件开发经验，精通Java 开发，至少 2 年 Hadoop相关开发经验；3 ，熟悉分布式系统和分布式计算系统的工作机制，具有大规模数据平台、高并发大规模系统、大数据等的架构设计和开发经验。4 ，熟悉 sqoop、Hive 、hbase、spark 等大型数据生态组件；5 ，精通 linux shell和 sql 脚本；6 ，有 java web 开发经验者优先；、良好的团队精神和沟通能力，较强的逻辑思维能力和学习能力大数据开发工程师的职责 3职责。负责大数据

5、分析需求的设计和开发，包括数据存储、预处理、查询、统计、实时分析、数据优化和配置等。跟踪和定位大数据分析系统中存在的问题，并及时解决；。负责上级交办的其他相关工作职位要求:1 。本科以上学历，至少2 年工作经验；2 。Java 基础扎实，擅长使用Java IDE 进行代码编写和调试，熟悉JUnit 单元测试框架。3 。熟悉 Linux 操作系统，能在Linux 上完成开发和调试工作；4 。熟悉网络IO、多线程并发编程、集合等基本框架，精通数据结构和数据算法；5 。参与分布式高性能服务的设计和开发过程，在大规模分布式系统方面有实践经验；。熟悉数据库操作和使用的基本技能，熟悉关系数据库的使用；。能

6、够独立撰写详细的设计文件；。有使用和开发大数据分析工具 Hadoop和 spark 的经验者优先；。具有团队精神和敬业精神，较强的学习和研究能力，良好的协调和沟通能力大数据开发工程师具体职责 4职责 :、大数据分布式采集和环境构建与测试；、大数据存储、处理和分析；、大数据相关产品线的改进及相关核心开发工作；、其他大数据相关工作要求:，本科以上学历，计算机科学专业；，2 年以上 java 开发和大数据相关开发经验， Java 基础扎实，熟练掌握多线程、聚合、缓存、序列化、 nio 等技术；3 ，熟悉 Linux 环境和任何 Linux shell/python/perl脚本；4 ，熟悉 Hado

7、op、 Spark、ZooKeeper 等主流大数据处理架构，具有1 年以上 Hadoop相关的实际开发、架构和调优经验；，用过阿里云；、熟悉建筑；，具有良好的学习能力、沟通表达能力和团队合作能力大数据开发工程师 5职责 :。该职位的培训方向是证券基金行业的数据架构师。协助大数据架构师制定项目开发程序和规范， 并协助数据模型设计人员进行模型设计；。协助技术架构师调整大数据平台 ( 业务逻辑视角 ) ；，负责大数据平台开发，包括数据提取、转换和加载；，负责控制数据需求，管理项目开发进度，并与质量保证部合作完成项目质量管理；职位要求 :，至少 2 年证券或基金行业数据中心和大数据平台建设经验；，学习能力强，对数据模