大数据开发工程师的具体职责

大数据开发工程师的具体职责 大数据开发工程师负责公司项目应用监测数据，分析软件大数据平台的代码开发。下面是小编整理的大数据开发工程师的具体职责。大数据开发工程师的具体职责1职责:1、 负责公司大数据平台数据处理工具etl、流处理平台等建设，功能规划，平台演进，维护调优等;2、 结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理等;3、 负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发;4、 负责公司业务数据仓库模型建设及全业务数据域打通;5、 负责bi报表和可视化项目，和客户深度沟通，理解客户的业务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务;任职资格:1、 熟练掌握关系型数据库,例如：oracle、mysql、vertica等;熟悉nosql数据库，例如hbase、redis、mongoddb等;具备丰富的数据库管理和运维调优经验;2、 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据打通等;3、 有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，如hdfs、mapreduce、hive、hbase、spark、storm;4、 精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，如java、python、shell和scala等;5、精通linux，熟悉日常运维、搭建常见服务器、定位解决日常问题的能力，具备etl开发经验优先;6、 良好的语言沟通与表达能力，有丰富的数据开发经验，较强的数据、平台、技术理解能力;7、 具备数学类、计算机类等相关专业统招本科及以上学历，具有3年及以上大数据开发工作经验，有互联网行业背景优先。大数据开发工程师的具体职责2职责：1、在hadoop平台进行hive/hbase/spark开发;2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作;3、熟悉设计、构建和优化基于hadoop/hbase的存储平台架构;4、熟悉整体提升hadoop/hbase/storm/spark集群的高可用性、高性能、高扩展特性;5、部门相关工作。岗位要求：1、计算机等相关专业大专及以上学历;2、3年以上软件开发经验，精通java开发，至少2年以上hadoop相关开发经验;3、熟悉分布式系统、分布式计算系统的工作机制，具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验;4、熟悉sqoop、hive、hbase、spark等大数据生态组件;5、精通linux shell和sql脚本;6、有java web开发经验者优先;7、良好的团队精神和沟通能力，很强的逻辑思维能力和学习能力。大数据开发工程师的具体职责3职责1. 负责大数据分析需求设计和开发工作，包括数据存储、预处理、查询、统计、实时分析、数据优化及配置等功能;2. 对大数据分析系统存在的问题进行跟踪和定位并及时解决;3. 负责上级交办的其他相关工作。岗位要求：1. 本科以上学历，2年以上工作经验;2. java基础扎实，熟练使用java ide 进行代码编写和调试，熟悉junit单元测试框架;3. 熟悉linux操作系统，能在linux上完成开发、调试工作;4. 熟悉网络io、多线程并发编程、集合等基础框架，精通数据结构和数据算法;5. 参与过分布式高性能服务的设计开发过程，有大规模分布式系统的实践经验;6. 熟悉数据库操作和使用的基本技能，熟练一种关系型数据库的使用;7. 能独立编写详细设计文档;8. 有大数据分析工具hadoop、spark使用开发经验优先;9. 具有团队精神与敬业精神，学习钻研能力强，具有良好的协调沟通能力。大数据开发工程师的具体职责4职责：1、大数据的分布式采集与环境搭建和测试;2、大数据存储、处理和分析工作;3、大数据相关产品线的改进和相关核心开发工作;4、其他大数据相关工作。任职要求：1、本科及以上学历，计算机相关专业;2、2年以上java开发及大数据相关开发经验，java基础扎实，熟练掌握多线程、集合、缓存、序列化、nio等技术;3、熟悉linux环境，熟悉linux shell/python/perl任一脚本;4、熟悉hadoop、spark、zookeeper等主流的大数据处理架构，并有1年以上hadoop相关的实际开发、架构及调优经验;5、使用过阿里云;6、熟悉架构;7、具有较好的学习能力、沟通表达能力及团队合作能力。大数据开发工程师的具体职责5职责：1、本岗位培养方向为证券基金行业数据架构师;2、辅助大数据架构师制定项目开发流程、规范，辅助数据模型设计人员进行模型设计;3、辅助技术架构师进行大数据平台调优(业务逻辑角度);4、负责大数据平台开发，包括数据抽取、转换和加载;5、负责控制数据需求、管理项目开发进度，配合qa完成项目质量管理;职位要求：1、2年以上证券或者基金行业数据中心、大数据平台建设经验;2、具备较强的学习能力，对数据模型和大数据技术有浓厚的兴趣;3、熟练掌握基于oracle或mpp数据库或hadoop等开发技术;4、至少掌握一种etl开发工具。如：informatica、datastag