大数据开发工程师岗位的职责描述

大数据开发工程师岗位的职责描述 大数据开发工程师负责大数据体系架构设计和应用产品的研究。以下是小编整理的大数据开发工程师岗位的职责描述。大数据开发工程师岗位的职责描述1职责：1、负责异构数据系统和大数据平台的集成与融合;2、负责数据挖掘算法的设计及对海量数据进行挖掘分析;3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发;4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模;5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率;6、完成领导交办的其他任务。任职资格：1、计算机及其相关专业，大专及以上学历。两年以上大数据应用经验;2、具备实时处理框架的设计和开发能力，熟练掌握storm、spark streaming等大数据实时处理框架中的一种;3、熟悉spark 、r、hadoop、hbase、hive、elastic search/solr等相关技术;4、熟悉scala、熟悉linux开发环境，能进行shell脚本的编写;5、具有较强的逻辑分析能力，高度的责任心及团队合作精神;6、具有实际大数据项目的成功经验者优先考虑。大数据开发工程师岗位的职责描述2职责1、参与大规模数据快速查询系统的架构设计和开发;2、大规模数据挖掘和机器学习算法的实现;3、在线和离线海量数据分析平台的开发;4、研究大数据前沿技术，提升系统的运维效率;5、实现大数据基础架构平台的自动化运维。任职资格1、计算机相关专业,具有3年以上大数据开发经验，熟悉java,linux;2、熟悉hadoop大数据处理系统的开发,搭建及部署者优先;3、熟练地处理数据模型、数据etl以及存储管理;4、熟悉hdfs/hive/mapreduce/kylin/hbase，能独自进行mapreduce程序开发者优先;5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。大数据开发工程师岗位的职责描述3职责：1、参与南方电网软件产品(项目)前/后台服务开发，要求高性能、高可用、高并发;2、独立完成产品模块(项目)核心代码开发、业务代码开发、系统性能调优等工作;3、根据分配任务制定开发计划并按时完成相应模块的设计、开发和单元测试;4、参与产品(项目)相关系统需求分析以及撰写相关系统设计文档;要求：1. 五年左右大数据研发岗位工作经验2、丰富大数据开发经验：熟悉企业大数据常用技术，熟悉spark、flume、hbase、hadoop、kafka，es技术;3、具有大型应用系统开发经验，具有分布式、高并发、高性能等架构经验，具有一定团队管理经验者优先;4、了解j2ee技术平台及主流框架，具有spingmvc、springboot、spring cloud、mybatis、redis等框架开发经验;5、了解html5,css3,javascript,ajax,jquery等web前端技术，熟悉jquery、bootstrap、angularjs，vue等主流前端js框架中的一种;大数据开发工程师岗位的职责描述4职责：1、负责大数据etl开发与维护;2、负责大数据平台数据库的设计以及开发;3、负责大数据计算框架的选型与计算流程的设计与开发;4、负责数据服务的设计与开发。任职资格：1、本科及以上学历;2、熟悉flink、flume、jstorm、sparkstream、hive、spark等分布式开源软件，具备系统优化与性能调优能力者优先;3、精通java等面向对象编程，有分布式并行计算的开发经验优先;4、熟练掌握至少一种mysql、sql server、oracle等关系型数据库或mongodb、redis等nosql数据库 ,有hive等数据仓库研发经验优先;5、熟悉大数据、云计算概念，了解hadoop、hive、hbase等大数据主流技术及开源框架者优先;6、自学能力强，沟通能力较好，有一定独立分析，技术研究能力，具有良好的团队合作精神;7、数据意识强，有较好的文档编写能力，以及踏实的工作作风。大数据开发工程师岗位的职责描述5职责1、负责大数据分析平台的建设，基于历史和业务实时数据构建数据挖掘模型;2、根据需求设计和实现数据分析展示平台;3、负责建立、维护和改进大数据分析流程、规范、方法;4、负责基于大数据的数据分析算法研究，基于数据分析结果优化现有应用并探索新的应用。任职要求：1、本科及以上学历，统计、数学、计算机或相关专业/方向，3年以上数据分析、数据挖掘相关工作经验;2、精通matlab、python等大数据涉及的语言和工具，并能熟练运用相关数据分析工具实现数据分析方法;3、对机器学习、数据挖掘算法及其应用有比较全面的认识和理解，熟悉主流数据挖掘框架;4、熟悉分布式数据库、数据仓库和数据集市，熟悉数据库相关操作和编程;5、具有优秀的发现、分析并解决问题的能力，积极性高，具有严谨缜密的工作习惯、较强的沟通能力及团队合作精神;6、有旅游行业数据分析与挖掘从业经验者优先。有主导完成优秀应用