大数据开发工程师的具体职责

大数据开发工程师的具体职责大数据开发工程师的具体职责 大数据开发工程师负责公司项目应用监测数据 分析软件 大数据平台的代码开发 下面是小编整理的大数据开发工程师 的具体职责 大数据开发工程师的具体职责大数据开发工程师的具体职责 1 职责 1 负责公司大数据平台数据处理工具 etl 流处理平台等 建设 功能规划 平台演进 维护调优等 2 结合公司业务特征 负责公司数据仓库规划 数据仓 库建设 数仓管理等 3 负责大数据处理技术研究及新技术引进 参与超大规 模实时 离线数据计算框架 存储 查询 可视化解决方案的设 计 研发 4 负责公司业务数据仓库模型建设及全业务数据域打通 5 负责 bi 报表和可视化项目 和客户深度沟通 理解客 户的业务挑战 提供解决方案 制定开发计划并执行 支持各 单位日常数据需求和任务 任职资格 1 熟练掌握关系型数据库 例如 oracle mysql vertica 等 熟悉 nosql 数据库 例如 hbase redis mongoddb 等 具备 丰富的数据库管理和运维调优经验 2 熟悉数据仓库领域知识和技能者优先 包括但不局限 于 元数据管理 数据开发测试工具与方法 数据质量 主数 据管理 数据打通等 3 有从事分布式数据存储与计算平台应用开发经验 熟 悉 hadoop 生态相关技术并有相关实践经验着优先 如 hdfs mapreduce hive hbase spark storm 4 精通数据预处理 检验 清洗 分析方法 精通各种 常用统计检验方法 熟练掌握一门或多门编程语言 并有大型项 目建设经验者优先 如 java python shell 和 scala 等 5 精通 linux 熟悉日常运维 搭建常见服务器 定位解 决日常问题的能力 具备 etl 开发经验优先 6 良好的语言沟通与表达能力 有丰富的数据开发经验 较强的数据 平台 技术理解能力 7 具备数学类 计算机类等相关专业统招本科及以上学 历 具有 3 年及以上大数据开发工作经验 有互联网行业背景 优先 大数据开发工程师的具体职责大数据开发工程师的具体职责 2 职责 1 在 hadoop 平台进行 hive hbase spark 开发 2 处理公司大数据平台产品的技术工作 包括存储 处理 分析 挖掘 架构设计 研发工作 3 熟悉设计 构建和优化基于 hadoop hbase 的存储平台 架构 4 熟悉整体提升 hadoop hbase storm spark 集群的高可用 性 高性能 高扩展特性 5 部门相关工作 岗位要求 1 计算机等相关专业大专及以上学历 2 3 年以上软件开发经验 精通 java 开发 至少 2 年以上 hadoop 相关开发经验 3 熟悉分布式系统 分布式计算系统的工作机制 具有大 规模数据平台 高并发大型系统 大数据等架构设计和开发经 验 4 熟悉 sqoop hive hbase spark 等大数据生态组件 5 精通 linux shell 和 sql 脚本 6 有 java web 开发经验者优先 7 良好的团队精神和沟通能力 很强的逻辑思维能力和学 习能力 大数据开发工程师的具体职责大数据开发工程师的具体职责 3 职责 1 负责大数据分析需求设计和开发工作 包括数据存储 预处理 查询 统计 实时分析 数据优化及配置等功能 2 对大数据分析系统存在的问题进行跟踪和定位并及时解 决 3 负责上级交办的其他相关工作 岗位要求 1 本科以上学历 2 年以上工作经验 2 java 基础扎实 熟练使用 java ide 进行代码编写和调试 熟悉 junit 单元测试框架 3 熟悉 linux 操作系统 能在 linux 上完成开发 调试工作 4 熟悉网络 io 多线程并发编程 集合等基础框架 精通 数据结构和数据算法 5 参与过分布式高性能服务的设计开发过程 有大规模分 布式系统的实践经验 6 熟悉数据库操作和使用的基本技能 熟练一种关系型数 据库的使用 7 能独立编写详细设计文档 8 有大数据分析工具 hadoop spark 使用开发经验优先 9 具有团队精神与敬业精神 学习钻研能力强 具有良好 的协调沟通能力 大数据开发工程师的具体职责大数据开发工程师的具体职责 4 职责 1 大数据的分布式采集与环境搭建和测试 2 大数据存储 处理和分析工作 3 大数据相关产品线的改进和相关核心开发工作 4 其他大数据相关工作 任职要求 1 本科及以上学历 计算机相关专业 2 2 年以上 java 开发及大数据相关开发经验 java 基础扎 实 熟练掌握多线程 集合 缓存 序列化 nio 等技术 3 熟悉 linux 环境 熟悉 linux shell python perl 任一脚本 4 熟悉 hadoop spark zookeeper 等主流的大数据处理 架构 并有 1 年以上 hadoop 相关的实际开发 架构及调优经 验 5 使用过阿里云 6 熟悉架构 7 具有较好的学习能力 沟通表达能力及团队合作能力 大数据开发工程师的具体职责大数据开发工程师的具体职责 5 职责 1 本岗位培养方向为证券基金行业数据架构师 2 辅助大数据架构师制定项目开发流程 规范 辅助数据 模型设计人员进行模型设计 3 辅助技术架构师进行大数据平台调优 业务逻辑角度 4 负责大数据平台开发 包括数据抽取 转换和加载 5 负责控制数据需求 管理项目开发进度 配合 qa 完成 项目质量管理 职位要求 1 2 年以上证券或者基金行业数据中心 大数据平台建设 经验 2 具备较强的学习能力 对数据模型和大数据技术有浓