大数据架构师工作的岗位职责

大数据架构师工作的岗位职责大数据架构师工作的岗位职责 大数据架构师负责研发技术发展方向 新技术领域的探索 将新技术应用到公司大数据平台 提升公司效能 下面是小编 整理的大数据架构师工作的岗位职责 大数据架构师工作的岗位职责大数据架构师工作的岗位职责 1 职责 1 负责大数据平台技术框架的技术选型和搭建 2 负责核心技术问题公关 建设高可靠性 扩展性及高性 能大数据 数据应用平台 3 负责规划数据挖掘的整体流程 负责大数据开发团队业 务需求开发 4 与其他团队密切配合 寻求数据层面的业务价值 利用 数据分析结论推动产品优化 5 研究和分享大数据架构领域新技术 任职要求 1 计算机相关专业全日制统招本科及以上 2 5 年以上工作经验 至少 3 年以上大数据项目相关工作 经验 能够设计大型大数据系统的架构和技术方案 3 精通 hadoop spark hbase hive 等大数据技术 精通 etl 技术 4 熟悉数据挖掘 了解典型大数据算法和策略 5 熟悉主流 java 技术框架 精通关系型数据库及 sql 语 言 熟悉 nosql json xml 6 有较强的学习能力和问题解决能力 逻辑严密 思路清 晰 7 有数据仓库经验者优先 有金融行业项目经验者优先 大数据架构师工作的岗位职责大数据架构师工作的岗位职责 2 职责 1 负责 dmp 技术架构设计与构建 根据业务规划及技术 规划制定应用架构方案 2 负责设计构建 dmp 数据采集 存储及分析框架 设计 数据处理的技术流程和规范 3 负责核心功能的架构与代码模板编写 开发与维护系统 公用核心模块 4 负责基于大数据技术的海量数据的自动化分析处理和统 计工作 岗位要求 1 计算机或相关专业本科以上学历 三年以上的开发经验 二年以上大数据相关软件架构的实际经验 2 精通大数据处理技术 熟悉 hadoop storm 技术体系 有 hadoop hive hbase 项目经验 3 具有较强的架构能力 具有分布式计算 实时计算 数 据仓库 数据挖掘系统的架构经历优先 4 对数据敏感 洞察力强 了解国内外广告发展趋势 5 擅长系统分析与设计 精通常用的设计模式 擅长性 能调优 6 熟悉 dmp rtb 技术原理 了解用户的行为分析及建模 有 rtb dsp ssp exchange dmp 等广告行业从业经历 大数据架构师工作的岗位职责大数据架构师工作的岗位职责 3 职责 1 负责 spark hadoop flink 等开发和优化 2 参与前期需求沟通和分析 以产品化开发的思维 完成 需求分解和数据架构设计 3 与研发和数据科学家合作保证产品定义清晰 按时完成 产品上线 4 能够洞察市场状况 与各部门合作转化为基于大数据挖 掘的新策略或方案 5 主动创造和发掘新的基于大数据挖掘产品商业模式 任职要求 1 全日制本科及以上学历 计算机软件相关专业 5 年以 上开发经验 3 年以上架构经验 2 精通 hadoop mapreduce spark hbase flink hive r mahout 等分布式 数据存储和分布式计算平台原理 流式计算开发 有开源二次 开发经验者优先 3 精通大数据挖掘 机器学习 熟练掌握 java perl python 至少一种编程语言 4 具有数据挖掘和分析 机器学习等项目实施相关经验者 优先 5 良好的跨部门沟通合作能力 解决不同观点能力并取得 结果 具备敏锐的互联网产品理解力 学习能力和逻辑思维能 力强 6 较强的自我驱动力 推动和协调能力 强烈的责任心和 团队合作精神 大数据架构师工作的岗位职责大数据架构师工作的岗位职责 4 职责 1 负责大数据架构设计 包括定义数据的存储 集成 etl 应用 支撑业务运营和数据分析类需求实现 2 制定数据治理领域的数据体系化管理措施 包括元数据 设计 数据标准 数据质量 数据处理 数据安全等工作 确 保数据可信与安全 3 基于行业数据积累 满足业务的数据挖掘需求 实现从 数据到资产的转变 根据目标行业建立具有前瞻性的数据模型 4 对各产品的数据安全负责 主导制定和实施数据库系统 安全策略 保证整体方案数据安全 岗位要求 业务技能要求 1 深入理解云化 数据仓库 在参与过的系统设计中 必 须涉及这两项关键技术 n2 精通或者熟悉 hadoop 体系架构 以及 hdfs hbase hive mapreduce spark 等技术 了解体系架构各组 件的优缺点 有直接的产品设计与开发 部署 调优的经验 3 精通或熟悉常见 rdbms oracle postgresql mysql nosql redis memcached mongodb 全文搜索引擎 solr elasticsearch 的使用及开发 了解各数据库优缺点 熟悉 与架构设计相关的数据存储 性能调优等相关领域知识 有相 关项目经验尤佳 4 熟悉业界常用的数据采集 集成 数据存储 计算 数 据模型 数据分析的技术方案 具有数据分析或数据挖掘相关 经验者优先 n5 熟悉数据治理相关流程 包括数据接入 数据处理 数据治理 数据组织 数据服务等 专业知识要求 1 具备数据治理的知识与体系方案 包含政策 组织 角 色 流程 规范等 以及规划相应的支撑方案 了解业界的数 据管理方法论 2 具备数据用例设计和开发能力 能够基于业务相关数据 进行业务需求分析和痛点识别 将业务需求转化为数据的需求 完成数据用例的设计和开发 3 精通海量数据 日增量百亿 级别数据仓库 数据集市的 构建流程 熟悉公安 政务 工业 交通 医疗等多行业业务 者优先 大数据架构师工作的岗位职责大数据架构师工作的岗位职责 5 职责 1 负责大数据平台的基础技术规划 编制相关规范文档 2 负责大数据平台的数据采集 处理 存储以及挖掘分析 的架构实现 3 负责大数据平台的实际规划建设 包括环境和框架的规 划搭建以及部分核心编码工作 4 负责大数据相关技术发展方向的预研 5 参与业务需求调研 根据需求及行业特点设计大数据解 决方案并跟进具体实施项目 6 制定大数据平台中数据质量 业务质量监控及管理办法 岗位要求 1 全日制本科及以上学历 5 年以上工作经验 4 年及以 上大数据架构设计经验 熟悉大数据解决方案 包括 hadoop 平台 spark storm 机器学习 深度学习等大数据解决方案 2 深刻理解大数据处理 流计算 分布式计算 分布式文件 系统 分布式存储等相关技术 实现方法 有架构和设计实践经 验 3 精通大型数据库 oracle sqlserver 等的开发 4 精通 java python 中的一种或多种语言 5 熟悉容器 虚