大数据架构师岗位的主要职责概述

大数据架构师岗位的主要职责概述大数据架构师岗位的主要职责概述 大数据架构师需要负责协助策略和算法工作 保障数据挖 掘建模和工程化 以下是整理的大数据架构师岗位的主要职责 概述 大数据架构师岗位的主要职责概述 1 职责 1 1 参与公司数据平台系统规划和架构工作 主导系统的架参与公司数据平台系统规划和架构工作 主导系统的架 构设计和项目实施 确保项目质量和关键性能指标达成构设计和项目实施 确保项目质量和关键性能指标达成 2 2 统筹和推进制造工厂内部数据系统的构建 搭建不同来统筹和推进制造工厂内部数据系统的构建 搭建不同来 源数据之间的逻辑关系 能够为公司运营诊断 运营效率提升源数据之间的逻辑关系 能够为公司运营诊断 运营效率提升 提供数据支持提供数据支持 3 3 负责数据系统需求对接 各信息化系统数据对接 软件负责数据系统需求对接 各信息化系统数据对接 软件 供应商管理工作供应商管理工作 5 5 根据现状制定总体的数据治理方案及数据体系建立 包根据现状制定总体的数据治理方案及数据体系建立 包 括数据采集 接入 分类 开发标准和规范 制定全链路数据括数据采集 接入 分类 开发标准和规范 制定全链路数据 治理方案治理方案 深入挖掘公司数据业务 超强的数据业务感知力 深入挖掘公司数据业务 超强的数据业务感知力 挖掘数据价值 推动数据变现场景的落地 为决策及业务赋能挖掘数据价值 推动数据变现场景的落地 为决策及业务赋能 6 6 定义不同的数据应用场景 推动公司的数据可视化工作 定义不同的数据应用场景 推动公司的数据可视化工作 提升公司数据分析效率和数据价值转化 提升公司数据分析效率和数据价值转化 任职要求 1 1 本科以上学历 本科以上学历 8 8 年以上软件行业从业经验 年以上软件行业从业经验 5 5 年以上年以上 大数据架构设计经验 熟悉大数据架构设计经验 熟悉 BIBI 平台 大数据系统相关技术架平台 大数据系统相关技术架 构及技术标准构及技术标准 2 2 熟悉数据仓库 熟悉数据集市 了解数据挖掘 数据抽熟悉数据仓库 熟悉数据集市 了解数据挖掘 数据抽 取 数据清洗 数据建模相关技术取 数据清洗 数据建模相关技术 3 3 熟悉大数据相关技术 熟悉大数据相关技术 Hadoop Hive Hbase Storm Flink Spark Kafka Rabbi tMQ 4 4 熟悉制造企业信息化系统及相关数据库技术熟悉制造企业信息化系统及相关数据库技术 5 5 具备大数据平台 计算存储平台 可视化开发平台经验 具备大数据平台 计算存储平台 可视化开发平台经验 具有制造企业大数据系统项目开发或实施经验优先具有制造企业大数据系统项目开发或实施经验优先 6 6 对数据敏感 具备优秀的业务需求分析和报告展示能力 对数据敏感 具备优秀的业务需求分析和报告展示能力 具备制造企业数据分析和数据洞察 大数据系统的架构设计能具备制造企业数据分析和数据洞察 大数据系统的架构设计能 力 了解主流的报表工具或新兴的前端报表工具力 了解主流的报表工具或新兴的前端报表工具 7 7 有较强的沟通和组织协调能力 具备结果导向思维 有有较强的沟通和组织协调能力 具备结果导向思维 有 相关项目管理经验优先 相关项目管理经验优先 大数据架构师岗位的主要职责概述 2 职责 1 1 负责大数据平台及 负责大数据平台及 BIBI 系统框架设计 规划 技术选型 系统框架设计 规划 技术选型 架构设计并完成系统基础服务的开发架构设计并完成系统基础服务的开发 2 2 负责海量埋点规则 负责海量埋点规则 SDKSDK 标准化 埋点数据采集 处标准化 埋点数据采集 处 理及存储 业务数据分布存储 流式理及存储 业务数据分布存储 流式 实时计算等应用层架构实时计算等应用层架构 搭建及核心代码实现搭建及核心代码实现 3 3 开发大数据平台的核心代码 项目敏捷开发流程管理 开发大数据平台的核心代码 项目敏捷开发流程管理 完成系统调试 集成与实施 对每个项目周期技术难题的解决 完成系统调试 集成与实施 对每个项目周期技术难题的解决 保证大数据产品的上线运行保证大数据产品的上线运行 4 4 负责大数据平台的架构优化 代码评审 并根据业务 负责大数据平台的架构优化 代码评审 并根据业务 需求持续优化数据架构 保证产品的可靠性 稳定性需求持续优化数据架构 保证产品的可靠性 稳定性 5 5 指导开发人员完成数据模型规划建设 指导开发人员完成数据模型规划建设 分析模型构建及分析模型构建及 分析呈现 分享技术经验分析呈现 分享技术经验 6 6 有效制定各种突发性研发技术故障的应对预案 有清 有效制定各种突发性研发技术故障的应对预案 有清 晰的隐患意识晰的隐患意识 7 7 深入研究大数据相关技术和产品 跟进业界先进技术 深入研究大数据相关技术和产品 跟进业界先进技术 任职要求 1 1 统计学 应用数学或计算机相关专业大学本科以上学 统计学 应用数学或计算机相关专业大学本科以上学 历历 2 2 熟悉互联网移动端埋点方法 熟悉互联网移动端埋点方法 点击和浏览等行为埋点点击和浏览等行为埋点 无埋点方案等 有埋点无埋点方案等 有埋点 SDKSDK 独立开发经验者优选独立开发经验者优选 3 3 熟悉 熟悉 Hadoop MR MapReduce Hdfs Hbase Redis Storm Python zookHadoop MR MapReduce Hdfs Hbase Redis Storm Python zook eeper kafka flinkHadoop hive mahout flume ElasticSearceeper kafka flinkHadoop hive mahout flume ElasticSearc h KafkaPythonh KafkaPython 等 具备实际项目设计及开发经验等 具备实际项目设计及开发经验 4 4 熟悉数据采集 数据清洗 分析和建模工作相关技术 熟悉数据采集 数据清洗 分析和建模工作相关技术 细节及流程细节及流程 5 5 熟悉 熟悉 Liunx UnixLiunx Unix 操作系统 能熟练使用操作系统 能熟练使用 shell perlshell perl 等脚本语言 熟练掌握等脚本语言 熟练掌握 java python go Cjava python go C 中一种或多种编中一种或多种编 程语言程语言 6 6 具备一定的算法能力 了解机器学习 具备一定的算法能力 了解机器学习 深度学习算法工深度学习算法工 具使用 有主流大数据计算组件开发和使用经验者优先具使用 有主流大数据计算组件开发和使用经验者优先 7 7 熟悉大数据可视化工具 熟悉大数据可视化工具 Tableau echartsTableau echarts 8 8 具有较强的执行力 高度的责任感 很强的学习 沟 具有较强的执行力 高度的责任感 很强的学习 沟 通能力 能够在高压下高效工作通能力 能够在高压下高效工作 大数据架构师岗位的主要职责概述 3 职责 根据大数据业务需求 设计大数据方案及架构 实现相关 功能 搭建和维护大数据集群 保证集群规模持续 稳定 高效 平稳运行 负责大数据业务的设计和指导具体开发工作 负责公司产品研发过程中的数据及存储设计 针对数据分析工作 能够完成和指导负责业务数据建模 职位要求 计算机 自动化或相关专业 如统计学 数学 本科以上学 历 3 年以上大数据处理相关工作经验 精通大数据主流框架 如 Hadoop hive Spark 等 熟悉 MySQL NoSQL MongoDB Redis 等主流数据库 以 及 rabbit MQ 等队列技术 熟悉 hadoop spark 生态的原理 特性且有实战开发经验 熟悉常用的数据挖掘算法优先 大数据架构师岗位的主要职责概述 4 职责 1 1 负责产品级业务系统架构负责产品级业务系统架构 如业务数据对象识别 数据如业务数据对象识别 数据 实体 数据属性分析 数据标准 端到端数据流等实体 数据属性分析 数据标准 端到端数据流等 的设计与的设计与 优化 优化 协助推动跨领域重大数据问题的分析 定位 解决方案 设计 从架构设计上保障系统高性能 高可用性 高安全性 高时效性 分布式扩展性 并对系统质量负责 2 2 负责云数据平台的架构设计和数据处理体系的优化 推负责云数据平台的架构设计和数据处理体系的优化 推 动云数据平台建设和持续升级 并制定云数据平台调用约束和动云数据平台建设和持续升级 并制定云数据平台调用约束和 规范 规范 3 3 结合行业应用的需求负责数据流各环节上的方案选型 结合行业应用的需求负责数据流各环节上的方案选型 主导云数据平台建设 参与核心代码编写 审查主导云数据平台建设 参与核心代码编写 审查 数据的统计数据的统计 逻辑回归算法 实时交互分析逻辑回归算法 实时交互分析 数据可视化方案等等的选型 数据可视化方案等等的选型 部署 集成融合等等 部署 集成融合等等 4 4 对云数据平台的关注业内技术动态 持续推动平台技对云数据平台的关注业内技术动态 持续推动平台技 术架构升级 以满足公司不同阶段的数据需求 术架构升级 以满足公司不同阶段的数据需求 任职要求 1 1 熟悉云计算基础平台 包括熟悉云计算基础平台 包括 Linux Ubuntu CentOS 和 KVM OpenStack K8S 等基础环境 熟悉控制 计算 存储和 网络 2 2 掌握大型分布式系统的技术栈 如 掌握大型分布式系统的技术栈 如 CDN 负载均衡 服务化 异步化 分布式缓存 NoSQL 数据库垂直及水平扩容 熟 悉大数据应用端到端的相关高性能产品 3 3 精通精通 Java Python Shell 编程语言 精通 SQL NoSQL 等数据库增删改查的操作优化 4 4 PBPB 级别实战数据平台和生产环境的实施 开发和管理级别实战数据平台和生产环境的实施 开发和管理 经验经验 5 5 熟悉熟悉 Docker 等容器的编排封装 熟悉微服务的开发 和日常调度 6 6 计算机 软件 电子信息及通信等相关专业本科以上学计算机 软件 电子信息及通信等相关专业本科以上学 历 历 5 5 年以上软件工程开发经验 年以上软件工程开发经验 2 2 年以上大数据架构师工作年以上大数据架构师工作 经验 经验 大数据架构师岗位的主要职责概述 5 职责 1 1 大数据平台架构规划与设计 大数据平台架构规划与设计 2 2 负责大数据平台技术框架的选型与技术难点攻关 负责大数据平台技术框架的选型与技术难点攻关 3 3 能够独立进行行业大数据应用的整体技术框架 业务 能够独立进行行业大数据应用的整体技术框架 业务 框架和系统架构设计和调优等工作 根据系统的业务需求 能框架和系统架构设计和调优等工作 根据系统的业务需求 能 够指导开发团队完成实施工作够指导开发团队完成实施工作 4 4 负责数据基础架构和数据处理体系的升级和优化 不 负责数据基础架构和数据处理体系的升级和优化 不 断提升系统的稳定性和效率 为相关的业务提供大数据底层平断提升系统的稳定性和效率 为相关的业务提供大数据底层平 台的支持和保证台的支持和保证 5 5 培养和建立大数据团队 对团队进行技术指导 培养和建立大数据团队 对团队进行技术指导 任职要求 1 1 计算机相关专业的背景专业一类院校毕业本科 硕士 计算机相关专业的背景专业一类院校毕业本科 硕士 学位 学位 8 8 年年 硕士硕士 5 5 年年 以上工作经验以上工作经验 至少拥有至少拥有 3 3 年以上大数年以上大数 据项目或产品架构经验据项目或产品架构经验 2 2 精通 精通 JavaJava J2EEJ2EE 相关技术 精通常见开源框架的架相关技术 精通常见开源框架的架 构 精通关系数据库系统构 精通关系数据库系统 Oracle Oracle MySQLMySQL 等等 和和 noSQLnoSQL 数据存数据存 储系统的原理和架构储系统的原理和架构 3 3 精通 精通 SQLSQL 和和 MapreduceMapreduce SparkSpark 处理方法处理方法 4 4 精通大数据系统架构 熟悉业界数据仓库建模方法及 精通大数据系统架构 熟悉业界数据仓库建模方法及 新的建模方法的发展 有新的建模方法的发展 有 DWDW BIBI 架构体系的专项建设经验架构体系的专项建设经验 5 5 对大数据体系有深入认识 熟悉 对大数据体系有深入认识 熟悉 KafkaKafka HadoopHadoop HiveHive HBaseHBase SparkSpark StormStorm greenplumgreenplum E E S S RedisRedis 等