下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、数据仓库工程师的主要职责数据仓库工程师负责数据质量问题的分析、 跟进、解决, 进行数据质量监测、校验和提升。以下是 xx 整理的数据仓 库工程师的主要职责。数据仓库工程师的主要职责 1职责:1. 负责企业级数据仓库设计、 规划、 建设、实施、 管理 , 数据仓库架构设计与数据开发,创建数据仓库、数据集市2. 熟悉数据仓库领域知识,从架构和技术层面参与建设 数据仓库,包括元数据管理、数据质量、主数据管理、性能 优化和调优。3. 负责数据仓库平台相关数据管理工作,如研发规范、 质量规范、保障规范的制定与推动实施落地4. 配合和协助数据分析 / 数据挖掘形成底层 / 中间层的 业务逻辑切片任职资格
2、:1. 本科或硕士以上学历,计算机工程相关专业2. 熟 悉 大 数 据 相 关 技 术 能 力(Hadoop/MapReduce/Hive/Hbase 等 ), 熟练进行数仓 Hive 建 设和软件架构 , 较强的数据抽象能力3. 精通SQL具备海量数据处理和Hive/Spark性能调优经验 ,3 年以上大规模分布式数据仓库建设经验4. 熟练使用 druid/Kylin 之一进行数据挖掘模型设计, 熟练掌握 Java/Scala 之一,具备良好的 coding 素养和习惯 , 了解脚本语言,如 Python 、 Shell 等5. 强烈的责任心 , 工作态度积极主动,有较好的团队精 神和沟通能
3、力,工作细致认真数据仓库工程师的主要职责 2职责:1、负责ETL开发、作业调度和数据平台建设2、负责数据仓库的设计、开发和优化,建立结构层次 合理、灵活可扩展的数据仓库3、设计并研发 Bi 分析相关的数据产品4、结合对数据的理解和业务需求,对数据进行整理、 分析和挖掘任职要求1 、计算机相关专业本科及以上学历,有 2 年以上数据仓库、 ETL 工作经验2、有海量数据处理、 ETL 及作业调度优化、数据仓库建 模等经验3、熟悉 Linux 、SQL、Python 或 Java、 Shell 脚本,有 Hadoop/Hive/Spark/HBase/Kylin/impala 等大数据技术使 用经验
4、4、逻辑清晰,对数据敏感,深入了解业务,具备自己 独特的想法并能提出合理的建议数据仓库工程师的主要职责 3职责:1、负责制定数据仓库平台技术体系架构、数据架构及 规范;2、负责设计和实施公司业务数据的实时/ 离线数据 ETL架构方案 ;3、负责调度架构设计与开发 ;4、负责数据仓库平台运维以及日常数据运营等管理;5、负责关键技术攻关 ;任职要求:1、5 年以上数据仓库项目开发经验, 参与过数据仓库架构设计,对 ETL 开发流程、调度架构有深入理解 ;2、精通 mysql 、 oralce 、 greenplum 等至少一种数据 库,丰富的SQL性能调优经验;3、熟练使用 Java 、 Shel
5、l 、 Python 、Perl 等至少一种 脚本语言 ;4、熟悉数据治理理论,数据质量、元数据管理流程和 方法;5、了解 Hadoop/Hive/HBase/Spark/Storm 等技术及其 生态圈 ;6、沟通能力好、责任心强,具有良好的团队合作精神 和敬业精神 ;数据仓库工程师的主要职责 4职责:1. 参与传统数仓和大数据数仓日常开发工作 ;2. 参与大数据仓库设计、规划和开发 ;3. 参与日常工作的优化,提出建设性意见 ;4. 负责管理项目,负责板块内的资源协调、进度管理、 交付管理 ;5. 参与数据仓库、数据集市体系架构的设计、规划与开 发,参与大数据、ETL开发,sql性能优化 任
6、职要求:1. 全日制本科,计算机等相关专业。 3 年以上数仓开发 经验,有银行、金融从业经验者优先。年以上项目管理经验,具备PMP证书优先.3. 熟悉 oracle/hive/spark ,熟悉数据处理和性能优化,有UdF自定义函数、MR开发经验优先;4. 熟悉常用 ETL 工具,熟悉常用的 Linux 指令,熟悉 shell/python 任意一种脚本语言。数据仓库工程师的主要职责 5职责:1. 建设公司级数据仓库,并根据业务变化持续迭代和优化;2. 对业务数据进行梳理和抽象,建设数据仓库的数据模型;3. 对业务数据进行采集、清洗、转换和存储 ;4. 支撑 Bi 、用户数据、 用户运营、 用户画像、 房源数据、 推荐系统等核心数据平台产品 ;5. 研究大数据前沿技术,不断持续优化大数据平台,为 业务提供价值。任职资格 :1. 本科及以上计算机、统计学、数据库、机器学习等相 关专业, 5 年以上数据相关工作 ;2. 对业务数据有敏锐的理解能力,并能快速梳理和分析 业务数据 ;3. 熟练掌握SQL语言、熟悉 MySQL对Shell、Java(主 要开发语言 ) 、 Python 编程非常熟悉 ;4. 熟悉常用的 ETL 技术和原则 ; 精通数据仓库数据库设 计规范和实
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 ISO/IEC/IEEE 39274-1-1:2025 EN Learning technology - JavaScript Object Notation (JSON) data model format and Representational State Transfer (RESTful) web service for learne
- 2026年中国铝筒管行业市场前景预测及投资价值评估分析报告
- 抗疫精神人生价值的实现
- 2025年奇瑞徽银金融车辆融资合同
- 老年人感冒用药
- 全国宣传工作会议精神
- 个人房屋转租合同范本
- 2026年闽北职业技术学院单招职业适应性测试必刷测试卷附答案
- 2026年湖北省黄冈市单招职业倾向性测试必刷测试卷新版
- 2026年四川城市职业学院单招职业适应性考试题库新版
- 2025年安徽省中考语文真题(解析版)
- 人工挖孔桩施工作业指导书
- 医用防护口罩产品风险管理报告
- 助播劳务合同协议书
- 软件工程期末复习题(含答案)
- n1护士考试试题及答案2025
- 青海城市介绍旅游宣传
- 语文单招讲解课件
- 二零二五年度无人机驾驶培训教练员劳动合同范本2篇
- 周一清晨的领导课(原版)
- 民法典婚姻家庭编课件完整版
评论
0/150
提交评论