数据仓库工程师的主要职责

数据仓库工程师的主要职责 数据仓库工程师负责数据质量问题的分析、跟进、解决，进行数据质量监测、校验和提升。以下是小编整理的数据仓库工程师的主要职责。数据仓库工程师的主要职责1职责：1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发，创建数据仓库、数据集市2.熟悉数据仓库领域知识，从架构和技术层面参与建设数据仓库，包括元数据管理、数据质量、主数据管理、性能优化和调优。3.负责数据仓库平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片任职资格:1. 本科或硕士以上学历，计算机工程相关专业2. 熟悉大数据相关技术能力(hadoop/mapreduce/hive/hbase等),熟练进行数仓hive建设和软件架构,较强的数据抽象能力3.精通sql，具备海量数据处理和hive/spark性能调优经验,3年以上大规模分布式数据仓库建设经验4.熟练使用druid/kylin之一进行数据挖掘模型设计，熟练掌握java/scala之一，具备良好的coding素养和习惯,了解脚本语言，如python、shell等5.强烈的责任心,工作态度积极主动，有较好的团队精神和沟通能力，工作细致认真数据仓库工程师的主要职责2职责：1、负责etl开发、作业调度和数据平台建设2、负责数据仓库的设计、开发和优化，建立结构层次合理、灵活可扩展的数据仓库3、设计并研发bi分析相关的数据产品4、结合对数据的理解和业务需求，对数据进行整理、分析和挖掘任职要求1、计算机相关专业本科及以上学历，有2年以上数据仓库、etl工作经验2、有海量数据处理、etl及作业调度优化、数据仓库建模等经验3、熟悉linux、sql、python或java、shell脚本，有hadoop/hive/spark/hbase/kylin/impala等大数据技术使用经验4、逻辑清晰，对数据敏感，深入了解业务，具备自己独特的想法并能提出合理的建议数据仓库工程师的主要职责3职责：1、负责制定数据仓库平台技术体系架构、数据架构及规范;2、负责设计和实施公司业务数据的实时/离线数据etl架构方案;3、负责调度架构设计与开发;4、负责数据仓库平台运维以及日常数据运营等管理;5、负责关键技术攻关;任职要求：1、5年以上数据仓库项目开发经验，参与过数据仓库架构设计，对etl开发流程、调度架构有深入理解;2、精通mysql、 oralce 、greenplum等至少一种数据库，丰富的sql性能调优经验;3、熟练使用java、shell、python、perl等至少一种脚本语言;4、熟悉数据治理理论，数据质量、元数据管理流程和方法;5、了解hadoop/hive/hbase/spark/storm等技术及其生态圈;6、沟通能力好、责任心强，具有良好的团队合作精神和敬业精神;数据仓库工程师的主要职责4职责：1.参与传统数仓和大数据数仓日常开发工作;2.参与大数据仓库设计、规划和开发;3.参与日常工作的优化，提出建设性意见;4.负责管理项目，负责板块内的资源协调、进度管理、交付管理;5.参与数据仓库、数据集市体系架构的设计、规划与开发, 参与大数据、etl开发，sql性能优化。任职要求：1.全日制本科，计算机等相关专业。3年以上数仓开发经验，有银行、金融从业经验者优先。2.2年以上项目管理经验，具备pmp证书优先.3.熟悉oracle/hive/spark，熟悉数据处理和性能优化，有udf自定义函数、mr开发经验优先;4.熟悉常用etl工具，熟悉常用的linux指令，熟悉shell/python任意一种脚本语言。数据仓库工程师的主要职责5职责：1.建设公司级数据仓库，并根据业务变化持续迭代和优化;2.对业务数据进行梳理和抽象，建设数据仓库的数据模型;3.对业务数据进行采集、清洗、转换和存储;4.支撑bi、用户数据、用户运营、用户画像、房源数据、推荐系统等核心数据平台产品;5.研究大数据前沿技术，不断持续优化大数据平台，为业务提供价值。任职资格:1.本科及以上计算机、统计学、数据库、机器学习等相关专业，5年以上数据相关工作;2.对业务数据有敏锐的理解能力，并能快速梳理和分析业务数据;3.熟练掌握sql语言、熟悉mysql，对shell、java(主要开发语言)、python编程非常熟悉;4.熟悉常用的etl技术和原则;精通数据仓库数据库设计规范和实操;5.熟悉hadoop、hive、hbase、spark、storm等开源平台者优先;6.具有较强的分析和解决问题的能力，良好的学习能力和团队合作精神，