大数据架构师工作的岗位职责

大数据架构师工作的岗位职责 大数据架构师负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能。下面是小编整理的大数据架构师工作的岗位职责。大数据架构师工作的岗位职责1职责：1、负责大数据平台技术框架的技术选型和搭建;2、负责核心技术问题公关，建设高可靠性，扩展性及高性能大数据/数据应用平台;3、负责规划数据挖掘的整体流程，负责大数据开发团队业务需求开发;4、与其他团队密切配合，寻求数据层面的业务价值，利用数据分析结论推动产品优化;5、研究和分享大数据架构领域新技术。任职要求：1、计算机相关专业全日制统招本科及以上;2、5年以上工作经验，至少3年以上大数据项目相关工作经验，能够设计大型大数据系统的架构和技术方案;3、精通hadoop/spark/hbase/hive等大数据技术,精通etl技术;4、熟悉数据挖掘，了解典型大数据算法和策略;5、熟悉主流java技术框架，精通关系型数据库及sql语言，熟悉nosql/json/xml;6、有较强的学习能力和问题解决能力，逻辑严密、思路清晰;7、有数据仓库经验者优先，有金融行业项目经验者优先。大数据架构师工作的岗位职责2职责：1、负责dmp技术架构设计与构建，根据业务规划及技术规划制定应用架构方案;2、负责设计构建dmp数据采集、存储及分析框架，设计数据处理的技术流程和规范;3、负责核心功能的架构与代码模板编写，开发与维护系统公用核心模块;4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。岗位要求：1、计算机或相关专业本科以上学历，三年以上的开发经验，二年以上大数据相关软件架构的实际经验;2、精通大数据处理技术，熟悉hadoop/storm技术体系，有hadoop、hive、hbase项目经验;3、具有较强的架构能力，具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;4、对数据敏感，洞察力强，了解国内外广告发展趋势;5.、擅长系统分析与设计，精通常用的设计模式，擅长性能调优;6、熟悉dmp/rtb技术原理，了解用户的行为分析及建模;有rtb/dsp/ssp/exchange/dmp等广告行业从业经历。大数据架构师工作的岗位职责3职责：1、负责spark, hadoop, flink等开发和优化。2、参与前期需求沟通和分析，以产品化开发的思维，完成需求分解和数据架构设计。3、与研发和数据科学家合作保证产品定义清晰，按时完成产品上线。4、能够洞察市场状况，与各部门合作转化为基于大数据挖掘的新策略或方案.5、主动创造和发掘新的基于大数据挖掘产品商业模式.任职要求：1、全日制本科及以上学历，计算机软件相关专业，5年以上开发经验，3年以上架构经验2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式数据存储和分布式计算平台原理，流式计算开发，有开源二次开发经验者优先。3、精通大数据挖掘、机器学习.熟练掌握java/perl/python至少一种编程语言。4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;5、良好的跨部门沟通合作能力，解决不同观点能力并取得结果。具备敏锐的互联网产品理解力，学习能力和逻辑思维能力强;6、较强的自我驱动力、推动和协调能力，强烈的责任心和团队合作精神;大数据架构师工作的岗位职责4职责1、负责大数据架构设计，包括定义数据的存储、集成(etl)、应用，支撑业务运营和数据分析类需求实现;2、制定数据治理领域的数据体系化管理措施，包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作，确保数据可信与安全;3、基于行业数据积累，满足业务的数据挖掘需求，实现从数据到资产的转变，根据目标行业建立具有前瞻性的数据模型;4、对各产品的数据安全负责，主导制定和实施数据库系统安全策略，保证整体方案数据安全;岗位要求业务技能要求：1、深入理解云化、数据仓库，在参与过的系统设计中，必须涉及这两项关键技术;n2、精通或者熟悉hadoop体系架构，以及hdfs/hbase/hive/mapreduce/spark等技术，了解体系架构各组件的优缺点，有直接的产品设计与开发、部署、调优的经验;3、精通或熟悉常见rdbms(oracle / postgresql / mysql)、nosql(redis / memcached/ mongodb)、全文搜索引擎(solr/elasticsearch)的使用及开发，了解各数据库优缺点， 熟悉与架构设计相关的数据存储、性能调优等相关领域知识，有相关项目经验尤佳;4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案，具有数据分析或数据挖掘相关经验者优先;n5、熟悉数据治理相关流程，包括数据接入、数据处理、数据治理、数据组织、数据服务等。专业知识要求：1、具备数据治理的知识与体系方案，包含政策、组织、角色、流程、规范等，以及规划相应的支撑方案。了解业界的数据管理方法论;2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别，将业务需求转化为数据的需求，完成数据用例的设计和开发;3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。大数据架构师工作的岗位职责5职责：1. 负责大数据平台的基础技术规划，编制相关规范文档。2. 负责大数据平台的数据采集，处理，存储以及挖掘分析的架构实现。3. 负责大数据平台的实际规划建设，包括环境和框架的规划搭建以及部分核心编码工作。4. 负责大数据相关技术发展方向的预研。5. 参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目。6. 制定大数据平台中数据质量，业务质量监控及管理办法。岗位要求：1. 全日制本科及以上学历，5年以上工作经验，4年及以上大数据架构设计经验，熟悉大数据解决方案，包括hadoop平台、spark、storm、机器学习、深度学习等大数据解决方案。2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。3. 精通大型数据库oracle、sqlserver等的开发。4. 精通java，python中的一种或多种语言。5. 熟悉容器、虚拟化、微服务框架