大数据架构师的主要职责

1、 3/3大数据架构师的主要职责大数据架构师负责解决核心技术问题，并对技术解决方案做出决策。以下是大数据架构师主要职责的详细描述。大数据架构师1的主要职责职责：1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型和大数据战略规划；2.负责公司项目的整体评估、设计、架构和关键模块开发；3.负责架构优化，协助团队解决开发过程中遇到的技术问题；4.负责新技术的研究和与大数据相关的开源组件的研究，并能在团队中推广应用；5.参与数据分析、数据建模、项目核心模块、核心框架开发；6.负责诊断大数据平台的性能规律和问题。工作要求：1.计算机相关专业，本科以上学历，3-5年工作经验，2-3年

2、大数据相关经验；2.具备扎实的大数据和数据仓库理论基础，负责大数据平台或数据仓库的设计；3.对基于Hadoop的大数据系统有深入了解，有相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、卡夫卡、Redis、ES等)的项目应用研发经验。)，有Hadoop集群建设和管理经验，花Hadoop和Spark源码；4.熟悉Linux和Python语言，了解Scala原理和底层技术；5.熟悉分布式系统的体系结构，设计和优化分布式系统，具有清理、分析、处理和存储海量数据的相关实践经验；6.算法基础扎实，熟悉常见数据结构，对上述分布式算法和分布式系统有深入了解。7.必须有一线编码

3、的能力；8.统计和数学知识，海量数据处理、分析和挖掘，有大型互联网公司经验者优先。大数据架构师2的主要职责职责：1.负责大数据基础和应用平台的总体规划和架构设计，参与需求分析、架构设计、详细设计和技术选择决策2.参与数据挖掘和建模相关核心算法的代码实现3.负责大数据算法平台的技术控制、性能优化、架构质量控制，解决项目的技术问题；评估R&D项目和任务的要求，设计方案，划分任务，指导工程师完成开发4.带领团队在大数据算法平台上提供并实现数据访问、数据挖掘分析和数据可视化的架构设计和能力，支持解决方案的实施5.负责数据库设计、应用架构设计、核心技术选择等。6.协调并解决开发、设计和监控运行指标中的技

4、术问题，以确保系统的稳定运行7.培训和指导有能力的员工，指导工程师实施技术验证，解决关键技术问题，解决开发过程中的技术问题工作要求：1.熟悉大数据和数据仓库的系统架构设计方法2.精通HadoopSpark架构和生态学的使用和理解。(Hadoop，Hive，Hbase，Elasticsearch，卡夫卡，SparkFlink等。)3.熟悉分布式系统架构，具有分布式实时、离线和机器学习平台的架构和开发经验，有清理、分析、处理和存储海量数据的实际经验4.精通JAVA，有大规模分布式系统调优经验5.熟悉AI相关算法，机器学习，深度学习。熟悉AI学习开源框架(Tensorflow，PyTorch等。)为

5、佳；6.有良好的团队精神，对工作充满热情。7.熟悉FusionInsight平台开发经验者优先大数据架构师的主要职责3职责：(1)负责公司大数据平台的建立、相关设计和技术开发，以及大数据存储系统、分布式计算系统、数据集成和挖掘算法的设计、研发、维护和优化(3)联系通信业务系统R&D团队和产品部门，提供数据驱动方面的专业咨询解决方案，对业务的大数据应用场景提出建设性意见；(4)配合部门领导进行项目需求分析、设计和开发。工作要求：(1)计算机科学、统计、数学等相关专业本科以上学历，5年以上大数据或文化旅游、教育数据产品设计开发经验，高效优质的输出要求和技术文档；(2)精通Hadoop，熟悉大数据生

6、态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等。具有大型集群架构、开发和运维经验；熟悉HDFS/MapReduce；(3)熟悉Java，能够独立应用python、R、SAS或类似的分析工具进行数据分析；(4)熟悉大数据挖掘、可视化分析、各种BI算法和产品等。在计算广告、搜索引擎、推荐系统、用户画像等一个或多个算法领域有研发经验。并且可以使用数据作为产品来解决业务运营。和决策问题；(5)有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验者优先；(6)工作认真负责，良好的团队精神，良好的分析能力和沟通能力

7、。大数据架构师的主要职责4职责：1.负责公司大数据平台的设计开发，负责spark、hadoop、flink等云计算平台的开发优化；制定数据架构规范，编写核心代码，指导团队落地；2.负责数据基础设施和数据处理系统的升级和优化，解决技术问题，不断提高核心系统的性能，确保系统安全、稳定、高效运行3.设计并实施对商业智能分析、数据产品开发和算法开发的系统支持4.研究未来数据模型和计算框架的创新和落地，包括但不限于以下领域：实时大规模数据、敏捷R&D模型、轻量级数据计算框架、作战数据模型组织等。参与团队技术发展路线的制定和实践5.在公司内外建立良好的技术影响力；参与未来数据人才的培养；有效指导团队提高数

8、据研究和开发能力工作要求：1.具有很强的数据设计抽象能力，善于从复杂的数据问题中寻找关键路径，能够开发创新实用的分析方法来解决复杂的业务问题2.有作为技术负责人系统解决问题的成功案例；有海量数据建模实践经验者优先3.精通Hadoop、Spark、Flink、HBase的原理、特点和适用场景，精通流媒体计算开发，有开源二次开发经验者优先，有NLP数据处理经验者优先4.性格积极乐观，诚实，自我驱动，语言表达能力强；强烈的进取精神、求知欲和团队精神；良好的沟通、团队合作、计划和创新能力5.本科以上学历，扎实的计算机专业基础，5年以上大数据平台开发经验；大数据架构师的主要职责5职责：1.负责大数据平台的技术选型，基于Spark和Hadoop大数据平台的建设和开发；2.完成大数据系统架构和数据层架构的设计，包括数据模型设计、数据采集和数据存储；3.搭建数据中间平台，为各种行业应用提供主数据(纵向标签/关系图)、数据模型、人工智能业务算法和数据服务。4.评估海量数据处理的业务需求，设计解决方案，拆分任务，指导工程师完成开发；5.领导大数据技术团队在大数据平台上提供并实现数据分析和数据可视化的架构设计，支持解决方案实施。工作要求：1.本科以上学历，5年以上大数据架构设计开发经验；至少2年领导团队的经验；沟通能力强。大数据弧2.熟悉整个大数据的完整处理流程，包括数