大数据运维工程师工作的岗位职责

大数据运维工程师工作的岗位职责 大数据运维工程师需要明确工作范围，定期与客户沟通工作量，并获取客户回执，及时归档。以下是小编整理的大数据运维工程师工作的岗位职责。大数据运维工程师工作的岗位职责1职责：1、负责公司大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;3、深入研究大数据业务相关自动化运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;任职要求：1、熟悉linux系统及基础命令操作，能够独立编写shell或python脚本，开展日常服务器的运维工作;2、熟悉并不限于大数据生态圈hadoop、strom、spark、hdfs、kafka、zookeeper、hbase、redis、elasticsearch、fastdfs等相关基础组件的框架知识和运行原理;3、熟悉软硬件设备，网络原理，有丰富的大数据平台(cdh、hdp)部署、集群运维和性能优化等经验;4、具备一定的系统自动化运维理论体系和实际经验，能够利用各种开源监控工具、运维工具，ha、负载均衡软件完成工作任务;5、具备较强的学习能力、抗压能力、动手能力和分析解决问题的能力;6、熟悉jvm虚拟机调优;7、熟悉jenkins持续集成;8、有一定的文档编写能力;9、能适应短期出差,有公安视频图像侦查业务方向经验者优先;大数据运维工程师工作的岗位职责2职责：1.负责公司大数据平台的运维保障;2.负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;3.为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;4.负责生产及测试集群诸如故障定位恢复、系统安全、性能优化等;任职要求：1.计算机相关专业本科及以上学历，3年以上相关工作经验2.精通hadoop大数据生态圈，熟悉hadoop各组件的原理，并有实际部署维护经验;包括但不限于hdfs、yarn、kafka、spark、hbase、kerberos、hive、kudu、zookeeper等;3.具备很强故障排查能力，有很好的技术敏感度和风险识别能力,良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强;4.有相关动态编排容器技术和虚拟化技术工作经验者优先;5.深入理解hadoop各组件的原理和实现，有阅读源码能力者优先;6.具备很强的ownership，故障排查能力，有很好的技术敏感度和风险识别能力。大数据运维工程师工作的岗位职责31、负责建设大数据平台的规划、架构设计和技术选型;2、开发和使用hadoop大数据自动化运维与监控工具;3、基于大数据应用需求，负责优化平台的性能，消除性能瓶颈，解决业务的疑难问题;4、熟悉hadoop、hive、hbase、storm、spark等技术框架; 熟悉java、scala、sqllite等相关技术;具备软件设计、编码开发测试、文档编写的能力;5、积极了解业界发展、互联网相关新技术及趋势，参与规划公司大数据产品未来技术架构方向;6、负责大数据平台内部所涉及到的各类数据库、数据存储的搭建、备份、日常维护、性能调优;以及大数据平台系统运维、监控和故障分析与处理;7、能够很好的和其它团队的同事沟通协作;8、负责文档的书写和完善，保证文档的及时更新;9、有大型开源系统维护经验优先。大数据运维工程师工作的岗位职责4职责1、负责企业大数据平台的运行监控维护，及时发现并解决平台故障和数据处理异常;2、负责大数据平台的数据运营，开展数据采集和数据清洗稽核，保障数据质量，支撑应用开展需要，为数据应用开发团队提供支撑;3、负责完善数据平台的运维监控和数据质量保障手段，负责相应运维脚本、数据分析脚本的开发和部署;4、对数据平台运营情况进行分析和总结，并提出优化建议。应聘资格要求1.2019届全日制统招应届硕士及以上(特别优秀的可放宽至本科)(不含专升本、二级学院)。2.英语水平：达到国家四级或四级考试425分以上。3.身体健康，举止大方，具备良好的素质修养。4、较强的执行能力、组织协调能力、学习分析能力、沟通协调能力及良好的文字表达能力。5具有较高的企业忠诚度和良好的道德修养，爱岗敬业，有事业心、责任心、团队合作精神。大数据运维工程师工作的岗位职责5职责：1、负责大数据环境的现场运维和实施。2、负责大数据环境的故障分析、问题排除;3、负责大数据环境(hadoop生态)集群环境安装、维护、部署、优化。任职要求：1、精通hadoop生态圈各个组件原理。2、具备hadoop/kafka/zookeeper/spark/storm/flume/hive等集群运维经验者优先。3、熟悉mysql、oracle等主流数据库4、熟悉linux操作系统、shell脚本5、掌握py