大数据运维工程师的工作职责

大数据运维工程师的工作职责 大数据需要负责公司产品的技术支持、安装调试、客户使用培训及相关硬件的安装调试。下面是小编为您精心整理的大数据运维工程师的工作职责。大数据运维工程师的工作职责1职责：1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;3、负责和参与自动化运维系统及平台的建设;4、负责优化部门运维流程提升运维效率。任职要求：1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;2、熟悉linux操作系统及常见开源软件(nginx,tomcat,zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;3、熟悉hadoop/kafka/hbase/spark/elasticsearch/hive的组件原理及运维方式;4、精通python,shell,了解java;有良好的系统性能优化及故障排除能力;5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;6、具备较好的沟通能力、主动性和团队合作精神。大数据运维工程师的工作职责2职责：1、负责hadoop、hbase、hive、spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;4、设计实现大规模分布式集群的运维、监控和管理平台;5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。岗位要求：1、掌握linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;2、熟练掌握python, shell中的至少一门语言，有python运维工具开发经验优先;3、熟悉 hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于hadoop、hbase、hive、spark、impala、zookeeper、kafka、elasticsearch、oozie、yarn、scribe、flume、storm等;4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;5、熟悉zabbix/ganglia/prometheus/grafana系统的组合构件及使用;6、精通elk系统，有过大规模elk配置管理、调优经验，有过elasticsearch搜索和分析引擎开发经验者优先;大数据运维工程师的工作职责3职责：1、负责大数据平台架构的规划、设计、搭建;2、负责大数据平台的运维保障工作;3、负责运维相关数据分析，以及报表产出;4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;6、研究跟进大数据架构领域新技术并分享。工作要求：1、熟悉大数据产品生态圈，包括但不限于hdfs、yarn、hive、hbase、spark等;2、精通linux/unix系统;3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/c/c+/golang等开发语言一种及以上;4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。大数据运维工程师的工作职责41.负责公司大数据业务集群的运维工作(hadoop/hbase/hive/yarn/spark/impala/kudu等)确保集群环境的稳定可用;2.负责集群容量规划、扩容及性能优化;3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;4.设计实现大规模分布式集群的运维、监控和管理平台;5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;7.参与例如服务器维护、项目维护、监控维护等常见运维事务大数据运维工程师的工作职责5职责：1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及hdp/hadoop/spark/tensorflow/flink/storm/presto/kudu/alluxio等开源组件;2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;4. 参与开源社区建设，提升公司开源影响力;任职条件：1. 熟悉hadoop工作原理，熟悉hadoop、hive、storm、presto、flink、 alluixo、kudu等开源组件的搭建、维护以及问题定位;2. 熟悉linux操作系统，熟练掌握linux常用命令,了解ansible/puppet;3. 熟练掌握shell/python/java;4. 熟悉hive/spark sql工作原理，熟悉sql语法，掌握数据库的维护工作;5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;6. 有大数据平台维护经验优先;7. 掌