大数据运维工程师的职责精选

1、大数据运维工程师的职责精选大数据运维工程师负责大数据平台的稳定性和性能优化。下面是小编为您精心整理的大数据运维工程师的职责精选。大数据运维工程师的职责精选1职责：1、负责大数据平台Hawq数据库运维 ;2、负责大数据平台Tbase 数据库运维 ;3、负责传统数据(Oracle 、 MySQL等数据库 ) 数据迁移、数据同步 ;4、负责日常数据库的监控及问题分析排查;5、负责 OGG、 Kafafa 等组件数据传输同步日常运维;6、负责数据库的优化、SQL语句的优化调优;7、负责数据同步的检验与异常处理，确保数据的一致性、完整性、及时性;8、负责制定数据同步方案及实施。任职要求：1、大专或以上学

2、历，计算机或统计类相关专业2、有 3 年以上技术类或数据类的开发经验;3、熟练 linux系统操作及linux运维监控、软件安装配置 ;4、熟悉大数据技术， 如 Hadoop、Spark 、storm 、zookeeper等;5、熟悉主流数据库mysql/sqlserverl/oracle/postgreSQL等，精通 SQL语句，对复杂 SQL能进行优化，能熟练编写存储过程;6、熟练 Linux SHELL ，可以进行运维SHELL开发 ;7、学习能力强，责任心强，具有优秀的沟通表达、理解能力与团队合作能力;8、有 CentOS 7、Red Hat 7 等 Linux 操作系统， 有 She

3、ll脚本编写经验的优先。9、有3年以上的基于 MPP(greenplum ,HAWQ,Vertica,GBASE 等 MPP DB)数据仓库的实际运维经验或 3 年以上 HIVE 、SPARK 实际项目运维经验10、在实际项目中，有异构数据库迁移经验，从传统ORACLE,MYSQL迁移至 MPP数据仓库的实战经验.大数据运维工程师的职责精选2职责 :1. 负责公司核心集群的运维工作, 任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;2. 负责集群容量规划、扩容及集群性能优化;3. 基于大数据应用需求，持续优化 Hadoop 框架及组件的配置，提升性能 ;任职资格：1. 大专以上计算

4、机，通信和网络相关专业;2.3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验;3. 对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优,性能优化等有实际经验;4. 有实际踩坑经历 , 对于相关组件的版本跟进 , 补丁跟踪 , bug 追踪等有相关经验 ;5. 实际处理过各种集群在线版本升级 , 数据迁移 , 集群扩容 , 稳定性监控等工作 ;6. 熟悉 Kerberos安全认证系统，实施过集群权限管理,资源隔离方面的方案规划或二次开发工作;7. 能维护 Hadoop 源码，有 Hadoop 源代码 BUG修复或者源

5、代码优化经验者优先 ;8. 有 Cloudera 的 CM使用经验尤佳。大数据运维工程师的职责精选 3职责：1 负责政务云平台、政务应用系统中数据库业务的日常运维，保障平台及应用系统服务7*24 稳定可靠高效运行2 负责数据库性能调优，了解锁与隔离机制，协助客户解决数据库性能瓶颈3 制定数据库使用规范，制定数据库备份、升级、迁移规划并部署实施4 参与数据库设计工作，提高数据库维护自动化水平5 熟悉 Linux操作系统，熟练使用Python ， Go，Shell等至少一种语言岗位要求：1) 5年以上 Oracle/MySQL DBA从业经验 ;2) 熟练掌握 Oracle/MySQL 数据库的基

6、础理论知识、运行机制、 体系架构、 高可用方案、 备份机制、 容灾机制等 ;3) 熟练掌握数据库性能优化，了解主流的分布式数据库 Spanner/Cassandra;4) 熟悉 Linux/Unix操作系统，对服务器硬件有一定了解 ;5) 熟练掌握 golang 、Python 、Java 等语言中的一种 ;6) 熟悉阿里云产品线，具备 ACP认证者优先考虑 ;大数据运维工程师的职责精选4职责：- 负责局点大数据平台的部署、 管理、优化、监控报警，保障平台服务7*24 稳定可靠高效运行;- 深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;- 开发大数据自动化运维、监

7、控报警、故障处理相关脚本和工具 ;- 负责 Hadoop/spark/Kafka 等集群服务、业务监控、持续交付、应急响应、容量规划等。要求：- 4 年以上运维相关工作经验，有大数据平台运维相关工作经验优先 ;- 具备一定的故障排查能力，有良好的技术敏感度和风险识别能力， 精通一门以上脚本语言 (shell/python 等 ) ，熟悉 Http/Https 、 TCP/IP 、 SMTP等协议 ;-熟悉 Linux(redhat/centos)软硬件环境、 系统管理和优化，熟练部署、优化各种常用服务。熟练使用Linux命令和常用的 ssh 、 ftp 、git 、 maven等开发工具 ;-

8、 熟 悉 Hadoop 大 数 据 生 态 圈 ， 包 括 但 不 限 于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等 ;- 熟悉 Hadoop 各组件的原理和实现，有实际部署维护、管理 ( 包括元数据管理 ) 及优化经验。并拥有持续调优能力，运维管理过大规模数据平台 ;-熟悉掌握常用的安全协议和组件服务，对hadoop 各组件的权限、 安全、kerberos 进行配置管理。 熟悉 SSL、ACL、 kerberos 等在大数据环境场景的使用

9、;- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等 ) 和相关插件的开发。比如邮件、短信、微信报警插件等;-熟悉常用 nginx/haproxy/varnish/netscaler等代理工具的使用和优化;- 具备良好的服务意识， 善于主动思考， 自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力 ;- 有大数据开发经验和阅读源码能力者优先大数据运维工程师的职责精选 5职责：1、负责银行各类应用系统的运维标准制定和运维管理等工作 ;2、负责银行各类应用系统的运行情况及相关技术的整理、分析和总结等工作;3、负责银行各类应用系统的应用监控、应用运维体系工具的建设和维护工作;4、负责银行各类应用系统的自动化脚本编写和测试工作。招聘要求：1、全日制一本以及以上学历，理工类专业;2、具备 2 年及以上应用系统运维或应用系统开发经验，有银行应用系统运维或开发经验者优先;3、具备较强的文档编写、英语文档阅读能力;4、具备良好的沟通表达能力和团队合作精神，具有较强的工作责任心和主动性;5、至少具备以下二项技能：(1) 熟悉银行应用系统体系架构、应用运维标准化流程;(2) 熟悉 AIX 、LInux 操作系统相关运维工作，具备熟练的 SH