大数据工程师就业班升级课程简介.docx

上海海文信息技术有限公司 海文国际大数据学院大数据工程师就业班升级课程简介【一次付费、终身学习、高薪就业、省钱省心】目录一、【课程概述】二、【适用人群】三、【ORACLE OAEC大数据学院10大优势】四、【课程内容介绍】课程模块1：LINUX系统 + SHELL编程课程模块2：SQL+RDBMS (ORACLE+MYSQL数据库)课程模块3：NOSQL+APP SERVER（Apache+Tomcat+Ngix）课程模块4：JAVA大数据开发课程模块5：HADOOP大数据管理与开发课程5.1 Hadoop 2之搭建伪分布实验环境课程5.2 Hadoop 2之HDFS体系结构课程5.3：介绍MapReduce体系结构及各种算法课程5.4： zookeeper课程课程5.5： HBase数据库课程5.6：CM+CDH集群安装与管理课程5.7：Hive课程课程5.8：Sqoop课程课程5.9：Flume课程课程5.10：Kafka课程课程5.11：Storm课程课程5.12：Spark课程课程5.13：Scala课程课程5.14：Python课程（数据获取、数据分析、数据挖掘）课程5.15：Mahout课程（数据挖掘、机器学习）课程5.16：Kylin课程五、【大数据项目实践】一、【课程概述】Hadoop作为大数据批处理的利器，在数据密集的行业如电信、保险、金融、互联网等公司都有大量应用。但是，仅靠hadoop自身还不行，还需要大量的围绕hadoop而生的外围框架如HBase、Hive等，我们课程中都进行了详细讲解。精讲的意思是进入新公司直接上手干活，不需要二次学习。Hadoop应用于存量数据的批处理，如果是一些实时数据，怎么办哪？会有Storm、Spark作为解决方案，这也是我们课程的重点。二、【适用人群】本课程适合以下人员学习：毕业打算找大数据工作的零基础在校生工作多年欲转换做大数据工作的在职人员三、【ORACLE OAEC大数据学院10大优势】以就业为导向我们设计课程的出发点是就业，一切围绕着高薪就业；360度全方位服务教务、教学、就业与后勤，打造360全方位服务体系；并针对招聘需求的技能要求设计与更新课程，保证轻松面试和轻松工作；课程更新迭代课程内容每一期都有升级，保证学习到最新最贴近实际的技术；O2O同步学习线下面授+线上直播（在线答疑、学习跟进），统一线下面授，课程同步到线上直播，并提供录播视频，随时随地，想学就学；终身教育一次缴费，终身复训，直到你学会为止，并无需额外缴费；保证就业可以签署就业协议，保证找到高薪工作人脉圈子所有学习过的学员都汇集在一起，组成了强大的人脉圈子，ORACLE客户企业都是世界500强、大公司，往期毕业生都分布在这些大公司里，这是最宝贵的资源；以人为本我们培训关注的是学员的职业发展，而不纯粹是某门技术的培训，不仅让学员学会技术，同时注重学员的全方位发展，硬技术+软件技能，让学员在未来的职业发展道路上更稳健；ORACLE原厂讲师Oracle公司是世界上最大企业级软件提供商之一，现在最热门的技术，包括：JAVA、Mysql、Oracle等技术都是oracle所有，我们讲师都来自原厂讲师，无论是技术经验还是教学经验都非常丰富；扶君上马送君一程对这个课程的学习仅仅是一个开始，在学习结束有就业指导和就业推荐。当您刚刚进入工作岗位时，工作中遇到问题可以咨询我们的讲师，我们也会帮你顺利度过入职后工作中遇到的难关；四、【课程内容介绍】课程模块1：LINUX系统+ SHELL编程通过本模块的学习，让学员系统地掌握企业级LINUX操作系统，熟练操作与管理LINUX系统及运行在LINUX系统上的各种应用与服务；如今大数据平台只能部署在LINUX环境下，学完本模块内容对大数据系统的部署、管理、维护与优化打下坚实的操作系统基础；讲解知识点：阐述LINUX系统的历史、发展与企业应用现状；阐述市面上各大流行的LINUX版本及区别；动手安装一个企业级应用的LINUX系统；阐述LINUX目录结构与命令的使用；理解并熟练操作LINUX系统下组、用户与权限管理；理解并熟练操作LINUX系统下目录与文件管理；理解并熟练操作LINUX系统下编辑器VIM的使用；理解并熟练操作LINUX系统下的SHELL、环境变量与脚本；理解并熟练操作LINUX系统下I/O、管道与重定向；理解并熟练操作LINUX系统下进程管理；理解并熟练操作LINUX系统下网络、防火墙、访问控制；理解并熟练操作LINUX系统下各种服务的配置（FTP、HTTP、DNS、SAMBA、SSH等）；理解并熟练操作LINUX系统下存储的管理（文件系统、LVM、裸设备等）理解并熟练操作LINUX系统下ORACLE数据库的安装与配置；深入理解脚本语言，了解现在流行的脚本语言类型及应用状况；理解并应用SHELL命令与SHELL脚本的区别与应用场景；理解并实践应用SHELL变量类型与设置；理解并实践用SHELL正则表达式；熟练应用sed和awk文字流处理；理解并实践应用SHELL脚本的测试方法；理解并实践应用SHELL控制结构；理解并实践应用SHELL脚本的调试与跟踪；能自己动手编写种SHELL脚本进行自动控制与维护应用与服务；课程模块2：SQL+RDBMS (ORACLE+MYSQL数据库)ORACLE数据库占现在关系型数据库商业市场56%以上的份额，世界500强企业中有98%的企业都选择用ORACLE数据库作为公司核心数据库。此模块为ORACLE 11G OCP课程的全部内容，学完此模块，学生有能力通过ORACLE 11G OCP国际认证考试，并掌握企业中数据库管理的实践操作技术；在未来，ORACLE数据库与大数据的发展紧密结合、相辅相成，学好ORACLE数据库是理解大数据平台对海量数据的存储与处理的前提；MYSQL是中小型企业与互联网企业广泛使用的关系型数据库系统，且MYSQL是大数据平台的主要数据来源之一；讲解知识点：熟悉结构化查询语言（SQL）发展历史、功能、语句分类；熟练掌握结构化查询语言（SQL）的实际用法；熟练掌握数据库中的各种对象（表、视频、索引、同义词、存储过程、函数等）；熟练掌握SQL语句对数据库中的对象进行操作（创建、修改、插入、更新、删除、合并）；熟练掌握ORACLE数据库中的各种函数的应用；熟练掌握ORACLE数据库中子查询、分组、过滤、集合操作、数据并发的应用；熟练掌握ORACLE数据库的体系结构；熟练掌握ORACLE数据库的创建与管理（单实例管理、数据库管理）熟练掌握ORACLE数据库网络环境、数据库安全管理、数据并发管理；熟练掌握ORACLE数据库回滚数据的管理；熟练掌握ORACLE数据库的备份与恢复，并对数据库进行备份与场景恢复；熟练掌握ORACLE数据库的迁移（同构迁移与异构迁移）；熟练掌握ORACLE数据库闪回技术；熟练掌握ORACLE数据库优化（内存优化、SQL优化）熟练掌握ORACLE数据库资源与调度管理；熟练掌握ORACLE数据库的复制；熟练MYSQL数据库的体系结构，与ORACLE数据库的区别；熟练掌握SQL在MYSQL数据库的应用；熟练MYSQL数据库的创建、数据库中各对象的创建；熟练操作MYSQL数据库，掌握MYSQL引擎的选择、参数的配置；熟练掌握MYSQL数据库的备份与恢复工具，并实践数据库的备份与恢复；熟练掌握MYSQL数据库在LAMP/LNMP架构中的应用；掌握MYSQL数据库与ORACLE数据库的数据迁移与融合；课程模块3：NOSQL+APP SERVER（Apache+Tomcat+Ngix）互联网时代，数据的来源多样性，传统的RDBMS就会不了Web2.0的快速发展，特别是超大规模和高并发的社会性网络服务类型的web2.0纯动态网站已经显得力不从心；NoSQL（NoSQL=Not Only SQL），意即“不仅仅是SQL”，越来越多的NOSQL数据库被应用，也是大数据时代半结构化与非结构化的主要数据来源；本模块内容概要如下：主流NOSQL数据库的介绍；NOSQL与SQL对比；MongoDB简介；Linux如何安装MongoDB；MongoDB概念解析；MongoDB精讲；Redis简介、安装与配置；Redis数据类型、常用命令；Redis精讲；Apache安装与配置；Tomcat安装与配置；Ngix安装与配置；课程模块4：JAVA大数据开发JAVA是大数据应用业务逻辑与前端展现的主要开发语言之一，本模块是大数据工程师方向的必备内容；讲解知识点：熟悉JAVA语言的特点、发展历史与市场应用的现状熟练掌握JAVA开发环境的部署、开发工具的应用、JAVA程序的调试熟练掌握JAVA语言中的数据类型与变量熟练掌握JAVA语言中的运算符与运算因子熟练掌握JAVA语言中条件控制结构熟练掌握JAVA语言中的循环控制结构熟练掌握JAVA语言中数组的应用熟练掌握JAVA语言面向对象编程熟练掌握JAVA语言中高级特性熟练掌握JAVA语言中程序的异常处理熟练掌握JAVA语言中泛型的应用熟练掌握JAVA语言中集合的应用WEB前端开发课程模块5：HADOOP大数据管理与开发Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是企业搭建大数据应用平台的首选技术架构；各行各业对大数据平台的部署、管理以及数据挖掘和数据分析等岗位人才一票难求；在前五个模块的基础之上，通过本模块的学习让学员系统的掌握大数据在企业中的建模、开发、管理与维护等实践技术；本模块将对17个大数据技术进行精讲，覆盖Hadoop大数据技术生态系统；课程5.1 Hadoop 2之搭建伪分布实验环境本节是最基本的课程，属于入门级别，主要讲述在linux单机上面安装hadoop的伪分布模式，在linux集群上面安装hadoop集群。对于不熟悉linux的同学， 课程中会简单的讲解常用的linux命令。这两种是必须要掌握的。通过现在的教学发现，很多同学并不能正确的配置环境。讲解知识点：Hadoop概念、版本、历史Hadoop和核心组成介绍及hdfs、mapreduce体系结构Hadoop的集群结构Hadoop伪分布的详细安装步骤如何通过命令行和浏览器观察hadoop课程5.2 Hadoop 2之HDFS体系结构本节是对hadoop核心之一hdfs的讲解。hdfs是所有hadoop操作的基础，属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中，我们会讲述hdfs的体系结构，以及使用shell、java不同方式对hdfs的操作。在工作中，这两种方式都非常常用。学会了本节内容，就可以自己开发网盘应用了。在本节学习中，我们不仅对理论和操作进行讲解，也会讲解hdfs的源代码，方便部分学员以后对hadoop源码进行修改。最后，还要讲解hadoop的RPC机制，这是hadoop运行的基础，通过该节学习，我们就可以明白hadoop是怎么明白的了，不必糊涂了，本节内容特别重要。讲解知识点：Hdfs体系结构详述NameNode、DataNode、SecondaryNameNode体系结构如果保证namenode的高可靠Datanode中block的划分原理和存储方式如何修改namenode、datanode数据存储位置如何使用命令行操纵hdfs如何使用java操作hdfs介绍rpc机制通过查看源码，知晓hadoop是建构在rpc之上的通过查看hdfs源码，知晓客户端是如何与Namenode通过rpc通信的课程5.3：介绍MapReduce体系结构及各种算法本节开始对hadoop核心之一mapreduce的讲解。mapreduce是hadoop的核心，是以后各种框架运行的基础，这是必须掌握的。在本次讲解中，掌握mapreduce执行的详细过程，以单词计数为例，讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型，并使用自定义类型实现电信日志信息的统计。讲解知识点：Mapreduce原理Mapreduce执行的八大步骤详细讲述如何使用mapreduce实现单词计数功能详细讲述如何覆盖Mapper功能、如何覆盖Reducer功能。在各种adoop认证中，这是考察重点详细讲述hadoop的自定义类型Writable接口通过电信上网日志实例讲述如何自定义hadoop类型实例讲述hadoop1的各种输入来源处理器，包括数据库输入、xml文件、多文件输入等，并且讲解如何自定义输入来源处理器实例讲述hadoop1的各种输出来源，包括数据库输出、文件输出等，并且讲解如何自定义输出来源处理器，实现自定义输出文件名称通过源码讲述hadoop是如何读取hdfs文件，并且转化为键值对，供map方法调用的课程5.4：zookeeper课程本节内容与hadoop关系不大，只是在hbase集群安装时才用到。但是，zookeeper在分布式项目中应用较多。讲解知识点：Zookeeper是什么搭建zookeeper集群环境如何使用命令行操作zookeeper如何使用java操作zookeeper课程5.5：HBase数据库Hbase-列式数据库现在非常流行，在以后工作中会经常遇到，特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装，讲解基本理论和各种操作。我们通过对hbase原理的讲解，让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构，这是hbase优化的重点。讲解知识点：hbase的概述hbase的数据模型hbase的表设计hbase的伪分布式和集群安装hbase的shell操作hbase的JavaAPI操作hbase的数据迁移hbase的数据备份及恢复Hbase结合Hive使用hbase的集群管理hbase的性能调优课程5.6：CM+CDH集群安装与管理由cloudera公司开发的集群web管理工具cloudera manager(简称CM)和CDH目前在企业中使用的比重很大，掌握CM+CDH集群管理和使用不仅简化了集群安装、配置、调优等工作，而且对任务监控、集群预警、快速定位问题都有很大的帮助。讲解知识点：CM + CDH集群的安装基于CM主机及各种服务组件的管理CDH集群的配置和参数调优CDH集群HA配置及集群升级CM的监控管理集群管理的注意事项课程5.7：Hive课程本课程的目的就是把Hive框架的边边角角都涉猎到，重点讲解Hive的数据库管理、数据表管理、表连接、查询优化、如何设计Hive表结构。这都是工作中最急需的内容，是工作中的重点。讲解知识点：Hive的概述、安装与基本操作Hive支持的数据类型Hive数据表的管理Hive数据的管理Hive的查询Hive的函数Hive的文件格式Hive的性能调优项目实战课程5.8：Sqoop课程sqoop适用于在关系数据库与hdfs之间进行双向数据转换的，在企业中，非常常用。讲解知识点：Sqoop是什么实战：讲解Sqoop如何把mysql中的数据导入到hdfs中实战：讲解Sqoop如何把oracle中的数据导入到hdfs中实战：讲解Sqoop如何把hdfs中的数据导出到mysql中Sqoop如何做成job，方便以后快速执行课程5.9：Flume课程Flume是cloudera公布的分布式日志收集系统，是用来把各个的服务器中数据收集，统一提交到hdfs或者其他目的地，是hadoop存储数据的来源，企业中非常流行。讲解知识点：Flume是什么详细Flume的体系结构讲述如何书写flume的agent配置信息实战：flume如何动态监控文件夹中文件变化实战：flume如何把数据导入到hdfs中实战：讲解如何通过flume动态监控日志文件变化，然后导入到hdfs中课程5.10：Kafka课程Kafka是消息队列系统，类似于ActiveMQ、RabbitMQ,但是效率更高。讲解知识点：kafka是什么kafka体系结构kafka的安装kafka的存储策略kafka的发布与订阅使用Zookeeper协调管理实战：Kafka和Storm的综合应用课程5.11：Storm课程Storm是专门用于解决实时计算的，与hadoop框架搭配使用。本课程讲解Storm的基础结构、理论体系，如何部署Storm集群，如何进行本地开发和分布式开发。通过本课程，家可以进入到Storm殿堂，看各种Storm技术文章不再难，进行Storm开发也不再畏惧。讲解知识点：Storm是什么，包括基本概念和应用领域Storm的体系结构、工作原理Storm的单机环境配置、集群环境配置Storm核心组件，包括Spout、Bolt、Stream Groupings等等Storm如何实现消息处理的安全性，保证消息处理无遗漏Storm的批处理事务处理实战：使用Storm完成单词计数等操作实战：计算网站的pv、uv等操作课程5.12：Spark课程Spark是一款高性能的分布式计算框架，传言比MapReduce计算快100倍，本课程为你揭秘。讲解知识点：Spark入门Spark与Hadoop的比较Spark环境搭建实战：使用Spark完成单词计数Spark缓存策略Spark的transformation和actionSpark的容错机制Spark的核心组件Spark的各种RDDSpark的流计算课程5.13：Scala课程Scala是学习spark的必备基础语言，必须要掌握的。讲解知识点：scala解释器、变量、常用数据类型等scala的条件表达式、输入输出、循环等控制结构scala的函数、默认参数、变长参数等scala的数组、变长数组、多维数组等scala的映射、元祖等操作scala的类，包括bean属性、辅助构造器、主构造器等scala的对象、单例对象、伴生对象、扩展类、apply方法等s