大数据课程体系.doc

。Java基础JAVA 开发基础知识Eclipse 开发环境多线程技术 Socket 网络技术 Regular Expression Java反射技术各种实战设计模式面向对象设计原则详解Java collectionReflectionJVM原理与配置、调优Java设计模式 Linux大纲Linux的介绍与安装VMware Workstation虚拟软件安装ubuntu安装Linux的常用命令Linux系统进程管理常用命令ps、pkill、top、htop等的使用；Linux启动流程，运行级别详解，chkconfig详解nano编辑器Linux权限管理：用户、组Linux权限管理：文件权限rwxLinux网络管理：hosts,hostname,ifconfig安装JDK HadoopHadoop介绍，发展史，国内外现状，未来Hadoop 核心组成介绍及hdfs、mapreduce 体系结构Hadoop 的集群结构Hadoop 独立模式安装与测试Hadoop 启动与停止SSH安装与配置Hadoop 伪分布式和完全分布式安装配置HDFS底层工作原理HDFS datanode,namenode详解Hdfs shellHdfs java apiInputSplit和OutputSplitBlockSize配置最少副本数配置MR作业流程分析编写Mapper程序编写Reducer程序执行Mapreduce过程Hadoop 核心类讲解,RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层IPC原理和RPCHadoop的底层google ProtoBuf的协议分析分布式数据库HbaseHBase简介与RDBMS的对比系统架构HBase上的MapReduceHbase核心术语介绍Hbase基本操作HBase Shell以及演示Hbase 树形表设计Hbase 一对多 和 多对多 表设计Hbase 调优(读、写、设计)数据仓库HiveHive简介Hive集群客户端简介HiveQL介绍与SQL的比较数据类型外部表和分区表ddl与CLI客户端演示dml与CLI客户端演示select与CLI客户端演示Operators 和 functions与CLI客户端演示Hive server2 与jdbc用户自定义函数（UDF 和 UDAF）的开发与演示Hive 优化数据迁移工具SqoopSqoop简介和配置Sqoop shell常见命令Sqoop导入与导出Flume分布式日志框架flume简介-基础知识flume安装与测试flume部署方式flume source相关配置及测试flume sink相关配置及测试flume selector 相关配置与案例分析flume Sink Processors相关配置和案例分析flume Interceptors相关配置和案例分析flume AVRO Client开发flume 和kafka 的整合Zookeeper开发Zookeeper java api开发Zookeeper rmi高可用分布式集群开发Zookeeper redis高可用监控实现Netty 异步io通信框架Zookeeper实现netty分布式架构的高可用kafkakafka是什么kafka体系结构kafka配置详解kafka的安装kafka的存储策略kafka分区特点kafka的发布与订阅zookeeper协调管理java编程操作kafkascala编程操作kafkaflume 和kafka 的整合Kafka 和storm 的整合StormStorm的基本概念Storm的应用场景Storm和Hadoop的对比Storm集群的安装的linux环境准备zookeeper集群搭建Storm集群搭建Storm配置文件配置项讲解集群搭建常见问题解决Storm常用组件和编程API：Topology、 Spout、BoltStorm分组策略(stream groupings)使用Strom开发一个WordCount例子Storm程序本地模式debug、Storm程序远程debugStorm事物处理Storm消息可靠性及容错原理Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程APIStorm Trident概念Trident state 原理Trident开发实例Storm DRPC(分布式远程调用)介绍Storm DRPC实战讲解Storm和Hadoop 2.x的整合：Storm on YarnStorm开发实战： Kafka+Storm+Hbase+redis项目实战，以及多个案例Scalascala解释器、变量、常用数据类型等scala的条件表达式、输入输出、循环等控制结构scala的函数、默认参数、变长参数等scala的数组、变长数组、多维数组等scala的映射、元组等操作scala的类，包括bean属性、辅助构造器、主构造器等scala的对象、单例对象、伴生对象、扩展类、apply方法等scala的包、引入、继承等概念scala的特质scala的操作符scala的高阶函数scala的集合scala数据库连接Spark大数据处理Spark简介与应用场景RDDTransformationActionSpark计算PageRankLineageSpark模型简介Spark缓存策略和容错处理宽依赖与窄依赖Spark配置讲解Spark集群搭建集群搭建常见问题解决Spark原理核心组件和常用RDD数据本地性任务调度DAGSchedulerTaskSchedulerSpark源码解读性能调优Spark和Hadoop2.x整合：Spark on Yarn原理Spark Streaming实时计算Spark Streaming：数据源和DStream无状态transformation与有状态transformationStreaming Window的操作sparksql 编程实战spark的多语言操作Spark MLlib机器学习介绍 回归算法 分类算法第四章 推荐系统第五章 聚类 KmeansDocker 基本介绍vm docker 对比docker基本架构介绍unfs cgroup namespace进程虚拟化 轻量级虚拟化docker 安装docker 镜像制作docker 常用命令docker 镜像迁移docker pipework1docker weave虚拟化KVM虚拟化介绍，虚拟化适用场景等等Qemu Libvirt & KVM安装KVM, Qemu, LibvirtQEMU-KVM: 安装第一个能上网的虚拟机Kvm虚拟机 nat,网桥基本原理kvm虚拟机克隆kvm虚拟机vnc配置kvm虚拟机扩展磁盘空间Kvm快照Kvm 迁移Java,python,c语言编程控制kvm云平台OpenStackopenstack介绍和模块基本原理分析openstack多节点安装部署【a.采用centos6.x系统】Keystone基本原理glanceCinderSwiftNeutronOpenstack api 二次开发综合项目演练1结合基于SSH技术的jee项目互联网大数据调查系统，可针对当下流行的事件进行网络调查，然后从海量的调查调查问卷中通过大数据手段对其进行分析和汇总，最终对大众的消费习惯、文化倾向、未知领域的认知以及新事物趋势做数据上的可靠性分析，掌握大众的心理导向，有效指定企业的战略规划和部署。综合项目