Hadoop技术培训大纲.doc

附录：Hadoop技术培训大纲（4天）课程模块课程主题n 主要内容n 案例和演示模块一Hadoop简介和生态系统介绍 传统大规模数据分析存在的问题 Hadoop概述 Hadoop与分布式文件系统 Hadoop生态系统 Hadoop的行业应用案例分析 Hadoop在云计算和大数据的位置和关系 Hadoop版本介绍 Hadoop与Google FS的关系 Hadoop在国内的使用情况和未来 Hadoop在推荐领域的使用案例介绍模块二Hadoop安装和主要配置文件介绍 Hadoop安装所需软件介绍 Hadoop单机安装 Hadoop伪分布式安装 Hadoop完全分布式安装 Hadoop三个节点安装的配置介绍 Hahoop多节点ssh配置 Hadoop格式化详解 Hadoop核心配置文件介绍 核心配置文件core-site.xml HDFS配置文件hdfs-site.xml Mapreduce配置文件mapred-site.xml master文件配置详解 slave文件配置详解 Hadoop启动和停止方法一start-all.sh详解stop-all.sh详解 Hadoop的启动和停止方法二 hadoop-deamon.sh详解 Hadoop安装的常见错误介绍和解决方案 使用自带的wordcount和pi测试集群安装是否成功 使用Streaming来测试集群安装是否成功 Hadoop单机演示 Hadoop伪分布式演示 Hadoop完全分布式演示 Hadoop两种启动方式的演示 Hadoop安装常见错误的介绍和演示 Hadoop自带的wordcount和pi演示 Hadoop Streaming的案例演示模块三Hadoop组件介绍 Hadoop NameNode 介绍 Hadoop SecondaryNameNode 介绍 Hadoop DataNode 介绍 Hadoop JobTracker 介绍 Hadoop TaskTracker 介绍模块五Hadoop的HDFS模块 HDFS架构介绍 HDFS原理介绍 NameNode功能详解 DataNode功能详解 SecondaryNameNode功能详解 HSFD的fsimage和editslog详解 HDFS的block详解 HDFS的block的备份策略 Hadoop的机架感知配置 HDFS的shell命令介绍 HDFS的thrift server服务介绍 HDFS的API接口介绍 HDFS的权限详解 Hadoop的客服端接入案例 Hadoop的shell命令演示 Hadoop的API接口演示 Hadoop的客服端接入案例模块六MapReducer入门和高级 Mapreduce原理 MapReduce流程 剖析一个MapReduce程序 Mapper和Reducer抽象类详解 Mapreduce的最小驱动类 MapReduce自带的类型 自定义Writables和WritableComparables Mapreduce的输入InputFormats MapReduce的输出OutputFormats 自定义InputFormat 自定义InputSPlits 自定义RecorderReader Combiner详解 Partitioner详解 DistributeFileSystem详解 Hadoop Tools工具介绍 Counter计数器详解 自定义Counter计数器 MapReduce的优化 Map和Reduce的个数设置 Hadoop小文件优化 任务调度 默认的任务调度 公平任务调度 能力任务调度 使用 Hadoop MapReduce Streaming 编程 MapReduce的单元测试 MapReduce实现海量数据比较大小案例 自定义Hadoop类型案例 自定义Partitioner案例 实现在内存随机生成100个数，分成两个Map来比较大小 自定义inputFormat和InputSplit和RecorderReader来实现MapReduce读取Redis里面的数据。 多文件输出和自动定义MapReduce的输出名 MapReduce实现Join算法案例 MapReduce实现海量文档相似度算法 自定义Counter案例实现 MapReduce实现Pangrank算法。 MapReduce单元测试：Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。 某公司使用MapReduce分析日志案例（10T数据以上） 配置公平调度器案例实战模块七Hive和pig的使用 Hive和Pig基础 Hive、Impala和presto的比较 Hive的作用和原理说明 Hadoop仓库和传统数据仓库的协作关系 Hadoop/Hive仓库数据数据流 Hive 部署和安装 Hive Cli 的基本用法 Hive的server启动 HQL基本语法 Hive的加载数据本地加载和HDFS加载 Hive的partition详解 Hive的存储方式详解 RCFILE、TEXTFILE和SEQUEUEFILE Hive的UDF和UDAF Hive的transform详解 Hive的JDBC连接 使用JDBC 连接Hive进行查询和分析 使用正则表达式加载数据 编写UDF函数 编写UDAF自定义函数 Partition使用实战 Transform使用实战 某些大型公司使用hive分析日志案例详解和实战。模块八Hbase使用 Hbase原理 Hmaster详解 RegionServer详解 Zookeeper介绍 Hbase安装 Hbase逻辑视图介绍 Hbase物理视图介绍 Hbase的二级索引介绍 Hbase 的DDL和DML Hbase表的设计案例 Hbase的import功能介绍 MapReduce操作Hbase Hbase的 thrift Server介绍 Hbase 的API介绍 Hbase案例分析 Hbase安装实战 MapReduce操作Hbase实战 Hbase的API实战 Hbase表结构设计实战模块九Hadoop集群配置介绍和维护 Hadoop集群的部署要点 NameNode和SecondaryNameNode和JobTracker机器的配置要求 dataNode与tasktracker机器的配置要求 Hadoop集群管理的工具介绍 Ganglia和nig