Hadoop技术培训大纲

1、Hadoop体系架构附录：Hadoop技术培训大纲（4天）课程模块课程主题主要内容案例和演示模块一Hadoop简介和 生态系 统介绍传统大规模数据分析存 在的问题Hadoop概 述Hadoop与分布式文件系 统Hadoop生态系统Hadoop的行业应用案例 分析Hadoop在云计算和大数 据的位置和关系Hadoop版本介绍Hadoop与 Google F 的关系Hadoop在国内的使用情 况和未来Hadoop在推荐领域的使用案例介绍模块二Hadoop安装和 主要配 置文件介绍Hadoop安装所需软件介 绍Hadoop单机安装Hadoop伪分布式安装Hadoop单机演示Hadoop伪分布式演示H

2、adoop完全分布式演示Hadoop完全分布式安装Hadoop三个节点安装的配置介绍Hahoop多节点ssh配置Hadoop格式化详解Hadoop核心配置文件介绍核心配置文件core-site.xmlHDF配置文件 hdfs-site.xmlMap reduce配 置文件mapred-site.xmlmaster文件配置详解slave文件配置详解Hadoop启动和停止方法start-all.sh 详解stop-all.sh详解Hadoop两种启动方式的演示Hadoop安装常见错误的介绍和演示Hadoop自 带的 wordcount和 pi 演示Hadoop Stream in的案例演示Hado

3、op的启动和停止方 法二hadoop-deam on. s详解Hadoop安装的常见错误 介绍和解决方案使用自带的 wordcount和pi测试集群安装是否成功使用Streaming来测试集群安装是否成功Hadoop NameNod介 绍HadoopHadoop Sec on daryNameNc介绍模块三组件介Hadoop DataNod介绍绍Hadoop JobTracke 介绍Hadoop TaskTracke介 绍HDF栗构介绍示Hadoop的shell命令演HadoopHDFSS理介绍模块五的 HDFS模块NameNod功能详解示Hadoop的 API接口演DataNode能详解Ha

4、doop的客服端接入Sec on daryNameNo功能详解HSFD勺 fsimage和 editslog详解HDFS勺block详解HDFS勺block的备份策略Hadoop的机架感知配置HDFS勺shell命令介绍HDFS勺 thrift server!服务介 绍HDFS勺API接口介绍HDFS勺权限详解Hadoop的客服端接入案 例案例模块六MapRedu cer入门 和高级Mapreduce原理Map Reduces 程剖析一个Map Reduce?序Mappe和Reduce抽象类详解Map reduce的最小驱动类Map Reduc自带的类型自定义Writables和Map Red

5、uc实现海量数据比较大小案例自定义Hadoop类型案例自定义 Partitioner案 例实现在内存随机生成 100个数，分成两个Map来比 较大小WritableComparablesMap reduce的输入In putFormatsMap Reduces 输出 OutputFormats自定义 InputFormat 自定义 InputSPlits 自定义 RecorderReader Comb in e详解 Partiti oner 详解 DistributeFileSyste详 解 Hadoop Tool工 具介绍 Cou nte计数器详解 自定义Counte计数器 Map Redu

6、ces 优化 Map和Reduce的个数设置 Hadoop小文件优化 任务调度 默认的任务调度 公平任务调度 能力任务调度 使用 Hadoop MapReduce自定义 inputFormat和 InputSplit和 RecorderReade来 实现MapReduc读取Redis里 面的数据。多文件输出和自动定 义Map Reduces输出名Map Reduct 现 Joi n 算法案例Map Reduct现海量文档相似度算法自定义Counte案例实 现Map Reduct 现 Pangrank 算法。Map Reduce!元测试： Map的单元测试测试、reduce 单元测试和MapRe

7、ducfil体的 单元测试实战。某公司使用Map Reduces析日志案例（10T 数据以上）配置公平调度器案例 实战Stream ing 编程Map Reduces单元测试Hive和Pig基础使用JDBC连接HiveHive、Impala 和 presto的比进行查询和分析较使用正则表达式加载Hive的作用和原理说明数据Hadoop仓库和传统数据编写UDF函数仓库的协作关系编写UDA自定义函数Hadoop/Hive仓库数据数Partition使用实战据流Tran sform使 用实战Hive 和Hive部署和安装某些大型公司使用hive分析模块七pig的使Hive Cli的基本用法日志案例详

8、解和实战。用Hive的serve启动HQL基本语法Hive的加载数据本地加载和HDF加载Hive的 partition 详解Hive的存储方式详解RCFILETEXTFILSISEQUEUEFILEHive的 UD!和 UDAFHive的 transform详解Hive的JDBC连接Hbase原 理Hbase安装实战Hmaste详解MapReduc操作 HbaseRegi on Serve 详 解实战Zookeepe介绍Hbase的API实战Hbase安 装Hbase表结构设计实 战Hbase逻辑视图介绍模块八Hbase使用Hbase物理视图介绍Hbase的二级索引介绍Hbase的 DDL和 DMLHbase表的设计案例Hbase的import功能介绍MapReduc操作 HbaseHbase的 thrift Server介绍Hbase的API介绍Hbase案例分析模块九Hadoop集群配 置介绍 和维护Hadoop集群的部者要点NameNod和Sec on daryNameNo®e JobTracker 机器的配置要求dataNode与 tasktracker机器的配置要求Hadoop集群管理的工具介绍Gan glia 和 ni go