云计算分布式大数据Hadoop深入浅出案例驱动实战培训.doc

云计算分布式大数据Hadoop深入浅出案例驱动实战培训一：课程简介：Hadoop天生是解决大数据高并发问题的， 是一个能够对海量数据进行分布式处理的软件框架。互联网企业、金融机构、政府组织和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验，传统的关系型数据库已经无法满足大数据量高并发的要求，作为云计算实现规范和实施标准的Hadoop应运而生。使用Hadoop，用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且Hadoop的运算和存储是可靠的、高效的、可伸缩的，能够使用普通的社区服务器出来PB级别的数据，是分布式大数据处理的存储的理想选择。“云计算分布式大数据Hadoop深入浅出案例驱动实战”基于实务经验萃取而成，从Hadoop开发环境的搭建到：到图片服务器、WordCount实现、HBase微博系统、话单查询与统计、Hive数据统计案例、涵盖Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题，理论结合实际案例；助你轻松驾驭Hadoop以满足大数据的分布式处理与存储。【主办单位】中国电子标准协会【协办单位】深圳市威硕企业管理咨询有限公司二：课程特色1， 案例驱动教学，全程项目实战训练；2， 掌握Hadoop三大核心：MapReduce、HBase、Hive3， 涵盖Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题4， 萃取出实际开发中最常用、最实用的内容并以深入浅出的方式把难点化于无形之中三：适合对象：软件工程师；数据库开发人员；网络后台开发人员；运维人员；四：基础要求了解Linux系统；了解网络；了解Java；五：培训内容时间内容备注第一天 第1个主题：Hadoop思考1.Hadoop的设计目标和适用场景2.Hadoop架构解析3.MapReduce工作原理和案例说明第2个主题： Hadoop安装和配置实战1. 安装和配置单机版Hadoop实战2. 安装和配置伪分布式Hadoop实战3安装和配置分布式Hadoop集群实战第3个主题：HDFS1. HDFS命令行操作实战2. HDFS的配置管理3. NameNode的工作机制第4个主题：HDFS案例实战1. HDFS案例的分析和设计2. 环境搭建3.使用Hadoop Java API实现对HDFS写入、读取、删除文件等操作第5个主题：MapReduce剖析1. MapReduce的原理和运行过程2. 构建MapReduce的开发环境第6个主题：MapReduce案例实战1. 使用MapReduce的Java接口实现经典的WordCount2. wordcount运行过程解析3. MapReduce实现数据去重操作4. MapReduce实现数据排序5. MapReduce实现数据平均数据的计算时间内容备注第二天第1个主题：HBase架构设计和实现剖析1. HBase架构设计2. HBase中的表结构等3. HBase：Master、Region、Region Server第2个主题：HBase案例实战1-使用HBase实现微博系统1. 项目架构和设计2. 开发环境搭建3. 实现用户登录和注销4.“关注”功能的设计和实现5.“发微博”功能的设计和实现6.发布和运行整个基于HBase的微博系统第3个主题：HBase与MapReduce1. HBase与MapReduce的关系2. HBase如何使用MapReduce第4个主题：HBase案例实战2-话单查询与统计1. 项目架构设计2. 开发环境搭建3. 话单入库和查询的设计与实现4.统计功能的设计与实现时间内容备注第三天第1个主题：MapReduce高级实战1. Split实现剖析2. 自定义输入的实现3. Reduce的partition4. 案例实战第2个主题：安装和使用Hive1. Hive剖析2. 安装Hive3.Hive的基本使用第3个主题：Hive与HDFS、MapReduce1. Hive向HDFS存入结构化数据2. 使用MySQL作为Hive的元数据库3.Hive与MapReduce第4个主题：Hive案例实战-数据统计1. 项目架构设计2. 表结构设计3.数据的插入与统计实现第5个主题：Hadoop开发者之路1. Hadoop技能模型2. Hadoop开发者最佳学习路线和方式3.Hadoop开发者最佳成长路线时间内容备注第四天第1个主题：Hadoop集群配置:机架感知,开启压缩和任务均衡1. Hadoop 集群安装和开启LZO压缩2. Hadoop 配置集群具备机架感知3. Hadoop 集群开启公平任务调度器4. Hadoop 集群开启能力任务调度器第2个主题：Hadoop 集群维护与管理1. 查看集群状态2. HDFS数据管理3. Mapreduce 任务管理4. HDFS安全模式5. 模拟集群Namenode,jobtrack失效6. 添加删除节点7. 数据平衡8. 文件数据跨集群拷贝9. 集群升级第3个主题：Hadoop 集群规划和测试1. 集群规划(硬件,系统,网络)2. 集群性能测试第4个主题：Hadoop 集群监控和运维1. 使用Ganglia 监控Hadoop集群2. 使用Cacti 监控操作系统第5个主题：Hadoop HDFS高可用1. Hadoop 元数据NF