王家林的云计算分布式大数据Hadoop数据库管理员企业级动手实践.docxVIP

一：课程介绍数据库管理人员如何管理分布式的海量数据，是云计算时代的数据库从业人员面临的核心问题之一，Hadoop提出了解决方案。 本课程从数据库管理人员与系统管理人员的职业角度出发，从动手搭建Hadoop集群环境开始，涉及Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题，并细致剖析Hive数据仓库集群和优化等主题，帮助传统的数据库管理人员和系统管理人员轻松使用Hadoop架构大规模的数据。二：课程特色1， 深入理解Hadoop技术架构；2， 彻底全面清晰的理解Hadoop运作机制；3， 能够独立规划及部署生产环境的Hadoop集群；4， 掌握Hadoop基本运维思路和方法；5， 对Hadoop集群进行管理和优化；三：适合对象：数据库管理员(DBA)；公司的系统管理员；想转型的DBA;四：基础要求了解Linux系统；了解网络；了解 shell sql python 等脚本语言的一种； 五：讲师简介Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引擎中的研发中国电信的多次Hadoop培训，花旗银行的Hadoop内训，金立手机的Hadoop内训等，著有云计算分布式大数据Hadoop实战高手之路-从零开始云计算分布式大数据Hadoop实战高手之路-高手崛起云计算分布式大数据Hadoop。实战高手之路-高手之巅等；Android架构师、高级工程师、咨询顾问、培训专家；通晓Android、HTML5、Hadoop，迷恋英语播音和健美；致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案；国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。HTML5技术领域的最早实践者（2009年）之一,成功为多个机构实现多款自定义HTML5浏览器，参与某知名的HTML5浏览器研发；超过10本的IT畅销书作者； 六：培训内容时间内容备注第一天 （集群安装和管理）第1个主题：Hadoop的来源和动机1.传统大规模系统存在的问题2.对一种新的解决方案的需求第2个主题：Hadoop安装和部署准备1. Hadoop系统模块组件概述2. Hadoop试验集群的部署结构3. Hadoop 安装依赖关系4. Hadoop 生产环境的部署结构第3个主题：Hadoop集群安装和部署1. Red hat Linux基础环境搭建 上机实验2. Hadoop 单机系统版本 安装配置 上机实验3. Hadoop 集群系统版本 安装和启动配置 上机实验4. Hadoop 集群异常Debug 方法5. Hadoop 集群简单测试方法6. 使用 Hadoop MapReduce Streaming 快速测试系统第4个主题：Hadoop组件详解1. Hadoop HDFS 基本结构2. Hadoop HDFS 副本存放策略3. Hadoop NameNode 详解4. Hadoop SecondaryNameNode 详解5. Hadoop DataNode 详解6. Hadoop JobTracker 详解7. Hadoop TaskTracker 详解第5个主题：Hadoop集群配置详解1. Hadoop core-site,hdfs-site,mapred-site 配置详解2. Hadoop 高可用配置方法时间内容备注第二天（集群优化和管理）第1个主题：Hadoop集群配置:机架感知,开启压缩和任务均衡1. Hadoop 集群安装和开启LZO压缩2. Hadoop 配置集群具备机架感知3. Hadoop 集群开启公平任务调度器4. Hadoop 集群开启能力任务调度器第2个主题：Hadoop 集群维护与管理1. 查看集群状态2. HDFS数据管理3. Mapreduce 任务管理4. HDFS安全模式5. 模拟集群Namenode,jobtrack失效6. 添加删除节点7. 数据平衡8. 文件数据跨集群拷贝9. 集群升级第3个主题：Hadoop 集群规划和测试1. 集群规划(硬件,系统,网络)2. 集群性能测试第4个主题：Hadoop 集群监控和运维1. 使用Ganglia 监控Hadoop集群2. 使用Cacti 监控操作系统第5个主题：Hadoop HDFS高可用1. Hadoop 元数据NFS备份方案2. Hadoop SecondaryNameNode备份方案3. Hadoop CheckpointNode备份方案4. Hadoop BackupNode备份方案5. Hadoop Cloudera HA Namenode 方案时间内容备注第三天（Hive数据仓库）第1个主题：Hive仓库集群1. Hive的作用和原理说明2. 仓库和传统数据仓库的协作关系3. Hadoop/Hive仓库数据数据流4. Hive 部署和安装5. Hive Cli 的基本用法6. HQL基本语法第2个主题：Hive仓库集群高级1. 使用JDBC 连接Hive进行查询和分析2. 使用正则表达式加载数据3. HQL高级语法4. 编写UDF函数5. 编写UDAF自定义函数第3个主题：Hive仓库优化1. 使用Hive分区优化查询2. 使用Lzo压缩优化数据存储容量3. HiveServer HA (使用haproxy提高Hive