中科院计算所“大数据处理Hadoop实战技术”.doc

计所教字201215号关于举办“大数据处理Hadoop实战技术高级工程师培训班”的通知（上机实战）各有关单位：未来的十年将是一个“大数据”引领的智慧科技的时代。随着社交网络的逐渐成熟，移动带宽迅速提升，云计算、物联网应用更加丰富。更多的传感设备、移动终端接入到网络，由此产生的数据及增长速度将比历史上的任何时期都要多，都要快。“大数据”时代的脚步悄然而至。中科院计算所在云计算实践和大数据应用中积累了大量的经验，并联合IBM、微软等公司开展相关技术的研发，特举办“大数据处理Hadoop实战技术高级工程师培训班”，相关工作由中科普开（北京）科技有限公司具体承办。本系列培训班将举办多期，培训班的具体时间将公布在中国科学院计算技术研究所教育中心网站，望相关单位收到通知后积极参加。详见附件。联系人：朱旭 话： 010 52896336 56295738传 真： 010 64124881网 站： 中国科学院计算技术研究所教育中心 二零一二年九月七日 附件一：活动细则一、培训对象各地政府云计算物联网产业相关负责人，各企业CIO、信息中心负责人、技术总监，云计算中心负责人；云计算物联网产业规划负责人，云计算产业投资团队，云计算应用开发商，云计算硬件设备供应商，云服务运营服务提供商，高校、科研院所云计算项目负责人。各企业大数据架构师、工程师、技术总监、数据挖掘负责人、游戏公司数据负责人、二、培训时间及地点2012年12月28日12月31日（28日报到） 地点：广 州三、师资力量童老师: EasyHadoop开放社区创立者,在搜索引擎,数据分析,数据挖掘领域工作多年工作经验。现在暴风影音从事大数据分析工作,致力于使用Hadoop Hive 更简单。国内第一个通过Hadoop认证的工程师。杨老师：分布式高级研发专家,开源C+、MapReduce框架创始人，是开源系统Hypertable、Hadoop推广者和培训专家，热衷于Nosql、分布式存储和分布式计算方面研究和开发。领导实时数据流计算系统项目，解决分布式计算中实时处理相关问题。谢老师：数据挖掘总监，云计算实践者，10年数据仓库和数据挖掘咨询经验，现专注于分布式平台上的海量数据挖掘和机器学习。四、培训特色注重应用：分析国内实际情况，结合国际、国内成功经验。Hadoop采用实战的项目，让学员在短时间内掌握Hadoop的搭建与配置。并进行高效的大数据清洗和分析。形式灵活：互动课堂、云基地参观考察、免费技术沙龙、提供云计算项目建设咨询、大数据Hadoop平台的搭建。五、颁发证书参加相关培训并通过考试的学员，可以获得：1由人力资源和社会保障部中国高级公务员培训中心、全国信息化计算机应用技术水平教育培训管理中心颁发大数据处理工程师培训证书。该证书可在人社部中国国家人事人才培训网查询（），可作为能力评价、考核和任职的重要依据。2.中国科学院计算技术研究所教育中心颁发的大数据处理工程师培训证书。六、培训费用及须知培训费4900元。（含培训费、资料费、考试费、证书费、午餐、讲义光盘费等）。需要住宿学员请提前通知，可统一安排，费用自理。附件二：“大数据处理Hadoop实战”大纲课程模块课程主题主要内容模块一Hadoop的来源和动机 传统大规模系统存在的问题 对一种新的解决方案的需求 模块二Hadoop基本概念 Hadoop概述 Hadoop分布式文件系统 上机实验 MapReduce工作原理 上机实验 Hadoop机群剖析 Hadoop生态系统 模块三编写MapReduce程序 MapReduce流程 剖析一个MapReduce程序 基本MapReduceAPI 概念 驱动代码 Mapper Reducer Hadoop流 API 使用Eclipse进行快速开发 上机实验 新MapReduce API 模块四集成Hadoop到现有工作流 关系数据库管理系统 存储系统 利用Sqoop从关系型数据库系统中导入数据到Hadoop 上机实验 利用Flume导入实时数据到Hadoop 使用FuseDFS和Hoop访问HDFS 模块五Hadoop API深入探讨 ToolRunner介绍 使用MRUnit进行测试 利用Combiners来减少中间数据 使用Configure和Close方法来进行Map/Reduce设置和关闭 编写Partitioner来优化负载平衡 上机实验 直接访问Hadoop分布式文件系统（HDFS） 使用分布式缓存（Distributed Cache） 上机实验 模块六常见MapReduce算法 Hadoop概述 Hadoop分布式文件系统 上机实验 MapReduce工作原理 上机实验 如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等 满足解决实际数据分析问题的高级Hadoop API模块七使用Hive和Pig Hive基础 Pig基础 上机实验模块八实用开发技巧 排序和搜索 索引 上机实验 用Mahout进行机器学习 Term Frequency Inverse Document Frequency Word Co-Occurrence 上机实验 模块九使用Hive和Pig Hive基础 Pig基础 上机实验 模块十实用开发技巧 排序和搜索 索引 上机实验 用Mahout进行机器学习 Term Frequency Inverse Document Frequency Word Co-Occurrence 上机实验 模块十一高级MapReduce编程 定制Writables和WritableComparables 使用SequenceFiles和Avro文件保存二进制数据 创建InputFormats和OutputFormats 上机实验 模块十二用MapReduce合并数据集 在Map方的合并 辅助排序在Reducer方的合并 模块十三图的操作 图论简介 用Hadoop表示图 一个图算法的实现：单源最短路径 模块十四使用Oozie创建工作流 使用Oozie的动机 Oozie工作流定义格式 上机实验 附件二：“大数据处理Hadoop实战技术”报名回执表单位名称详细地址邮编联 系 人电话邮箱姓 名性别部门/职务电话手机邮箱培 训 费万 仟 佰 拾 元是否食宿 是（）否（）户 名：中科普开（北京）科技有限公司开户行：工商银行北京天通苑西区支行账 号：020029920