教学大纲《云计算与大数据分析》.doc

云计算与大数据分析教学大纲课程编号： 1208137 编写人： 刘志明开课学期：春季学期 开课单位：计算机科学与技术学院课程中文名称：云计算与大数据分析 课程英文名称：Introduction to Modern Systems Engineering主讲教师：刘志明 教授 总学时：32， 其中：理论 24 学时实验：8学时学分： 2学分 课程性质：非学位课 考核方式：考查先修课程：操作系统、数据库原理、面向对象程序设计一、课程教学目的（说明本课程与专业培养目标、研究方向、培养要求）与要求（限300字）：云计算和大数据正在引发全球范围内深刻的技术和商业变革,已经成为IT行业主流技术。云计算通过分布式操作系统、虚拟化、并行计算、弹性计算、效用计算等关键技术，为大数据提供了基础物理平台，大数据是落地的云，技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括数据采集、海量数据存储、非关系型数据管理、数据挖掘、数据可视化以及智能分析技术如模式识别、自然语言理解、应用知识库等。本课程为计算机、软件工程硕士生开设的一门专业选修课程，主要学习云计算和大数据处理的相关原理和技术，结合核、医应用，与实际工程应用相结合，构建相应的云计算和大数据分析与应用平台。本课程采取研讨式教学模式，教师主讲技术体系和结构原理，技术细节分为理论、实践、应用等专题，由学生自主选择专题进行自主钻研，阅读文献，搭建软件平台并实际运行，上台讲解，提交论文和实验报告，充分培养学生的自主学习和科研能力。二、课程内容简介（限200字）：（1）云计算与大数据概况 了解云计算的特点及技术分类；了解大数据概念；了解大数据的产生、应用和作用；了解大数据与云计算、物联网之间的关系（2）云计算关键技术-虚拟化技术 了解服务器虚拟化、存储虚拟化、网络虚拟化、桌面虚拟化的基本概念；熟悉常用的VMware虚拟机软件；了解OpenStack开源虚拟化平台（3）云架构及主流云服务和仿真平台 掌握云服务的类型；了解常用的云服务平台Google、Amazon、Windows Azure、云计算仿真器CloudSim（4）Hadoop 2.0主流开源云架构 理解Hadoop的功能与作用；了解Hadoop的应用现状和发展趋势；掌握Hadoop项目及其结构；掌握Hadoop的体系结构；掌握分布式文件系统HDFS的体系结构；掌握分布式数据处理MapReduce、掌握分布式结构数据表Hbase；相关组件（Zookeeper、Yarn等）（5）大数据处理的关键技术 了解数据采集、数据存储与管理、数据分析与挖掘、数据可视化的流程；掌握非关系型数据库NoSQL（MongoDB）、云储存、数据仓库Hive、实时流框架Storm等；了解内存计算框架Spark等（6）大数据分析挖掘与可视化 熟悉数据分析挖掘算法及相关工具，包括关联规则分析、遗传算法、神经网络、机器学习、社会网络分析、自然语言分析、R语言等，了解大数据可视化技术及工具，包括标签云（Tag Cloud）、聚类图（Clustergram）、空间信息流（Spatial information flow）、热图（Heatmap）等；南华大学大数据检索与挖掘研究方向介绍（7）学生所选专题 理论专题1（普适计算、并行计算、服务计算、社会计算、流计算）；理论专题2（云计算核心算法Paxos算法、DHT算法、Gossip协议）；实践专题1（分布式操作系统Yarn、分布式文件系统HDFS、云数据库MongoDB、MapReduce、Hbase、CloudSim）；实践专题2（Hadoop组件ZooKeeper、Pig、Hive、Oozie、Flume、Mahout）；实践专题3（OpenStack 计算服务Nova、对象存储服务Swift、镜像服务Glance）三、教学进度章节内容授课或实验授课或实验教师学时安排云计算与大数据分析概况授课刘志明2（学时）云计算关键技术-虚拟化技术授课刘志明2（学时）云架构及主流云服务平台授课刘志明3（学时）大数据处理的关键技术授课刘志明2（学时）大数据分析挖掘与可视化授课刘志明3（学时）学生所选理论专题1（普适计算、并行计算、服务计算、社会计算、流计算）；授课刘志明2（学时）学生所选理论专题2（云计算核心算法Paxos算法、DHT算法、Gossip协议）；授课刘志明2（学时）学生所选实践专题1（分布式操作系统Yarn、分布式文件系统HDFS、云数据库MongoDB、MapReduce、Hbase、CloudSim）；授课刘志明2（学时）学生所选实践专题2（Hadoop组件ZooKeeper、Pig、Hive、Oozie、Flume、Mahout）授课刘志明2（学时）学生所选实践专题3（OpenStack 计算服务Nova、对象存储服务Swift、镜像服务Glance）授课刘志明2（学时）课程总结及云计算与大数据研究展望授课刘志明2（学时）实验1：Hadoop2.0及部件部署（4个节点，数据库和数据仓库）实验3（学时）实验2：Map-Reduce Demo案例运行实验2（学时）实验3：CloudSim部署实验3（学时）选做实验：构建一个基于Google App Engine、新浪App Engine、青云、AVOS、UCloud等开放云计算平台的应用（如电子书分享网站等）实验2（学时）四、所用教材（正式出版教材要求注明教材名称、作者姓名、出版社、出版时间）及主要参考书：1、选用教材：（1）云计算（第三版）刘鹏主编，电子工业出版社，2015.8（2）大数据搜索与挖掘张华平著，科学出版社，2014.52、主要参考书：（1）云计算与大数据技术. 王鹏等编著. 人民邮电出版社. 2014.5月（2）VMware虚拟化与云计算应用案例详解. 王春海编著. 中国铁道出版社.2013.11（3）深入云计算：Hadoop源代码分析. 张鑫著. 中国铁道出版社. 2013.6（4）大数据思维与决策. 美伊恩艾瑞斯(IanAyres) 著. 人民邮电出版社. 2014.10（5）R与Hadoop大数据分析实战. （印）普贾帕提（VigneshPrajapati）著，李明等译.机械工业出版社.2014.11（6）Hadoop大数据分析与挖掘实战. 张良均樊哲李成华刘丽君等. 机械工业出版社. 2015.123、主要参考网站：（1）中国云计算/ （2）中国大数据/ （3）OpenStack开源虚拟化平台/（4）自然语言处理与信息检索共享平台（5）Sina App Engine