大数据处理与云计算教学大纲20170704.doc

大数据处理与云计算教学大纲课程类别：专业教育课程 课程名称：大数据处理与云计算开课单位： 信息与通信工程学院 课程编号：B03050503课程性质：必修总 学 时：44(实验12学时) 学 分：2.5适用专业：信息工程先修课程：C语言程序设计大纲编写（修订）时间：2017年5月一、 课程在教学计划中的地位、作用大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课，也是学生了解大数据和云计算基本原理，掌握高性能并行计算的入门课程。通过本课程的学习，使学生掌握大数据和云计算技术基本原理及其系统的基本架构，使学生从应用角度掌握基于MPI的高性能并行计算基本原理和Hadoop分布式文件存储、分布式数据处理技术。培养学生具有高性能计算集群的开发设计、搭建和应用的基本能力，同时为后续大数据与云计算相关课程的学习奠定扎实的基础。二、课程目标1. 理解大数据和云计算技术基础，掌握高性能并行计算的工作原理和技术基础，使学生具有将高性能并行计算技术用于工程的能力；（支撑毕业要求1）2. 学会高性能计算相关的软件、硬件的配置方法，能够针对工程问题提出以MPI高性能并行计算为核心的解决方案，培养学生的系统设计与开发能力；（支撑毕业要求2、3、5）3. 了解大数据及云计算的研究热点和发展趋势。（支撑毕业要求12）三、课程内容及基本要求第1章 云计算与大数据基础1. 了解云计算的意义，了解云服务的定义和分类；2. 理解云存储、云桌面、云安全等云技术的技术架构和技术特点；3. 了解了解大数据的定义和大数据处理的基本流程，了解主要的大数据处理系统；4. 了解云计算与大数据的发展历程。第2章 云计算与大数据的相关技术1. 了解云计算与大数据；2. 了解云计算与物联网；3. 掌握一致性哈希算法；4. 了解关系型数据库和非关系型数据库；5. 了解集群高速通信标准InfiniBand；6. 理解云计算大数据集群的自组织特性。第3章 虚拟化技术1. 了解虚拟化技术的发展、优势和劣势及其分类；2. 掌握VirtualBox，了解VMware Workstation 和KVM等常见虚拟化软件；3. 理解系统虚拟化，理解服务器虚拟化、桌面虚拟化和网络虚拟化。第4章 集群系统基础1. 了解集群系统的基本概念和分类；2. 理解单一系统映射和Beowulf集群；3. 理解集群文件系统的概念；4. 掌握分布式系统中计算和数据的协作机制（重点）。第5章 MPI面向计算的高性能集群技术1. 掌握Linux 操作系统基本操作；（重点）2. 了解MPI的定义、架构和特点；3. 掌握MPICH并行环境的建立方法；（重点、难点）4. 熟练掌握MPI分布式程序设计；（重点、难点）5. 掌握MPI消息组成和通信模式；（重点、难点）6. 掌握并行计算中的规约Reduce操作。（重点、难点）第6章 Hadoop分布式大数据系统1 了解Hadoop发展历程；2掌握HDFS文件的基本结构和存储过程；3 掌握MapReduce编程框架和基本工作过程。实验一 linux基本操作（2学时）实验内容 ：1. 在PC机上安装linux虚拟机；2. 在用户主目录下对文件进行操作和管理：复制一个文件、显示文件内容、查找指定内容、排序、文件比较、文件删除等。创建和删除子目录、改变和显示工作目录、列出和更改文件权限、链接文件等；3. 对vi编辑器进行基本操作。基本要求1. 掌握虚拟机的安装；2. 熟悉linux图形化界面和命令窗口界面；3. 掌握linux中cd、date、pwd、cal、who、clear、passwd等常用命令；4. 学习使用vi编辑器建立、编辑、显示及加工处理文本文件。实验2：在虚拟机环境下搭建3个节点的MPI集群（2学时）实验内容：掌握MPI的运行原理，完成在传统计算机上，拥有3个节点的虚拟集群系统搭建，安装配置MPICH并测试程序安装的正确性。基本要求：1. 掌握linux下集群网络的配置；2. 掌握NFS文件系统设置；3. 掌握MPI的安装及运行的基本命令。实验3：有消息传递功能的并行程序（2学时）实验内容：掌握MPI中点对点的通信原理，由其他进程通过MPI消息传递机制向0进程发送“Hello World”字符串数据，非0进程采用MPI_Send()函数发送数据，0进程通过循环语句分别通过MPI_Recv()函数接收来自其他进程的字符串数据。基本要求：1. 理解MPI并行函数执行的具体过程；2. 掌握MPI编译和运行方法。3. 理解MPI中进程和总进程数的含义；4. 掌握消息传递函数及其各参数的意义；实验4：基于蒙特卡洛方法求（2学时）实验内容：根据蒙特卡罗方法的思想，以坐标原点为圆心作一个直径为2的单位圆，再作一个正方形与此圆相切。在这个正方形内随机产生n个点，根据概率理论，判断是否落在圆内，采用这一方法计算的近似值。基本要求：1. 理解蒙特卡罗方法的思想内涵；2. 掌握MPI中点对点通信3. 掌握MPI中的规约操作Reduce函数；实验5、Hadoop系统的安装配置和MapReduce功能的实现（4学时）实验内容：1. 在集群系统中安装并配置Hadoop；2. 利用MapReduce程序对五个文件中的各个单词出现频率进行统计并输出统计结果。基本要求：1. 了解Hadoop系统基本架构和工作原理；2. 学会安装、配置和运行Hadoop系统；3. 理解Map-Reduce的实现方法。四、学时分配表4.1学时分配表章节名称讲授（学时）实验（学时）小计第1章云计算与大数据基础10010第2章云计算与大数据的相关技术303第3章虚拟化技术202第4章集群系统基础347第5章MPI面向计算的高性能集群技术10416第6章Hadoop分布式大数据系统444合计321244五、课程目标达成的途径与措施1、 考核方式及评价依据表5.1 各考核方式对不同课程目标评价的比例分配表课程目标各考核方式对不同课程目标评价的比例分配Wik（每行总和为1）课堂情况实验期末考试考核方式4考核方式5考核方式610012010310045表5.2 各考核方式的评价依据考核方式课堂情况实验期末考试评价依据支撑材料课堂考勤、提问、讨论记录实验记录，实验报告等试题评分标准、试卷2、 评价标准（1）课堂教学情况评价方法与标准考核情况包括出勤率、提问与讨论评分。（2）课内实验评价方法与标准根据实验出勤、完成情况、实验报告综合评估。（3）期末考试评分标准详见期末与试题一起提供的评分标准。六、课程目标达成评价方法表6.1 各考核方式对课程目标达成评价的权重占比分配课程目标分教学目标权重（本列总和为1）Pi各考核方式评价比例分配（每行总和为1）Wik各考核方式在课程达成中的占比（所有行列总和为1）Sik=Pi*Wik考核方式1考核方式 2考核方式 3考核方式4考核方式5考核方式6考核方式1考核方式2考核方式3考核方式4考核方式5考核方式610.7001000.720.1501000.15030.151000.150045各考核环节对课程目标达成的贡献率（Mk）0.150.150.7采用达成值计算法，辅以对学生的问卷调查法。达成值计算法结合上表权重分配，采用下式进行计算。大于0.60为达成。单一课程目标达成度评价采用式6.1： （6.1）总的课程目标达成度评价采用式6.2： （6.2）以上公式中：k表示不同的评价方式，i表示不同的课程目标。表示第k种评价方式期末评价成绩平均分，均为百分制；是第k种评价方式通过第i个课程目标反映在总的课程目标评分占比；表示第k种评价方式对第i个课程目标百分占比；表示第i个课程目标在课程总评价中的占比.七、主要参考书1 王鹏，云计算与