云计算与大数据技术教案全套-第1-8章-云计算和大数据基础-综合实践：搭建云平台并进行大数据处理

《云计算与大数据技术》教案（20**—20**学年第*学期）开课单位:专业班级:授课教师:教研室/团队:审核人:教研室主任或团队负责人手签*********学院20年月教案首页（第1次课）课序第次学时周次第教学周课程描述课程概况：本课程面向计算机上科学与技术、数据科学与大数据技术、物联网、大数据管理及应用、软件工程等专业，系统地介绍云计算和大数据的基础理论知识、技术架构、关键技术、常用平台以及典型应用，由浅入深，帮助学生全面掌握云计算与大数据的知识体系、技术架构、关键技术、常用平台以及典型应用。本书共8章，分为基础、云计算技术、大数据技术、应用、案例5个部分总学时理论教学实践教学其他学时周学时学分48321643课程教学目标结合新工科应用型人才培养要求，以价值塑造、能力培养、知识传授“三位一体”的人才培养目标为导向，针对基本理论抽象、工程实践复杂的问题，融入课程思政元素，通过翻转课堂和项目/案例化教学使学生达到以下目标：素质目标：培养学生创新应用意识、大国工匠精神、鲁班精神，具备民族自信心、自豪感，具有一定的法制精神和科学素养。知识目标：经过该课程的学习，使学生理解云计算基本概念，了解云计算与大数据、物联网、人工智能的关系，了解当前云计算和大数据的岗位及需求、学习路线；使学生认识目前主流的云计算系统，理解阿里、腾讯、华为、谷歌、微软等虚拟化系统的体系架构和核心技术，尤其是其底层文件系统，分布式计算框架，分布式数据库，以及存储、监控、分析等工具。熟练掌握云计算虚拟化平台和大数据Hadoop平台的部署过程，使学生熟练搭建云计算虚拟化服务器，掌握云平台和大数据平台的创建、管理等操作。掌握OpenStack云平台的基本概念及其基础服务部署，使学生理解OpenStack云平台三个核心服务认证服务KeyStone、镜像服务Glance、计算服务Nova的运行机制，掌握大数据平台的搭建，并了解其简单应用。了解云计算和大数据数据中心的特征、网络部署模式、节能技术、容灾备份，使学生理解云计算数据中心的实际应用场景。了解中国国产云计算和大数据技术，包括云存储技术、大数据库技术、云视频监控技术以及云服务，着重介绍阿里、华为、腾讯等企业的相关技术，使学生了解现实生活中的应用场景。最后使学生了解现今主流的云计算和大数据技术解决方案、主流开源云计算和大数据系统，明确云计算和大数据未来的发展趋势。能力目标：本课程围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重让学生通过云计算和大数据技术的基本原理、架构、基本方法、技术工具和相关应用学习，帮助学生构建完整的云计算和大数据技术知识体系，使学生了解云计算和大数据应用的整个生命周期，能够熟练使用VMware、OpenStack、Hadoop等主流云计算平台及其技术工具完成基本的云计算和大数据应用闭环操作，达到知行合一、以用促学的目的。教学资源教材：于长青刘宝宝张善文徐鲁辉.《云计算与大数据技术》[M].北京:人民邮电出版社,2023参考资料：[1]王伟,郭栋,张礼庆,等.云计算原理与实践[M].北京:人民邮电出版社,2018.[2]IBMdeveloperworks云计算频道[3]CSND云计算频道[4]NIST-CloudComputingReferenceArchitecture[5]IBM-CloudComputingReferenceArchitecturev3[6]iCAP_Labs_UserGuide，2013[7]《虚拟化与云计算》小组.《虚拟化与云计算》.[8]M.TimJones.虚拟Linux-虚拟化方法、架构和实现概述.[9]加州大学伯克利分校云计算课程[10]康奈尔大学云计算课程[11]中国人民大学分布式系统与云计算[12]徐小龙.云计算与大数据[M].北京:电子工业出版社,2021.[13]朝乐门.数据科学理论与实践[M].2版.北京:清华大学出版社,2019.[14]黑马程序员.大数据项目实战[M].北京:清华大学出版社,2020.[15]赵德宝,钟小平,涂刚,等.OpenStack云计算平台实战(微课版)[M].北京:人民邮电出版社,2021.[16]数据科学导论MOOC.目的要求1.了解本课程整体知识架构和课程要求；2.了解云计算与大数据的基本概念与特征、产生与发展以及它们与其他技术的关系；3.掌握云计算架构、虚拟化技术以及云计算技术。云计算架构基本概念、云计算架构设计与部署、云计算架构优化以及几种典型的云计算架构等；虚拟化基础、CPU虚拟化、存储虚拟化、网络虚拟化、应用程序虚拟化、几种典型的虚拟化软件等；云计算技术、分布式存储技术、云计算网络、云计算安全、云操作系统、云开发、云计算运维等。4.掌握大数据技术架构和大数据技术。大数据技术架构的概念以及设计，Hadoop生态架构、Spark、生态架构、Flink生态架构等；大数据基本流程，先后介绍大数据采集与预处理、大数据存储与管理、大数据计算技术、数据挖掘与可视化分析等。5.了解并能够运用云计算与大数据技术，云计算与大数据在数字政府、工业领域、医疗健康、教育行业以及金融领域中的应用。6.掌握结合某出行公司的客户案例详细介绍搭建云平台、搭建大数据平台以及大数据采集与预处理、大数据实时分析和用户行为可视化。教学内容1.课程介绍2.基础部分为第1章介绍云计算与大数据的基本概念与特征、产生与发展以及它们与其他技术的关系。3.云计算技术部分为包括第2～4章，主要介绍云计算架构、虚拟化技术以及云计算技术。其中，第2章详细介绍云计算架构基本概念、云计算架构设计与部署、云计算架构优化以及几种典型的云计算架构等；第3章具体阐述虚拟化基础、CPU虚拟化、存储虚拟化、网络虚拟化、应用程序虚拟化、几种典型的虚拟化软件等；第4章全面介绍云计算技术、分布式存储技术、云计算网络、云计算安全、云操作系统、云开发、云计算运维等。4.大数据技术部分包括第5～第6章，主要介绍大数据技术架构和大数据技术。其中，第5章介绍大数据技术架构的概念以及设计，然后循序渐进地介绍Hadoop生态架构、Spark生态架构、Flink生态架构等；第6章按照大数据基本流程，先后介绍大数据采集与预处理、大数据存储与管理、大数据计算技术、数据挖掘与可视化分析等。5.应用部分为第7章，介绍云计算与大数据在数字政府、工业领域、医疗健康、教育行业以及金融领域中的应用。6.案例部分为第8章，结合某出行公司的客户案例详细介绍搭建云平台、搭建大数据平台以及大数据采集与预处理、大数据实时分析和用户行为可视化。教学重点云计算、大数据技术。教学难点云计算、大数据技术。教学方法手段采用课堂互动讲解+研讨分析+实践操作，线下提供学习资源多媒体+上机练习+课后作业其他环节课后作业查阅资料了解云计算和大数据相关技术课后反思（课后手写）课序第次学时周次第教学周教学题目云计算和大数据基础教学目标知识了解大数据与云计算的关系，了解云计算和大数据技术的概念与特点、发展现状及优势。能力掌握本课程的知识体系架构，能够讲述云计算与大数据的发展历程，掌握云计算和大数据技术的基本概念、特点和关键技术的内容。情感通过中国云计算和大数据技术的发展，激发学生的自豪感；阿里云的发展介绍王坚院士的事迹，激发学生坚忍不拔的创新理念和精神。教学重点云计算、大数据的概念、基本特征和关键技术。教学难点云计算、大数据的概念、基本特征和关键技术。教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532ADDINCNKISM.UserStyle教案首页教学内容课堂组织开场课一、自我介绍教育背景、任职经历、研究领域、联系方式二、课程体系介绍课程性质、定位和目标教材及参考资源课程内容、课时和学分安排课程内容：课时：48课时=32理论+16实验学分：3学分（理论2学分，实验1学分）考核方法及学习要求：1.按时上课，不准无故旷课、迟到或早退，按时完成作业或课内实践；“学生考勤无故旷课6学时以上或缺交作业达1/3者，该课程平时成绩以零分记”“因缺课1/3以上或作业、课内实践缺做1/2以上无正常考核资格”2.课前看一遍书本，标注重点以及不理解的地方3.认真听讲，不做与上课无关的事情4.课上要求做笔记，每章节结束要求提交章节总结（建议采用思维导图模式）5.认真完成课后作业并及时提交6.对课程有任何问题及时与老师沟通如何学好这门课记录(Record)简化(Reduce)背诵(Recite)思考(Reflect)复习(Review)【5分钟】通过自我介绍让学生了解自己。重点介绍自己所做项目中与课程有关联的部分，对大家提出希望，一起把这门课程学好！【新课导入】问题引入：生活中云计算和大数据技术有哪些？通过学生的发言结合课件中给出的应用让学生体会云计算和大数据的作用。同时进行课程思政，引导学生体会我国制度优越性，祖国的伟大。给大家加油打气。从几方面分析强调网云计算和大数据课程的重要性。介绍课程性质、内容、目标、课时、学分、教材及参考资源。结合教材体系结构图帮助学生理清课程体系结构。强调线上线下混合式教学法。针对学习，提出要求和考核方式强调沟通的重要性！给出学习建议分享：忍别人所不能忍的痛，吃别人所别人所不能吃的苦，是为了收获得不到的收获。做一个决定，并不难，难的是付诸行动，并且坚持到底。教学设计【教学进程安排】课程引入：1.从云盘引入阿里云及其应用2.提问什么是云计算？都有哪些关键技术？3.提问什么是大数据？都有哪些关键技术？4.提问云大物移智是什么?一、云计算概述1.云计算发展历程1965年克里斯托弗·斯特雷奇发表的一篇论文，论文中正式提出了“虚拟化”的概念。而虚拟化正是云计算基础架构的核心，是云计算发展的基础。介绍传统IDC谷歌云计算亚马逊云计算云计算在中国四个阶段：引入阶段、成长阶段、成熟阶段、高速增长新基建介绍2.云计算基本概念NIST对云计算的定义：云计算是一种按使用量付费的模式。这种模式提供可用的、便捷的、按需的网络访问，以及可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，且只需要投入很少的管理工作，或与服务供应商进行很少的交互。3.云计算基本特征云计算是一种按需付费的、典型的自助服务模式云计算需要无处不在的网络接入云计算需要位置透明的资源池云计算需要快速而弹性云计算采用按使用量计费的服务4.云计算关键技术云计算体系结构（1）核心服务层（2）服务管理层（3）用户访问接口层云计算服务模式IaaS、PaaS、SaaS云计算部署模式公有云、私有云和混合云二、大数据概述1.大数据发展历程萌芽期、发展期、成熟期和大规模应用期2.大数据基本概念大数据是指具有体量巨大、来源多样、生成极快且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。3.大数据基本特征规模庞大（Volume）、种类繁多（Variety）、变化频繁（Velocity）、价值大但价值密度低（Value）4.大数据关键技术大数据关键技术一般包括大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（如大数据检索、大数据可视化、大数据应用、大数据安全等）。三、云计算、大数据、物联网、5G、移动通信和区块链之间的关系云计算、大数据、物联网、人工智能、5G和区块链这些领域相辅相成，谁都离不开谁。物联网、云计算和5G是大数据的底层架构，大数据依赖云计算来处理大数据，人工智能是大数据的应用场景。5G发展落地物联网才能发展，而物联网和云计算的发展是大数据快速发展的主要原因，进而使机器学习、计算机视觉、自然语言处理以及机器人学等人工智能领域也迎来了新的发展机遇。区块链是信任机制的制定者，人与人之间需要互相信任，区块链所记录的信息更加真实可靠，可以帮助人们解决互不信任的问题。四、总结：五、作业：1）云计算的概念、基本特征和关键技术？2）大数据的概念、基本特征和关键技术？3）云大物移智区块链之间关系？思考题（案例）：为什么现今社会需要云计算和大数据技术？课堂组织：【课程引入】承上启下课程思政介绍阿里云王坚院士带领团队开发阿里云的过程，坚持和创新。【互动】引导学生思考阿里云在中国？大数据展示中国“这十年”的发展。【重点内容】云计算、大数据概念、特征和关键技术ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目云计算架构教学目标知识理解云计算架构的基本概念，掌握云架构设计与部署方法和云计算架构优化等。能力掌握云计算的架构，能够进行云架构设计和部署，能够对现有云计算架构进行优化，能够合理选择相应的云计算架构。情感通过学习云计算架构典型案例，组织讨论“国内云计算技术在国际处于什么水平？如何在云计算技术发展潮流中脱颖而出，立于不败之地？”教学重点云架构设计与部署教学难点云计算优化技术。教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问企业有企业架构，如何进行云计算架构设计？一、云计算架构概述1.企业架构企业架构主要包括业务架构和IT架构。业务架构包括业务的运营模式、业务流程、组织结构和地域分布等。企业架构是战略与实际运营之间的桥梁，它有助于战略的落实。IT架构则是指导IT投资和决策的IT框架，是建设企业信息系统的蓝图，包括数据架构、应用架构和管理架构等。企业战略与IT战略必须紧密联系，通过企业架构来指导IT项目建设。2.云计算架构云计算架构就是按照业务需求选择最优的云平台服务部署对应的系统或者存储对应的资源，并结合各个云平台的服务特性设计出弹性、高性能、高可用、可扩展以及自动化的组合方案，以最终满足业务系统运行的需求。假设你在建造一间房子，云计算基础架构包含所有材料，而云计算架构就是其设计蓝图。云计算架构主要分为服务和管理两大部分。3．云计算架构设计原则先进性、可用性、可靠性、可扩展性、可管理性、开放性、安全性二、云计算架构设计与部署1.通用架构设计与部署2.高可用性架构设计与部署高可用性（HighAvailability，HA）指一个系统能够持续无故障运作的概率，即以最短时间恢复正常访问业务的能力，无论这个故障是业务流程、物理设施、网络或者服务器软/硬件的故障。高可用性设计就是通过一定的系统设计和系统功能支持，来大幅度提高系统持续无故障运行的概率。标准：根据实际业务发展的阶段进行权衡，不同级别的可用性通常采取的技术手段。可用性等级可用性数值年最大停机时间常用的技术手段基本可用99%88h负载均衡较高可用99.9%8.8h自动化部署高级可用99.99%53min微服务应用监控容错机弹性伸缩极高可用99.999%5min异地多活、容灾高可用性架构的设计原则如下。（1）假定失效设计指假定任何环节都会出问题，然后倒退设计。（2）多可用区设计指尽最大可能避免架构中的单点故障。（3）自动扩展设计指不进行设计调整，就能满足业务量增长。（4）自我修复设计指内建容错及检查能力，应用能够在部分组件失效时自我修复以继续工作。（5）松耦合设计指耦合度越小，则扩展性越好、容错能力越强。高可用性架构设计的3种方式如下。（1）主从方式（2）双机双工方式（3）集群工作方式高可用性架构设计的设计步骤如下。（1）进行合理的评估分级，来应对灾难恢复能力和业务恢复能力。（2）进行冗余设计。（3）采用弹性伸缩（AuotoScallngAS）来应对高峰期和业务增长。腾讯云为例来说明高可用性云计算架构的设计与部署3.高性能架构设计与部署性能是一种表明软件系统或构件对于其及时性要求的符合程度，也是软件产品的一种特性，私下可以用时间来进行度量。狭义的性能是指运行速度的快慢；广义的性能涉及很多内容，如功耗、利用率、性价比、速度等。高性能架构设计的基本步骤（1）性能目标（2）分析问题（3）解决问题（4）性能评估阿里云为例来说明高性能架构设计与部署4.容灾架构设计与部署云计算容灾主要分为4个层次（1）应用级高可用指产品自带主备或者双活设计、健康检查、自动切换等。（2）集群级高可用指集群的设计，除了横向扩展服务能力以外，还能通过自动侦测、自动切换和自动回复消除故障、减少设备意外发生时的宕机时间。（3）可用区级高可用指把集群的主备系统分散部署到不同地域的机房，扩大容灾范围，可以保障在短期内接管服务，提高业务连续性。（4）地域级高可用指跨地域容灾，包括网络、系统改造和适配，数据同步和一致性等灾备问题，能够保障某地域系统不可用时，能通过其他地域系统继续为用户提供服务。阿里云为例来说明容灾架构设计与部署5．云安全架构设计与部署云安全联盟的《12大顶级云安全威胁：行业见解报告》，该报告重点聚焦了12个涉及云计算共享和按需特性方面的严重威胁，包括数据泄露，身份、凭证和访问管理不足，不安全的接口和API，系统漏洞，账户劫持，恶意内部人士，高级持续性威胁，数据丢失，尽职调查不足，滥用和恶意使用云服务，拒绝服务，共享技术漏洞等。云安全架构设计原则：最小特权原则、纵深防御原则、职责分离、防御单元解耦、回溯和审计、安全数据标准化、面向失效的安全设计。阿里云为例来说明云安全架构设计与部署6．桌面架构设计与部署云桌面是一种基于云计算的桌面服务。与传统计算机和虚拟桌面架构不同，企业无须投入大量的资金和花费数天的部署时间，即可快速构建桌面办公环境。华为FusionCloud为例来说明云桌面架构设计与部署三、云计算架构优化1．云计算架构优化概念云计算架构优化是系统化地对云计算体系的每个环节进行分析并优化，找出瓶颈点并进行调优，提高系统的响应速度、吞吐量，降低各层耦合等。常见的不合理的云计算架构设计：单点故障、访问延迟、业务中断云计算架构优化步骤：（1）现状调研。（2）需求分析。（3）问题定位。（4）优化路径。（5）查漏补缺。2.云计算架构优化案例云计算架构优化要遵循架构设计原则，从需求出发，找到关键点，整体分析，设定优化路径，改善系统问题，周期性地进行架构优化。四、几种典型的云计算架构1.谷歌云计算架构2阿里云计算架构3腾讯云计算架构4华为云计算架构五、总结：六、作业：1）云计算架构的设计原则。2）云计算高可用性架构设计基本步骤。3）云计算高性能架构设计的步骤。4）两地三中心容灾架构设计。5）常见的不合理的云计算架构设计。思考题（案例）：企业架构和云计算架构的区别？课堂组织：【课程引入】承上启下总计回顾上节课内容提问企业有企业架构，如何进行云计算架构设计？【互动】通过学习云计算架构典型案例，组织讨论“国内云计算技术在国际处于什么水平？如何在云计算技术发展潮流中脱颖而出，立于不败之地？”【重点内容】云架构设计与部署ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目虚拟化技术教学目标知识虚拟化概述，包括虚拟化发展历程、虚拟化的几个重要概念、虚拟化的主要特征、虚拟化常见的架构类型；虚拟化的关键技术，包括CPU虚拟化、存储虚拟化、网络虚拟化、服务器虚拟化、桌面虚拟化、应用程序虚拟化；几种典型的虚拟化软件，KVM、Xen、VMwareESXi、MicrosoftHyper-V。能力了解虚拟化技术的基本概念、主要特性以及常见的架构类型，掌握虚拟化的关键技术，了解几种典型的虚拟化软件。情感虚拟化技术推进了云计算发展。教学重点虚拟化的关键技术教学难点虚拟化的关键技术教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问云计算的关键技术，CPU存储、网络？一、虚拟化概述1虚拟化发展历程2虚拟化的几个重要概念虚拟化、虚拟机、虚拟化管理器3虚拟化的主要特征：分区、隔离、封装、独立于硬件4虚拟化常见的架构类型寄居虚拟化架构、裸金属虚拟化架构、操作系统虚拟化架构、混合虚拟化架构。二、CPU虚拟化1.CPU虚拟化技术就是单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。化能够让虚拟机直接在处理器上执行大多数指令，让多个虚拟机运行时可以同时访问一个CPU。2.x86保护模式下有4个特权等级，按照权限下降顺序为Ring0、Ring1、Ring2、Ring33.虚拟化过程中，根据处理敏感指令的方式可以将CPU虚拟化分为3类：完全虚拟化技术、半虚拟化和硬件辅助CPU虚拟化。三、存储虚拟化1.存储虚拟化对多个物理存储设备进行抽象，将多台磁盘阵列进行集成和统一管理，形成一个虚拟化的逻辑池，让用户对逻辑存储进行操作。它管理着下层不同的存储设备，对上层用户屏蔽不同设备差异。2．存储的类型磁盘盘阵列、DAS、NAS、SAN3.存储虚拟化技术存储虚拟化技术可以分为基于主机的、基于存储网络的和基于存储设备的3种层次的存储虚拟化.4.存储虚拟化作用现统一管理和灾备四、网络虚拟化1．网络虚拟化基本概念网络虚拟化是一种基于用户实际需求来扩展网络服务的技术，能将网络进行逻辑虚拟化，在原有网络设备硬件系统上，运行逻辑隔离的半封闭网络，可有效提升网络资源的利用效率。网络虚拟化将网络的硬件和软件资源整合，向用户提供虚拟网络连接的技术。2．网络虚拟化特点透明性、隔离性、可靠性、安全性、可定制3.网络虚拟化技术网络虚拟化主要包括3个方面：物理主机内部网络虚拟化、网络交换设备虚拟化和网络虚拟化的统一管理。网络虚拟化技术研究主要集中在IP网络虚拟化领域。IP网络虚拟化主要包括网元虚拟化、链路虚拟化、隧道虚拟化。五、服务器虚拟化1.服务器虚拟化是指在一台物理服务器上通过软件虚拟出多个虚拟服务器，各个虚拟服务器之间相互隔离，能够同时运行相互独立的操作系统，这些操作系统通过VMM来与硬件进行通信并进行管理。服务器虚拟化可以让CPU、内存、磁盘、I/O等硬件变成可以动态管理的资源池，从而提高资源的利用率、简化系统管理、实现服务器整合。2.服务器虚拟化需要达到一致性、高效性、可控性的要求。六、虚拟桌面1．虚拟桌面基本概念虚拟桌面是操作系统和应用程序的预配置映像，其中桌面环境与用于访问它的物理设备是分开的。2．虚拟桌面工作原理虚拟桌面提供商使用虚拟化软件从计算机硬件中抽象出操作系统。操作系统、应用程和数据不是在硬件上运行的，而是在虚拟机上运行的。组织可以在本地托管虚拟机。在基于云的虚拟机上运行虚拟桌面也很常见。该技术已经发展到允许多用户共享一个运行多个虚拟桌面的操作系统。3.虚拟桌面的优点安全性、灵活性、成本、轻松管理、计算能力七、应用程序虚拟化1.应用程序虚拟化是将应用程序与操作系统解耦合，为应用程序提供虚拟的运行环境。2.JVM是连接应用程序与系统平台及计算机硬件的桥梁，是在操作系统中的一个作业，所有Java应用程序均归属某一个虚拟机实例，当运行作为Java程序起点的main()方法时，JVM便被创建。JVM被创建后，在虚拟机运行过程中会创建守护线程，守护线程的作用是监测非守护线程的执行过程，保障程序的完整执行，直到应用程序退出。八、几种典型的虚拟化软件虚拟化软件分为开源软件和商业软件两种。开源软件以Xen和KVM为代表，其特点是成本低、产品免费；商业软件以VMwareESXi和Hyper-V为代表，其特点是性能稳定、功能丰富、技术支持能力强，但成本高。五、总结：六、作业：1）虚拟化技术的原理？2）Docker与虚拟机的区别？3）半虚拟化网卡和完全虚拟化网卡的区别？思考题（案例）：虚拟化技术在云计算中的作用？课堂组织：【课程引入】承上启下总计回顾上节课内容提问云计算的关键技术？【互动】通过虚拟化技术元宇宙【重点内容】虚拟化的关键技术ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目云计算技术教学目标知识云计算技术概述，包括云计算技术、云计算技术发展历程；分布式存储技术，包括GFS、Swift、Ceph、Lustre；云计算网络，包括数据中心网络、软件定义网络、租户网络管理；云计算完全，包括云安全风险、云计算安全技术；云操作系统，包括基本概念、管理平台、资源调度、实例；云开发，包括云开发和传统开发的区别、一站式后端Serverless服务和应用场景；云计算运维。能力了解云计算的分布式存储技术、云计算安全技术、云操作系统，云计算运维等相关知识。理解数据中心网络拓扑、软件定义网络基础架构和OpenDaylight管理云网络基本架构。熟悉常见的分布式存储技术以及各自的特点，常用资源调度策略及算法解决云计算资源调度。情感云计算技术为科学技术发展的促进作用。教学重点分布式云存储、软件定义网络、云计算安全教学难点分布式云存储、软件定义网络、云计算安全教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问云计算的关键技术有哪些，如何实现？一、云计算技术概述1.云计算技术的发展阶段2.云计算是将计算、存储、网络以及虚拟化等技术进行结合的技术方案，是产品技术和商业模式创新相结合形成的数字基础设施。其关键技术包括虚拟化技术、分布式存储技术、云计算网络技术、云计算安全技术、云操作系统、云开发、云运维等。二、分布式存储技术分布式存储技术是一种数据存储技术，它通过网络使用企业中的每台技术机上的磁盘空间，并将分散的存储资源构成一个虚拟的存储设备，数据分散地存储在企业的各个角落。存储根据其类型，可分为块存储、对象存储和文件存储。在主流的分布式存储技术中，GFS和HDFS属于文件存储，Swift属于对象存储，而Ceph因可支持块存储、对象存储和文件存储，故称为统一存储。1.GFS主要架构：一个GFS集群一般由一个master、多个chunkserver和多个client组成。功能模块：GFS数据写入流程2.SwiftSwift的主要架构：Swift的数据模型：Swift的一致性设计：采用Quorum仲裁协议。3CephCeph根据场景可分为对象存储、块设备存储和文件存储。Ceph的主要架构：Ceph的功能模块：包括client（客户端）、MON（监控服务）、MDS（元数据服务）、OSD（存储服务）Ceph的资源划分：采用CRUSH算法，在大规模集群下实现数据的快速、准确存放，同时能够在硬件故障或扩展硬件设备时做到尽可能小的数据迁移。Ceph的数据写入：4.LustreLustre的主要架构：5.主流分布式存储技术的比较三、云计算网络1.数据中心网络2.软件定义网络SDN体系架构：SDN体系架构由下到上（或由南到北）可分为3个层次；数据平面、控制平面和应用平面。OpenFlow：是基于流（Flow）的概念来匹配转发规则基于OpenFlow的SDN：基于OpenFlow的SDN基本架构包括应用层、控制器层、基础设施层及这3层之间的SDN北向接口、SDN南向接口。OpenDaylight：是一款使用Java开发的控制器，提供一套基于SDN开发的模块化、可扩展、可升级、支持多协议的控制器框架，推动SDN技术的创新实施和透明化。开放网络操作系统：ONOS（OpenNetworkOperatingSystem，开放网络操作系统）是专门面向服务提供商和企业骨干网的开源SDN操作系统，是由开放网络实验室打造的一款商用控制器。ONOS旨在满足服务提供商和企业骨干网高可用性、可横向扩展及高性能的网络需求。ONOS具有的核心功能主要包含北向接口抽象层/API、分布式核心平台、南向接口抽象层/API、软件模块化。具体将在下文做详细分析。P4：是一种用于与协议无关的包处理器编程的高级语言，它与OpenFlow等SDN控制协议协同工作，解决了OpenFlow编程能力不足的问题。3.租户网络管理：网络即服务、OpenStackNeutron、基于组的策略四、云计算安全云计算安全或云安全指一系列用于保护云计算数据、应用和相关结构的策略、技术和控制的集合，属于计算机安全、网络安全的子领域，或者更广泛地说属于信息安全的子领域。1.云计算安全云服务因其总体架构、网络部署、运维服务具有相似性，面临具有共性的安全风险，以下从基础设施、网络部署、云上应用、运维服务4个方面。2.云计算安全技术云计算安全审计、标识与鉴别技术、访问控制技术、数据加密与隐私保护、数据安全隔离技术、多租户技术、网络隔离技术、云灾备五、云操作系统1.基本概念云操作系统又称云OS、云计算操作系统、云计算中心操作系统，是以云计算、云存储技术作为支撑的操作系统，是云计算后台数据中心的整体管理运营系统。2.云操作系统管理平台功能集群管理、应用管理、交付中心、运维管理3.云操作系统资源调度云资源调度主要分为3层：应用程序资源调度，虚拟资源（如虚拟机）到物理资源调度，物理资源调度和落地。4.云操作系统实例VMwarevsphere、浪潮云海、曙光cloudview、华为云操作系统、阿里云飞天分布式操作系统六、云开发云开发是云端一体化的后端云服务，采用Serverless架构，免去了移动应用构建中烦琐的服务器搭建和运维。同时云开发提供的静态托管、命令行工具（CLI）、FlutterSDK等功能降低了应用开发的门槛。使用云开发可以构建完整的小程序/小游戏、H5、Web、移动App等应用。七、云计算运维在云中快速部署和管理应用程序，同时可以自动处理容量预配置、负载均衡、弹性伸缩和应用程序状况监控。五、总结：六、作业：1）分布式文件存储系统GFS的主要架构？2）SDN的基本概念？3）云计算的安全技术框架包含哪些内容？4）云时代运维面临的挑战有哪些？思考题（案例）：软件定义网络和传统网络、云开发和传统开发的区别？课堂组织：【课程引入】承上启下总计回顾上节课内容提问云计算的关键技术有哪些，如何实现？【互动】通过虚拟化技术元宇宙【重点内容】虚拟化的关键技术ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目大数据技术架构教学目标知识理解大数据架构的基本概念，掌握大数据架构的设计方法，以及常见的Hadoop、Spark、Flink生态架构。能力掌握大数据架构的基本概念及设计方法，能够进行Hadoop、Saprk及Flink架构设计和部署，并掌握它们之间的区别与联系，能够在不同的场所进行设计与部署。情感通过学习了解中国大数据的发展，大数据在国家发展中的战略地位以及在国民生产中的应用，通过“这十年”中国变迁的历史数据分析中国在综合国力、科技、脱贫、环保等方方面面的变迁，为世界发展贡献中国力量。教学重点Hadoop架构、Spark架构和Flink架构教学难点Hadoop架构、Flink架构教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问大数据如何部署和实现？一、大数据技术架构概述1.大数据技术架构大数据技术架构视为大数据解决方案的蓝图。大数据参考架构由系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者五大逻辑功能构件组成，包括信息价值链和信息技术价值链。从高到低分别为角色、活动和组件。第1层最顶层是大数据技术架构的5个角色：系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者。安全和隐私及管理为大数据系统的5个角色提供服务和功能。第2层的逻辑构件是每个角色执行的活动。第3层的逻辑构件是执行每个活动需要的功能组件。2.大数据技术处理平台根据大数据从来源到应用以及大数据的传输流程，可以将大数据技术处理平台分为数据采集层、数据存储层、数据处理层、数据应用层、数据治理层和数据运维层，其中数据运维层和数据治理层贯穿大数据处理的各个层次。二、数据技术架构设计1.Lambda架构2.Kappa架构3.IOTA架构三、Hadoop生态架构四、Spark生态架构Spark基本流程五、Flink生态架构1.Flink设计架构2.Flink架构体系3.流处理应用的基本组件：数据流、状态、时间、窗口4.FlinkAPI：ProcessFunction、数据流API、TableAPI和SQLAPI5.Flink扩展库：CEP库、数据集API、Gelly6.Flink基础编程模型7.Flink作业执行过程六、Hadoop、Saprk、Flink三种架构比较七、总结：六、作业：1）大数据技术参考模型？2）述Lambda、Kappa和IOTA的区别。区别？3）Spark的基本流程？4）Flink的作业执行过程思考题（案例）：几种架构之间的区别和联系？课堂组织：【课程引入】承上启下总计回顾上节课内容提问：大数据如何部署和实现？【互动】“这十年”系列是怎么通过数据向世界展示中国方方面面的变迁？【重点内容】Hadoop架构Flink架构ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目大数据技术教学目标知识了解和理解大数据存储技术和大数据计算技术；熟练掌握大数据采集及预处理、大数据存储技术、大数据计算技术和数据挖掘与可视化分析。能力熟练掌握大数据采集及预处理、大数据存储技术、大数据计算技术和数据挖掘与可视化分析。情感通过学习让学生进一步理解科学技术就是生产力，掌握用科技力量来助力社会发展，让数据说话。教学重点掌握从大数据采集与预处理到大数据可视化整个流程及需要的相应技术。教学难点大数据采集及预处理、大数据存储技术、大数据计算技术。教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问大数据基本处理流程？3.大数据每个阶段的技术?一、大数据处理过程大数据处理过程可以概括为从数据产生开始，经历采集、管理、计算分析，最后将结果呈现出来的过程。二、大数据采集与预处理1.数据采集数据采集，又称“数据获取”，指通过各种技术手段采集外部各种数据源产生的实时或非实时的数据。互联网数据采集、业务数据采集、日志数据采集2.数据预处理数据预处理包括数据清洗、数据转换、数据集成、数据脱敏、数据归约和数据标注等。三、大数据存储技术1.HDFSHDFS是Hadoop的核心技术之一。HDFS为大数据平台的其他所有组件提供了基本的存储功能，其高容错、高可靠、高可扩展、高吞吐率等特征，为大数据存储和处理提供了强大的底层存储架构。HDFS是大数据平台的基础。2.NoSQL数据库大数据时代要求数据库系统必须具有高并发读写、海量数据的高效存储和管理、高可扩展性和高可用性。NoSQL数据库特点：易扩展、高性能、高灵活性、高可用性、开源、成本低。NoSQL数据库类型：，典型的NoSQL数据库通常包括键值数据库、列族数据库、文档数据库和图数据库。3.HbaseHBase是一款高可靠、高性能和可伸缩的NoSQL数据库，主要用来存储非结构化和半结构化的松散数据。HBase已经成功应用于互联网服务领域和传统行业的众多在线数据分析处理系统。HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳。四、大数据计算技术大数据计算主要是面对大规模的海量数据进行的并行处理、分析和挖掘，以满足相应的业务需求。针对不同的业务场景，大数据计算主要有批处理计算、流计算、查询分析计算和图计算这4种类型。1.批处理在业务处理中常见的大数据批处理计算框架有MapReduce和Spark，其中，MapReduce的影响力更大。MapReduce和Spark都是用于处理海量数据的，但是在处理方式和处理速度上存在着差异，MapReduce是基于磁盘处理数据的，Spark处理数据是基于内存的。MapReduce将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能；Spark将计算的中间结果保存到内存中，可以反复利用中间结果，提高了处理数据的性能。MapReduce工作流程：MapReduce工作流程中的5个执行阶段：统计出文本单词的出现频率：2.流计算流计算通过实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息。流计算与批处理计算有如下不同：流计算处理的是实时的数据，而批处理计算处理的是预先存储好的静态数据；流计算用户通过流处理系统获取的是实时结果，而通过批处理系统获取的是过去某一时刻的结果。Storm是一个免费、开源的流计算系统，Storm可以简单、高效、可靠地处理流数据，并支持多种编程语言，Storm框架可以方便地与数据库系统进行整合，从而开发出强大的流计算系统。Storm集群架构：Storm的工作流程：3.查询分析计算针对大数据的存储管理和查询分析计算场景，需要提供实时响应或准实时响应。OLAP就是典型的查询分析计算的应用场景。Hive、Dremel、Cassandra、Impala等都是在这方面具有代表性的引擎。Hive的系统架构：4.图计算针对大型图的计算，目前通用的图计算软件主要包括两种：第一种主要是基于遍历算法的、实时的图数据库，如Neo4j、OrientDB、DEX和InfiniteGraph；第二种则是以图顶点为中心的、基于消息传递批处理的并行引擎，如GoldenOrb、Giraph、Pregel和Hama等。五、数据挖掘与可视化分析1.数据挖掘数据挖掘是指从大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特征群组分析和演变分析等。2.可视化分析通过数据挖掘，能够快速找出数据中隐藏的信息规律和真相。数据可视化能通过简洁直观的点、线、面组成的图形直观地展示这些数据信息，可以帮助人们快速捕获和保存信息。数据可视化是大数据处理的最后一个环节。七、总结：六、作业：1）HDFS中NameNode和DataNode的作用。2）大数据有几种计算类型，分别解决什么问题。3）Hive与关系数据库的区别。思考题（案例）：总结大数据分析的主要流程？课堂组织：【课程引入】承上启下总计回顾上节课内容提问：大数据基本流程以及每个阶段的技术？【互动】大数据技术如何促进科学技术的进步？【重点内容】掌握从大数据采集与预处理到大数据可视化整个流程及需要的相应技术。ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目云计算和大数据应用教学目标知识了解云计算与大数据在各行各业的应用，熟悉云计算与大数据的应用架构，能够利用云计算与大数据的技术设计和规划业务应用。能力熟悉云计算与大数据的应用架构，能够利用云计算与大数据的技术设计和规划业务应用。情感通过学习让学生进一步中国云计算与大数据在各行各业中的应用，增强民族自信心和自豪感。教学重点熟悉云计算与大数据的应用架构。教学难点熟悉云计算与大数据的应用架构设计。教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问云计算和大数据在我国各行各业中的应用，举例说明？一、云计算与大数据在数字政府中的应用1．城市智能运行中心城市智能运行中心是以城市数据为驱动的，智能化的运行、管理、指挥、调度、评价中心。城市智能运行中心从数据、能力和机制3个方面助力城市精细化治理，为城市治理建立起跨部门的场景、事件、业务、数据等高度协同、闭环处置、全域管理的智能运行体系。举例阿里云城市智能运行中心架构2.社会治理利用实时、全量的社会数据资源全局优化城市公共资源，通过城运中心、城市中台与城市领域应用组成强大的“脑”，在市民、企业、政务灵活的端设备支持下实现全面治理和全包围服务，实现城市治理模式突破、城市服务模式突破、城市产业发展突破，打造全新的数字经济基础设施。举例阿里云社会治理架构，以业务数据化、数据智能化为手段，打造以“动态感知、数据融通、全域智能、高效协同、精确指挥”为目标的新一代社会精细化社会治理体系。3.互联网+监管构建互联网+监管平台，通过监管系统互联、互通和监管数据共享、共用，构建监管风险预测体系，实现规范监管、精准监管、联合监管和监管全覆盖。举例阿里云互联网+监管平台架构，引入海量数据算力平台，构建以各领域创新应用为最终目标的大数据生态体系，对监管业务和科学管理决策进行仿真，推动政府监管更加精准、高效和智能。二、云计算与大数据在工业领域中的应用1.工业互联网围绕为企业降成本、为经济谋发展的定位，工业互联网以助力智能制造、推动企业上云、构建产业互联为核心功能，有力推动工业产业数字化转型。根据城市产业特征，定制工业行业大数据平台，运用云数据智能驱动产业智能化变革，形成新的模式和新的业态，打造城市专属级工业互联网平台。举例腾讯云工业互联网平台架构。2.生产过程优化工业生产过程都存在多个工序，每个工序依赖基于工艺机理给出的优化的参数配置建议。传统工业领域的决策优化也大多基于工艺方面的持续挖掘，但这条路径由于过长时间的挖掘，优化空间已经接近“天花板”。基于AI的数据驱动在解决非线性、多工序、全局优化类问题时有独特优势。举例化工生产大数据平台，依托阿里云强大的云计算、物联网与大数据技术，建立化工大数据平台，对企业生产设备、运营的数据进行数据价值挖掘，帮助企业优化工艺、降低人力成本、提高生产安全。借助工业大脑算法平台与知识图谱技术为客户建立大数据分析平台，可实现生产/控制参数优化，关键机组设备预防性维护，长输管线泄露预警，装置/全厂能耗优化，产业链协同/供应链优化，产品质量预测，市场/消费者行为画像分析等。此外，利用知识图谱技术，可进行预防性维护，从而推进全厂智能优化。3.工业数字孪生工业数字孪生是以人工智能技术为手段，结合空间地理信息技术，自主研发出的全产业链的数字孪生一站式服务，并通过综合运用数字技术和物联网技术为数据赋能，驱动“智能+”在各个细分领域的渗透，为工业4.0和行业客户提供全产业链的数字孪生（DigitalTwin）解决方案。举例数字孪生产品平台采用阿里云自研的工业可视化孪生平台，高度融合模块化的可视化框架引擎、支持阿里巴巴达摩院、数据智能算法引擎、全息影像等可视化技术，支持成像技术实现的高可用的数字孪生平台可实现数字、业务、智能、感知的全面可视化智能应用，支撑工厂、车间、产线的智能化转型升级；低代码可视化搭建，数据源管理，实时动态数据接入，产品体系全链路打通，灵活的交互事件定义。三、云计算与大数据在医疗健康中的应用1.数字化医院根据国家智慧医院评级标准要求，医疗机构要围绕着智慧医疗、智慧服务和智慧运营3个方面展开医疗服务和信息化能力建设。传统的医疗信息化建设容易导致单点故障和数据孤岛，并无法全面开展互联网+医疗服务，通过数字化医院解决方案和全栈混合云方案，帮助医疗机构构建统一的云平台底座，实现核心业务和互联网业务的分级部署，实现数据的互联互通和共享，实现业务系统和IT系统运行的实时监控和智能运维，实现基于全量数据的科学决策，以满足“新等保”2.0安全等级测评要求。举例华为云数据化医院解决方案架构。2.医药云从全球范围趋势来看，由于政策、市场以及企业自身意愿的诸多影响，制药企业、流通企业、连锁药店等都在积极转型。中国要实现从“医药大国”走向“医药强国”的转变，除了需要国家政策的支持，医药企业自身的信息化升级也非常重要。医药领域有很多专业软件系统，包括实验室系统、临床系统、药品追溯系统、药物警戒系统、医药营销系统等，未来企业的GMP（GoodManufacturingPractice，药品生产管理规范）、GSP（GoodSupplyPractice，产品供应规范）执行情况将直接与药品生产许可和经营许可挂钩。医药云解决方案以“合规+医药AI”为基础，贯穿医药研发到配送的全流程，聚焦场景化方案以助力医药行业转型升级。举例华为云医药行业解决方案架构3.基因测序“十三五”规划中明确提出将精准医疗列为战略性新兴产业，基因测序作为精准医疗的重要组成部分，在业务流程中需针对海量的基因组学数据进行计算、存储和大数据分析等工作。各云服务提供商面向客户打造高效、敏捷和智能的一站式基因测序解决方案，助力行业快速进入“基因+云”时代。从CPU算力，到异构计算加速，通过容器、FGPA（FieldProgrammableGateArray，现场可编程门阵列）、GPU（GraphicsProcessingUnit，图形处理单元）、大数据和分布式等技术缩短分析耗时，已逐渐成为趋势且部分软件被广泛商用。举例华为云基因数据AI使能架构。四、云计算与大数据在教育行业中的应用1.智慧校园智慧校园解决方案运用成熟的中台驱动业务能力引入互联网运营、创新教学模式等来促进义务教育的优质发展，让教育教学全场景数据贯通；用人工智能使师生减负、增效，促进人性化人才培养策略，提升教育治理水平，实现新管理、新沟通、新课堂、新学习、新安全“五新教育”场景，全力推动信息技术与教育教学深度融合，推进优质教育资源共建、共享。阿里云智慧校园解决方案架构。2.科研云科研云针对不同的用户视角，为学校领导（包含科研管理部门和财务部门领导等）、科研团队（包含项目负责人、科研秘书、项目组成员）、信息中心老师，提供3个主要平台：运营平台、开放平台、科研协同平台。科研云采用混合云架构，通过轻虚拟运营商和资源共享模式实现对科研资源的统一管理、统一运营，结合科研协作平台，统一的科研管理流程，实现了成本降低、效率提升的目的，并通过科研合作和生态构建科研创新“土壤”，真正实现了科研无边界。阿里科研云架构。3.智慧教学智慧教学平台，通过混合云模式实现资源层的弹性伸缩，解决了高并发的在线教学场景的资源瓶颈和视频资源的海量存储问题；通过与线下智慧教室的物联网设备对接，实现课程资源的统一汇集；高性能的视频处理、数智平台和物联网平台共同构成智慧教学坚实的技术支撑；中文字幕、协同笔记、图像处理、金课提取以及基于海量教学数据和学习数据形成的知识图谱，为教学场景提供了更多的智能化的手段；实现小班课的双向直播，打通在校生以及毕业生的服务通道，使得校园文化成为可以陪伴学生一生的知识财富。基于阿里云的智慧教学，以学生为中心，根据学校实际的教学管理需求，围绕课前、课中、课后教学闭环，集教、学、评、管于一体，通过信息技术与教学场景的深度融合，构建线上学习空间与实体教学课堂相融合的创新型学习空间，通过线上与线下混合的教学模式，实现学校在教学模式、服务形式、管理方式等方面的变革与创新。五、云计算与大数据在金融领域中的应用1.互联网银行在“数字银行时代”，零售银行业务将实现全面数字化转型，打造线上银行。利用金融科技对银行渠道、客户、产品、风控等管理进行全面在线化、智能化、生态化改造，建设“大中台、小前台”的架构模式，实现业务快速创新；采用分布式架构，建设平台和生态，融合电商、本地生活、金融场景，实现金融业务的“在线化，智能化，生态化”；建设全新银行系统，提升金融服务的效率。阿里云互联网银行架构。2.证券智能营销当前证券行业经纪业务服务的同