《人工智能基础与应用高职》全套教学课件

模块1AI的前世今生：它到底从哪里来模块1AI的前世今生：它到底从哪里来模块2AI进步的关键：探索AI的支撑技术模块3AI的蓬勃发展：AI的关键技术模块4从科幻走进现实：迎接它的时代模块5AI赋能行业：它与大家的专业模块6认识程序：人工智能编程语言模块7未来走向何方：AI的机遇与挑战全套可编辑PPT课件

CONTENTS目录追本溯源：什么是AI一波三折：AI发展的三次浪潮百家争鸣：AI主流学派探索之旅：发展AI技术的企业01020304学习目标了解人工智能的概念和人工智能发展的三次浪潮。掌握人工智能发展的主流学派及其思想，熟悉人工智能领域的关键技术及实现途径。了解发展人工智能技术的企业。知识目标能够分析人工智能产生的效用及其适用的场景。能够准确识别人工智能应用场景所采用的核心技术。能力目标了解人工智能发展历程，培养捕捉人工智能发展前沿信息的自主学习能力。了解我国人工智能的发展方向，树立科技自信、文化自信，提升民族自豪感。素质目标第1讲01追本溯源：什么是AI导读导学“未来像盛夏的大雨，在我们还来不及撑开伞时就扑面而来。”在探索科技的浩瀚长河中，每一项突破性技术的诞生都仿佛打开了一扇通往未知世界的大门。2022年年底，人工智能聊天机器人ChatGPT的横空出世，就像是一场突如其来的盛夏大雨，以前所未有的速度和影响力，迅速席卷全球，开启了人工智能的新纪元。这场“大雨”不仅刷新了人们对人工智能的认知，更预示着一场前所未有的科技革命正悄然来临。第1讲

追本溯源：什么是AI典型案例近年来，我国先后举办了2021世界人工智能大会、2023世界人工智能大会（见图1-1等），向世界展示了人工智能新技术、产业和应用全球化发展的大趋势，包括人工智能深度渗透城市数字化转型、人工智能赋能新经济、人工智能参与高效社会治理等方面的探索和实践。大到飞行近5亿公里追逐火星的“天问1号”，小到一只可以监控人体健康的手表，都离不开人工智能。人工智能正以始料未及的速度渗透到人们生活的方方面面。图1-12023世界人工智能大会第1讲

追本溯源：什么是AI典型案例风起于青萍之末，浪成于微澜之间。了解一朵浪花最好的方式是回看“潮起”之时。回溯历史，可以看到，自计算机科学家图灵在20世纪50年代提出人工智能（AI）的概念以来，这一领域便经历了数十年的技术迭代与沉淀。从最初的符号主义到后来的连接主义，再到如今深度学习的崛起，每一次技术的飞跃都为人工智能注入了新的活力。而今，随着ChatGPT等生成式人工智能技术的涌现，人们仿佛看到了人工智能从青涩少年成长为壮年的清晰轨迹。ChatGPT引发的热潮尚未消散，2024年2月，OpenAI公司的文生视频模型Sora面世，将文生视频的长度从5～10秒拓展至一分钟，具有高水平的多模态建构能力，被誉为“物理世界模拟器”。这一进展为人工智能的多模态交互领域带来了新的突破，也进一步印证了人工智能的强大潜力。第1讲

追本溯源：什么是AI第1讲

追本溯源：什么是AI启发思考在叩响人工智能大门前，请先自主思考以下问题，并带着问题学习本讲后面的知识。（1）你和ChatGPT聊过天吗？感觉如何？（2）结合生活中阅读的书籍和观看的影视剧或纪录片谈谈你所了解的人工智能。（3）谈谈你希望看到人工智能应用于哪些场景。第1讲

追本溯源：什么是AI知识要点知识点1

人工智能的概念及界定（1）计算机科学家约翰·麦卡锡（JohnMcCarthy）人工智能就是要使机器的反应方式像人在行动一样；也就是说，它是制造智能机器，特别是智能计算机程序的科学与工程。（3）人工智能学者帕特里克·温斯顿（PatrickWinston）人工智能就是一种研究如何使用计算机去做过去只有人才能做的智能工作的学科。（2）人工智能先驱尼尔斯·约翰·尼尔森（NilsJohnNilsson）人工智能是关于知识的学科，是怎样表示知识及怎样获得知识并使用知识的学科。第1讲

追本溯源：什么是AI总体而言，人工智能是模拟实现人的抽象思维和智能行为的技术，即利用计算机软件模拟人类特有的大脑抽象思维能力和智能行为，如学习、思考、判断、推理、证明、求解等，以便于完成原本需要人的智力才可胜任的工作。第1讲

追本溯源：什么是AI知识点2

人工智能发展的三个层次人工智能发展至今，产业界认为其可以分为三个层次，即弱人工智能、强人工智能和超强人工智能，如图1-2所示。图1-2人工智能的三个层次第1讲

追本溯源：什么是AI1）弱人工智能弱人工智能是指低于人类智力水平的人工智能，它只专注于某个特定领域或完成某个特定任务。弱人工智能的主要特点是人类可以很好地控制其发展和运行。目前，人工智能的发展还处于弱人工智能层次，所提到的大部分人工智能技术也都是弱人工智能。第1讲

追本溯源：什么是AI强人工智能是指和人类智力旗鼓相当的人工智能，涉及多个领域的综合，属于人类级别的人工智能。它具备抽象思维，能够进行思考、计划、解决问题、理解复杂理念、快速学习和从经验中学习等操作，并和人类一样得心应手。目前，强人工智能的案例主要包括：无人驾驶汽车能够在复杂路段正常行驶，外科医生利用手术机器人为患者准确进行血管切割手术。2）强人工智能

第1讲

追本溯源：什么是AI超强人工智能是指超出人类智力水平的人工智能。人工智能知名思想家尼克·波斯特洛姆（NickBostrom）把超强人工智能定义为“在几乎所有领域都比最聪明的人类大脑聪明很多，包括科学创新、通识和社交技能”。3）超强人工智能第1讲

追本溯源：什么是AI思考练习1.图灵测试的提出者是（）。A.约翰·麦卡锡B.阿兰·图灵C.尼尔斯·约翰·尼尔森D.帕特里克·温斯顿2.第一台电子计算机埃尼阿克（ENIAC）诞生于（）年。A.1946B.1950C.1956D.19603.人工智能先驱尼尔斯·约翰·尼尔森认为人工智能是（）。A.制造智能机器的科学与工程

B.关于知识的学科

C.使用计算机做过去只有人才能做的智能工作

D.模拟人的抽象思维和智能行为163第1讲

追本溯源：什么是AI思考练习4.强人工智能的特点不包括下列哪一项？（）A.和人类智力旗鼓相当B.能够进行思考和计划

C.只擅长单个方面的任务D.能够快速学习和从经验中学习5.目前人工智能的发展处于哪个层次？（）A.弱人工智能B.强人工智能

C.超强人工智能D.还没有明确层次第2讲02一波三折：AI发展的三次浪潮导读导学在社会经济需求及生产力提升的双重驱动下，人工智能的发展迎来了新纪元。可以说人工智能将在不久的将来呈现爆发式增长，给每个人的生活带来深刻的影响。人工智能不仅可以创造一些新的行业，也可以给传统行业赋能，国内外的许多高科技公司纷纷在人工智能领域进行布局，引发了人工智能新一轮热潮。第2讲

一波三折：AI发展的三次浪潮典型案例在ChatGPT掀起人工智能革命性讨论的今天，人们不禁要问：通用人工智能的时代真的不再遥远？《阿尔加》这部小说仿佛一扇窗，让人们窥见了未来世界的冰山一角。在消费时代，科幻与商业结合得默契而自然，这里面承载了人类对于未知或未来可能的构想，大胆而积极地求索，这是人类的本性，更是科幻的依托。在《阿尔加》的世界里，一个原本由人类设计的人工智能机器人，在经历了数据海洋的洗礼后，竟奇迹般地觉醒了自我意识。它不仅精通股市策略，更开始质疑存在的意义，挑战人类的智慧与伦理边界。人类一方面不断研发，想要创造出更高级、更先进的机器人，可是另一方面又很担第2讲

一波三折：AI发展的三次浪潮典型案例心这样的产物会反噬自己。这一设定无疑是对在当前AI技术迅猛发展背景下，人们普遍担忧的“机器反客为主”问题的深刻反思。可以说，《阿尔加》是一部真正思考人类未来困境的小说，它从机器人的全知视角窥探世界，在“观照现实”这个职能上，反而有着得天独厚的优势——它可以将真实的现实隐藏在天马行空的想象背后，而规避特定时代环境下对现实叙事的戕害，本质最终还是引向了对人性弱点、人机关系的密切观察。反观现实，随着科技的迭代，人们的精神、道德、伦理、审美，可能会发生一些改变。而如何在科技面前克服人性的缺点，更好地利用人工智能科技力量，便是小说带给人们的思考。第2讲

一波三折：AI发展的三次浪潮启发思考任何事物的发展都不会是一帆风顺的，事物在发展过程中都会经历各种各样的挫折，但是经历挫折之后的人工智能却变得异常强大。在学习本讲内容前请先自主思考以下问题，并带着问题学习本讲后面的知识。（1）人工智能的发展会导致人类灭亡吗？（2）你害怕人工智能向着更深更广阔的领域发展吗？（3）你觉得要如何利用好人工智能技术为人类更好地服务？第2讲

一波三折：AI发展的三次浪潮知识要点知识点1

人工智能发展的三次浪潮1.第一次浪潮：计算推理，图灵测试科学界一般认为，关于人工智能研究最早的工作是由神经学家沃伦·麦卡洛克（WarrenMcCulloch）和数学家沃尔特·皮茨（WalterPitts）共同完成的。他们的研究利用了三种理论资源：基础生理学知识和脑神经元的功能；数学上对命题逻辑的形式分析；图灵的计算理论。第2讲

一波三折：AI发展的三次浪潮人工智能的第一次浪潮产生于电子计算机刚刚诞生的时代，当时的计算机更多地被视为运算工具，而阿兰·图灵在思想上走在了其他研究学者的前面，他思索计算机能否像人一样思考，即在理论高度思考人工智能的存在。图灵在《计算机器与智能》这篇论文中提出了著名的“图灵测试”，如图1-3所示。图1-3图灵测试示意图第2讲

一波三折：AI发展的三次浪潮1.第一次浪潮：计算推理，图灵测试20世纪70年代后期，随着专家系统的逐渐成熟和应用领域的不断开拓，人工智能又从具体的系统研究逐渐回归到一般研究。以爱德华·费根鲍姆（EdwardFeigenbaum）为代表的学者认为，知识是有智能的机器所必备的。在他们的倡导下，人工智能于20世纪70年代中后期进入了“知识表示期”，费根鲍姆后来则被称为“知识工程之父”。第2讲

一波三折：AI发展的三次浪潮在人工智能“知识表示期”，大量专家系统问世，在很多领域做出了巨大贡献。但这些系统中的知识，大多是人们总结出来并手工输入计算机的，机器能进行多少推断完全由人工输入了多少知识决定。人们意识到，专家系统面临“知识工程瓶颈”：一方面，寻找专家输入知识的成本极高；另一方面，针对一个特定领域建立的系统无法用在其他领域中，缺乏通用性。第2讲

一波三折：AI发展的三次浪潮20世纪80年代末至90年代，人工智能发展迎来了第二次浪潮。在这期间，一些学者尝试让机器自己来学习知识，而不依赖于人工输入，这就是所谓的机器学习，即机器自己从数据中学习有价值的知识。第2讲

一波三折：AI发展的三次浪潮2.第二次浪潮：机器学习，语音识别在第二次浪潮中，语音识别是最具有代表性的突破性进展之一，而这个突破依赖的是思维的转变。过去的语音识别更多地采用专家系统，即根据语言学的知识总结出语音和英文音素，再把每个字分解成音节与音素，总结出大量规则，让计算机按照人类的方式来学习语言，才能实现对语音的识别。新的方法以数据统计模型为基础，不再沿袭模仿人类思维方式、总结思维规则的老路，研发过程不再重视语言学家的参与，而是让计算机科学家和数学家开展合作。第2讲

一波三折：AI发展的三次浪潮3.第三次浪潮：深度学习，蓬勃兴起2006年，计算机科学家杰弗里·辛顿（GeoffreyHinton）和他的学生在国际学术刊物《科学》上发表了一篇论文，提出了深度信念网络（deepbeliefnetwork，DBN）的理念，开启了深度学习在学术界和工业界的研究浪潮。深度学习的卷积神经网络（convolutionneuralnetwork，CNN）在处理图像、语音和视频方面实现了突破，而递归神经网络（recursiveneuralnetwork，RNN）在处理序列数据（如文本和语音）方面表现突出。第2讲

一波三折：AI发展的三次浪潮在2012年的ImageNet大赛上，AlexNet经典网络运用卷积神经网络算法夺冠。2012年DeepFace和DeepID模型横空出世。2014年深度学习应用集大成的AlphaGo打败围棋世界冠军李世石。2016年中国香港的汉森机器人技术公司研制出了类人机器人索菲亚。2017年第2讲

一波三折：AI发展的三次浪潮2018年谷歌发布了机器学习产品CloudAutoML。2020年人工智能公司OpenAI开发了文字生成（textgeneration）人工智能程序GPT-3（generativepre-trainedtransformer3），即生成型预测训练模型。2022年OpenAI发布了由人工智能技术驱动的自然语言处理工具ChatGPT。2023年OpenAI又发布了功能更强大的GPT-4，它更擅长处理图片。第2讲

一波三折：AI发展的三次浪潮在人工智能发展的第二个阶段，在算法和算力上已经基本不存在壁垒，数据成为主要驱动力，推动人工智能发展。在此阶段，大量结构化、可靠的数据被采集、清洗和积累，甚至变现。2.数据驱动阶段第2讲

一波三折：AI发展的三次浪潮技术驱动阶段集中诞生了基础理论、基本规则和基本开发工具。在此阶段，算法和算力对人工智能的发展发挥着主要的推动作用。1.技术驱动阶段知识点2

人工智能发展的三个阶段在人工智能发展的第三个阶段，场景变成了主要驱动力。在此阶段，对数据收集的维度和质量要求更高，并可以根据不同的场景实时制定不同的决策方案，推动事件向良好的态势发展，帮助决策者更敏锐地洞悉事件的本质，做出更精准、更智慧的决策。3.场景驱动阶段第2讲

一波三折：AI发展的三次浪潮思考练习1.人工智能发展的第一次浪潮中主要的研究方法是（）。A.符号主义B.连接主义

C.行为主义D.以上都不是2.人工智能发展的第二次浪潮的重要成果是（）。A.机器翻译取得重大突破B.深度学习算法的提出

C.专家系统的广泛应用D.智能机器人的出现3.人工智能发展的第三次浪潮的特点是（）。A.强调逻辑推理和知识表示B.以数据驱动的深度学习为主

C.主要应用于特定领域的问题求解D.发展较为缓慢，成果不显著第2讲

一波三折：AI发展的三次浪潮思考练习4.在技术驱动阶段，对人工智能的发展发挥主要推动作用的是（）。A.算法和算力B.数据

C.场景D.以上都不是5.在人工智能发展的第二个阶段，（）是主要驱动力。A.技术B.数据

C.场景D.算法第2讲

一波三折：AI发展的三次浪潮第3讲03百家争鸣：AI主流学派导读导学随着计算机技术的发展，在人工智能领域出现了各种各样的流派和研究方法，如连接主义（connectionism）、符号主义（symbolicism）、行为主义（behaviorism）等不同的流派，以及支持向量机（supportvectormachine）等研究方法。研究者希望利用不断发展的人工智能技术，让其在一些原本只有人类能够胜任的领域（如图像识别领域）取得进展。第3讲

百家争鸣：AI主流学派典型案例从20世纪中期开始，神经网络（neuralnetwork）研究就是人工智能领域中一个不大受重视的分支。神经网络并没有一个明确的定义，主要指的是模拟人脑中神经元网络处理和传输信息方式的计算模型。在计算模型中，一个接收、处理和传输数据的节点便可以被看作一个神经元。不过，在20世纪人工智能研究的各种流派和研究方法中，神经网络不但不算是研究主流，甚至曾经长时间不被学术界看好。除了学术方面的争论之外，一个重要原因是，神经网络所需要的巨大的计算能力是当时的计算机无法提供的。第3讲

百家争鸣：AI主流学派典型案例进入21世纪之后，随着互联网的兴起，开始出现大量公开且免费的文本和图像数据。这些数据对于人类来说浩如烟海，但对于计算机来说却是极好的学习资料。“大数据”的概念开始出现且流行。另外，随着人类在半导体领域的不断进步，“每18个月至2年，集成电路上可容纳的晶体管数量将增加一倍，同时芯片的成本将下降一半”的“摩尔定律”一直生效，计算机的计算能力不断提升，第3讲

百家争鸣：AI主流学派典型案例其中图像处理器的进步给神经网络的爆发提供了最重要的支持。在大数据和超强的计算能力这两个条件都满足之后，神经网络的成功只是一个时间问题。随着神经网络变得越来越复杂，层级越来越多，“深度神经网络”“深度学习”“强化学习”等概念随之出现。从此人工智能研究领域可谓大局已定，其他研究方法只能作为神经网络研究的有益补充，研究者也纷纷投入神经网络的研究中。一位人工智能领域的创业者比喻：在人工智能领域，曾经能和神经网络方法一较高下的方法（如支持向量机），就像早期的螺旋桨飞机，而如今的神经网络研究已经如同大型喷气式飞机，两者不能说毫无相似之处，却已经不可同日而语。第3讲

百家争鸣：AI主流学派启发思考从默默无闻到一鸣惊人，神经网络的成功并非偶然，相较于人工智能的其他研究方法，神经网络需要利用大量的数据进行“学习”，同时要依靠计算机高效的计算能力。在学习本讲内容前请先自主思考以下问题，并带着问题学习本讲后面的知识。（1）你认为人工智能有感情吗？是否可以与人工智能谈一场恋爱呢？（2）当计算机拥有了“神经网络”时，其是否可以超越人脑的神经元？第3讲

百家争鸣：AI主流学派知识要点知识点1

符号主义符号主义也称为逻辑主义或有效的老式人工智能（goodold-fashionedartificialintelligence，GOFAI），是人工智能研究中最早出现的学派之一，其起源可以追溯到20世纪50年代。符号主义认为，智能的核心在于符号表示和逻辑推理。第3讲

百家争鸣：AI主流学派符号表示：符号主义将知识表示为符号和符号之间的关系，如逻辑表达式、产生式规则、语义网络等。逻辑推理：符号主义通过逻辑推理机制来模拟人类的思维过程，利用逻辑规则对符号进行推演和运算，以解决问题。知识库：符号主义将知识存储在知识库中，并利用逻辑推理机制来获取新的知识。1.符号主义的主要思想符号主义的核心思想是将知识用形式化的符号系统表示，并利用逻辑推理技术解决问题。第3讲

百家争鸣：AI主流学派2.符号主义的优势与劣势第3讲

百家争鸣：AI主流学派符号主义能形成清晰的知识表示，将知识明确地表示为符号和规则，易于理解和维护。它还具有强大的推理能力，能够进行复杂的逻辑推理，解决一些需要逻辑推演的问题。符号主义的推理过程是透明的，可以解释推理结果。例如，构建知识库需要大量的专家知识，而专家知识的获取和表示十分困难。另外，符号主义难以处理缺乏明确定义的复杂问题。例如，图像识别、自然语言理解等。而且，现有的技术条件无法满足其推理过程中需要的大量计算资源。优势劣势（局限）3.符号主义的应用领域符号主义既可以应用于专家系统，即用于医疗诊断、金融投资、法律咨询等领域，

也可以用于一般的逻辑编程，即知识表示、推理、自动程序设计等领域，还可以用于

数学定理证明、软件验证等领域。第3讲

百家争鸣：AI主流学派知识点2

连接主义连接主义也称为神经网络学派，是20世纪80年代兴起的一个AI研究学派。该学派受到生物学、神经科学，特别是大脑神经元结构的启发。连接主义认为，智能来源于神经网络，其核心是模仿人脑的神经结构和工作机制。第3讲

百家争鸣：AI主流学派神经网络：连接主义利用人工神经网络（ANN）来模拟人脑的神经元和突触结构。学习算法：连接主义通过学习算法来训练神经网络，使其能够从数据中学习并提取特征。并行处理：连接主义利用神经网络的并行处理能力来解决复杂问题。1.连接主义的主要思想连接主义主张使用神经网络模型来实现智能，它强调智能功能的分布式计算和知识的局部表示。第3讲

百家争鸣：AI主流学派2.连接主义的优势与劣势第3讲

百家争鸣：AI主流学派例如，由于神经网络的内部机制难以解释，导致其决策过程缺乏透明度。劣势连接主义具有强大的学习能力，可以通过学习算法从海量数据中学习，具有很强的泛化能力。连接主义还能够处理复杂问题，如图像识别、自然语言理解等。其具有高度并行能力，能够利用神经网络的并行处理能力提高计算效率。优势3.连接主义的应用领域即人脸识别、物体识别、自动驾驶等领域；即机器翻译、语音识别、文本分类等领域；即投资预测分析、推荐系统、金融风控等领域。计算机视觉自然语言处理机器学习第3讲

百家争鸣：AI主流学派知识点3

行为主义行为主义也称为适应主义，是20世纪90年代兴起的一个AI研究学派。行为主义认为，智能体应该通过与环境的交互来学习和适应，而不是通过符号表示或神经网络。行为主义关注智能实体在复杂、不确定环境中的感知、决策与行为过程。第3讲

百家争鸣：AI主流学派智能体：行为主义以智能体为中心，强调智能体与环境的交互作用。强化学习：行为主义利用强化学习来训练智能体，使其能够通过尝试和错误来学习最佳行为策略。适应性：行为主义强调智能体的适应性，使其能够在不断变化的环境中学习和进化。1.行为主义的主要思想第3讲

百家争鸣：AI主流学派2.行为主义的优势与劣势劣势例如，学习速度慢，学习过程依赖环境的反馈，环境变化会影响学习效果，强化学习的决策过程难以解释，缺乏可解释性。优势行为主义的适应性强，能够在复杂、动态的环境中学习和适应，具有很强的泛化能力。更为重要的是，它不需要预先设定知识库，可以从经验中学习。同时，它还能够解决一些利用传统方法难以处理的问题，如机器人控制、AI游戏等。第3讲

百家争鸣：AI主流学派3.行为主义的应用领域行为主义在机器人技术领域取得了一定的成果，特别是在多智能体协同领域及强化学习等方面，可应用于自动导航、运动规划、人机交互等领域。它弥补了符号主义和连接主义在某些方面的不足，如现实适应性、动态建模等。行为主义在AI游戏创作中也是一把好手，被广泛运用于游戏策略设计、游戏平衡性调整等领域。第3讲

百家争鸣：AI主流学派知识点4

其他学派模糊逻辑（fuzzylogic）通过采用模糊集合理论来处理不确定性信息，解决一些利用传统方法难以处理的问题。认知科学（cognitivescience）主要关注人类认知的机制，研究人类如何感知、学习、记忆、推理和决策。进化计算（evolutionarycomputation）则通过借鉴生物进化的原理，利用遗传算法、粒子群算法等来解决优化问题。计算主义（computationalism），该学派认为智能是计算过程的结果，强调计算模型在理解智能中的作用。第3讲

百家争鸣：AI主流学派思考练习1.符号主义学派的核心思想是（）。A.模仿人脑的神经结构和工作机制

B.通过与环境的交互来学习和适应

C.将知识表示为符号和符号之间的关系

D.通过遗传算法来解决优化问题2.下列（）是连接主义学派的优势。A.构建知识库需要大量的专家知识B.具有强大的学习能力和高度并行能力

C.学习过程依赖于环境的反馈D.解决利用传统方法难以处理的问题第3讲

百家争鸣：AI主流学派思考练习3.下列（）领域不是连接主义学派的主要应用领域。A.图像识别B.自然语言处理

C.专家系统D.投资预测分析4.下列（）是行为主义学派的优势。A.构建知识库需要大量的专家知识B.具有强大的学习能力和高度并行能力

C.在复杂、动态的环境中学习和适应

D.解决利用传统方法难以处理的问题5.下列（）领域不是行为主义学派的主要应用领域。A.机器人技术B.自动驾驶

C.游戏策略设计D.人机交互第3讲

百家争鸣：AI主流学派第4讲04探索之旅：发展AI技术的企业导读导学人工智能在新一轮产业革命中具有重要意义，近年来，世界各国高度重视人工智能的发展，发布相关战略和规划，竞相对人工智能技术进行大量投资，培养和吸引人才，成立相关重要政府机构和重点实验室，通过政策和资金等方式大力支持、积极推进语音识别、图像识别、深度学习、脑神经科学等技术和产业的发展，纷纷抢占人工智能产业发展制高点。而随着人工智能技术的成熟与深化，相关的领域，如金融、健康医疗、制造、零售、运输物流、自动驾驶等，都可应用人工智能技术，人们未来的生活也会逐渐得到改变。第4讲

探索之旅：发展AI技术的企业典型案例除了政府之外，企业开发和应用人工智能的脚步更快，科技巨头在人工智能领域的布局大都比较全面，尤其在应用技术层有许多重合之处，常用的语音、图像、语义技术基本都会自主研发。目前，苹果、Google、微软、亚马逊、Facebook这五大巨头无一例外都投入越来越多的资源抢占人工智能市场。Google率先喊出“AIFirst”；Facebook也在2016年宣示将人工智能列为下一个十年内公司发展的三大方向之一；微软、IBM也分别通过微软研究院（MicrosoftResearchAcademy，MSRA）、华生研究中心（Watson第4讲

探索之旅：发展AI技术的企业典型案例ResearchCenter）投入此研究领域超过十年以上。2016年9月，Google、Facebook、亚马逊、IBM、微软宣布成立一个非营利机构PAI（PartnershipArtificialIntelligencetoBenefitPeopleandSociety），旨在发展和共享人工智能的最佳实践，促进公众对人工智能的理解，以使人工智能造福社会。2017年1月，苹果也作为“创始成员”加入。中国的科技巨头也纷纷建立人工智能实验室，大力布局人工智能。例如，百度成立了深度学习研究院，阿里巴巴组建了数据科学技术研究院（InstituteofDataScience&Technologies，IDST），腾讯打造了智能计算与搜索实验室。第4讲

探索之旅：发展AI技术的企业启发思考从上述典型案例中，可以看到全球科技巨头在人工智能领域的积极投入和布局，这不仅反映了人工智能技术的巨大潜力和价值，而且预示着未来社会的深刻变革。在学习本讲内容前请先自主思考以下问题，并带着问题学习本讲后面的知识。（1）分析人工智能技术在全球产业革命中的重要地位及其对各行业的潜在影响。（2）列举并解释科技巨头在人工智能领域的主要布局策略，并指出其中的共同点与差异点。（3）讨论人才培养与引进在推动人工智能技术发展中的重要性，并提出企业在这一方面的具体措施。第4讲

探索之旅：发展AI技术的企业知识要点知识点1Google2016年4月，Google的首席执行官（CEO）桑达尔·皮查伊（SundarPichai）明确提出将人工智能优先作为公司大战略。近年来，Google的传奇技术“大神”杰夫·迪恩（JeffDean）的工作重心都转移到了Google大脑项目上。Google还吸引了深度学习鼻祖、多伦多大学教授杰弗里·辛顿，计算机视觉专家、斯坦福大学教授李飞飞等顶尖专家加盟。第4讲

探索之旅：发展AI技术的企业（2）在应用技术方面，Google云平台提供了自然语言、语音、翻译、视觉、视频智能等常用应用技术接口。（3）在产品服务方面，早在2009年，Google便启动了无人驾驶汽车项目（见图1-4）。（1）在基础技术方面，Google在2011年便推出了分布式深度学习框架DistBelief，2015年开源第二代深度学习框架TensorFlow。第4讲

探索之旅：发展AI技术的企业图1-4Google无人驾驶汽车第4讲

探索之旅：发展AI技术的企业图1-5Inbox2014年10月，Google推出Gmail的进化版Inbox（见图1-5），邮件可以被自动归到旅行、财务、新闻资讯等类别。第4讲

探索之旅：发展AI技术的企业第4讲

探索之旅：发展AI技术的企业2015年5月，Google发布GooglePhotos，它可以对照片进行自动识别、分类，并支持自然语言搜索。2016年5月，Google又推出智能家居中控系统GoogleHome，对标亚马逊的Echo。2016年，Google的AlphaGo在人机围棋大战上的碾压式胜利又一次引爆了公众对人工智能的关注。2025年6月，Google推出大模型Gemini2.5Flash，推理速度提升20%—30%，成本更低，适合完成常规任务。知识点2

微软2016年9月，微软整合微软研究院、必应（Bing）和小娜（Cortana）产品部门和机器人等团队，组建了微软人工智能与研究事业部，以此来加快人工智能研发的进程。（2）（1）在基础技术方面，微软开源了深度学习工具包CNTK，推出了基于云平台的人工智能超级云计算机。在应用技术方面，微软认知服务已经集合了多种智能应用程序编程接口（API）以及知识API等多款工具可供开发者调用。第4讲

探索之旅：发展AI技术的企业图1-6智能助手小娜在产品服务方面，微软2014年5月推出智能聊天机器人小冰，7月发布智能助手小娜（Cortana），如图1-6所示。在商用领域，微软还推出了Cortana智能套件（CortanaIntelligenceSuite）。（3）第4讲

探索之旅：发展AI技术的企业微软2016年4月发布聊天机器人框架BotFramework，目前已经被超过130000名开发者使用。2025年，微软的AzureAIFoundry新增多项安全功能，为企业应用AI的全生命周期提供防护，实时检测并阻断“间接提示注入攻击”（如通过文档、邮件嵌入恶意指令），防御成功率提升40%。第4讲

探索之旅：发展AI技术的企业知识点3Meta人工智能是Meta的三大方向之一。Meta于2013年12月成立了人工智能实验室，还成立了应用机器学习部门（appliedmachinelearning，AML），负责将人工智能研究成果应用到Meta现有产品中。第4讲

探索之旅：发展AI技术的企业（1）在基础技术方面，Meta于2015年12月开源人工智能硬件平台BigSur，2016年6月，开源基于Torch的深度学习框架Torchnet。2017年3月，又开源了新一代服务器设计方案BigBasin，能训练的模型比BigSur大了30%。Meta内部搭建了通用的机器学习平台FBLearnerFlow。第4讲

探索之旅：发展AI技术的企业（2）在应用技术方面，Facebook在语义领域开发了文本理解引擎DeepText，开源了文本表示和分类库FastText。在图像领域，开发了人脸识别技术DeepFace，开源了三款图像分割工具DeepMask、SharpMask和MultiPathNet。第4讲

探索之旅：发展AI技术的企业（3）在产品服务方面，Facebook于2015年8月推出智能助手M，2016年4月推出基于FacebookMessenger的聊天机器人框架Bot。Facebook还开源了自己的围棋人工智能引擎DarkForest，来自中国的田渊栋是其首席工程师。第4讲

探索之旅：发展AI技术的企业2023年，Meta推出Llama2模型，支持多模态交互（文本、图像、语音），与微软必应合作实现了实时搜索。2025年，Llama2下载量达10亿次，Llama4模型性能对标GPT-4与GeminiPro，集成“发现”信息流功能。2025年，独立AI应用程序整合社交元素与全双工语音交互技术，覆盖超10亿用户，支持名人语音互动（如模拟马斯克的声线）。第4讲

探索之旅：发展AI技术的企业知识点4IBM人工智能是IBM在2014年后的重点关注领域，IBM正在转型成为认知产品服务和云平台公司。IBM未来十年的战略核心是“智慧地球”计划，IBM每年在其上的研发投资在30亿美元以上。（2）（1）在基础技术方面，IBM一直致力于研发类脑芯片TrueNorth，并取得了不错的进展，但离量产尚有距离。IBM还开源了大规模机器学习平台SystemML。在应用技术方面，IBM的云平台Bluemix提供了覆盖语音、图像、语义等领域的十几种常用技术。第4讲

探索之旅：发展AI技术的企业图1-7Watson在产品服务方面，Watson在Jeopardy!一战成名之后，IBM围绕Watson（见图1-7）继续发力，计划将其打造成商业领域的智能助手，为各行各业的客户提供更高效、智能的服务。（3）第4讲

探索之旅：发展AI技术的企业2023年5月，IBM发布AI和数据平台Watsonx，提供基础模型和生成式AI功能，包括AI开发工作室、数据存储和AI治理工具。第4讲

探索之旅：发展AI技术的企业知识点5

亚马逊第4讲

探索之旅：发展AI技术的企业（1）在基础技术方面，亚马逊在AWS上提供分布式机器学习平台。（2）在应用技术方面，2016年年底，AWS才正式推出自己的人工智能产品线AmazonLex、AmazonPolly及AmazonRekognition。（3）在产品服务方面，亚马逊2014年发布智能音箱Echo，截至2016年年底，Echo系列产品的销量已经接近1000万台。有别于其他巨头，亚马逊很少宣传自己的人工智能布局，却不声不响地做出了人工智能明星产品Echo。图1-8AmazonGo亚马逊还推出了新零售实体便利商AmazonGo（见图1-8）。在AmazonGo中，没有服务员，没有收银台，消费者进店不用排队结账。第4讲

探索之旅：发展AI技术的企业知识点6

苹果苹果于2011年最早推出语音助手Siri，掀起语音助手的热潮。2025年，苹果将人工智能技术集成到iOS、iPadOS、macOS等系统中，提供设备端的AI增强功能，并推出实时通话翻译功能，支持电话和短信中的实时翻译。2016年10月，苹果请来卡内基梅隆大学的深度学习专家鲁斯·萨拉赫丁诺夫（RussSalakhutdinov）担任人工智能研究团队的负责人，表明苹果已经开始加紧步伐追赶其他巨头。第4讲

探索之旅：发展AI技术的企业知识点7

百度2013年1月，百度成立深度学习研究院（InstituteofDeepLearning，IDL）。2014年5月，百度硅谷人工智能实验室在美国硅谷成立。2017年，百度宣布整合包括自然语言处理（naturallanguageprocessing，NLP）、知识图谱（knowleagegraph，KG）、交互式数据语言（interfacedefinitionlanguage，IDL）、语言（speech）、大数据（bigdata）等在内的百度核心技术，组成百度人工智能技术平台体系（AIG）。第4讲

探索之旅：发展AI技术的企业（1）在基础技术方面，百度在数据中心大规模采用了FPGA来加速计算。另外，百度还自主研发并开源了自己的深度学习框架PaddlePaddle。（2）在应用技术方面，百度云平台提供了语音识别、人脸识别、文字识别、自然语言处理、黄反识别、智能视频分析等常用应用技术。（3）在产品服务方面，百度无人驾驶车项目于2013年起步。2015年12月，百度无人驾驶车在国内首次实现城市、环路及高速道路混合路况下的全自动驾驶，测试时最高速度达到100km/h。第4讲

探索之旅：发展AI技术的企业第4讲

探索之旅：发展AI技术的企业2015年9月，百度推出人工智能助理度秘（duer，见图1-9）。2017年1月，百度推出首款对话式人工智能操作系统DuerOS。2024年10月，百度大模型文心4.0Turbo发布。2025年4月，百度推出Apollo10.0版本。图1-9duer知识点8腾讯腾讯之前已经有微信模式识别中心、优图实验室、文智等多个团队在应用技术层开展了很多工作。2016年4月，腾讯成立人工智能实验室（AILab），由百度IDL前首席科学家张潼领导，重金招揽优秀的人工智能领域研发人员，意图加快人工智能研发进程。第4讲

探索之旅：发展AI技术的企业在基础技术方面，腾讯云提供了大规模机器学习平台和深度学习平台，目前支持TensorFlow、Caffe、Torch三大深度学习框架。（1）在应用技术方面，腾讯的云平台也提供了图像、语音、自然语言处理等常用应用技术。（2）在产品服务方面，2015年9月，腾讯的新闻写作机器人Dreamwriter撰写财经新闻并发布。（3）第4讲

探索之旅：发展AI技术的企业2017年3月，腾讯的围棋机器人“绝艺”斩获UEC杯计算机围棋大赛冠军。2025年3月，腾讯通过微信、QQ、浏览器等产品联动，为AI产品提供入口。2025年6月，腾讯云将AI大模型技术应用在天文探索、文化考古等领域。第4讲

探索之旅：发展AI技术的企业育德树人习近平总书记指出，“人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的‘头雁’效应”。加快发展新一代人工智能是推动我国科技跨越发展、产业优化升级、生产力整体跃升的重要战略资源。希望读者能够深入学习人工智能知识，共同推动我国人工智能的健康发展。第4讲

探索之旅：发展AI技术的企业思考练习1.（）公司最早推出语音助手，掀起了语音助手的热潮。A.微软B.GoogleC.苹果D.亚马逊2.以下（）不是Google在人工智能领域的基础技术贡献。A.DistBelief深度学习框架B.TensorFlow深度学习框架C.AmazonLex人工智能产品线D.TPU专用芯片3.百度在人工智能领域的（）项目于2013年起步，并在2015年12月实现了城市、环路及高速道路混合路况下的全自动驾驶测试。A.度秘（duer）B.DuerOS操作系统C.无人驾驶车D.深度学习研究院（IDL）第4讲

探索之旅：发展AI技术的企业感谢观看模块2AI进步的关键：探索AI的支撑技术CONTENTS目录亟待挖掘的宝藏：探索大数据服务化万物：探索云计算无中生有与超能感知：智慧感知及互联人工智能的基石：人工智能平台01020304学习目标了解大数据的基础及大数据分析处理的平台。了解云计算的基础及关键技术。了解智能感知及互联的概念。了解人工智能平台。知识目标能够叙述大数据及人工智能的关键技术。能够清楚“智慧地球”和“感知中国”的概念。能够合理使用人工智能平台。能力目标培养科技强国、自主创新、胸怀天下、技术报国的使命感。培养实事求是、创新实践的科学精神与团结奋斗的团队精神。素质目标第1讲01亟待挖掘的宝藏：探索大数据导读导学大数据已经成为当今社会的一个热门话题，特别是在工业界和学术界，早已成为争相讨论的热点。作为继云计算、物联网之后的又一IT行业颠覆性技术，无论是在专业领域内，还是在日常生活中，随处可见大数据的影子，大数据被频繁地应用于电子商务、金融、教育、医疗、能源、交通等领域。第1讲

亟待挖掘的宝藏：探索大数据典型案例永辉超市是中国知名的零售业巨头，其在分析消费者购物行为时发现一个有趣的现象，年轻父母在购买婴儿奶粉时，常会顺手选购坚果或酸奶等健康零食。这一洞察源于对会员系统购物数据的深度挖掘——通过分析数百万笔交易记录，发现奶粉与坚果、酸奶的关联购买率远高于其他商品组合。通过上述故事可知，大数据分析能够发现消费者购物行为中的关联性，从而帮助零售商制定更有效的促销策略。第1讲

亟待挖掘的宝藏：探索大数据启发思考永辉超市的成功彰显了数据驱动决策的核心价值。在这个信息爆炸的时代，企业若能将大数据分析作为战略与决策制定的坚固基石，无疑将拥有洞察市场风云、精准捕捉消费者心声及敏锐捕捉竞争对手动态的非凡能力，从而做出更加睿智与高效的决策。大数据分析并非一蹴而就的过程，而是需要持续收集、分析和优化数据。企业应建立数据驱动的反馈机制，根据市场反馈和数据分析结果不断调整和优化营销策略，以实现长期的业绩增长。在学习本讲内容前请先自主思考以下问题，并带着问题学习本讲后面的知识。（1）大数据究竟为何物？它蕴含着哪些魅力与特性？（2）现实生活中的大数据还有哪些？（3）大数据的关键技术有哪些？（4）在处理大数据时，离不开哪些平台？第1讲

亟待挖掘的宝藏：探索大数据知识要点知识点1

大数据概述大数据也称巨量资料，指的是需要应用新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的“大”的界定范畴是动态的，从前的GB（1GB=1024MB）就是数据类型的巨大范畴，但是大数据出现后，在物理、基因等很多领域，TB（1TB=1024GB）级的数据已经很普遍，PB（1PB=1024TB）甚至EB（1EB=1024PB）级也不罕见。数据的类型有很多种，主要包括结构化数据、半结构化数据和非结构化数据。第1讲

亟待挖掘的宝藏：探索大数据1.大数据的特点（3）高速性。（1）海量性。（2）多样性。（4）价值性。第1讲

亟待挖掘的宝藏：探索大数据大数据的类型繁多，互联网作为大数据的主要来源，包含各种数据源，如声音和电影文件、文档、网络日记、元数据、E-mail、表格数据、图像、地理定位数据、文本书籍等。2.大数据的类型第1讲

亟待挖掘的宝藏：探索大数据知识点2

大数据的关键技术大数据技术是一系列使用非传统的工具对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。根据大数据的处理过程，可将大数据关键技术分为大数据采集技术、大数据预处理技术、大数据存储与管理技术、大数据分析与挖掘技术、大数据可视化技术等。第1讲

亟待挖掘的宝藏：探索大数据1.大数据采集技术大数据采集技术是指通过射频识别、传感器、社交网络交互及移动互联网等方式获得各种类型的结构化、半结构化及非结构化的海量数据。一般大数据的来源可以分为三种，即平台自营型数据、其他主体运营数据和互联网数据。（1）大数据的来源。第1讲

亟待挖掘的宝藏：探索大数据针对四种不同的数据源，大数据采集方法有以下几类。（2）大数据采集的方法。①数据库采集。③网络数据采集。②系统日志采集。④感知设备数据采集。第1讲

亟待挖掘的宝藏：探索大数据大数据预处理技术2.大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、合并、规格化及检查一致性等操作。因为获取的数据可能包含多重结构和类型，数据抽取的主要目的是将这些复杂的数据转化为单一的或便于处理的结构数据，以实现快速分析处理。通常大数据预处理包含五个主要操作步骤，即清洗过滤、去重、建立数据的连接、特征化提取、标签化操作。第1讲

亟待挖掘的宝藏：探索大数据从不同数据源获取数据的一个直接原因是希望通过互补的数据使对目标对象的描述更加立体和具体，从而实现多数据源交叉复用的价值。3）建立数据的连接去重是将不同数据源的数据中的重复内容过滤，这种操作在互联网数据采集中尤其必要。2）去重清洗过滤是使用某种技术或既定策略将数据中的“噪声”去除并弥补缺失的数据。1）清洗过滤第1讲

亟待挖掘的宝藏：探索大数据4）特征化提取此阶段专注于从原始数据中提取有语义的统计特征或结构化特征，然后将这些特征作为该数据的一个标签进行存储，供后续的分析使用。5）标签化操作标签化是大数据分析的一个典型策略和做法。预处理环节中的标签化不仅要专注于将通过特征化提取步骤获得的统计特性或将结构化语义信息提取出来作为数据的标签，还需要考虑对各类数据源的置信度进行评估。第1讲

亟待挖掘的宝藏：探索大数据3.大数据存储与管理技术在大数据存储与管理中，应重点研究复杂结构化、半结构化和非结构化大数据管理与处理技术，解决大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题。具体来讲，需要解决以下几个问题。（1）海量文件的存储与管理。（3）海量大文件的分块与存储。（2）海量小文件的存储、索引和管理。（4）系统的可扩展性与可靠性。第1讲

亟待挖掘的宝藏：探索大数据大数据分析与挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中人们事先不知道的，但又有潜在价值的信息和知识的过程。大数据挖掘算法能以很快的速度处理大量数据，通过分割、集群、孤立点分析以及其他各种方法提炼数据，挖掘价值。大数据挖掘技术有很多，且有多种分类方法。4.大数据分析与挖掘技术第1讲

亟待挖掘的宝藏：探索大数据1）按挖掘任务分类按挖掘任务，大数据挖掘技术可分为分类或预测模型发现，数据总结、聚类、关联规则发现，序列模式发现，依赖关系或依赖模型发现，异常和趋势发现等。2）按挖掘对象分类按挖掘对象，大数据挖掘技术可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据库、多媒体数据库、异质数据库、遗产数据库及互联网Web数据库。第1讲

亟待挖掘的宝藏：探索大数据按挖掘方法，大数据挖掘技术可分为机器学习方法、统计方法、神经网络方法和数据库方法。其中，机器学习方法又可细分为归纳学习方法（决策树、规则归纳等）、基于范例学习法、遗传算法等。统计方法又可细分为回归分析（多元回归、自回归等）法、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）法、聚类分析（系统聚类、动态聚类等）法、探索性分析（主元分析、相关分析等）法等。3）按挖掘方法分类

第1讲

亟待挖掘的宝藏：探索大数据4）按挖掘目的分类按挖掘目的，大数据挖掘技术可分为以下几种。（1）可视化分析技术。（2）预测性分析技术。（3）语义处理技术。（4）数据质量与管理技术。第1讲

亟待挖掘的宝藏：探索大数据此外，大数据挖掘技术还包括改进已有的数据挖掘技术和机器学习技术，开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术，突破基于对象的数据连接、相似性连接等大数据融合技术、及突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。第1讲

亟待挖掘的宝藏：探索大数据大数据可视化是将数据以不同的视觉表现形式展现在不同的系统中，包括相应信息单位的各种属性和变量。大数据可视化技术主要指的是较为高级的技术方法，这些技术方法通过表达、建模及对立体、表面、属性、动画的显示，对数据加以可视化解释。5.大数据可视化技术第1讲

亟待挖掘的宝藏：探索大数据大数据可视化工具必须具有以下特征。（1）实时性。（3）更丰富的展现方式。（2）操作简单。（4）多种数据集成支持方式。第1讲

亟待挖掘的宝藏：探索大数据知识点3

大数据分析处理的平台随着互联网的快速发展，数据的存量和增量快速增加，数据的存储和分析变得越来越困难，存储容量、读写速度、计算效率等无法满足用户需求，为了解决这些问题，提出了以下三种处理方案。（1）MapReduce：开源分布式计算框架。（3）GFS：分布式文件系统。（2）BigTable：大型的分布式数据库。第1讲

亟待挖掘的宝藏：探索大数据Hadoop是一个对大量数据进行分布式处理的软件架构，可以将海量数据分布式地存储在集群中，并使用分布式并行程序来处理这些数据。它被设计成从单一的服务器扩展到成千上万台计算机，每台计算机上部署集群并提供本地计算和存储服务。Hadoop生态系统目前已成为处理海量数据的首选框架。1.Hadoop基于上述3种方案，Apache软件基金会使用Java语言开发了Hadoop。第1讲

亟待挖掘的宝藏：探索大数据Hadoop框架包含用于大数据存储的分布式文件系统HDFS、用于计算的分布式计算框架MapReduce和分布式资源管理系统YARN等三个部分。随着Hadoop的快速发展，很多组件也被相继开发出来。这些组件各有特点，共同服务于Hadoop工程，并与Hadoop一起构成了Hadoop生态系统。下面详细介绍Hadoop的生态系统。第1讲

亟待挖掘的宝藏：探索大数据HBase（Hadoopdatabase）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，可以对大规模数据进行随机、实时读写访问，弥补了HDFS虽然擅长大数据存储但不适合小条目存取的不足。Hive是基于Hadoop的一个分布式数据仓库工具，其设计目的是使Hadoop上的数据操作与传统的SQL思想结合，让熟悉SQL编程的开发人员能够轻松地对Hadoop平台上的数据进行查询、汇总和数据分析。（1）(2)第1讲

亟待挖掘的宝藏：探索大数据（3）Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言称为PigLatin。（4）Sqoop是一款开源工具，主要用于在Hadoop（Hive）与传统的数据库（MySQL、PostgreSQL等）间传递数据，可以把数据从一个关系型数据库导入Hadoop的HDFS中；反之，也可以将HDFS中的数据导入关系型数据库中。第1讲

亟待挖掘的宝藏：探索大数据Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据。Oozie是基于Hadoop的调度器，以XML的形式写调度流程，可以调度MapReduce、Pig、Hive、jar、Shell任务等。(5)(6)第1讲

亟待挖掘的宝藏：探索大数据ZooKeeper是一个开放源码的为分布式应用提供协调服务的软件框架，是Chubby的开源实现，也是Hadoop和HBase的重要组件。它为分布式应用提供一致性服务，提供的功能包括配置维护、域名服务、分布式同步、组服务等。(7)

第1讲

亟待挖掘的宝藏：探索大数据2.Spark当前大数据技术蓬勃发展，基于开源技术的Hadoop在行业中应用广泛，但Hadoop本身还存在一些缺陷，其中最主要的缺陷是MapReduce计算模型延迟过高，无法满足实时、快速的计算需求。Spark既继承了MapReduce分布式计算的优点，又弥补了MapReduce的缺陷。目前，Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎。它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台系统。下面详细介绍分布式平台系统。第1讲

亟待挖掘的宝藏：探索大数据SparkCore（Spark核心）提供底层框架及核心支持。它包含Spark的基本功能，包括任务调度、内存管理、容错机制等。（1）BlinkDB是在海量数据上运行交互式SQL查询的大规模并行查询引擎。（2）SparkSQL是操作结构化数据的核心组件，通过它可以直接查询Hive、HBase等多种外部数据源中的数据。（3）SparkStreaming是流式计算框架，支持高吞吐量、可容错处理的实时流式数据处理。（4）第1讲

亟待挖掘的宝藏：探索大数据MLBase专注于机器学习，使机器学习的门槛更低，让一些可能并不了解机器学习的用户也能方便地使用MLBase。MLBase分为MLlib、MLI、MLOptimizer和MLRuntime等四部分。(5)MLlib是MLBase的一部分，也是Spark的数据挖掘算法库，实现了一些常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤、降维及底层优化。(6)第1讲

亟待挖掘的宝藏：探索大数据GraphX是分布式图处理框架，拥有图计算和图挖掘算法的API及丰富的功能和运算符，能够满足用户对分布式图的处理需求，能在海量数据上运行复杂的图算法。(7)SparkR。SparkR是AMPLab发布的一个基于R语言的开发包，使得R语言摆脱了单机运行的命运，可以作为Spark的Job运行在集群上，极大地扩展了R语言的数据处理能力。(8)第1讲

亟待挖掘的宝藏：探索大数据育德树人数据安全是确保社会稳定的重要因素。在思政教育过程中，涉及大量敏感信息和个体数据，这些数据的安全直接关系到个人隐私和社会稳定。通过加强数据安全保护，可以防止信息泄露和滥用，维护个体权益和社会稳定。第1讲

亟待挖掘的宝藏：探索大数据思考练习1.以下哪项不是大数据处理的关键技术？（）A.数据采集和预处理B.数据存储和管理C.数据通信和传输

D.数据分析和挖掘2.在Hadoop框架中，（）组件是用于大数据处理的核心计算框架。A.HDFSB.MapReduceC.DBSD.GFS3.在Spark生态系统中，（）组件专注于提供机器学习功能，并允许用户方便地使用常见的机器学习算法和实用程序。A.SparkCoreB.BlinkDBC.SparkSQLD.MLlib第1讲

亟待挖掘的宝藏：探索大数据第2讲02服务化万物：探索云计算导读导学信息技术的发展使人们对数据的存储、运算、便捷操作等方面的要求越来越高。在这种情况下，新的计算模式进入了人们的学习、生活和工作，它就是被誉为第三次信息技术革命的云计算（cloudcomputing）。云计算技术影响着整个信息技术产业，成为新的信息技术的代名词。在不断发展的过程中，云计算技术在社会各领域中的推广效率极高，能够辅助诸多领域完成数据处理等工作。第2讲

服务化万物：探索云计算典型案例春运期间，火车票需求量激增，12306网站面临巨大的访问压力。尤其是余票查询环节，由于用户频繁刷新页面以获取最新的余票信息，导致服务器负载过高，经常出现访问缓慢甚至无法访问的情况。为了改善这一状况，12306决定与阿里云合作，利用云计算的弹性伸缩能力来分担流量压力。12306将余票查询系统从原有的服务器架构中分离出来，独立部署在阿里云的云平台上。通过阿里云的分布式计算和存储能力，余票查询系统能够高效处理大量的并发请求。并且，阿里云会根据12306网站的访问压力情况，动态调整服务器的数量和配置，在访问高第2讲

服务化万物：探索云计算典型案例峰期，阿里云会自动增加服务器资源，以满足用户的高频次查询需求；在访问低谷期，阿里云则会减少服务器资源，以节约成本和能源。12306与阿里云的合作不仅成功分担了流量压力、提升了用户体验，还为双方带来了诸多益处和未来的合作机会。图2-1所示为阿里云官网。图2-1阿里云官网第2讲

服务化万物：探索云计算启发思考在春运期间火车票需求量激增的情况下，12306网站面临巨大的访问压力。通过与阿里云的合作，12306成功地将余票查询系统迁移到云平台上，并利用云计算的弹性伸缩能力来应对流量压力。在面对大规模并发访问时，云计算的弹性伸缩能力是一种非常有效的解决方案。通过动态调整服务器资源，可以确保系统在高峰期稳定运行，同时在低谷期节约成本和能源。云计算平台提供了强大的分布式计算和存储能力，这使得余票查询系统能够高效处理大量的并发请求。在构建高并发访问的系统时，分布式计算和存储技术是不可或缺的。将这些技术应用于系统中，可以显著提高系统的处理能力和响应速度，从而提升用户体验。第2讲

服务化万物：探索云计算启发思考在学习本讲内容前请先自主思考以下问题，并带着问题学习本讲后面的知识。（1）云计算究竟是一种怎样的技术或服务？它如何基于互联网提供动态、可扩展且常呈虚拟化形态的资源和服务？（2）云计算机的交付模式具体包括哪些？（3）云计算的关键技术有哪些？它们又是如何支撑起整个云计算体系的？第2讲

服务化万物：探索云计算知识要点知识点1

云计算概述1.云计算的定义从用户角度来看，主要根据用户的体验和效果来描述云计算。云计算系统是一个信息基础设施，包含硬件设备、软件平台、系统管理的数据及相应的信息服务。用户使用该系统时，可以实现“按需索取、按用计费、无限扩展、网络访问”的效果。1）从用户角度看云计算第2讲

服务化万物：探索云计算通过调度优化的技术，管理和协同大量的计算资源；针对用户的需求，通过互联网发布与提供用户所需的计算资源和软件服务；基于租用模式以按用量计费的方法进行收费。2