人工智能概论（第2版） 课件全套 刘阳 第1-9章 人工智能的前世今生 -人工智能与自然智能

第一章人工智能的前世今生——从AlphaGo说起目录什么是人工智能人工智能起源&发展人工智能现在&未来人工智能的应用案例开发语言&环境什么是人工智能PART01什么是人工智能人工智能（ArtificialIntelligence）英文缩写为AI。“人工”和“智能”，“人工”即人造的、人为的；“智能”是“智慧和能力”。人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它是一门由计算机科学、控制论、信息论、语言学、神经生理学、心理学、数学、哲学等多种学科相互渗透而发展起来的综合性的新学科。拥有智能的计算机可以代替人类实现识别、认知，分析和决策等多种功能。人工智能的起源与发展PART02人工智能的起源（1956年）1951年，普林斯顿大学数学系24岁的研究生马文·明斯基（MarvinMinsky），建立了世界上第一个只有40个神经元的神经网络机器。人们第一次模拟了神经信号的传递。。1950年，艾伦·图灵（AlanTuring）提出了图灵测试1956年，马文·明斯基、约翰·麦卡锡和克劳德·香农等在美国的达特茅斯学院组织了一次讨论会。提出了“人工智能”，达特茅斯会议被认为是人工智能诞生的标志。同年，世界上第一个人工智能实验室——MITAILAB实验室成立，人工智能进入到了快速发展时期。人工智能的第一次浪潮（1956-1976）1964-1966年，麻省理工学院的约瑟夫·维森鲍姆（JosephWeizenbaum）教授建立了世界上第一个自然语言对话程序ELIZA。ELIZA能够与人聊天。1965年，专家系统首次亮相。1968年，首台人工智能机器人诞生。美国斯坦福研究所（SRI）研发的机器人Shakey，能够自主感知、分析环境、规划行为并执行任务，可以根据人的指令发现并抓取积木。Shakey机器人拥有类似人的感觉，如触觉、听觉等。

1970年，能够分析语义、理解语言的人机对话系统SHRDLU系统诞生。

1976年，专家系统广泛使用。人工智能的第一次浪潮后的第一个冬天人工智能面临的技术瓶颈主要有三个方面。第一,计算机性能不足，导致早期很多程序无法在人工智能领域得到应用；第二，早期人工智能程序主要是解决复杂性低的特定问题，可一旦问题上升维度，程序立马就不堪重负了；第三，数据量的严重不足，无法支撑程序进行深度学习，导致机器无法实现智能化。导火索：由于科研人员在人工智能的研究中对项目难度预估不足，导致美国国防高级研究计划部署的合作计划失败。人工智能在70年代后期进入了第一个冬天。人工智能的第二次浪潮（1980-1987）20世纪80年代，由于专家系统（expertsystem）和人工神经网络（artificialnetwork）等技术的新进展，人工智能的浪潮再度兴起。1982年，约翰·霍普菲尔德（JohnHopfield）提出了一种新型的网络格式，即霍普菲尔德神经网络（Hofiednet），在其中引入了相联存储（associativememory）的机制。1986年，“神经网络之父”杰弗里·辛顿、大卫·鲁梅尔哈特（DavidRunlhaun）和罗纳德·威廉姆斯（RonaldWlliams）联合发表了有里程碑意义的经典论文：《通过误差反向传播学习表示》（Learningrepresentationsbyback-propagatingerrors）

。在这篇论文中，他们通过实验展示，反向传播算法（backpropagation）可以在神经网络的隐藏层中学习到对输入数据的有效表达。从此，反向传播算法被广泛用于人工神经网络的训练。人工智能第二次浪潮后的冬天导火索1981年，日本率先拨款支持第五代计算机项目研发，目标是制造出能够与人对话、翻译语言、解释图像，并能像人一样推理的机器。遗憾的是，经过了10年研发，耗费了500亿日元，这个项目未能达成预期的目标。到了80年代后期，产业界对专家系统的巨大投入和过高期望开始显现出负面的效果。人们发现这类系统开发与维护的成本高昂，而商业价值有限人工智能的第三次浪潮（1997年至今）在数学的驱动下，一大批新的数学模型和算法被发展起来1997年5月11日，IBM的计算机系统“深蓝”战胜了国际象棋世界冠军卡斯帕罗夫进入了21世纪，全球化的加速以及互联网的蓬勃发展带来全球范围电子数据的爆炸性增长。人类迈入了“大数据”时代。2012年全球范围的图像识别算法竞赛ILSVRC（也称为ImageNet）中，首次使用深度神经网络。2016年，谷歌（Google）AlphaGo战胜李世石人工智能的现在与未来PART03人工智能的现在互联网+“人工智能+”（人工智能+传统行业）这种新经济业态已经开始萌芽，越来越多的行业开始拥抱人工智能，用“人工智能+”助力技术和产业的进一步发展人工智能2.0时代在信息新环境下，基于新需求和发展新目标的新一代人工智能。“新环境”是指快速发展的移动互联网、大数据、物联网等新技术下“新需求”是指社会经济变化对人工智能提出了大量新的需求。“新目标”是指人工智能将实现在智能城市、智能经济、智能制造、智能医疗、智能家居、智能驾驶等从宏观到微观的智能化目标。人工智能的未来未来社会可以用六个字来概括：智慧、惠普以及颠覆。智慧的特征将更加明显，普惠的价值将更加显著，颠覆的意义将更加凸显，人工智能在各行各业中的应用PART04人工智能应用智能医疗智能家居人工智能应用智能交通智能制造人工智能应用智能物流智能金融智能教育智能零售智能安防开发环境安装第二章智能感知——让人工智能感知世界前导人类的感知能力电话、远程机器人、无人机、水下航拍器等延伸了人类的感知能力。意大利科学家们制作了一个人形机器人iCub机器人能够出色的完成这些任务，离不开智能感知，智能感知包括听觉、视觉、触觉等感知能力。要想让智能机器人感知这个世界，就必须依赖一定的信息获取手段和信息处理方法。也就是说，我们需要通过各种不同功能的传感器来收集各种不同性质的信息，然后通过对这些信息的处理来获得对信息的理解。目录丰富多彩的传感器传感器的应用传感器的实验案例丰富多彩的传感器PART01什么是传感器传感器进行信息的采集（超高温、超低温、超高压、超高真空、超强磁场、超弱磁场），是人类感觉器官的延伸。能感受规定的被测量，并按照一定的规律转换成可用信号的器件或装置。通常由敏感元件、转换元件、变换电路和辅助电源组成。什么是传感器传感器的组成传感器的应用PART02传感器的分类传感器的应用

传感器的实验案例PART03第三章机器学习——让人工智能学会思考目录什么是机器学习机器学习的模型机器学习的方法机器学习的应用领域案例——鸢尾花种类识别什么是机器学习PART01什么是机器学习机器学习（MachineLearning）人类是在经验中不断学习。人工智能是否有相似的思考能力呢？机器学习就是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。它是人工智能的核心，是使计算机具有智能的根本途径，其应用已遍及人工智能的各个分支，如自然语言处理、模式识别、机器视觉、智能机器人等领域。机器学习的过程数据组成特征值：表示特征的取值特征：反应事物或对象在某方面的表现或性质的事项，特征的质量决定了模型的效果。标签：表示预测的结果机器学习是通过计算机算法，发现和学习历史数据中蕴含的规律，并产生模型，当有新的数据时，我们使用产生的模型进行预测，这也是机器学习的学习过程。机器学习的过程样本、训练数据集、测试数据集机器学习的学习过程可以分为两个阶段：训练阶段和预测阶段学习模型PART02学习模型有哪些？机器学习常见的学习模型主要有分类模型、回归模型和聚类模型等，每种模型的建立有不同的学习算法。聚类模型是将数据分成几个相异性最大的群组，群组内的数据相似性最高。机器学习的方法强化学习不提供训练数据，计算机利用自己学习得到的策略来指导行动，通过产生新的数据，反馈结果（奖励或者惩罚），根据反馈调整优化策略，最终得到想要的结果。半监督学习对小部分的样本提供预测量的真实值。通过有效利用小部分监督信息，取得比无监督学习更好的效果，同时把监督信息的成本控制在可以接受的范围。有监督学习（分类问题和回归问题）有监督学习（SupervisedLearning）要求为每个样本提供预测量的真实值，通过测试结果与测试样本结果进行比较，不断调整预测模型，直到达到一个预期的准确率。无监督学习（聚类问题）不提供标签值的条件下进行学习，直接对输入数据进行建模。有监督学习水果部分样本数据使用KNN算法实现的水果分类可视化表示主要处理分类问题和回归问题1.分类模型：K-近邻算法（KNN）应用有监督学习天气样本数据决策树模型主要处理分类问题和回归问题2.分类模型：决策树ID3算法有监督学习建立回归模型为y=45.7x+148,模型的可视化效果如红色线，采用一次线性函数建模。主要处理分类问题和回归问题3.回归模型：线性回归算法应用机器学习的应用领域PART03应用领域计算机视觉计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。计算机视觉相关的应用非常的多，例如百度识图、手写字符识别、车牌识别等应用。应用领域自然语言处理自然语言处理=文本处理+机器学习。自然语言处理主要是让机器理解人类的语言的一门技术。自然语言处理的应用领域十分广泛，如从大量文本数据中提炼出有用信息的文本挖掘，以及利用文本挖掘对社交媒体上商品和服务的评价进行分析等。应用领域语音识别语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。目前的相关应用有苹果的语音助手Siri等。第三章机器学习第四章神经网络——让人工智能拥有智慧大脑TensorFlow游乐场网址为：/作业1：TensorFlow？前情回顾2016年3月，谷歌的AlphaGo击败了围棋九段李世石，人工智能里程碑式事件。AlphaGo是用人类和AI对手组合进行训练的。据报道，谷歌使用了1920个中央处理器（CPU）和280个图形处理器（GPU）数据模型行动前情回顾

更新之后的版本AlphaGoZero更加厉害，不使用任何以前的数据来学习下棋，而是直接打了数以千场的比赛，经过三天的训练，它就能击败AlphaGo了。

也就是说，这台机器拥有了自学能力。人类的学习能力来自于大脑。

那么AlphaGoZero的自学习能力则是来自于神经网络，神经网络如大脑一般让人工智能能够自主学习，充满智慧。目录什么是神经网络神经网络的结构单元人工神经网络的层结构神经网络的学习神经网络的应用案例什么是神经网络PART01什么是神经网络神经网络大脑是一个复杂的自然神经网络通过相互关联的神经元来处理信息人工神经网络通过人为编程来实现大脑神经网络的功能，将认知能力赋予计算机，让计算机来模拟人类的智能。神经网络的结构是什么样子的？神经网络的结构单元PART02神经网络的结构单元它由神经元细胞体、树突和轴突组成。细胞体具有联络和整合输入信息并发出信息的作用；树突短而分枝多，其作用是接受其他神经元传来的信息并输入给细胞体；轴突分出很多分支，形成神经末梢，来与其他神经元的树突相连，其作用是把细胞体所发出的信息输出到其他神经元。人工神经网络的神经元也包含一个神经处理单元，相当于细胞体，多个输入相当于树突，以及输出类似于轴突。神经网络由多个神经元相互连接构成整个神经网络。设计人工神经网络结构样式？神经网络的结构单元多个神经元是如何连接的呢？人工神经网络的层结构PART03人工神经网络的层结构按照神经元的网络层数分为单层神经网络和多层神经网络。单层神经网络结构图由多个神经元平列，排成一列，n个输入给每一个处理单元，每一个神经元有一个输出。输入与输出之间的关系是怎样的？神经元的模型公式是？神经元模型公式神经元接受到的是来自前面n个神经元传递过来的信号，这些数值通过带权重的连结进行传递，神经元接收到的总输入值将与神经元自身的阈值相比较，并最终通过“激活函数”进行输出。神经元模型公式X表示上一个神经元的输入，w代表输入的连接权重，即表示不同的输入对当前神经元的影响力不同。

Θ是神经元自身的阈值，

σ代表激活函数。神经元模型案例这里我们假设x1=1，x2=2,x3=0,x4=-1,权重值依次是1,2,-1,0.3，阈值是0.6，在未加上激活函数的时候，当前输出是？(1*1+2*2+0*(-1)+(-1)*0.3-0.6),结果是4.1神经元模型案例——激活函数激活函数激活函数是在我们设计神经网络时，为增强网络的表达能力而人为加入的非线性因素。如果不加入激活函数，神经网络将只能处理模拟线性函数，在面对线性不可分问题时无能为力。加入激活函数后，我们的神经网络拥有了处理非线性问题的能力。常见的激活函数是阶跃函数和sigmoid函数。神经元模型案例——激活函数激活函数总体输入大于阈值时激活，小于阈值时抑制。sigmoid函数能够将大范围的输入压缩到（0,1）之间，并且严格单调，关于（0，0.5）中心对称，是比较常见的激活函数。sigmoid函数对中间区域的输入信号有增益作用，对两侧区的输入值有抑制作用。神经元模型案例——单层感知机实现逻辑AND、OR、NOT当w1=w2=1,令θ=2，则

最简单的神经网络，是其他神经网络的基础，可以用来模拟逻辑函数，例如逻辑非NOT、逻辑或OR、逻辑与AND等。神经元模型案例——单层感知机实现逻辑AND、OR、NOT“或”问题当w1=w2=1,令θ=2“与”问题当w1=w2=1,令θ=2，则

w1=w2=1,令θ=0.5作业2:“非”问题w1=-0.6，w2=0,令θ=-0.5多层感知机当遇到复杂的线性不可分的问题时单层神经网络不能满足需求多层感知机可以通过加深网络层数构成多层神经网络，通过多层转换把线性不可分的问题转化成线性可分。多层网络是由单层网络进行级联构成的，上一层的输出作为下一层的输入，前一层神经网络的输出结果传递给后一层神经网络的每一个神经元，但是同一层的神经元是相互独立，不进行数据传递。多层神经网络结构图多层感知机多层神经网络在人脸识别系统中的应用人脸识别多层神经网络结构图这是一个多层前馈神经网络，在通过输入百万张图片来训练神经网络的人脸识别能力后，可以让该神经网络无论是在人群中还是在复杂的背景环境中都能够准确的识别出某个人脸。多层感知机案例——多层感知机实现异或问题异或：如果两个值不相同，则异或结果为1；如果两个值相同，异或结果为0神经网络的分类——按照神经网络信号的流动方向前馈神经网络前馈神经网络中的中间隐藏层可以有若干个，每一层的神经元只接受来自前一层神经元的输出信息，输入信息仅在一个方向上流动。反馈神经网络任意两个神经元之间都可能有连接，包括神经元自身到自身的反馈，①表示信息由输出层又回传到了隐藏层②表示同一层的神经元之间也有信息的传递③表示信息可以由神经元输出后再传递回本身思考:是否还有其他分类方法？神经网络的学习PART03神经网络的学习——学习模式的不同分有监督学习和无监督学习无监督学习聚类问题，如：银行客户分类，网络用户分类有监督学习有明确结论，并且结论较容易获得神经网络应用案例PART04第五章人脸识别与视觉图像——让人工智能观察世界

人脸识别流程首先要完成的是对目标图片的扫描检测，确定画面中是否存在人脸，人脸的位置以及人脸的质量等信息。人脸识别的第二步是人脸关键点定位。主要目的是确定眼睛、鼻子、嘴等核心区域的位置，为人脸识别做准备。人脸识别的第三步是将人脸核心区域的特征值提取后，与人员底库中保存的人脸特征值计算比对，识别出人脸身份。人脸检测关键点定位特征提取及比对70%“无卡校园”人脸库学生人脸自助采集校园出入口人员身份管理幼儿园家长接送管理走读生管理请假管理校门口宿舍管理智能签到模式通道考勤模式无感知人脸考勤及专注度分析数据清洗通过筛选，无效数据，并进行分类比如：同一秒去掉钟同一学生有多条数据，只保留一条分配权重按照数据有效性，进行个人权重打分比如：同一秒学生抬头越多，分配的权重越大归一化处理等比缩放到（0,100）范围，使数据具有可比性比如：处理前一班的数据是（11,35），二班的数据为（33,90），都等比缩放到（0,100）思考人脸识别离不开视觉图像，在日常中除了人脸识别，视觉图像技术还用在哪些方面？目录人类视觉与机器视觉计算机视觉图像技术计算机视觉图像系统及应用视觉图像智能分析的核心技术手写数字识别案例人类视觉与机器视觉PART01人类视觉人类视觉视觉是人类五觉中最特别的一种感官能力，大部分的外来信息都是通过视觉获得并传递到人类的大脑，因此人类的视觉系统是获取外界环境信息的重要途径人类是如何通过眼球看到物体的，视觉的成像过程是怎么样的？（画图讲解）人类视觉人类是如何通过眼球看到物体的，视觉的成像过程是怎么样的？（画图讲解）眼球通过接收并聚合外界物体反射的光线，依次经过角膜、瞳孔、晶状体和玻璃体，并经过晶状体等的折射，最终落在视网膜上，形成物象。视网膜上的感光细胞将物象信息通过视觉神经传递给大脑，人就产生了视觉机器视觉机器视觉是人工智能快速发展的一个分支。机器视觉主要是使用机器来模拟人的视觉功能，从客观事物的图像中提取有用信息，进行处理并加以理解，最终用于企业生产中的检测、测量和控制等。机器视觉技术机器视觉技术，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科，它最大的特点就是速度快、信息量大、功能多。机器视觉系统机器视觉系统是指，利用机器视觉技术，通过机器视觉设备将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄取目标的形态信息，根据像素分布、颜色、亮度等信息，转换成数字化信号。图像系统通过对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉系统的作用？计算机视觉图像技术PART02计算机视觉图像技术在人工智能领域中，机器视觉系统扮演着非常重要的角色，并形成了一个特定的研究领域——计算机视觉。计算机视觉是一门研究如何使机器“看”的科学，也就是研究如何使用电脑和摄影机来代替人眼完成对目标的识别、跟踪和测量等工作，并进一步通过计算机进行图形图像处理，使之成为更适合人眼观察或传送给仪器检测的图像。计算机视觉主要是通过对相关理论技术的研究，试图建立能够从图像或者多维数据中获取“信息”的人工智能系统。计算机视觉图像技术计算机视觉图像技术也可以看作是研究如何使人工智能系统从图像或多维数据中“感知”信息的科学。而计算机视觉图像技术的实现原理，就是通过各种成像系统来代替视觉器官（眼睛）作为输入，由计算机来代替大脑完成处理和解释。计算机视觉图像技术的最终研究目标就是使计算机能够做到像人一样通过视觉系统来观察和理解世界，并且具备自主适应环境的能力。计算机视觉和机器视觉计算机视觉计算机视觉是利用计算机和其辅助设备来模拟人的视觉功能，实现对客观世界的三维场景的感知、识别和理解，更加偏重于软件系统，侧重于通过算法来对图像进行识别分析机器视觉机器视觉包含了诸如采集设备、光源、镜头、控制、算法等一系列的硬件系统，更加侧重于工程上的实际应用计算机视觉图像系统及应用PART03计算机视觉图像系统处理过程计算机视觉图像系统的结构形式很大程度上依赖于其具体的应用方向。计算机视觉图像系统处理过程——图像获取一幅数字图像是由一个或多个图像感知器产生，这里的感知器可以是各种光敏摄像机，包括遥感设备，X射线断层摄影仪，雷达，超声波接收器等。取决于不同的感知器，产生的图片可以是普通的二维图像，三维图组或者一个图像序列。计算机视觉图像系统处理过程——图像预处理使用二次取样保证图像坐标的正确；使用平滑去噪来滤除感知器引入的设备噪声；通过提高对比度来保证实现相关信息可以被检测到；通过调整尺度空间使图像结构适合局部应用。计算机视觉图像系统处理过程——特征提取从图像中提取各种复杂度的特征。例如：线，边缘提取；提取局部化的特征点检测，如边角检测，斑点检测；还有一些更复杂的特征与图像中的纹理形状或运动有关。计算机视觉图像系统处理过程——检测分割在图像处理过程中，有时会需要对图像进行分割来提取有价值的，用于后继处理的部分，例如：筛选特征点；分割一或多幅图片中含有特定目标的部分。计算机视觉图像系统处理过程——高级处理高级处理包括：①验证得到的数据是否符合前提要求；②估测特定系数，比如目标物理的姿态，体积；③对目标物体进行分类。高级处理还包括对图像内容的理解，主要是针对分割以后的图像块进行理解，例如进行识别等操作。计算机视觉图像系统的应用安防监控、人脸识别交通、无人驾驶计算机视觉图像系统的应用工业生产在线购物非精密测量；识别工业部件上的缺陷和划痕等；筛选不合格产品；通过不同角度的照片重建零部件三维模型计算机视觉图像系统的应用游戏娱乐机器人、无人机计算机视觉图像系统的应用生物医学影像视觉图像智能分析的核心技术PART04图像分类案例当w1=w2=1,令θ=2，则

图像分类的过程包含两个核心步骤：特征提取和特征分类图像的特征主要包括图像的颜色特征、纹理特征、形状特征和空间关系特征。图像分类案例颜色特征和纹理特征都是全局特征，描述了图像或图像区域所对应的景物的表面性质。空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。形状特征又包括了两类特征，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。图片如何在计算机中存储矩

阵

像

素

分辨率是1280×720灰度图像0黑色，255白色彩色图像（R,G,B）三阶张量

三个通道图像分类案例特征小猫小鸟飞机汽车特征1：有没有翅膀没有有有没有特征2：有没有眼睛有有没有没有卷积运算卷积运算利用卷积提取图像特征——原理通过卷积运算，我们可以将原图像变换为一幅新图像。这幅新图像有时候比原图像更清楚地表示了某些性质，我们就可以把它当作原图像的一个特征。这里用到的小矩阵就称为卷积核。通常，图像矩阵中的元素都是介于0到255的整数，但卷积核中的元素可以是任意实数。用1、0、-1作为卷积核的核心数据，通过卷积，我们可以从图像中提取边缘特征。在不是边缘，图像色彩变化不大的区域，图像像素值的变化比较小。相反，图像边缘两侧的像素，由于色彩变化明显，像素值往往相差较大。利用卷积提取图像特征利用卷积提取图像特征利用卷积提取图像特征第六章自然语言处理——让人工智能与世界沟通常见的自然语言处理2011年，乔布斯在iPhone4S中推出Siri（苹果智能语音助手）2018年2月8日，小度机器人亮相网络春晚，和主持人高博秒对飞花令我们身边的自然语言处理？自然语言处理机器人在实现人机交互功能时，主要通过语音识别、自然语言处理、机器学习来实现，其中最核心的技术就是自然语言处理，那么，什么是自然语言处理呢？目录什么是自然语言处理自然语言处理的发展史自然语言处理的过程和方法自然语言处理平台和开发库什么是自然语言处理PART01什么是自然语言处理多种人类语言、计算机程序语言自然语言处理（NaturalLanguageProcessing，NLP）可以分为自然语言和处理两部分来理解在整个人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。针对计算机的应用而言，据统计，用于数学计算的仅占10%，用于过程控制的不到5%，其余85%左右计算机都是在进行语言文字的信息处理。什么是自然语言处理处理包含理解、转化、生成等过程。自然语言处理，是指用计算机对自然语言的形、音、义等信息进行处理，即对自然语言的字、词、句、篇章的输入、识别、分析、理解、生成以及输入的加工和操作。自然语言处理的任务就是帮助计算机接受、处理、理解以及运用人类语言，从而使机器更加高效的与人类进行交流。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。什么是自然语言处理自然语言处理机制涉及两个流程，分别是自然语言理解和自然语言生成。自然语言理解是指计算机能够理解自然语言文本的意义，自然语言生成则是指机器能够以自然语言文本的形式把它的意图表达出来。自然语言处理的应用自然语言处理（NLP）可以被应用于很多领域，主要包括以下几个主要方向：1.机器翻译：将一种语言翻译成另一种语言；将声音和文字之间相互转换。2.情感分析：判断沟通对象的情绪状态。3.智能问答：通过提问获取信息，并回答相应的问题。4.观点抽取：归纳、总结文本摘要，形成观点。5.文本分类：采集文本信息，进行主题分析，从而进行自动分类。自然语言处理的应用百度大脑基于深度学习技术和百度大数据，针对带有主观描述的中文文本，自动判断该文本的情感极性类别并给出相应的置信度自然语言处理的应用评论观点抽取，产品观点挖掘，客服智能问答自然语言处理的发展史PART02神经网络的结构单元自然语言处理（NLP）的发展大致经历了四个阶段：萌芽期、快速发展期、低谷期以及复苏繁荣期。萌芽期（1956年以前）1956年以前，一方面，人类积累了大量的数学、语言学和物理学知识。这些知识不仅是计算机诞生的必要条件，同时也是自然语言处理的理论基础。另一方面，艾伦·图灵在1936年首次提出了“图灵机”的概念。“图灵机”作为计算机的理论基础，促进了1946年电子计算机的诞生。而电子计算机的诞生又为机器翻译和随后的自然语言处理提供了物质基础。萌芽期（1956年以前）

早期的自然语言处理具有鲜明的经验主义色彩。1913年马尔可夫提出了马尔可夫随机过程。“手工查频”，通过统计《欧根、奥涅金》长诗中元音与辅音出现频度，来判断字母的出现概率；1948年香农把离散马尔可夫概率模型应用于语言的自动机，同时采用手工方法统计英语字母的频率。1956年乔姆斯基借鉴香农的工作，建立了自然语言的有限状态模型，用“代数”和“集合”将语言转化为符号序列，建立了语法的数学模型，为自然语言和形式语言找到了一种统一的数学描述理论。快速发展期(1957年-1970年)自然语言处理在这一时期很快融入了人工智能的研究领域中。由于有基于规则和基于概率这两种不同方法的存在，自然语言处理的研究在这一时期分为了两大阵营。一个是基于规则方法的符号派(symbolic)，另一个是采用概率方法的随机派(stochastic)。低谷期(1971年-1993年)随着研究的深入，自然语言处理的应用难度让许多人对自然语言处理的研究丧失了信心。从70年代开始，自然语言处理的研究进入了低谷时期。复苏繁荣期(1994年至今)90年代中期以后，计算机的速度和存储量大幅增加以及网络技术的发展使得自然语言处理的社会需求更加迫切，自然语言处理的应用面也更加宽广，自然语言处理不再局限于机器翻译、语音控制等早期研究领域了。基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展，各种处理技术开始融合，自然语言处理的研究再次繁荣。深度学习在机器翻译、问答系统等多个自然语言处理任务中均取得了不错的成果。自然语言处理的过程和方法PART03自然语言处理的过程自然语言理解层次关系图衡量计算机对人类自然语言的理解程度第一，问答：机器人能正确回答输入文本中的有关问题；第二，文摘生成：机器有能力生成输入文本的摘要；第三，释义：机器能用不同的词语和句型来复述其输入的文本，对文本进行解释；第四，翻译：机器具有把一种语言翻译成另一种语言的能力。语音识别“RadioRex”玩具狗500赫兹的弹簧弹起语言识别的过程语言识别的过程——案例要把一句语音“我是机器人”转换成对应的文字，其对应的转换流程如下：1.语音信号采集：通过话筒等语音设备把语音“我是机器人”输入计算机。2.特征提取：提取出语音中相应的特征向量[123...n]。3.声学模型：把特征向量[123...n]输入训练好的声学模型，得到音素->woshijiqiren。4.字典：通过字典查询音素对应的可能文字。窝：wo；我：wo；

是：shi；

机：ji；级：ji；

器：qi；

人：ren；忍：ren。5.语言模型：根据训练好的语言模型，确定最大词组合概率。我：0.0786，

是：0.0546，我是：0.0898，机器：0.0967，机器人：0.6785。6.输出文字：我是机器人。词法分析语言是以词为基本意义的单位，而词又是由词素构成的，即词素是构成词的最小的有意义的单位。。在英语中，单词本身就是“词”的表达。汉语中，词是以字为基本单位的，但是一篇文章的语义表达却仍然是是以词来划分的。词法分析通过算法自动识别出句子的词，在词间加入边界标识符，分隔出各个词汇。中文分词与词性标注、命名实体识别共同构成了词法分析的主要内容，以此来定位基本语言元素，消除歧义，支撑自然语言的准确理解。可以说词法分析是理解自然语言中最小的语法单位——单词的基础。词法分析包括两方面的任务，第一个是要能正确地把一串连续的字符切分成一个一个的词；第二个是要能正确的判断每一个词的词性，以便于后续的句法分析的实现。词法分析平台腾讯文智开放平台来体验词法分析的效果。登录网址是：/index.cgi网页版进行体验句法分析句法分析是自然语言处理的核心技术，是对语言进行深层次理解的基石。它分析句子的句法结构（主谓宾结构）和词汇间的依存关系（并列，从属等），从而提取句子主干，获取核心词。通过句法分析，可以为语义分析、情感倾向、知识抽取、机器翻译等自然语言处理应用场景打下坚实的基础。语义分析语义分析(SemanticAnalysis)是指运用各种机器学习方法，让机器学习与理解一段文本所表示的语义内容。一段文本通常由词、句子和段落来构成，根据分析对象的语言单位不同，语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析语用分析把话语放在语言使用者和语言使用环境（语境）对它的制约中进行分析，为的是了解语言在不同环境下的不同含义以及语言的结构在这些环境制约下的变化，从而发现其中的规律。语用分析例子例子1：比如小明约小红去看电影，小红说：“天气预报说今晚会有大暴雨。”例子2：有人到商场看见一件衣服很喜欢，就问售货员：“这件衣服多少钱?”如果售货员回答说：“打折后200元。”这是从语义的角度一般正常的回答。如果售货员又加了一句：“只剩下这一件了。”自然语言处理的平台和开源库PART04常见的自然语言平台——Boson中文语义开放平台BosonNLP/从情感倾向、实体、分类、聚类等多种维度分析海量非结构化文本，可定制数据分析模型和解决方案，针对需求提供分类、消岐、典型意见提取等定制机器学习模型的建立常见的自然语言平台——NLPIR大数据语义智能分析平台/nlpir/自然语言处理未来展望第七章大数据与云计算——人工智能的资源和平台前导物联网、云计算、大数据和人工智能海量的数据通过物联网收集，然后存储于云计算平台，最后再通过大数据分析技术，甚至更高形式的人工智能技术提取和分析得到人类需要的信息。大数据的基础是物联网和云计算，人工智能的基础是大数据。人工智能的决策依赖于大数据的分析。目录大数据大数据的应用大数据的实训案例云计算融合发展大数据PART01什么是大数据谷歌数据中心谷歌搜索引擎不但可以存储用户搜索出来的所有网站链接，还存储了人们的所有搜索行为通过对大量数据分析，谷歌还可以预测人们接下来会采取怎样的行动，这种对大量数据进行捕捉、存储和分析，并根据这些数据做出预测的能力，就是我们所说的大数据。什么是大数据用现有的一般技术难以管理的大量数据的集合。大数据的规模庞大，处理的复杂性高，采用现有的数据处理系统都难以对其驾驭。大数据的级别是PB/EB级别，1PB=1024TB、1EB=1024PB、1ZB=1024EB大数据从哪来？企业生产：工业设备、智能制造、仪表仪器等都可能产生数据人类的衣食住行：网上消费和购物、发送邮件、用手机上网聊天、发表博客、浏览网页等等社会运行：交通摄像头、监控，银行资金流水，公交运营记录，物联网中产生的等等大数据的作用？电商企业通过数据分析了解，用户通过点击站内广告最终购买产品的比率较高获得有价值的信息，以数据来驱动企业业务，为社会提供发展动力。超市的产品供应商可以利用植入购物车中的IC标签，来收集顾客的行动路线数据，通过与商品销售数据相结合，从而分析出顾客买或不买某种商品的理由。大数据的特征主要具有四个特征：数量（Volume）、种类（Varity）、速度（Velocity）和价值（Value），简称4V，即庞大的数据量、丰富的数据种类、极快的数据处理速度和巨大的商业价值四个特征。大数据的处理流程在合适工具的辅助下，从实际业务系统中采集数据，并将结果按照一定的标准进行存储，然后利用合适的数据分析技术对数据进行预处理和分析，然后将分析后的数据建立数据模型，进行人工智能识别，最后将结果进行可视化展示给终端用户。大数据的处理流程——数据采集数据采集是指从传感器、智能设备、仪器仪表、企业在线系统、互联网平台、移动互联APP、RFID射频等数据源获取数据的过程。大数据的处理流程——数据预处理现实世界采集的数据存在不完整性（遗漏）、含有噪声（错误）、数据不一致、数据质量不高等问题。而在使用数据时要求数据具有一致性、准确性、完整性等特性。因此在使用数据之前要对数据进行处理，即数据预处理。大数据的处理流程——数据存储将海量的、来自前端的数据经预处理后，快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的、集中的海量数据进行查询、分类和汇总，以此满足分析需求。大数据的处理流程——数据分析与挖掘数据分析与挖掘是整个大数据处理流程的核心，只有通过数据分析与挖掘才能获取更多智能的、有价值的信息。依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术大数据的处理流程——数据展示大数据的应用PART02大数据的实训案例PART03云计算PART04什么是云计算云计算（CloudComputing）是一种按使用量付费的新型互联网商业模式，这种模式可以为用户提供可用的、便捷的、按需的网络访问，可按需提供给用户网络计算资源。云计算是分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）、热备份冗余（HighAvailable）等技术发展融合的产物，通过网络将大量分布式计算资源集中管理起来，实现并行计算，并通过虚拟化技术形成资源池，为用户提供计算资源按需、弹性分配，极大提高了IT资源的效能。云计算的特征按需自助服务客户可以根据业务的需求，自主向云端申请资源无处不在的网络接入通过互联网访问云资源，不受地理位置的限制，可以随时随地接入云平台与位置无关的资源池客户一般无需知道资源的确切物理位置，只需要根据自身的需求申请相应的资源。快速弹性现有资源需要调整时，只需要向服务提供商增加或者减少租赁资源按使用付费云计算商业模式IaaS（Infrastructureasaservice）基础设施即服务案例1：采用阿里云平台来申请一台服务器资源，要求2核CPU，2G的内存，40G的系统硬盘，连接此服务器的带宽是1Mbps。云计算商业模式PaaS（Platformasaservice）平台即服务案例2：在华为软件开发云平台上申请Mysql数据库服务器，其软件版本为Mysql5.7,服务器为2核CPU8G内存，最大连接数数为2500，存储空间为500G，并设置数据库密码为Qdjsj@308。云计算商业模式SaaS（SoftwareasaService）软件即服务代表性企业和产品：GoogleAPPs、淘宝、京东、Office365等。云计算部署模式融

合

发

展PART05融合发展云计算与物联网、大数据、人工智能、移动互联网融合发展第八章智能机器人——真正懂你的人前导智能机器人不知不觉中，智能机器人已经悄悄来到我们身边，各行各业都可以看到它的身影，今天就让我们来认识一下智能机器人。目录什么是智能机器人智能机器人的应用场景机器人的组成机器人的发展史智能机器人案例智能机器人与人工智能什么是智能机器人PART01什么是智能机器人一种可编程和多功能的，用来搬运材料、零件、工具的操作机；或是为了执行不同的任务而具有可改变和可编程动作的专门系统。一般由执行机构、驱动装置、检测装置、控制系统和复杂