2024人工智能导论

第1第2第4第5第6第7PyTorch与Caffe第1章绪论长期以来，制造具有智能的机器一直是人类的梦想。早在1950年，n ung在《计算机器与智能中就阐述了对人工智能的思考。他提出的图灵测试是机器智能的重要测量手段，后来还衍生出了视觉图灵测试等测量方法。1956年，人工智能这个词首次出现在达特茅斯会议上，标志着其作为一个研究领域的正式诞生。人工智能发展潮起潮落的同时，基本思想可大致划分为四个流派符号主义ybo、连接主义onnon、行为主义hvou和统计主义。这四个流派从不同侧面抓住了智能的部分特征，在制造人工智能方面都取得了里程碑式的成就。1959年，hur u提出了机器学习的概念，机器学习将传统的制造智能演化为通过学习能力来取智能，推动人工智能进入了第一次繁荣期。20世纪70年代末期专家系统的出现实现了人工智能从理论研究走向实际应用、从一般思维规律探索走向专门知识应用的重大突破，将人工智能的研究推向了新高潮。然而，机器学习的模型仍然是人工的，也有很大的局限性。随着专家系统应用的不断深入，专家系统本身存在的知识获取难、知识领域窄、推理能力弱、实用性差等问题逐步暴露。从1976年开始，人工智能的研究进入长达6年的萧瑟期。1997年，深蓝p u战胜国际象棋世界冠军y pov。这是一次具有里程碑意义的功，它代表了基于规则的人工智能的胜利。2006年，在non和他的学生的推动下，深度学习开始备受关注，为后来人工智能的发展带来了重大影响。从2010年开始，人工智能进入爆发式的发展阶段，其最主要的驱动力是大数据时代的到来，运算能力及机器学习算法得到提高。人工智能快速发展，产业界也开始不断涌现出新的研发成果2011年，Mon在综艺节目《危险边缘》中战胜了最高奖金得主和连胜纪录持者2012年，谷歌大脑通过模仿人类大脑在没有人类指导的情况下，利用非监督深度学习方法从大量视频中成功学习到识别出一只猫的能力2014年，微软公司推出了一款实时口译系统，可以模仿说话者的声音并保留其口音2014年，微软公司发布全球第一款个人智能助理微软小娜2014年，亚马逊发布迄今为止最成功的智能音箱产品ho和个人助手x2016年，谷歌pho机器人在围棋比赛中击败了世界冠军李世强人工智能是指真正能思维的智能机器，并且认为这样的机器是有知觉和自我意识的，这类机器可分为类人机器的思考和推理类似人的思维与非类人机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式两大类。从一般意义来说，达到人类水平的、能够自适应地应对外界环境挑战的、具有自我意识的人工智能称为通用人工智能、强人工智能或类人智能大争论涉及思维与意识等根本问题的讨论展，美国私营部门的专家及国家科技委员会比较支持的观点是，至少在未来几十年内难以实现。通向强人工智能还有一条新路线，这里称为仿真主义结构上解析大脑，再利用工程技术手段构造出模仿大脑神经网络基元及结构的仿脑装置，最后通过环境刺激和交互训练仿真大脑实现类人智能，简言之，先结构，后功能。虽然这项工程也十分困难，但都是有可能在数十年内解决的工程技术问题，而不像理解大脑这个科学问题那样遥不可及。仿真主义可以说是符号主义、连接主义、行为主义和统计主义之后的第五个流派，和前四个流派有着千丝万缕的联系，也是前四个流派通向强人工智能的关键一环。经典计算机是数理逻辑的开关电路实现，采用冯诺依曼体系结构，可以作为逻辑推理等专用智能的实现载体。但要靠经典计算机不可能实现强人工智能。要按仿真主义的路线仿脑，就必须设计制造全新的软硬件系统，这就是类脑计算机地称为仿脑机。仿脑机是仿真工程的标志性成果，也是仿脑工程通向强人工智能之路的重要里程碑。能感知环境，能产生反应，能与人交互，能与人互补。人工智能系统应能借助传感器等器件产生对外界环境包括人类息，对外界输入产生文字、语音、表情、动作控制执行机构于按钮、键盘、鼠标、屏幕、手势、体态、表情、力反馈、虚拟现实增强现实等方式，人与机器间可以产生交互与互动，使机器设备越来越理解人类乃至与人类共同协作、优势互补。这样，人工智能系统能够帮助人类做人类不擅长、不喜欢但机器能够完成的工作，而人类则适合于去做更需要创造性、洞察力、想象力、灵活性、多变性乃至用心领悟或需要感情的一些工作。机器学习hnenng是一门涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科，研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，是人工智能技术的核心。基于数据的机器学习是现代智能技术中的重要方法之一，研究从观测数据样本出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。根据学习模式、学习方法以及算法的不同，机器学习存在不同的分类方法。监督学习。监督学习是利用已标记的有限训练数据集，通过某种学习策略新数据实例的标记分类映射。最典型的监督学习算法包括回归和分类。监督学习要求训练样本的分类标签已知，分类标签精确度越高，样本越具有代表性，学习模型的准确度越高。监督学习在自然语言处理、信息检索、文本挖掘、手写体辨识、垃圾邮件侦测等领域获得了广泛应用。无监督学习。无监督学习是利用无标记的有限数据描述隐藏在未标记数据中的结构监督学习算法包括单类密度估计、单类数据降维、聚类等。无监督学习不需要训练样本和人工标注数据，便于压缩数据存储、减少计算量、提升算法速度，还可以避免正、负样本偏移引起的分类错误问题。无监督学习主要用于经济预测、异常检测、数据挖掘、图像处理、模式识别等领域，例如组织大型计算机集传统机器学习。传统机器学习从一些观测训练样本出发，试图发现不能通过原理分析获得的规律，实现对未来数据行为或趋势的准确预测。相关算法包括逻辑回归、隐马尔科夫方法、支持向量机方法、邻方法、三层人工神经网络方法、dboo算法、贝叶斯方法以及决策树方法等。传统机器学习平衡了学络。深度学习作为机器学习研究中的一个新兴领域，由non等人于2006年提出。深度学习源于多层神经网络，其实质是给出了一种将特征表示和学习合二为一的方式。深度学习的特点是放弃了可解释性，单纯追求学习的有效性。经过多年的摸索尝试和研究，已经产生了诸多深度神经网络的模型，其中卷积神经网络、循环神经网络是两类典型的模型。卷积神经网络常被应用于空间性分布数据循环神经网络在神经网络中引入了记忆和反馈，常被应用于时间性分布数据。深度学习框架是进行深度学习的基础底层框架，一般包含主流的神经网络算法模型，提供稳定的深度学习，支持训练模型在服务器和、间的分布式学习，部分框架还具备在包括移动设备、云平台在内的多种平台上运行的移植能力，从而为深度学习算法带来前所未有的运行速度和实用性。目前主流的开源算法框架有noo、e 2、、dddd、ohyoh、hno等。世界中的概念及其相互关系，其基本组成单位是实体—关系—实体三元组，以及实体及其相关属性—值对。不同实体之间通过关系相互联结，构成网状的知识结构。在知识图谱中，每个节点表示现实世界语音交互是一种高效的交互方式，是人以自然语音或机器合成语音同计算机进行交互的综合性技术，结合了语言学、心理学、工程和计算机技术等领域的知识。语音交互不仅要对语音识别和语音合成进行研究，还要对人在语音通道下的交互机理、行为方式等进行研究。语音交互过程包括四部分语音采集、语音识别、语义理解和语音合成。语音采集完成音频的录入、采样及编码语音识别完成语音信息到机器可识别的文本信息的转化语义理解根据语音识别转换后的文本字符或命令完成相应的操作到声音信息的转换。作为人类沟通和获取信息最自然便捷的手段，语音交互比其他交互方式具备更多优脑机交互又称为脑机接口，指不依赖于外围神经和肌肉等神经通道，直接实现大脑与外界信息传递的通路。脑机接口系统检测中枢神经系统活动，并将其转化为人工输出指令，能够替代、修复、增强、补充或者改善中枢神经系统的正常输出，从而改变中枢神经系统与内外环境之间的交互作用。脑机交互通过对神经信号解码，实现脑信号到机器指令的转化，一般包括信号采集、特征提取和命令输出三个模块。从脑电信号采集的角度，一般将脑机接口分为侵入式和非侵入式两大类。除此之外，脑机接口还有其他常见的分类方式按照信号传输方向可以分为脑到机、机到脑和脑机双向接口脑机接口和诱发式脑机接口按照信号源的不同还可分为基于脑电的脑机接口、基于功能性核磁共振的脑机接口以及基于近红外光谱分析的脑机接口。图像理解是通过用计算机系统解释图像，实现类似人类视觉系统理解外部世界的一门科学。通常根据理解信息的抽象程度可分为三个层次浅层理解，包括图像边缘、图像特征点、纹理元素等物体边界、区域与平面等高层理解，根据需要抽取的高层语义信息，可大致分为识别、检测、分割、姿态估计、图像文字说明等。目前高层图像理解算法已逐渐广泛应用于人工智能系统，如刷脸支付、智慧安指纹识别过程通常包括数据采集、数据处理、分析判别三个过程。数据采集是通过光、电、力、热等物理传感器获取指纹图像数据处理包括预处理、畸变校正、特征提取三个过程行分析判别的过程。DeepLearning4、Lasagne、Neon等。智能技术服务主要关注如何构建人工智能的技术平台，并对外提供人工智能相关的服务。此类厂商在人工智能产业链中处于关键位置，依托基础设施和大量的数据，为各类人工智能的应用提供关键性的技术平台、解决方案和服务。目前，从提供服务的类型来看，智能技术服务厂商包括三类1术平台和算法模型2提供人工智能的整体解决方案3提供人工智能在线服务。这三类角色并不是严格区分开的，很多情况下会出现重叠，随着技术的发展成熟，在人工智能产业链中已有大量的厂商同时具备上述两类或者三类角色的特征。智能家居以住宅为平台，基于物联网技术，由硬件智能家电、智能硬件、安防控制设备、家具等件系统、云计算平台构成的家居生态圈，实现人远程控制设备、设备间互联互通、设备自我学习等功能，并通过收集、分析用户行为数据为用户提供个性化生活服务，使家居生活安全、节能、便捷等。例如，借助智能语音技术，用户应用自然语言实现对家居系统各设备的操控，如开关窗帘窗户明系统、打扫卫生等操作借助机器学习技术，智能电视可以从用户看电视的历史数据中分析其兴趣和爱好，并将相关的节目推荐给用户通过应用声纹识别、脸部识别、指纹识别等技术进行开锁等通过大数据技术可以使智能家电实现对自身状态及环境的自我感知，具有故障诊断能力。智能交通系统(IntelligentTrafficSystem，ITS)是借助现代科技手段和设备，将各核心交通元素联通，实题，因此对于隐私应该有明确且可操作的定义。人工智能技术的发展也让侵犯个人隐私(的行为因此相关法律和标准应该为个人隐私提供更强有力的保护。已有的对隐私信息的管制包括对使用者未明示同意的收集，以及使用者明示同意条件下的个人信息收集两种类型的处理。人工智能技术的发展对原有的管制框架带来了新的挑战，原因是使用者所同意的个人信息收集范围不再有确定的界限。利用人工智能技术很容易推导出公民不愿意泄露的隐私，例如从公共数据中推导出私人信息，从个人信息中推导出和个人有关的其他人员(如朋友、亲人、同事信息(在线行为、人际关系等。这类信息超出了最初个人同意披露的个人信息范围。图1-1据自己的需要选择部分内容进行学习模糊逻辑与推理、遗传算法与进化计算等虽然本书没有涉及，但被广泛应用于各个领域，是人工智能学科的重要组成部分。仅专业学习内容部分主要面向人工智能专业的学习者和研究者知识推理、通用问题求解等主要面向传统人工智能领域部分，而模式识别、自动驾驶等部分则更多构建在机器学习和深度学习基础上。仅非专业学习内容部分则包含各类跨学科人工智能的应用，可以面向不同学科的人工智能应用者，包括医学、生物、化学、物理、工程、制造等不同领域。任，让技术发展遵循伦理要求，特别是保障隐私不会被侵犯是亟须解决的问题。为此，需要(制定策、法律、标准基础，并与国际社会协作。在制定政策、法律和标准时，应当摆脱肤浅的新闻炒作和广告式的热点宣传，必须促进对人工智能技术产品更深层的理解，聚焦这一新技术给社会产生重大利益的同时带来的巨大挑战。本书后续内容主要以常用的搜索算法和机器学习作为主要的实践内容。如何定义人工智能阿兰·图灵对人工智能的重要贡献是什么说出人工智能关键技术有哪些人工智能技术对于我们个人的隐私保护有什么影响第2章状态是为描述某类不同事物间的差别而引入的一组最少变量q0，q1，…，qn下问题的状态空间(StateSpace)是一个表示该问题全部可能状态及其关系的图，它包含三种说明的集合，图2-1图2-2图2-3图2-4图2-5图2-6图2-7前面具有符号～①否定之否定④分配律⑤交换律⑥结合律⑦逆否律问题的初始状态ONBOXHB问题的目标状态描述操作的谓词图2-8语义网络是1968年奎廉..un在研究人类联想记忆时提出的一种心理学模型，认为记忆是由概念间的联系实现的。随后，奎廉又把它用作知识表示。1972年，西蒙在他的自然语言理解系统中也采用了语义网络表示法。语义网络是一种表达能力强而且灵活的知识表示方法，目前已经广泛应用于人工智能领域，尤其是在自然语言处理方面。语义网络由下列4用两个节点和一条弧线可以表示一个简单的事实，对于表示占有关系的语义网络，是通过允许节点既可以表示一个物体或一组物体，也可以表示情况和动作。每一情况节点可以有一组向外的弧事例弧事例框，用以说明与该事例有关的各种变量。图2-9例如，用语义网络表示动物能运动，会吃鸟是一种动物，鸟有翅膀，会飞图2-10〈槽1〉〈侧面11〉〈值111〉〈侧面12〉〈值121〉〈槽2〉〈侧面21〉〈值211〉〈槽n〉〈侧面n1〉〈值n11〉表2-1问题归约法从目标(要解决的问题至最后归约为一个平凡的本原问题集合。这些本原问题的解可以直接得到，从而解决了初始问题，用与或图来有效地说明问题归约法的求解途径。问题归约法能够比状态空间法更有效地表示问题。状态空间法是问题归约法的一种特例。在问题归约法的与或图中，包含与节点和或节点，而在状态空间法中只含有或节点。在表示和求解比较复杂的问题时，采用单一的知识表示方法是远远不够的，往往必须采用多种方法混合表示。例如，综合采用框架、语义网络、谓词逻辑的过程表示方法(两种以上有效的解决。为那些未曾在中出现过的(即未曾在表上或表上出现过的M成员设置一个通向n的指针。把的这些成员加进表。对已经在或表上的每一个成员，确定是否需要更改通到n的指针方向。对已在表上的每个成员，确定是否需要更改图中通向它的每个后裔节点的指针方向。GOLOOP图搜索过程的第8步对表上的节点进行排序，以便能够从中选出一个“最好的节点作为第4步扩展用。这种排序可以是任意的，即盲目的(属于盲目搜索则为依据(属于启发式搜索重现从起始节点到目标节点的这条成功路径，其办法是从目标节点按指针向返回追溯。当搜索树不再剩有未被扩展的端节点时，过程就以失败告终(某些节点最终可能没有后继节点，所以表可能最后变成空表)。在失败终止的情况下，从起始节点出发，一定不能达到目标节点。④考察节点n是否为目标节点，若是，则求得了问题的解，退出⑤若节点n不可扩展，则转第②步宽度优先搜索方法能够保证在搜索树中找到一条通向目标节点的最短途径的路径(如果没有路径存在，那么对有限图来说，我们就说该法失败退出对于无限图来说，则永远不会终止)。图2-11这种盲目(无信息)搜索叫作深度优先搜索(Depth-firstSearch)。④考察节点n是否为目标节点，若是，则求得了问题的解，退出⑤若节点n不可扩展，则转第②步这个问题就是要把初始棋局变为如下目标棋局的问题图2-12(EvaluationFunction)。用估价函数f按照从小到大的顺序排列表中的节点。应用某个算法(如等代价算法)选择表上具有最小f值的节点作为下一个要扩展的节点。这种搜索方法叫作有序搜索ddh或最佳优先搜索th，而其算法就叫作有序搜索算法或最佳优先算法。(7)转向(2)，即GOTO(2)。图2-13A*其中，g是g*的估计h是h*的估计。对于gn来说，一个明显的选择就是搜索树中从到n这段路径的代价，这一代价可以由从n到寻找指针时，把所遇到的各段弧线的代价加起来给出(用搜索算法找到的从到n的最小代价路径)。这个定义包含了gn*n。h*n的估计hn依赖于有关问题领 图2-14八数码问题的A状态空间图是什么启发式搜索方法与盲目搜索方法有什么区别第3章PythonIPythonIPython第一、二行说明环境使用的Python的版本。Python有两个主流版本，即Python2.7和Python3.4，其中Python2.7在2020年后将不再被社区维护，所以建议使用Python3.4及后续版本。境执行UNIX/LinuxShell命令;help用于查看Python的帮助信息，输入“help()”进入帮助环境;“object?”用于查看语句由表达式构成，上述语句比较简单，仅包含表达式5。表达式由常量如5、变量名如，每个变量都有自己的变量名和操作符如，代表赋值和函数块，有名字，即函数名，可以通过函数名调用构成。给出的，就是常量，如“23”“12.12”“2+3j”“True”“False”“PythonforAI”等。常量可被用于赋值、计算、比较第一行的作用是将两个常量整型2和3相加，结果赋值给变量算结果是0，因为这里是两个整型数相除，所以按整除进行计算。需要注意，表达式1的含义是将变量的值和常量1相加，结果再赋值给变量。#d是yhon的关键字。函数一般都有函数名，函数名应该能反映函数的功能，函数名也应该遵循和变量名类似的约定。函数有一个用圆括号括起来的参数列表，用来向函数体传递信息。参数列表中可以有到多个参数，中间用，隔开参数一般为变量。函数名及参数列表用结束。函数体是函数功能实现的主要部分。un语句用于返回函数的计算结果，可以返回0到多个返回值。经常会碰到，例如下列代码段importnumpy只是导入numpy包，要调用其中的开方函数需要使用numpy.sqrt()。可以利用关键字“as”给包起一个别名，例如其中的“np”。也可以指定要导入的函数，例如“fromnumpyimportsqrt，exp”，即导入上述代码定义了一个包含浮点型数、整型数、复数、字符串等元素的列表，其最后一个元素本身也是一个列表。列表元素可通过索引值访问一般表示索引的范围，如24元素结束，但不包括第四个元素的一个子列表1索引表示最后一个元素。表3-1In[1]:importnumpyasnpOut[9]:ar如果要创建一个二维数组，参数使用一个元组，例如利用np.y可以创建不同维度、不同大小的数组并进行赋值，其中数组元素的值按照维度要求事先组织成相应的元组，作为参数传递给y函数。上述例子中创建了一个一维数组和二维数组b数组由两个一维数组组成。数组元素的值可能是一些等差数列，例如，如果想创建一个从0开始、步长为0.5的10还有一些比较简洁的方法，例如In[1]:importnumpyas首先判断该值是否大于1，由判断语句1.0”完成如果条件成立，则执行语句pnuon vd.。正如上述执行结果所示，由于a的值为1.067847591054833，所以条件满足，该分支被执行，输出uonsvd.”。在区间[0.5，1)，则执行语句“print(Neuronislikelyactivated.)”，否则，执行“print(Neuronisnotactivated.)”。的“print(Neuronisnotactivated.)”表3-2表3-3上述代码中，“foreleina”用于遍历数组a，其中a是要被遍历的对象，可以是元组、列表、数组、集合如我们可以使用任何文本编辑工具，例如、obook境，例如pyd等。编辑好的程序需要保存为文件，文件名应该能反映程序的功能，而且一般使用扩展名.py。#!usr/bin/envpython3#-*-coding:utf-8-*-以下是一段完整的实现冒泡排序功能的代码也可以直接调用解释器程序执行，例如在系统的命令行环境可以执行fileobject=open(file_name[，access_mode][，buffernupy和pnd包提供了更加丰富便捷的文件使用方法，例如我们要将x03.v文件的内容加载到一个二维数组中，可以直接使用u中的odx方法如果要输出数据，可以使用vx方法d参数用于指定以什么为数据之间的分隔符，因为我们使用V文件，因此分隔符都用，’。绘图是数据分析的重要的任务之一，图像可以直观地反映变化趋势、分布规律和相互关系等，因此经常需要将数据以图形化的方式展示。yhon没有内置绘图函数，但pob包的y o模块提供了丰富绘图函数，其导入方式如下:一段简单的绘图程序如下图3-1利用Matplotlib图3-2图3-3图3-4直方图(左)与散点图(右本章主要介绍yhon编程的一些简单内容，包括交互式环境yho控制台使用、yho基本语法、数组、脚本设计、输入输出与可视化等内容。通过本章学习，读者可以使用yho控制台进行交互式的编程，也可以编写较为简单的脚本，为后续学习中阅读书中示例代码并实现相应算法奠定基础。编写程序，用户从键盘输入小于1000的整数，对其进行因数分解。例如，10=2×5，60=2×2×3×5第4章分类与聚类机器学习hnenng，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习中有常见的两类问题，一个是分类，另一个是聚类。在分类中，已知存在哪些类，要做的就是将每一条记录分别属于哪一类标记出来。而聚类是在预先不知道目标数据库到底有多少类的情况下，希望将所有的记录组成不同的类。最常见的分类和聚类方法有最近邻算法、朴素贝叶斯、决策树、随机森林和均值聚类算法。本章主要介绍这些常见方法的基本原理和应用。K最近邻tghbo，算法是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是如果一个样本在特征空间中k个最相似即特征空间中最邻近的样本的大多数属于某一个类别，则该样本也属于这个类别。算法中，所选择的邻居都是已经正确分类的对象。该方法在分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。算法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于算法主要靠周围有限的邻近样算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值gh，如权值与距离成反比。维护一个大小为k取k个元组作为初始的最近邻元组，分别计算测试元组到这k个元组的距离，将训练元组标号和距离存入优先级队列。遍历完毕，计算优先级队列中k测试元组集测试完毕后计算误差率，继续设定不同的k值重新进行训练，最后取误差率最小的kkn包内置了鸢尾花数据集，其中存储花萼长宽特征0和1和花瓣长宽特征2和3，g存储花的分类o山鸢尾、voo变色鸢尾和vgn弗吉尼亚鸢尾，如图41所示，分别标记为数字0、1和2。图4-1表4-1KNN朴素贝叶斯算法(NaiveBayesianAlgorithm)朴素贝叶斯分类训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型，输入求出使得后验概率最大的输出。设有样本数据集d1，d2，…，dn，对应样本数据的特征属性集为x1，x2，…，xd，分类变量为y1，y2，…，yn，即可以分为y类别。其中x1，x2，…，xd相互独立且随机，则的先验概率po，的后验概率po，由朴素贝叶斯算法可得，后验概率可以由先验概率ppo、证据、类条件概率计算出:朴素贝叶斯基于各特征之间相互独立，在给定类别为y图4-2图4-3图4-4决策树on算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法最早产生于20世纪60—70年代末。J.RossQuinlan提出了ID3算法，此算法的目的在于减少树决策树算法构造决策树来发现数据中蕴涵的分类规则。如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的、用于数据分析处理的数据集。第二步，决策树的剪枝决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修改的过程，主要是用新的样本数据集称为测试数据集的分枝剪除。递归划分步骤仅当下列条件之一成立时停止①生成最少数目的叶子节点②生成的每个叶子节点的深度最小图4-5在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别众数而定的。on和deu发展出随机森林的算法。而ndomo是他们的商标。这个术语是1995年由贝尔实验室的nmo所提出的随机决策森林ndomono而来的。这个方法则是结合Bierman的“BootstrapAggregating”想法和Ho的“RandomSubspaceMethod”图4-6最后，执行下列语句，还可以看到该方法的分类准确率达到了92.67%KK均值聚类算法(K-meansClusteringAlgorithm)先随机选取对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个:图4-7K什么是机器学习方法第5章在机器学习领域，回归是一种监督学习模型，用于估计一个预测值又称为因变量、响应变量多个特征又称为自变量之间的关系。最常见的回归方法有线性回归和og回归等，本章主要介绍线性回归和og回归的基本原理和应用。一元线性现实中，物质的体积和质量、父子的身高、房子的房间数和价格、披萨的直径和价格等之间都在一定程度上存在线性关系。当获取到一组特征，预测值在线性关系。表5-120图5-1一元线性一元线性回归的模型表示为如下线性关系包括线性回归在内的机器学习都包含训练或学习和预测两个过程。kn提供nr gon类实现线性回归，该类的方法用于学习模型，pd函数利用学习到的模型来预测一个自变量对应的因变量值。通常，模型的训练与测试使用不同的数据集，分别叫作训练集和测试集。下述代码即实现线性回归的过程，执行结果如图52所示。图5-2其中代表x的均值。方差越小，代表这组值越接近总体均值基于前述回归的例子，计算训练集房屋平均面积的均值和方差，均值为6.26，方差为0.49一元线性回归模型的预测能力可以用决定系数来度量。决定系数又叫作R2，用来衡量数据和回归模型R2是0到1之间的正数。R2越接近1，说明模型拟合得越好;R2越接近0执行结果如下，R2为0.466多元线性运行该程序，得到R2约为0.678在5.2节，使用A=(XTX)-1XTY解出代价函数极小化的参数值，其中X是每个训练样本的特征矩阵，XX是一个(n+1)×(n+1)的矩阵，n是特征数。当特征数很大时，对XTX求逆的计算复杂度太大，导致学习效率很低，难以适应较大规模的回归问题。而且，当XTX的行列式为0时，无法对其求逆。本节介绍一种新的图5-3学习率的选择问题。学习率是一个超参数，需要事先设定。学习率如果设置过小，则模型收敛太慢，影响训练效率学习对象的复杂性，目前的选择主要凭经验，此外也有一些动态的学习率选择算法可以使用。每次训练迭代中用来更新模型参数的训练实例的数量。目前有三种主要的策略，即批量梯度下降法、随机梯度下降法和小批量随机梯度下降法。批量梯度下降法在每次迭代中使用全部训练实例更新参更新参数。小批量随机梯度下降法每次随机选择一组实例进行训练。当样本量很大时，后两者的效率更基于梯度下降法的多元线性执行结果显示R2约为0.668输出13个特征的回归系数和截距如下LogisticLogistic归模将输出标记的1wTxb作为线性模型的逼近目标，就得到关于1f称为联系函数。它反映了示例对应的输出标记是在关于的新尺度上的变化，形式上仍然是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射，这就是广义线性回归模型。为了更具一般性，我们使用了与线性模型部分形式上稍有不同的线性关系公式，但实质是一致的。图5-4sigmoidLogistic归应k包的oggon类实现了og回归，接下来介绍利用该类实现二分类的例子。例子采用内置的nr数据集，其中包含了威斯康星州记录的569个病人的乳腺癌恶性良性10类别型数据(训练目标)，以及与之对应的30个维度的生理指标数据。代码实现如下。Accuracy:图5-5算法是指把所有的类放在一起算，具体到精准率，就是把所有类的加和，再除以所有类的和的加和。因此方法下的精准率和召回率都等于准确率。方法就是先分别求出每个类的精准率再求算术平均。gh算法不是取算术平均乘以固定gh，而是乘以该类在总样本数中的占比。本章主要介绍一元线性回归、多元线性回归和og回归的基本概念和原理。一元线性回归和多元线性回归主要解决回归问题，解决自变量和因变量之间存在线性关系的问题而og归模型，可以解决分类问题。本章还介绍了如何利用k包实现这些模型，并完成简单的回归和分类任务。此外，还介绍了梯度下降法的基本原理和应用。梯度下降法为什么要在迭代公式中使用步长系数第6章人工神经网络图6-1图6-2依据训练样本的数据确定和b不区分的时候统一记为基于误差驱动。首先，将未经学习的设置为0或者很小的随机值，然后对训练集中的每个样本进行分类预测，并根据预测结果更新参数值。参数更新依据式61进行。其中是样本j的实际类别;yj(t)是样本j的本次预测类别;xji是样本j的第i个特征;η是控制学习速率的超参数，叫作学习率。显然，如果预测正确-yj(t)=0，则参数不需要更新，否则更新参数，这种更新规则类似表6-1图6-3表6-210建立感知机模型，并进行训练和预测，训练周期数取40，学习率取0.1图6-4图6-5三类逻辑运算的决策边界(圆圈代表0，六角形代表图6-6其中表示第j层的第i个神经元的输出，层数从1开始计数;xi为第i个输入特征;Nj为第j层的神经元数目为第j层第k个神经元和第j+1层第i个神经元之间连接的权重为第i层第k个神经元的偏置。图6-7多层感知机的训练——BP和感知机一样，多层感知机的训练也是基于误差驱动的，但由于包含多个隐含节点也称隐节点多个权重，所以为了反映不同层节点、权重是如何影响误差的，采用误差反向传播kopgon，)算法计算整个网络的代价函数针对每一个权重的梯度。算法是一种迭代算法，每次迭代由两个步骤组成，即预测正向传递和误差的反向传播。在正向阶段，特征从输入开始按照式63计算预测的误差反向传播则是通过误差从代价函数向输入层传播，估计每个神经元或者权重对误差的贡献，计算各权重的梯度，更新权重值，完成一次迭代。该过程持续迭代直至模型收敛。我们以图68所示的一个三层感知机为例介绍反向传播的过程。该模型的激活函数采用god数估计采用梯度下降法特征向量为0.8，0.3，目标值为0.5，学习率设置为0.1。为了描述方便起见，采用了较简单的标记。图6-8表6-3其中为目标值对于激活函数，其导多层感知机逼近XOR然后定义多层感知机类MLP，实现构造init()方法，主要实现以下功能:接收层数，设置激活函数及字符识别是光学字符识别系统的基本组件，在模式识别、机器学习和人工智能等领域有广泛的应用背景。以下我们基于混合美国标准和技术研究所)法。数据集是由nnun发起建立的手写数字图像集合，样本包含0～9的数字图像，来自美国高校学生和人口普查局的雇员书写的文档。目前已经成为图像分类领域的基准测试数据集之一，该数据集包含60000幅图像的训练集和10000幅图像的测试集，每幅图像是分辨率为2828像素的灰度图像。下面通过一段程序来查看这些图像。上述代码使用了sklearn包的“fetch_mldata(MNISToriginal)”方法来获取MNIST数据集，并随机选取了图6-9MNIST使用多层感知机进行手写数字识别，首先要建立对应的多层感知机模型，确定模型的输入和输出。识别过程其实就是对图像分类的过程，将输入的图像映射到0～9的10个类别。因此模型的输出可以是分别代表数字0～9的10个节点，当其中某个节点输出值最大时，即认为目标值就是该节点对应的数字。图像是由多个像素组成的，因此每个像素的颜色可以作为该图像的一个特征，数据集中的图像为282878个像素，又由于所有图像为灰度图，因此有784个特征，每个特征的取值为0～255，一般通过除以255进行归一化。如果是真彩色的图像，特征应该如何表示?这个问题留给读者自己思考。因此针对数据集的手写数字识别多层感知机输入层有784个神经元，输入数据为0～255，输出层有10个神经元，输出值为0或1。网络结构如图610所示。图6-10在类实例化时需要设置模型的参数，包括隐含层层数、隐含层节点数、训练周期数、参数估计采用的优化算法和学习率等，其中隐含层层数、隐含层节点数、训练周期数和学习率一般称为模型的超参数，这些参数对模型的性能有很大影响。其中隐含层的层数和每层节点数决定着模型的拓扑结构，用关键字hddn_y_设置，定义为一个元组。上述代码中hddn_y_50)表示有一个隐含层，隐含节节个数为50如果要设置为两层隐含层，第一层节点数为50，第二层也为50，则可写为hddn_y_50，50。隐含层和每层隐含节点数的增加一般都会增加模型的表达能力，提升模型的精度。训练周期通过x_r设置，学习率用nng__n设置。下面是依次执行的结果。如果修改模型的结构，那么会带来什么影响呢?首先其他条件不变的情形下增加隐含节点的个数，加到100然后增加一层隐含层，两层的节点数都为50，执行结果如表6所示。可以看出，采用单个隐含层，但隐含节点数增至100的模型精度提升明显增加一个隐含层，两层的隐含节点数均为50型之间。表6-4但是一些随机事件总在时间上有内在的相关性，例如天气、语言等，当前的天气总会和前一刻的天气有关联，一句话中某个词的含义会和上下文相关。递归神经网络untulo，可以用于描述此类问题，该网络不仅把当前感知的信息作为输入，还把之前即时感知到的信息也作为输入，其工作原理如图611所示。图6-11图611中，下标代表了事件的时间步，x为输入，为隐藏单元，o为输出单元，、W和为权重。需要注意，每个时间步的、和减少了需要学习的参数总数。图6-12显然，当神经元更新时，态收敛到一个稳定状态，该状态对应于系统存储的某个模式。由于整个更新过程根据部分输入回忆出最相似的完整模式，因此霍普菲尔德网络也称为联想存储器。玻尔兹曼机(BoltzmannMachine，BM)是霍普菲尔德网络的一个拓展，保持了霍普菲尔德网络的权重对图6-13则该节点状态更新的概率为(假定状态值取0和玻尔兹曼机是一个随机模型，采用监督学习策略，当给定一组输入和输出时，学习过程其实就是确定这些配置的最大似然估计的过程，但训练过程效率较低，因此后来又提出了只有两层(即可见层和隐含层，层之间全连接，层内无连接的受限玻尔兹曼机donnhn，，并提出了一种适用于其的高效的对比散度算法，从而促进了深度学习的出现。自组织映射本质上是一个两层的神经网络，包含输入层和竞争层(输出层息的视网膜，输出层模拟做出响应的大脑皮层。训练时采用竞争学习的方式，每个输入的样例在竞争层中找到一个和它最匹配的节点，称为它的激活节点然后用随机梯度下降法更新激活节点的参数同时，和激活节点临近的节点也根据它们距离激活节点的远近而适当地更新参数。这种竞争可以通过神经元之间的横向抑制连接来实现，最终实现拓扑保留映射。第7章深度学习2006年，non和khudnov提出了深度信念网络pfok，模型，该模型由多个受限玻尔兹曼机堆叠而成，通过无监督学习进行贪心的逐层训练，使得每层的权重比传统的算法所采用的随机初始值更接近理论值最后用有监督的反向传播算法对各层权重进行调优，从而解决了梯度消失和爆炸问题。该方法的提出标志着深度学习这个新的领域正式产生了。2009年，ngo又提出了堆叠自动编码器kduonod，，用自动编码器来代替受限玻尔兹曼机构造深度网络，取得了很好的效果。30%，是该领域10年来的最大突破。2012年，Hinton小组的深度学习模型AlexNet在ImageNet图像分类大赛的运算速度。同年，吴恩达和JeffDean共同主导的GoogleBrain项目用包含16000个CPU核的并行计算平台2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97%以2017年，基于强化学习算法的AlphaGo升级版AlphaGoZero采用“从零开始”“无师自通”100∶0的比分轻而易举打败了之前的pho正的棋类天才。此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。图7-1其次，和传统的机器学习称之为浅层学习人类的大脑是深层结构的，原始感知的输入通过多个层次的抽象表征，构建了由简单特征到复杂特征的逐层转换，每一个层次对应于大脑皮层的不同区域。深度学习通过构造深层结构的人工神经网络，模拟这种多层表示，每层对应于一类特定特征，高层特征取决于底层特征，每类特征由一个隐含层表示，隐含层从最初的几层发展到十多层，甚至目前的上千层。以图像处理为例，低层提取边缘特征，更高层在此基础上形成简单图形，直至最后表示出复杂的视觉图案，该过程如图72所示。图7-2最后，深度学习何以在21世纪初得到快速发展呢这得益于3个必要条件，即大量数据的获取、计算能力的提升和优秀算法的提出。首先，以ge据基础，大规模数据集使得深层网络结构不会轻易地过拟合其次，性能优异、廉价的为深层结构的快速学习提供了计算保障再次，对比散度、逐层贪心无监督学习、堆叠自编码器等一系列算法的出现促进了深度学习的发展。深度信念网络(DeepBeliefNetwork，DBN)的提出开启了深度学习的发展闸门，也掀起了人工神经网络是由多层受限玻尔兹曼机donnhn，堆叠而成的多层神经网络，每两层构成一个，如图73所示。的训练由两个阶段构成。第一阶段是从输入层开始，对构成深层网络的逐层进行无监督学习，确定所有参数的初始值，该过程被称为预训练和传统算法的随机初值相比，该初始值蕴含了对前一层的特征表征，高层特征由底层特征抽象而来，是关于特征的特征，因此更接近于参数的理论值。第二阶段的学习采用有监督学习，通过算法，进一步优化无监督学习阶段得到的参数，由于第一阶段的学习，该阶段只需要进行少量修正即可使模型收敛。图7-3深度信念网络(DBN)与受限玻尔兹曼机殊的马尔科夫链蒙特卡洛策略采样——实现。目前一般采用对比散度(ContrastiveDivergence，CD)算法及其虽然预训练使得深层网络的有监督学习变得容易，并且在此之前，卷积神经网络onvouon ok，已经致力于深层网络的有监督学习，并取得了较好的效果，但受制于数据集的规模和计算能力的限制，并未取得显著优势。随着深度学习的提出、数据集规模的增大以及基于的计算能力的大幅提升，已经成为模式识别等系统的核心技术。1959年，神经科学家提出猫的初级视觉皮层中神经元的感受野的概念，即单个神经元所反应的一定范围的输入刺激区域。以视觉为例，直接或间接影响某一特定神经细胞的光感受器细胞的全体为该特定神经细胞的感受野视觉感受野往往呈现中心兴奋、周围抑制或者中心抑制、周围兴奋的同心圆结构。1980年，福岛邦彦在感受野概念的基础上提出了神经认知模型用于模式识别任务，该模型是一种层次化的多层人工神经网络。1998年，nnun等人提出了基于梯度学习的算法，用于处理手写数字识别问题，并成功应用于美国邮政系统中。在信号处理、图像处理、机器视觉中，卷积的目的是从输入中提取有用的特征，其中输入用统特征的提取用g代表，称为卷积核亦即滤波器。卷积核不同，提取的特征不同，例如横向或纵向边缘等。卷积就是将输入和卷积核求内积，从而获得新的输出的过程。图74所示为对一幅二值图像进行卷积操作的过程，其中卷积核的大小为33，是横向ob滤波器，用于实现边缘检测。如果是灰度图，像素亮度值可以为0～255如果是彩色图，则输入可以由、、三个分量组成。图7-4卷积的执行过程(前4步操作特征往往拥有平移和标度不变性，因此在中对空间位置相邻的特征一般是卷积层的输出值或平均值作为输出，从而实现降维处理，该过程由池化oong层完成。池化层不需要参数学习。N中，卷积层和池化层可以交替出现多层，形成深层结构，底层的特征逐渐形成高层的概念。图7-5CNN长短时记忆(LongShort-TermMemory，LSTM)是由Hochreiter和Schmidhuber在1997年提出的一种RNN网图7-6传统RNN和对抗生成网络nvedvlok，是由oodo在2014年提出的一种深度生成模型。判别模型和生成模型是机器学习中的两种不同模型。判别模型是学习某种分布下的条件概率yx在分类问题中，x可以代表特征，y代表标记。常见的判别模型有近邻、感知机、决策树、og回归、最大熵模型、等。而生成模型要学习的是联合概率分布x，y即特征x和标记y同时出现的概率，分类问题中可以利用xyyx求条件概率分布yx由于x，yxyy)对每一类情况的分布都进行了建模，所以生成模型能够学习到数据生成的机制。常见的生成模型有朴素贝叶斯、隐马尔可夫模型、混合高斯模型、等。由两个网络组成一个生成器网络和一个判别器网络，这两个网络可以是、等神经网络。生成器网络以随机的噪声作为输入，试图生成样本数据。判别器网络是一个二分类器，以真实数据或者生成数据作为输入，试图预测当前输入是真实数据还是生成数据。的基本结构如图77所示。图7-7GAN深度学习一经提出，不仅由于其理论优势而引起学术界的广泛关注，也因为其优异的性能而得到产业界的高度重视，一大批潜在应用——尤其是大规模的应用——需要被开发。为了降低深度学习应用开发的学习曲线，提高开发效率，提升相应应用的软件质量，学界和业界开发了多个深度学习开发框架供开发者使用，这些框架由相应的深度学习相关软件库、编译解释环境和集成开发环境构成。目前的框架有noo、y oh、e 2、飞桨dddd、、pnng4、xn、和hno等。以下着重介绍noo、yoh与e2、飞桨dddd、等几种应用最广泛的框架。GPU并行运行，支持Linux、MacOSX和Windows等不同操作系统。Apache2.0开源协