工业人工智能导论 课件 第7-13章 群智能优化算法与生产调度- 智能机器人与应用

第7章群智能优化算法与生产调度2第7章群智能优化算法与生产调度智能优化方法中受动物群体智能启发的算法称为群智能算法。本章首先简要介绍群智能算法产生的背景，然后详细介绍粒子群优化算法、蚁群算法等群智能算法及其应用。蜜蜂采蜜路径优化37.1群智能算法的生物学背景7.2模拟鸟群行为的粒子群优化算法7.3粒子群优化算法的应用7.4模拟蚁群行为的蚁群算法7.5蚁群算法在生产调度中的应用第7章群智能优化算法与生产调度47.1群智能算法的生物学背景

群智能算法（swarmalgorithms，SI）：受动物群体智能启发的算法。群体智能：由简单个体组成的群落与环境以及个体之间的互动行为。

群智能算法包括：粒子群优化算法、蚁群算法、蜂群算法、……57.1群智能算法的生物学背景67.1群智能算法的生物学背景生物层次与仿生智能计算的对应关系77.1群智能算法的生物学背景7.2模拟鸟群行为的粒子群优化算法7.3粒子群优化算法的应用7.4模拟蚁群行为的蚁群算法7.5蚁群算法在生产调度中的应用第7章群智能优化算法与生产调度87.2模拟鸟群行为的粒子群优化算法产生背景：粒子群优化（ParticleSwarmOptimization,PSO）算法是由美国普渡大学的Kennedy和Eberhart于1995年提出，它的基本概念源于对鸟群觅食行为的研究。设想这样一个场景：一群鸟在随机搜寻食物，在这个区域里只有一块食物，所有的鸟都不知道食物在哪里，但是它们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢?最简单有效的就是搜寻目前离食物最近的鸟的周围区域。9基本思想将每个个体看作n维搜索空间中一个没有体积质量的粒子，在搜索空间中以一定的速度飞行，该速度决定粒子飞行的方向和距离。所有粒子有一个由优化函数决定的适应值。基本原理PSO初始化为一群随机粒子，然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个“极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解称为个体极值。另个一是整个种群目前找到的最优解，这个解称为全局极值。7.2模拟鸟群行为的粒子群优化算法10算法定义在n维连续搜索空间中，对粒子群中的第i

(i=1,2,,m)个粒子进行定义：●：表示搜索空间中粒子的当前位置。●：表示该粒子至今所获得的具有最优适应度的位置。●：表示该粒子的搜索方向。7.2模拟鸟群行为的粒子群优化算法11群体经历过的最优位置(gbest)记为

，则基本的PSO算法为：——（6.1a）——（6.1b）其中，

是惯性权重因子。

1

，

2

是加速度常数，均为非负值。

和

为[0,a1]、[0,a2]范围内的具有均匀分布的随机数，a1

与a2

为相应的控制参数。7.2模拟鸟群行为的粒子群优化算法12第1部分是粒子在前一时刻的速度；第2部分为个体“认知”分量，表示粒子本身的思考，将现有的位置和曾经经历过的最优位置相比。第3部分是群体“社会(social)”分量，表示粒子间的信息共享与相互合作。

1，

2分别控制个体认知分量和群体社会分量相对贡献的学习率。随机系数增加搜索方向的随机性和算法多样性。7.2模拟鸟群行为的粒子群优化算法13

基于学习率，，

Kennedy给出以下4种类型的PSO模型：若

1>0，

2>0，则称该算法为PSO全模型。若

1>0，

2=

0，则称该算法为PSO认知模型。若

1=0，

2>0，则称该算法为PSO社会模型。若

1=

0，

2>0且gi，则称该算法为PSO无私模型。7.2模拟鸟群行为的粒子群优化算法14粒子群优化算法的流程：（1）初始化每个粒子。在允许范围内随机设置每个粒子的初始位置和速度。（2）评价每个粒子的适应度。计算每个粒子的目标函数。（3）设置每个粒子的。对每个粒子，将其适应度与其经历过的最好位置进行比较，如果优于，则将其作为该粒子的最好位置。7.2模拟鸟群行为的粒子群优化算法15粒子群优化算法的流程：（4）设置全局最优值。对每个粒子，将其适应度与群体经历过的最好位置进行比较，如果优于，则将其作为当前群体的最好位置。（5）更新粒子的速度和位置。根据式（7.20）更新粒子的速度和位置。（6）检查终止条件。如果未达到设定条件（预设误差或者迭代的次数），则返回第（2）步。7.2模拟鸟群行为的粒子群优化算法16粒子群优化算法流程图177.1群智能算法的生物学背景7.2模拟鸟群行为的粒子群优化算法7.3粒子群优化算法的应用7.4模拟蚁群行为的蚁群算法7.5蚁群算法在生产调度中的应用第7章群智能优化算法与生产调度187.3粒子群优化算法的应用（1）神经网络训练（7）经济领域（2）化工系统领域（8）图像处理领域（3）电力系统领域（9）生物信息领域（4）机械设计领域（10）医学领域（5）通讯领域（11）运筹学领域（6）机器人领域………….粒子群优化算法已在诸多领域得到应用，归纳如下：197.1群智能算法的生物学背景7.2模拟鸟群行为的粒子群优化算法7.3粒子群优化算法的应用7.4模拟蚁群行为的蚁群算法7.5蚁群算法在生产调度中的应用第7章群智能优化算法与生产调度20●

20世纪90年代初，意大利科学家MarcoDorigo等受蚂蚁觅食行为的启发，提出蚁群算法(AntColonyOptimization，ACO)。7.4.1蚁群算法的生物学背景21基本思想●信息素跟踪：按照一定的概率沿着信息素较强的路径觅食。●信息素遗留：会在走过的路上会释放信息素，使得在一定的范围内的其他蚂蚁能够觉察到并由此影响它们的行为。7.4.1蚁群算法的生物学背景22

（1）环境：有障碍物、有其他蚂蚁、有信息素。（2）觅食规则：范围内寻找是否有食物，否则看是否有信息素，每只蚂蚁都会以小概率犯错。（3）移动规则：都朝信息素最多的方向移动，无信息素则继续朝原方向移动，且有随机的小的扰动，有记忆性。（4）避障规则：移动的方向如有障碍物挡住，蚂蚁会随机选择另一个方向。（5）信息素规则：越靠近食物播撒的信息素越多，越离开食物播撒的信息素越少。7.4.1蚁群算法的生物学背景237.4.2基本蚁群优化算法蚁群优化算法的第一个应用是著名的旅行商问题。旅行商问题阐明

蚁群系统模型旅行商问题（TravelingSalesmanProblem，TSP）：在寻求单一旅行者由起点出发，通过所有给定的需求点之后，最后再回到原点的最小路径成本。蚂蚁搜索食物的过程：通过个体之间的信息交流与相互协作最终找到从蚁穴到食物源的最短路径。24蚁群系统的模型7.4.2基本蚁群优化算法

m是蚁群中蚂蚁的数量表示元素(城市)和元素(城市)之间的距离

表示能见度，称为启发信息函数，等于距离

的倒数，即

表示t时刻位于城市x的蚂蚁的个数，

表示t时刻在xy连线上残留的信息素，初始时

刻，各条路径上的信息素相等即

蚂蚁k在运动过程中，根据各条路径上的信息素决定转移方向。257.4.2基本蚁群优化算法

表示在t时刻蚂蚁k选择从元素(城市)x转移到元素(城市)y的概率，也称为随机比例规则。信息素共同决定局部启发信息蚁群系统的模型267.4.2基本蚁群优化算法

表示如下：

（7.2）其中：

表示蚂蚁k下一步允许选择的城市

记录蚂蚁k当前所走过的城市

是信息素启发式因子，表示轨迹的相对重要性277.4.2基本蚁群优化算法

表示如下：

（6.2）其中：

值越大该蚂蚁越倾向于选择其它蚂蚁经过的路径，该状态转移概率越接近于贪婪规则。当

=0时不再考虑信息素水平，算法就成为有多重起点的随机贪婪算法。当=0时算法就成为纯粹的正反馈的启发式算法。287.4.2基本蚁群优化算法用参数1-

表示信息素消逝程度，蚂蚁完成一次循环，各路径上信息素浓度消散规则为：

（7.3）蚁群的信息素浓度更新规则为：（7.4）M.Dorigo给出

的三种不同模型29蚂蚁圈系统（Ant-cycleSystem）7.4.2基本蚁群优化算法单只蚂蚁所访问路径上的信息素浓度更新规则为：

（7.5）其中：

为当前路径上的信息素

为路径（x,y）上信息素的增量

第k只蚂蚁留在路径（x,y）上的信息素的增量Q为常数Lk

为优化问题的目标函数值，表示第k只蚂蚁在本次循环中所走路径的长度302.蚂蚁数量系统（Ant-quantitySystem）7.4.2基本蚁群优化算法

（7.6）3.蚂蚁密度系统（Ant-densitySystem）

（7.7）317.4.2基本蚁群优化算法蚂蚁圈系统利用的是全局信息

，即蚂蚁完成一个循环后，更新所有路径上的信息。蚂蚁数量系统利用的是局部信息

，即蚂蚁每走一步都要更新残留信息素的浓度。蚂蚁密度系统利用的是局部信息

，即蚂蚁每走一步都要更新残留信息素的浓度。三种模型比较效果最好，通常作为蚁群优化算法的基本模型。327.1群智能算法的生物学背景7.2模拟鸟群行为的粒子群优化算法7.3粒子群优化算法的应用7.4模拟蚁群行为的蚁群算法7.5蚁群算法在生产调度中的应用第7章群智能优化算法与生产调度337.5蚁群算法在生产调度中的应用例7.1柔性作业车间调度问题：某加工系统有6台机床，要加工4个工件，每个工件有3道工序，如表7.1所示。34表7.1柔性作业车间调度事例7.5蚁群算法在生产调度中的应用35图7.5最优解甘特图由图7.5可以看出机器6并没有加工任何工件。分析其原因为它虽然可以加工工序p23

，p33

，p42

，p43

但从表7.5可知机器6的加工时间大于其他可加工机器，特别是

p23

，p33的加工时间，因此机器6并未分到任何加工任务。7.5蚁群算法在生产调度中的应用36图7.6历代最优解收敛图由图6.6可知，算法在大约30代以前就收敛到最优解，且各代最优解相差不大，可见算法较为稳定。7.5蚁群算法在生产调度中的应用37IntroductionofArtificialIntelligenceTHEEND第8章机器学习及其应用39第8章机器学习及其应用机器学习是人工智能中最具智能特征、最前沿的研究领域，取得了许多举世瞩目的应用成果。机器学习是专家系统的核心，已经应用到数学、物理、化学、医学、地质、气象、农业、法律、教育、交通运输、机械、艺术、以及计算机科学本身，甚至渗透到政治、经济、军事等重大决策部门，产生了巨大的社会效益和经济效益。本章首先介绍机器学习的基本概念与分类，特别是介绍监督学习、无监督学习和弱监督学习的概念，然后简要介绍线性回归、K-近邻、决策树、支持向量机和K均值聚类等几种常用的经典机器学习算法。最后介绍专家系统的基本概念、工作原理和建立专家系统的基本方法。408.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用41

机器学习：机器学习（Machinelearning）使计算机能模拟人的学习行为，自动地通过学习来获取知识和技能，不断改善性能，实现自我完善。

8.1机器学习的基本概念机器学习主要研究以下三方面问题：（1）学习机理：人类获取知识、技能和抽象概念的天赋能力。（2）学习方法：机器学习方法的构造是在对生物学习机理进行简化的基础上，用计算的方法进行再现。

（3）学习系统：能够在一定程度上实现机器学习的系统。8.1.2机器学习42一个学习系统一般应该有环境、学习、知识库、执行与评价等四个基本部分组成。8.1机器学习的基本概念8.1.3机器学习系统438.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用Char6pp.448.2.1机器学习的一般分类方法1.按学习方法分类（温斯顿，1977

）机械式学习、指导式学习、示例学习、类比学习、解释学习等。2.按学习能力分类：监督学习（有教师学习）Char6pp.45按学习能力分类：强化学习（再励学习或增强学习）8.2.1机器学习的一般分类方法Char6pp.46按学习能力分类：非监督学习（无教师学习）8.2.1机器学习的一般分类方法47Char6pp.473.按推理方式分类：基于演绎的学习（解释学习）。基于归纳的学习（示例学习、发现学习等）。4.按综合属性分类：归纳学习、分析学习、连接学习、遗传式学习等。8.2.1机器学习的一般分类方法48488.2.2监督学习与无监督学习1.监督学习（有教师学习）图灵奖得主杨立昆（YannLeCun）著名的比喻：假设机器学习是一个蛋糕，强化学习是蛋糕上的一粒樱桃，监督学习是外面的一层糖衣，无监督学习才是蛋糕坯。498.2.2监督学习与无监督学习2.无监督学习（无教师学习）2015年，图灵奖得主杨立昆（YannLeCun）等在Nature撰文：无监督学习对于重新掀起深度学习的热潮起到了促进作用。508.2.3弱监督学习●弱监督学习中的数据标签允许是不完全的，即训练集中只有一部分数据是有标签的，而其余的数据甚至是绝大部分数据是没有标签的。●弱监督学习涵盖的范围很广泛，可以说只要标注信息是不完全、不确切或者不精确的标记学习都可以看做是弱监督学习。●下面仅介绍半监督学习、迁移学习和强化学习这三种典型的弱监督学习。父母如何教婴儿认识汽车？518.2.3弱监督学习1.半监督学习：只有少量有标注的数据，还有大量未标注的数据可供使用。2.迁移学习：将已经学习过的知识迁移应用到新的问题中。

①样本迁移

②特征迁移

③模型迁移528.2.3弱监督学习3.强化学习（再励学习）

强化学习中外部环境对系统输出结果只给出评价信息（奖励或者惩罚），而不是正确答案，学习系统通过那些受惩的动作改善自身的性能。马戏团的动物是如何学习的？537.1.5

深度学习2006年7月，加拿大多伦多大学教授GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表的文章，提出深度学习（DeepLearning，DL），通过无监督学习实现“逐层初始化”（layer-wisepre-training），有效克服深度神经网络在训练上的难度，掀起了深度学习的浪潮。与人工规则构造特征的方法相比，深度学习利用大数据来学习特征，更能够刻画数据的丰富内在信息。深度神经网络具有很多隐层，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，所以深度学习使分类或预测更加容易。548.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用558.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用568.4线性回归机器学习算法线性回归（LinearRegression）是利用数理统计中回归分析的方法，确定两种或者两种以上变量之间相互依赖的定量关系的一种统计分析方法，属于监督学习。线性回归的模型是一个超平面，即设系统输入输出关系为：设对输入、输出进行m次观测得到的数据为{x(i)，x(i)，…,x(i)，y(i)}，i=1,2,…,m问题：怎样根据观测数据估计系统参数。最小二乘法（一次完成法）：性能指标：57最小二乘法的应用：

例8.1合成纤维抽丝工段，导丝盘的速度是影响丝的质量的重要参数，它和电流周波数有重要关系，由生产记录得到的数据如表8.1所示导丝盘的速度和电流周波数的关系为：最小二乘估计：8.4线性回归机器学习算法周波数x49.250.049.349.049.049.549.849.950.250.2导丝盘速度y16.717.016.816.616.716.816.917.017.017.158最小二乘法的应用：

例8.2钢包容积和使用次数的数学模型。导丝盘的速度和电流周波数的关系为：最小二乘估计：8.4线性回归机器学习算法x23456789y6.428.209.589.509.7010.009.939.99x10111213141516

y10.4910.5910.6010.8010.6010.9010.76

598.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用608.5K-近邻机器学习算法K近邻（K-NearestNeighbor,KNN）算法是最简单的有监督机器学习算法之一，适用于多分类问题。KNN分类本质是近朱者赤，近墨者黑：待分类数据的特征接近“朱”色的特征，就归入“赤”类；待分类数据的特征接近“墨”色的特征，就归入“黑”类。K-近邻基本算法：给定一个训练样本集合，计算待分类样本和训练集中所有数据点的距离，将距离从小到大排列然后取前K个数据点，将前K个数据点中数量最多的类别作为待分类样本的类别。相似度定义为：欧式距离：曼哈顿距离：618.5K-近邻机器学习算法例8.3已知9个学生的课程成绩、社会实践考核、计算机成绩、英语成绩和就业企业类型如右表所示。现在根据10号学生的各科成绩预测他的就业企业类型。利用sim(x,y)计算10号（82,65,68,65）与前9个学生的成绩的相似度，然后将比对结果从小到大进行排序如下表所示。学生序号课程成绩社会实践考核计算机成绩英语成绩就业企业类型192659185外企291959195外企365658085私企476857265私企565656665国企666959365私企768908065私企887907395外企965758585外企1082656865？学生序号类别10号与其余学生成绩相似度6私企0.97099外企0.98067私企0.98093私企0.98158外企0.98944私企0.99112外企0.99321外企0.99385国企0.9948如果K值取1：则10号学生就业企业类型和6号最相似，所以10号学生就业企业类型确定为私企；如果K值取3：因为前3个学生就业的企业中有两个是私企，所以10号学生就业企业类型确定为私企；如果K值取5：因为前3个私企2个外企，10号学生确定为私企。628.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用63决策树(decisiontree)代表对象属性与对象值之间的一种映射关系，是一类基于树结构进行决策的常见监督学习方法。一棵决策树一般包含一个根结点、若干个内部结点和若干个叶结点。其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。在决策树基本算法中，有三种情形会导致递归返回：无需划分：当前结点包含的样本全属于同一类别无法划分：当前属性集为空或是所有样本在所有属性上取值相同不能划分：当前结点包含的样本集合为空8.6决策树机器学习算法648.6决策树机器学习算法例8.4水果数据集的训练数据如表8.5所示，每一行代表一个样本点，从颜色、形状、大小三方面的特征来描述水果的类别。构造决策树对不同的样本进行分类。编号颜色形状大小类别1红球一般苹果2黄弯月一般香蕉3红球轻樱桃4绿椭球重西瓜5桔黄球一般橘子658.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用661995年，CorinnaCortes和VladimirVapnik提出了用于分类任务的支持向量机（supportvectormachine，SVM），属于监督学习算法。SVM是一种非概率二元线性分类器，基本思想是创建一个超平面将训练样本划分成两类，并尽可能最大化两个类别之间的间隔。8.7支持向量机67SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能大的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。线性SVM模型是一种二类分类模型，是特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。在现实任务中原始样本空间内可能并不存在一个能正确划分两类样本的超平面（直线），将图中的实心样本和空心样本分开。8.7支持向量机68在现实任务中原始样本空间内可能并不存在一个能正确划分两类样本的超平面（直线），将图中的实心样本和空心样本分开。为了解决这类线性不可分问题，提出了诸多的解决办法，其中一个最重要的方法是核函数方法。8.7支持向量机核函数方法是通过选择一个核函数将数据映射到高维空间，使得在高维属性空间中有可能将训练数据实现超平面的分割。核函数方法在当代的机器学习任务中有非常广泛的应用。698.1机器学习的基本概念8.2机器学习的分类8.3机器学习的数据准备8.4线性回归机器学习算法8.5K-近邻机器学习算法8.6决策树机器学习算法8.7支持向量机8.8K均值聚类算法第8章机器学习及其应用70聚类是无监督学习中最重要的一类算法，具有非常广泛的应用。数据聚类是通过对无标记训练样本的学习，将样本点划分成若干类，使得属于同一类的样本点非常相似，而属于不同类的样本点不相似。聚类是将样本集分为若干互不相交的子集，即样本簇。聚类算法的目标希望同一簇的样本尽可能彼此相似，即具有较高的类内相似度，同时不同簇的样本尽可能不同，即簇间的相似度低。应用最广泛的是K-均值（K-means)聚类算法。8.8K-均值聚类算法71K-均值聚类算法核心思想：如果将一组数据集聚成K类，则先随机地选取K个质心，然后计算每个样本到K个质心的距离，将对应的样本分到最近的类中，然后计算各个类的平均值，重新确定各个类的质心。迭代这个过程，直到质心不再变化。对于给定样本集合，K-均值算法的目标函数是使得聚类簇内的平方误差最小化，即8.8K-均值聚类算法72K-均值算法的求解通常采用贪心策略，通过迭代的方法实现。K-均值算法首先随机选择K个向量作为初始均值向量，然后是迭代过程，根据均值向量将样本划分到距离最近的均值向量所在的簇中，划分完成之后更新的均值向量，直到迭代完成。主要特点：K-均值算法对参数的选择比较敏感，不同的初始位置或者类别数量的选择往往会导致完全不同的结果。K-均值算法得到的结果可能和我们的预期会有很大的不同。一般通过设置不同的模型参数和初始位置来实现，从而给模型学习带来很大不确定性。K-均值算法时间复杂度近于线性，适合挖掘大规模数据集。K的数量是模糊的,通常可以随机选取，或者也有一定的选取策略如肘部法预估K值等。8.8K-均值聚类算法73THEENDIntroductionofArtificialIntelligence第9章人工神经网络与神经网络控制75第9

章人工神经网络与神经网络控制人工神经网络（ANN）是一个用大量简单处理单元经广泛连接而组成的人工网络，是对人脑或生物神经网络若干基本特性的抽象和模拟。神经网络理论目前已经在模式识别、机器视觉、语音识别、机器翻译、图像处理、联想记忆、自动控制、信号处理、软测量、决策分析、智能计算、组合优化问题求解、数据挖掘等方面获得成功应用。本章首先介绍人工神经元以及人工神经网络的基本概念，然后介绍Hebb学习规则和感知器，然后着重介绍BP神经网络及其应用，也作为下一章介绍深度学习奠定基础。最后介绍基于人工神经网络的系统辨识和自动控制方法。76●神经网络（neuralnetworks，NN）19世纪末20世纪初，西班牙神经解破学家卡哈尔，在意大利医学家高尔基发现神经细胞的基础上，描绘了神经元的组织结构和它们之间的联系。人类大脑的活动是由这种联系产生的。为此，1906年他们共同获得了诺贝尔生理学或医学奖。第9

章人工神经网络与神经网络控制77●神经网络（neuralnetworks，NN）●

生物神经网络(naturalneuralnetwork,NNN):由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。●人工神经网络(artificialneuralnetworks,ANN):模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。神经网络方法：隐式的知识表示方法第9

章人工神经网络与神经网络控制789.1人工神经元与人工神经网络9.2机器学习的先驱——赫布学习规则9.3掀起人工神经网络第一次高潮的感知器9.4掀起人工神经网络第二次高潮的BP学习算法9.5BP学习算法在模式识别中的应用9.6基于神经网络的系统辨识9.7基于神经网络的软测量9.8基于神经网络的控制第9

章人工神经网络与神经网络控制799.1人工神经元与人工神经网络9.1.1生物神经元的结构9.1.2生物神经元数学模型9.1.3人工神经网络结构与学习809.1.1生物神经元的结构●人脑由一千多亿（1011亿－1014亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。●神经元约有1000种类型，每个神经元大约与103－104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。●人脑构造:

皮层（cortex）中脑（midbrain）脑干（brainstem）小脑（cerebellum）819.1.1生物神经元的结构1.生物神经元结构

（输入）（输出）轴突树突细胞体突触神经细胞利用电-化学过程交换信号829.1.1生物神经元的结构

●工作状态：

兴奋状态：细胞膜电位>

动作电位的阈值→神经冲动

抑制状态：细胞膜电位<动作电位的阈值

●学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱

。839.1人工神经元与人工神经网络9.1.1生物神经元的结构9.1.2生物神经元的数学模型9.1.3人工神经网络结构与学习842.人工神经元模型

神经网络的开端：1943年，麦克洛奇和皮兹提出M－P模型。…-1（权重/突触）（细胞体）（阈值）（神经冲动）人工神经元i的模型图激励函数9.1.2生物神经元的数学模型859.1.2生物神经元的数学模型一般模型：869.1.2生物神经元数学模型●非线性激励函数（传输函数、输出变换函数）

（硬极限函数或阶跃函数）（对称硬极限函数）879.1.2生物神经元数学模型●非线性激励函数（传输函数、输出变换函数）

（对数-S形函数或S型函数）（双曲正切S形函数）889.1.2生物神经元数学模型Sigmoid函数的缺点：在输入的绝对值大于某个阈值后，过快进入饱和状态（即函数值趣于1或者-1，而不再有显著的变化），出现梯度消失情况,即梯度会趋于0，在实际模型训练中会导致模型收敛缓慢，性能不够理想。（3）ReLU函数899.1人工神经元与人工神经网络9.1.1生物神经元的结构9.1.2生物神经元的数学模型9.1.3人工神经网络结构与学习901.人工神经网络的结构（1）前馈型（前向型）

9.1.3人工神经网络的结构与学习91

1.人工神经网络的结构（2）反馈型（Hopfield神经网络）9.1.3人工神经网络的结构与学习922.人工神经网络的工作方式●同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。●异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。3.人工神经网络的学习●神经网络方法是一种知识表示方法和推理方法。●神经网络的学习是指调整神经网络的连接权值或者结构，使输入输出具有需要的特性。9.1.3人工神经网络的结构与学习939.1人工神经元与人工神经网络9.2机器学习的先驱——赫布学习规则9.3掀起人工神经网络第一次高潮的感知器9.4掀起人工神经网络第二次高潮的BP学习算法9.5BP学习算法在模式识别中的应用9.6基于神经网络的系统辨识9.7基于神经网络的软测量9.8基于神经网络的控制第9

章人工神经网络与神经网络控制949.2机器学习的先驱——赫布学习规则●1944年赫布（Hebb）提出了改变神经元连接强度的Hebb学习规则。●Hebb学习规则：当某一突触两端的神经元同时处于兴奋状态，那么该连接的权值应该增强。959.1人工神经元与人工神经网络9.2机器学习的先驱——赫布学习规则9.3掀起人工神经网络第一次高潮的感知器9.4掀起人工神经网络第二次高潮的BP学习算法9.5BP学习算法在模式识别中的应用9.6基于神经网络的系统辨识9.7基于神经网络的软测量9.8基于神经网络的控制第9

章人工神经网络与神经网络控制961957年，美国康奈尔大学的实验心理学家、计算科学家弗兰克·罗森布拉特，受Hebb学习规则启发，提出了感知器（Perceptron），两年后在IBM-704计算机上实现了能够识别一些英文字母基于感知器的神经计算机Mark1，于1960.6.23展示。9.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯97感知器存在两个关键问题难以解决：（1）单层神经网络无法解决不可线性分割的问题，例如无法实现简单的异或门电路（XORCircuit）。（2）利用当时最先进的计算机也没有足够计算力，完成多层感知器训练所需的超大计算量。9.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯989.1人工神经元与人工神经网络9.2机器学习的先驱——赫布学习规则9.3掀起人工神经网络第一次高潮的感知器9.4掀起人工神经网络第二次高潮的BP学习算法9.5BP学习算法在模式识别中的应用9.6基于神经网络的系统辨识9.7基于神经网络的软测量9.8基于神经网络的控制第9

章人工神经网络与神经网络控制991974年，哈佛大学博士生保罗·沃波斯(PaulWerbos)在博士论文《ParallelDistributedProcessing》中证明，在感知器神经网络中再多加一层，并利用误差的反向传播（BackPropagation，简称BP）来训练人工神经网络，可以解决XOR问题。9.4.1BP学习算法的提出保罗·沃波斯保罗·沃波斯：Werbos获得神经网络先驱奖，曾任ISSN主席、IEEEtnn主编和美国自然科学基金委员会信息学部主任。1001985年，加拿大多伦多大学教授辛顿和鲁梅尔哈特等重新设计了BP学习算法，1986年，发表了具有里程碑意义的经典论文：通过误差反向传播学习表示，实现了Minsky多层感知器的设想。9.4.1BP学习算法的提出保罗·沃波斯BP学习算法唤醒了沉睡多年的人工智能研究，又一次掀起了神经网络高潮。1019.4.2BP神经网络

1.BP网络结构

1029.4.2BP神经网络

2.输入输出变换关系

1039.4.2BP神经网络3.工作过程

第一阶段或网络训练阶段：

N组输入输出样本：xi=[xi1,xi2,…,xip1]Tdi=[di1,di2,…,dipm]T

i=1,2,…,N

对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。

第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。

104（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。BP定理：给定任意

，对于任意的连续函数，存在一个3层前向神经网络，它可以在任意

平方误差精度内逼近连续函数。9.4.2BP神经网络●两个问题：（2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。

1986年，鲁梅尔哈特（D.Rumelhart）等提出BP学习算法。1059.4.3BP学习算法

●目标函数：

●约束条件：

●连接权值的修正量：

1.基本思想

1069.4.3BP学习算法记先求（1）对输出层的神经元（2）对隐单元层，则有2.BP学习算法推导1079.4.3BP学习算法3.BP学习算法表达式1089.4.3BP学习算法3.BP学习算法表达式1099.4.3BP学习算法

正向传播：输入信息由输入层传至隐层，最终在输出层输出。反向传播：修改各层神经元的权值，使误差信号最小。4.BP学习算法学习过程1109.4.3BP算法BP学习算法的程序框图1119.1人工神经元与人工神经网络9.2机器学习的先驱——赫布学习规则9.3掀起人工神经网络第一次高潮的感知器9.4掀起人工神经网络第二次高潮的BP学习算法9.5BP学习算法在模式识别中的应用

9.6基于神经网络的系统辨识9.7基于神经网络的软测量9.8基于神经网络的控制第9

章人工神经网络与神经网络控制112●主要模式识别研究用计算机模拟生物、人的感知，对模式信息，如图像、文字、语音等，进行识别和分类。●传统人工智能的研究部分地显示了人脑的归纳、推理等智能。但对人类底层的智能，如视觉、听觉、触觉等，现代计算机系统信息处理能力还不如一个幼儿。●人工神经网络模拟人脑神经系统的特点：处理单元的广泛连接；并行分布式信息储存、处理；自适应学习能力等。●人工神经网络模式识别方法具有较强的容错能力、自适应学习能力、并行信息处理能力。9.5BP学习算法在模式识别中的应用113例9.1

设计一个3层BP网络对数字0至9进行分类。

●每个数字用9

7的网格表示，灰色像素代表0，黑色像素代表1。将每个网格表示为0，1的长位串。位映射由左上角开始向下直到网格的整个一列，然后重复其他列。●选择BP网络结构为63-6-9。97个输入结点，对应上述网格的映射。9个输出结点对应10种分类。●使用的学习步长为0.3。训练600个周期，如果输出结点的值大于0.9，则取为1，如果输出结点的值小于0.1，则取为0。9.5BP学习算法在模式识别中的应用114●测试结果表明：除了8以外，所有被测的数字都能够被正确地识别。●对于数字8，神经网络的第6个结点的输出值为0.53，第8个结点的输出值为0.41，表明第8个样本是模糊的，可能是数字6，也可能是数字8，但也不完全确信是两者之一。

当训练成功后，对如图所示测试数据进行测试。测试数据都有一个或者多个位丢失。9.5BP学习算法在模式识别中的应用1159.1人工神经元与人工神经网络9.2机器学习的先驱——赫布学习规则9.3掀起人工神经网络第一次高潮的感知器9.4掀起人工神经网络第二次高潮的BP学习算法9.5BP学习算法在模式识别中的应用

9.6基于神经网络的系统辨识9.7基于神经网络的软测量9.8基于神经网络的控制第9

章人工神经网络与神经网络控制1169.6基于神经网络的系统辨识方法神经网络对非线性函数具有任意逼近和自学习能力，为系统的辨识，尤其是非线性动态系统的辨识提供了一条有效的途径。神经网络通过直接学习输入输出数据，使所要求的误差函数达到最小，归纳出隐含在系统的输入输出数据中的关系。尽管还有很多关键的理论问题尚待解决，但已有结果已经展示了神经网络在非线性系统建模方面的广阔前景。1179.6.1前向模型辨识神经网络前向建模是利用系统的输入输出数据训练一个神经网络，使神经网络具有与系统相同的输入输出关系。1189.6.2反向模型辨识神经网络反向建模是将作为对象的逆模型的神经网络位于对象之前，网络模型的输出作为被控对象的输入。1199.6基于人工神经网络的系统辨识基于神经网络的系统辨识方法的特点：（1）不要求建立实际系统的辨识格式，因为神经网络可以逼近任意非线性函数。（2）可以对本质非线性系统进行辨识，而且辨识是通过在网络外部拟合系统的输入输出，网络内部隐含着系统的特性。因此，辨识是由神经网络本身实现的，是非算法式的。（3）辨识的收敛速度不依赖于待辨识系统的维数，只与神经网络本身及其所采用的学习算法有关。传统的辨识方法随模型参数维数的增大而变得很复杂。（4）神经网络具有大量连接，其权值在辨识中对应于模型参数，通过调节这些权值可使网络输出逼近系统输出。神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以用于在线控制。1209.7基于人工神经网络的软测量9.7.1软测量技术

主导变量：被估计的变量。

辅助变量：与被估计变量相关的一组可测变量。软测量是利用一些可测变量去估计推测那些难以测量的变量。121软测量系统的设计：辅助变量的选择：变量类型、变量数量和检测点位置的选择。数据采集与处理。软测量模型的建立：通过辅助变量来获得对主导变量的最佳估计。

9.7.1软测量技术122序批式活性污泥法（SBR）9.7.2污水处理过程神经网络软测量模型123BOD、COD、N和P：为软测量模型的主导变量。ORP、DO、PH和MLSS：辅助变量。三层BP网络：

9.7.2污水处理过程神经网络软测量模型1249.8基于人工神经网络的控制根据神经网络在控制器中的作用不同，神经网络控制器可分为两类：（1）神经控制：以神经网络为基础而形成的独立智能控制系统；（2）混合神经网络控制：利用神经网络学习和优化能力来改善传统控制的智能控制方法，如自适应神经网络控制等。1259.8.1人工神经网络控制器神经网络控制器是将神经网络作为控制器，实现对不确定系统或未知系统进行控制，使控制系统达到所要求的动态、静态特性。1269.8.2人工神经网络预测控制神经网络的预测控制就是利用作为对象辨识模型的神经网络产生预测信号，然后采用优化技术求出控制向量，从而实现对非线性系统的预测控制。1279.8.3人工神经网络模型参考控制Narendra等在1990年提出了非线性系统的神经网络模型参考自适应控制。1289.8.4人工神经网络内模控制线性系统的内模控制具有鲁棒性强和易于进行稳定性分析的特点，虽然要求系统开环稳定，但已广泛应用于过程控制。Hunt在1991年将内模控制推广到非线性系统，提出了非线性系统的神经网络内模控制。129THEENDIntroductionofArtificialIntelligence第10章深度学习与大语言模型131第9章深度学习与大语言模型深度学习得益于高性能计算和大数据技术的快速发展，使机器学习取得突破性进展。深度学习算法能够发现大数据中的复杂结构，掀起了人工智能大模型的研究与应用热潮。本章首先介绍浅层学习的局限性、动物视觉机理和深度学习的提出，简要介绍大模型的应用，然后介绍目前广泛应用的卷积神经网络、胶囊网络及其应用，最后介绍基于深度学习的计算机视觉及其在人脸识别、虹膜识别中的应用。132第10章深度学习与大语言模型10.1动物视觉机理与深度学习的提出10.2卷积神经网络及其应用10.3胶囊网络10.4计算机视觉10.1.1浅层学习的局限性浅层学习算法人工神经网络（BP算法）●虽被称作多层感知机，但实际是一种只含有一层隐层节点的浅层模型。SVM（SupportVectorMachines）、Boosting、最大熵方法（如LogisticRegression）等。●带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LogisticRegression）的浅层模型。局限性：有限样本和有限计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。13310.1.1浅层学习的局限性模式识别：134获取数据预处理特征提取特征选择推理、预测、识别特征表达良好的特征表达，是识别成功的关键；识别系统的计算和测试工作耗时主要集中在特征表达部分；传统的方法是手工设计良好的特征提取器，这需要大量的工程技术和专业领域知识。能否自动地学习特征呢？深度学习！机器学习1968年诺贝尔医学奖获得者美国神经生物学家DavidHubel和TorstenWiesel发现：人的视觉系统的信息处理是分级的。高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图抽象层面越高，存在的可能猜测就越少，就越利于分类13510.1.2深度学习的提出136●1980年日本学者福岛邦彦提出带有卷积和池化操作的多层神经网络新知机（neocognitron），但没用BP算法进行训练，而是采用无监督学习训练，没有引起广泛重视。●1989年YannLeCun等将BP算法引入卷积神经网络进行训练。●1998年YannLeCun等设计了7层卷积神经网络LeNet-5。通过大数据进行训练，成功应用于美国邮政与银行支票手写数字的识别。现在普遍把LeNet-5作为卷积神经网络的源头，但当时并没有引起广泛关注。10.1.2深度学习的提出137●2006年，Hinton教授等在《科学》上发表深度神经网络学习算法。●2011年，格洛罗特（XavierGlorot）等提出了修正线性单元ReLU激活函数，取代Sigmod函数，解决深度学习梯度消失问题。●2012年，Hinton和学生AlexKrizhevsky等，提出了8层神经网络AlexNet，它采用了ReLU激活函数，并使用了Dropout等技术防止过拟合，同时抛弃了逐层训练的方式，直接在两块NvidiaGTX580GPU上训练网络。●2012年，Hinton教授带领学生组成多伦多大学小组参加ImageNet图像识别大赛（ILSVRC）取得巨大成功，其错误率比采用传统浅层模型的第二名降低了惊人的10.9%，从而使深度学习引起广泛关注。●深度学习的提出与广泛应用得益于高性能计算和大数据技术的快速发展。10.1.2深度学习的提出138第10章深度学习与大语言模型10.1动物视觉机理与深度学习的提出10.2卷积神经网络及其应用10.3胶囊网络10.4计算机视觉13910.2.1卷积神经网络的结构8.5.1卷积神经网络的结构139卷积神经网络（ConvolutionalNeuralNetworks，CNN）是一种多层神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。重大差异：●BP神经网络的输入是特征●卷积神经网络的输入是图像14010.2.2卷积的物理、生物与生态学等意义卷积（Convolutional）源自拉丁文“convolvere”，是数学上的一个重要运算，由于其具有丰富的物理、生物、生态等意义。卷积的符号为：*1.卷积的物理意义●在一根铁丝某处不停地弯曲，弯曲处温度是发热函数和散热函数的卷积。●一个特定环境下的回声是源声函数和反射效应函数的卷积。●水中投石产生水波，当前的水波是所有石块激起水波到目前为止的投石作为冲击函数和水面反射效应函数的卷积。●一个线性系统，这个系统的输出函数是输入函数和脉冲响应函数的卷积。14110.2.2卷积的物理、生物与生态学等意义2.卷积的生物学意义●记忆也可视为一种卷积的结果。人脑中记忆函数是认知函数和遗忘函数的卷积。

●静脉滴注是注射的离散化，一滴药液在人体血液里以动力学形态衰减。要与病毒或细菌打持久战，多次滴注或连续给药。注射的累积效应是给药函数衰减函数的卷积。●一个人胃里现有的食物量是吃进食物的函数核消化吸收的函数的卷积。3.卷积的生态学意义

●一个地区的现有的树木是栽树函数和伐木函数的卷积。●一个地区的生态函数是污染函数核治污函数的卷积

。142142卷积运算直观的例子大部分的特征提取都依赖于卷积运算利用卷积算子对图像进行滤波，可以得到显著的边缘特征。10.2.3卷积神经网络的卷积运算14310.2.3卷积神经网络的卷积运算14410.2.3卷积神经网络的卷积运算14514510.2.4卷积神经网络的关键技术卷积神经网络的4个关键技术：局部连接权值共享多卷积核池化146卷积神经网络的局部连接(a)全连接神经网络

(b)局部连接神经网络局部连接：每个神经元无需对全局图像进行感知，而只需对局部进行感知，然后在更高层将局部的信息综合起来得到全局信息。147卷积神经网络的权值共享每个神经元的权值设为相同，即权值共享，也即每个神经元用同一个卷积核去卷积图像。148148卷积神经网络的多卷积核下图中不同颜色表示不同的卷积核，每个卷积核都会将图像生成为另一幅特征映射图（即：一个卷积核提取一种特征）。为了使特征提取更充分，我们可以添加多个卷积核（滤波器）提取不同特征。149149卷积神经网络的池化计算图像一个区域上的某个特定特征的平均值(或最大值)，这种聚合操作就叫做池化(pooling)，有时采用平均池化或者最大池化方法。这些概要统计特征不仅具有低得多的维度

(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。15015010.2.5卷积神经网络的应用1998年YannLeCun等设计了7层卷积神经网络LeNet-5。通过大数据进行训练，达到了商用地步，成功应用于美国邮政与银行支票手写数字的识别。151针对卷积神经网络训练数据需求大、环境适应能力弱、可解释性差、数据分享难等不足，2017年10月，GeoffreyE.Hinton教授等在“神经信息处理系统大会上发表论文，提出了新型神经网络结构——胶囊网络（CapsuleNetworks）。胶囊是一个包含多个神经元的载体，每个神经元表示了图像中出现的特定实体的各种属性。胶囊不是传统神经网络中的一个神经元，而是一组神经元。胶囊网络的核心思想：胶囊里封装的检测特征的相关信息是以向量的形式存在的，胶囊的输入是一个向量，是用一组神经元来表示多个特征。10.3胶囊网络152输入层：数字图片经过标准的卷积层，有256个通道，每个通道均用9×9的卷积核，将输入层图片中的像素亮度转化成局部特征输出，作为Conv1层的输入。PrimaryCaps层：卷积的胶囊层，包含32个胶囊。PrimaryCaps才是胶囊真正开始的地方。胶囊网络的基本结构153DigitCaps层：胶囊网络的全连接层。要识别的是10类数字（0~9），因此该层的胶囊个数共有10个，每个胶囊表示的向量中元素的个数为16，代表着不同状态下的同一个数字。

胶囊网络的基本结构154在手写数字图像数据集MNIST上的部分实验结果：胶囊网络实验泛化能力实验结果：对MNIST测试集的数字大小、粗细、位置做了部分改变。实验结果：CapsNet在有重叠数字的AFFNIST数据集上获得了比CNN好得多的结果。155识别数字高度重叠的实验胶囊网络实验MultiMNIST上两个数字的边框范围平均有80%是重合的数字。实验结果：CapsNet实现了较低的分类错误率。MultiMNIST图片（白色）和由CapsNet重构后的结果（红色和绿色）重合的数字。156胶囊网络性能●使用胶囊神经网络需要的训练数据量，远小于卷积神经网络，它采用动态路由协议算法，仅使用三层网络便可表现出很出色的性能，能够与深度卷积神经网络相当。●胶囊网络解决了卷积神经网络存在的信息丢失、视角变化等问题。●由于胶囊网络具有分别处理不同属性的能力，相比于CNN可以提高对图像变换的鲁棒性，在图像分割中也会有出色的表现。●胶囊网络相对于卷积网络的工作机理更接近人脑的工作方式。15710.4计算机视觉计算机视觉是一类类似于人眼的新型检测方法，将采集的图片或视频进行处理以获得相应场景的三维信息，具有非常广阔的应用。例如：车牌识别、指纹识别、人脸识别、视频监控、自动驾驶、人体动作的视觉识别系统、工业视觉检测识别系统、智能移动机器人、增强现实系统、生物医学影像检测和识别系统等。15810.4.1计算机视觉概述计算机视觉的比较严谨的定义：（1）对图像中的客观对象构建明确而有意义的描述（Ballard＆Brown，1982）。（2）从一个或多个数字图像中计算三维世界的特性（Trucco＆Verri，1998）（3）基于感知图像做出对客观对象和场景有用的决策（Sockman＆Shapiro，2001）15910.4.2数字图像与计算机视觉的进展计算机接受到的数字图像是由称为像素（pixel）的点组成。主要有下列几种数字图像：（1）灰度图像（2）彩色图像（3）RGBD图像（4）红外、紫外、X-光等图像160计算机视觉的内容：（1）目标检测、跟踪和定位。（2）前背景分割和物体分割（3）目标分类和识别（4）场景分类与识别（5）场景文字检测与识别。（6）事件检测与识别（7）距离估计（8）图像自动标题10.4.3基于深度学习的计算机视觉161直到2012年，深度学习掀起了计算机视觉领域应用热潮，目标检测正确率大大提升。目标检测是计算机视觉中一个基础问题，其定义某些感兴趣的特定类别组成前景，其他类别为背景。设计一个目标检测器，它可以在输入图像中找到所有前景物体的位置以及他们所属的具体类别。区域卷积神经网络（Region-CNN，R-CNN）是第一个成功将深度学习应用到目标检测上的算法。卷积神经网络已成为计算机视觉和视觉跟踪的主流深度模型。10.4.3基于深度学习的计算机视觉162

基于计算机视觉的生物特征识别生物特征识别一直是人们研究与应用的重要内容。生物特征识别(BIOMETRICS)技术，是指通过计算机利用人体所固有的生理特征（指纹、虹膜、面相、DNA等）或行为特征(步态、击键习惯等)来进行个人身份鉴定的技术。目前，基于计算机视觉的生物特征识别技术成为人工智能最重要的研究与应用领域。如：人脸识别、指纹识别、虹膜识别、掌纹识别、指静脉识别等。16310.4.4人脸识别人脸识别的本质是对两张照片中人脸相似度的计算。人脸识别系统主要包括6个部分：（1）人脸检测：给出人脸的位置和大小。（2）特征点定位：在矩形框内找到眼睛中心、鼻尖和嘴角等关键特征点，以便进行后续的预处理操作。（3）预处理：完成人脸子图的归一化。（4）特征提取：这是人脸识别的核心。当前，主要是采用深度学习方法自动提取特征。（5）特征比对：对提取的特征进行相似度计算。（6）判断：相似程度超过设定阈值判断为相同人。

16410.4.5虹膜识别人眼睛的外观图由巩膜、虹膜、瞳孔三部分构成。虹膜是人眼瞳孔和巩膜之间的环状区域，占据65%。人体基因表达决定了虹膜的形态、生理、颜色和总的外观。没有任何两个虹膜是一样的。虹膜的高度独特性、稳定性及不可更改的特点，是虹膜可用作身份鉴别的物质基础。16510.4.5虹膜识别虹膜识别主要步骤：（1）虹膜图像获取。使用特定的摄像器材对人的整个眼部进行拍摄。（2）虹膜定位。确定内圆、外圆和二次曲线在图像中的位置。（3）虹膜图像归一化。（4）图像增强。（5）特征提取。（6）特征匹配。与数据库中的虹膜图像特征编码逐一匹配，判断是否为相同虹膜。166THEENDIntroductionof