1第8章人工神经网络及其应用硕士091122

1、artificial intelligence principles and applications第第8章章 人工神经网络及其应用人工神经网络及其应用n 人工神经网络已在人工神经网络已在模式分类、机器视觉、机器听觉、智能计算、模式分类、机器视觉、机器听觉、智能计算、机器人控制、信号处理、组合优化问题求解、联想记忆、编码机器人控制、信号处理、组合优化问题求解、联想记忆、编码理论、医学诊断、金融决策和数据挖掘理论、医学诊断、金融决策和数据挖掘等领域获得了卓有成效等领域获得了卓有成效的应用。的应用。char 8 pp. 2 生物神经网络生物神经网络( natural neural network

2、, nnn): 由中枢神经系统由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是的错综复杂的神经网络，其中最重要的是脑神经系统脑神经系统。人工神经网络人工神经网络(artificial neural networks, ann): 模拟模拟人脑神经人脑神经系统系统的结构和功能，运用大量简单处理单元经广泛连接而组成的的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。人工网络系统。第第8章章 人工神经网络及其应用人工神经网络及其应用神经网络（神经网络（neural net

3、works，nn）l 神经网络方法：神经网络方法：隐隐式式的知识表示方法的知识表示方法char 8 pp. 3n人脑构造人脑构造: 皮层（皮层（cortex） 中脑（中脑（midbrain） 脑干（脑干（brainstem） 小脑（小脑（cerebellum）n 人脑由人脑由1011 1014 个神经细胞（神经元）交织在一起的网状结个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约构组成，其中大脑皮层约140亿个神经元，小脑皮层约亿个神经元，小脑皮层约1000亿亿个神经元。个神经元。n 神经元约有神经元约有1000种类型，每个神经元大约与种类型，每个神经元大约与103 104个其他神

4、个其他神经元相连接，形成错综复杂而又灵活多变的神经网络。经元相连接，形成错综复杂而又灵活多变的神经网络。char 8 pp. 4char 8 pp. 5q 人脑神经网络系统与计算机处理信息的比较人脑神经网络系统与计算机处理信息的比较 运行控制：运行控制：l 计算机：有一个中央处理单元来控制所有的活动和对所有的信计算机：有一个中央处理单元来控制所有的活动和对所有的信息进行存取操作息进行存取操作 ； l人脑神经系统：每个神经元只受与它相连接的一部分神经元的影人脑神经系统：每个神经元只受与它相连接的一部分神经元的影响。响。 第第8章章 人工神经网络及其应用人工神经网络及其应用char 8 pp. 6

5、 知识存储：知识存储：l 计算机：知识静态地存储在编有地址的记忆单元中，新的信息计算机：知识静态地存储在编有地址的记忆单元中，新的信息破坏老的信息；破坏老的信息； l 人脑神经系统：知识存储在神经元之间的连接关系中，新的知人脑神经系统：知识存储在神经元之间的连接关系中，新的知识用来调整这种连接关系。识用来调整这种连接关系。 q 人脑神经网络系统与计算机处理信息的比较人脑神经网络系统与计算机处理信息的比较 第第8章章 人工神经网络及其应用人工神经网络及其应用char 8 pp. 7char 8 pp. 8char 8 pp. 9char 8 pp. 10char 8 pp. 11第第8章章 人工

6、神经网络及其应用人工神经网络及其应用8.1 神经元与神经网络神经元与神经网络 o 8.2 bp神经网络及其学习算法神经网络及其学习算法o 8.3 bp神经网络的应用神经网络的应用o 8.4 hopfield神经网络及其应用神经网络及其应用o 其他神经网络其他神经网络char 8 pp. 12char 8 pp. 138.1.1 神经元模型神经元模型p 1. 生物神经元结构生物神经元结构（输入输入）（输出输出）轴突轴突树突树突细胞体细胞体突触突触char 8 pp. 148.1.1 神经元模型神经元模型p 1. 生物神经元结构生物神经元结构n 工作状态工作状态:l 兴奋状态兴奋状态：细胞膜电位：

7、细胞膜电位 动作电位的阈值动作电位的阈值 神经冲动神经冲动 l 抑制状态抑制状态：细胞膜电位细胞膜电位 0, wij = wji , 则则 ；当且仅当；当且仅当 )(1f)()(1)()()(21)(1)(01111tdvtvfritvtvtvwtenitviniiininjjiiji0)(dttde时，（)10)(nidttdvi0)(dttde),.,2 , 1(, 0niwwwijjiiichar 8 pp. 1418.4.2 连续型连续型hopfield神经网络及其神经网络及其vlsi实现实现o 3. 应用举例：应用举例：n 1985年，霍普菲尔德和塔克（年，霍普菲尔德和塔克（d. w

8、. tank）应用连续）应用连续hopfield 神经网络求解旅行商问题（神经网络求解旅行商问题（travelling salesman problem，tsp）获得成功。获得成功。 旅行商问题（旅行商问题（tsp）：典型的组合优化问题）：典型的组合优化问题l 有有 n 个城市，城市间的距离或旅行成本已知，求合理的路线个城市，城市间的距离或旅行成本已知，求合理的路线使每个城市都访问一次，且总路径最短（或者总成本最少）。使每个城市都访问一次，且总路径最短（或者总成本最少）。l n个城市存在的路径数：个城市存在的路径数：2)!1( nchar 8 pp. 1428.4.2 连续型连续型hopfie

9、ld神经网络及其神经网络及其vlsi实现实现o 3. 应用举例：应用举例： 旅行商问题（旅行商问题（tsp）：典型的组合优化问题）：典型的组合优化问题l n 个城市存在的路径数：个城市存在的路径数：l 用穷举法，用穷举法，cray 计算机的计算速度：计算机的计算速度：108次次/秒秒2)!1(nn 1985年，年，hopfield 和和tank 用用hopfield网络求解网络求解 n30 的的tsp问题，问题，0.2 s 就得到次优解。就得到次优解。 char 8 pp. 1438.4.2 连续型连续型hopfield神经网络及其神经网络及其vlsi实现实现o 3. 应用举例：应用举例：n

10、连续连续hopfiled神经网络求解约束优化问题的神经网络求解约束优化问题的基本思路基本思路： 最 优 化 问 题连 续 hopfield神 经 网 络 目 标 函 数 可 行 解 最 优 解 能 量 函 数状 态 稳 定 状 态char 8 pp. 1448.4.2 连续型连续型hopfield神经网络及其神经网络及其vlsi实现实现o 3. 应用举例：应用举例：n 连续连续hopfield神经网络（神经网络（chnn）求解约束优化问题的）求解约束优化问题的步骤步骤：（1）选择合适的问题表示方法，使）选择合适的问题表示方法，使 chnn 的的输出输出与优化问题与优化问题的的可行解可行解彼此对

11、应；彼此对应；（2）用罚函数法写出优化问题的）用罚函数法写出优化问题的目标函数目标函数；（3）令目标函数和能量函数相对应，确定）令目标函数和能量函数相对应，确定chnn 的的连接权和连接权和偏置电流偏置电流，以及，以及动态方程动态方程；（4）给定）给定chnn的的初始状态和参数初始状态和参数等，使等，使 chnn 按动态方程按动态方程运行，直至达到运行，直至达到稳定状态稳定状态，并把它解释为问题的解；，并把它解释为问题的解；char 8 pp. 145n 5个城市的个城市的tsp：c1c2c3c4c510050100507510012512512575c1c2c3c4c510050100507

12、510012512512575神经元数目：神经元数目：25c3 c1 c5 c2 c4 c3char 8 pp. 146 tsp的问题描述：的问题描述：,1,11min()2xyxiy iy ixy xild vvv次）（每个城市只能访问一市）（每次只能访问一个城xvivstixixxi11.2, 1, 1()()2222xi xjxi yixixy xiy iy ixij iixy xxixy xiabcdjv vv vvnd v vv 用罚函数法，写出优化问题的目标函数：用罚函数法，写出优化问题的目标函数： 能量函数：能量函数： nxnivxinxnixixinxninynjyjxiyjx

13、ixidvvfrivvvwe1101111111,)(121char 8 pp. 147)tanh(1 21)(0uuufvxixixi 令令e 与目标函数与目标函数 j 相对应，确定相对应，确定连接权值、偏置电流和连接权值、偏置电流和chnn 的动态方程的动态方程：,1,1()()xixixixjyixixyy iy ij iyxxiyxiduucavbvcvnddvvdtr 其它01jiijxiyjyjyjxixixixixiivwrudtduc11,cnixi,1,1(1)(1)()xi yjxyijijxyxyj ij iwabcdd char 8 pp. 148 设置合适的设置合适的

14、a、b、c、d和和 chnn 的初始状态，按的初始状态，按chnn动态动态方程演化直到收敛。方程演化直到收敛。c1c2c3c4c5100501005075100125125125751x2xnxix12in21w1nw1 iw12w2nw2iwnw1inwnw2iw2iw1niw11i1n121(状态）状态）(阈值）阈值）（连接权值）（连接权值）char 8 pp. 149f(.)v11v12v55rxi,11rxi,12rxi,55ixirxiuxicxirvxi.yjxiyjxiyjxiyjxixirwrrr,1111xiyjyjyjxixixixixiivwrudtduc,)tanh(1

15、 21)(0uuufvxixixi其它01jiijcnixi,1,1(1)(1)()xi yjxyijijxyxyj ij iwabcdd char 8 pp. 150n 神经网络优化计算目前存在的问题：神经网络优化计算目前存在的问题：（1）参数难以确定；）参数难以确定；（2）能量函数存在大量局部极小值，难以保证最优解。）能量函数存在大量局部极小值，难以保证最优解。c1c2c3c4c510050100507510012512512575char 8 pp. 1518.4 hopfield神经网络及其应用神经网络及其应用8.4.1 离散型离散型hopfield神经网络神经网络8.4.2 连续型连

16、续型hopfield神经网络及其神经网络及其vlsi实现实现8.4.3 随机神经网络随机神经网络8.4.4 混沌神经网络混沌神经网络char 8 pp. 1528.4.3 随机神经网络随机神经网络o hopfield神经网络中，神经元状态为神经网络中，神经元状态为1是根据其净输入是否是根据其净输入是否大于阈值而确定的，是确定性的。大于阈值而确定的，是确定性的。o 随机神经网络中，神经元状态为随机神经网络中，神经元状态为1是随机的，服从一定的概是随机的，服从一定的概率分布。例如，服从玻尔兹曼率分布。例如，服从玻尔兹曼(boltzmann)、高斯、高斯(gaussian)、柯西、柯西(cauchy

17、)分布等，从而构成分布等，从而构成玻尔兹曼机玻尔兹曼机、高斯机高斯机、柯西机柯西机等随机机。等随机机。char 8 pp. 1531. boltzmann机机o 1985年，加拿大多伦多大学教授欣顿年，加拿大多伦多大学教授欣顿(hinton)等人借助统计等人借助统计物理学的概念和方法，提出了物理学的概念和方法，提出了boltzmann机神经网络模型。机神经网络模型。o 模拟退火算法模拟退火算法（n.metropolis等，等，1953）：把某类优化问题）：把某类优化问题的求解过程与统计力学中的热平衡问题进行对比，通过模拟高的求解过程与统计力学中的热平衡问题进行对比，通过模拟高温物体退火过程的方

18、法，来找到优化物体的全局最优或近似全温物体退火过程的方法，来找到优化物体的全局最优或近似全局最优解。局最优解。o 在物体退火过程中，其能量转移服从在物体退火过程中，其能量转移服从boltzmann分布：分布：8.4.3 随机神经网络随机神经网络)/exp()(kteep系统处于低能系统处于低能e的概率的概率系统系统温度温度boltzmann常数常数char 8 pp. 1541. boltzmann机机o boltzmann机是离散机是离散hopfield神经网络的一种变型，通过神经网络的一种变型，通过对离散对离散hopfield神经网络加以扰动，使其以概率的形式表达，神经网络加以扰动，使其以

19、概率的形式表达，而网络的模型方程不变，只是输出值类似于而网络的模型方程不变，只是输出值类似于boltzmann分布以分布以概率分布取值。概率分布取值。o boltzmann机是按机是按boltzmann概率分布动作的神经网络。概率分布动作的神经网络。8.4.3 随机神经网络随机神经网络char 8 pp. 1558.4.3 随机神经网络随机神经网络 1. boltzmann机机离散离散hopfield神经网络神经元神经网络神经元i 的状态：的状态：神经元神经元i 的净输入：的净输入： 神经元神经元i 输出状态值为输出状态值为0和和1时的概率：时的概率：)(sgn() 1(1inijjjijit

20、vwtvinijjjijitvws1)(tsiiep/11)0(1)1(0)iipp tsie/11char 8 pp. 1568.4.3 随机神经网络随机神经网络1. boltzmann机机 boltzmann的能量函数：的能量函数： iiiiijjiijvvvwe21 神经元神经元 i 状态转换时网络能量的变化：状态转换时网络能量的变化： 神经元神经元i 改变为状态改变为状态“1”的概率：的概率： )exp(11tepiiijjijivwechar 8 pp. 1572. 高斯机高斯机 8.4.3 随机神经网络随机神经网络injjijiivwdtdu1 :均值为均值为0的高斯随机变量（白噪

21、声）的高斯随机变量（白噪声） ，其方差为，其方差为 ct3. 柯西机柯西机 injjijiivwdtdu1 : 柯西随机变量（有色噪声）柯西随机变量（有色噪声） char 8 pp. 1588.4 hopfield神经网络及其应用神经网络及其应用8.4.1 离散型离散型hopfield神经网络神经网络8.4.2 连续型连续型hopfield神经网络及其神经网络及其vlsi实现实现8.4.3 随机神经网络随机神经网络8.4.4 混沌神经网络混沌神经网络char 8 pp. 1598.4.4 混沌神经网络混沌神经网络1. 混沌混沌o 混沌混沌: 自然界中一种较为普遍的非线性现象，其行为看似混自然界

22、中一种较为普遍的非线性现象，其行为看似混乱复杂且类似随机，却存在精致的内在规律性。乱复杂且类似随机，却存在精致的内在规律性。o 混沌的性质混沌的性质 ：（1）随机性：类似随机变量的杂乱表现；）随机性：类似随机变量的杂乱表现；（2）遍历性：不重复地历经一定范围内的所有状态；）遍历性：不重复地历经一定范围内的所有状态；（3）规律性：由确定性的迭代式产生。）规律性：由确定性的迭代式产生。 char 8 pp. 1601. 混沌混沌o 混沌学的研究热潮开始于混沌学的研究热潮开始于20世纪世纪70年代初期。年代初期。o 1963年，年，e.n.lorenz在分析气候数据时发现：初值十分接近在分析气候数据

23、时发现：初值十分接近的两条曲线的最终结果会相差很大，从而获得了混沌的第一的两条曲线的最终结果会相差很大，从而获得了混沌的第一个例子；个例子；o 1975年，年，li-yorke的论文的论文“周期周期3意味着混沌意味着混沌”使使“混沌混沌”一词首先出现在科技文献中。混沌的发现，对科学的发展具一词首先出现在科技文献中。混沌的发现，对科学的发展具有深远的影响。有深远的影响。 8.4.4 混沌神经网络混沌神经网络char 8 pp. 1618.4.4 混沌神经网络混沌神经网络2. 混沌混沌神经元神经元 混沌神经元（混沌神经元（1987年年，freeman）：构造混沌神经网络）：构造混沌神经网络 的基本

24、单位。的基本单位。 混沌神经元模型：混沌神经元模型：(1)( )( ( )( )u kku kg v ki k(1)( (1)v kf u kchar 8 pp. 1628.4.4 混沌神经网络混沌神经网络3. 混沌神经网络混沌神经网络 1990年，年，aihara等提出了第一个混沌神经网络模型等提出了第一个混沌神经网络模型(chaotic neural network，cnn)。 1991年，年，inoue等利用两个混沌振荡子耦合成一个神经元的等利用两个混沌振荡子耦合成一个神经元的方法，构造出一个混沌神经计算机方法，构造出一个混沌神经计算机. . 1992年，年，nozawa基于欧拉离散基于

25、欧拉离散化的化的hopfield神经网络，通神经网络，通过增加一个大的自反馈项，得到了一个与过增加一个大的自反馈项，得到了一个与aihara等提出的类等提出的类似似的的cnn模型。模型。 char 8 pp. 1638.4.4 混沌神经网络混沌神经网络3. 混沌神经网络混沌神经网络1）基于模拟退火策略的自抑制混沌神经网络）基于模拟退火策略的自抑制混沌神经网络 1995年，年，chen等提出的暂态混沌神经网络等提出的暂态混沌神经网络(transient chaotic neural network，tcnn) ：( )/1( )( ( )1iiiu kv kf u ke0(1)( )( )( )

26、 ( )niiijjiiiju kku kw v kiz k v ki(1)(1) ( )iiz kz kchar 8 pp. 1648.4.4 混沌神经网络混沌神经网络3. 混沌神经网络混沌神经网络1）基于模拟退火策略的自抑制混沌神经网络）基于模拟退火策略的自抑制混沌神经网络 具有具有暂态混沌特性暂态混沌特性； 能演化到一个稳定状态；能演化到一个稳定状态； 搜索区域为一分形结构；搜索区域为一分形结构； 具有混沌退火机制；具有混沌退火机制； 一种广义的混沌神经网络。一种广义的混沌神经网络。 可求解可求解0-1问题，也可求解连续非线性优化问题。问题，也可求解连续非线性优化问题。char 8 pp

27、. 165o 非线性函数非线性函数 15. 0) 4 . 0() 5 . 0( 1 . 0) 6 . 0() 7 . 0(),(2122222121xxxxxxe01501.00.0150.010.5, (0)-0.082,0.082,kiz，( )/1( )( ),1iiiukv kf u ke0(1)( )( )( )( ),niiijjiiijukkukw vkizkv ki(1)(1)( ),iizkzkchar 8 pp. 1668.4.4 混沌神经网络混沌神经网络3. 混沌神经网络混沌神经网络2）基于加大时间步长的混沌神经网络）基于加大时间步长的混沌神经网络 chnn的欧拉离散化：

28、的欧拉离散化：1998年，年，wang和和smith采用加大时间步长产生混沌：采用加大时间步长产生混沌：njijijiiitvwttutttu)()()1 ()()()1 () 1(ttt10char 8 pp. 1678.4.4 混沌神经网络混沌神经网络3. 混沌神经网络混沌神经网络3）引入噪声的混沌神经网络）引入噪声的混沌神经网络 1995年，年，hayakawa等的混沌神经网络：等的混沌神经网络：njijijiiitvwttutttu)()()1 ()()()()(tatuftviiichar 8 pp. 168第第8章章 人工神经网络及其应用人工神经网络及其应用o 8.1 神经元与神经

29、网络神经元与神经网络 o 8.2 bp神经网络及其学习算法神经网络及其学习算法o 8.3 bp神经网络的应用神经网络的应用o 8.4 hopfield神经网络及其应用神经网络及其应用其他神经网络其他神经网络char 8 pp. 169char 8 pp. 170习习 题题 o 8.1 用用bp网络逼近网络逼近一个非线性函数：一个非线性函数： 要求：要求：1）设计）设计bp网络网络的具体结构的具体结构, 并画出其结构图；并画出其结构图；2）试编制）试编制bp学习算法的计算程序。学习算法的计算程序。o 8.2 用用hopfield神经网络求解神经网络求解8.1中的非线性函数的最中的非线性函数的最小

30、值。要求：小值。要求：1）设计）设计hopfield神经网络的具体结构，神经网络的具体结构，并画出其结构图；并画出其结构图；2）试编制）试编制hopfield神经网络计算程神经网络计算程序。序。2, 1048.2048.2)1 ()(100),(21222121ixxxxxxfichar 8 pp. 171the endartificial intelligence principles and applicationschar 8 pp. 1728.1.1 神经元模型神经元模型p 1. 生物神经元结构生物神经元结构（输入输入）（输出输出） 神经冲动神经冲动char 8 pp. 1738.1.

31、3 人工神经网络人工神经网络q 1. 神经网络的结构神经网络的结构 （1）前馈型（）前馈型（ 前向型）前向型） bp神神经经网网络络char 8 pp. 174.8.2 bp神经网络及其学习算法神经网络及其学习算法p bp网络数字识别网络数字识别0123456789输入层（输入层（1024）隐层（隐层（16）输出层（输出层（1）n 训练样本：训练样本：n 测试样本：测试样本：l 输 入输 入 ： 输 入 图 像 像 素 矩 阵： 输 入 图 像 像 素 矩 阵（3232）按列抽取而成的一）按列抽取而成的一维列向量；维列向量；l 期望输出：期望输出：09l 隐层的变换函数隐层的变换函数：双曲正切：双曲正切s型函数型函数l 输出层的变换函数输出层的变换函数：线性函数：线性函数33char 8 pp. 175准备样本8.2 bp神经网络及其学习算法神经网络及其学习算法n 训练样本集：美国邮政服务（训练样本集：美国邮政服务（usps）数据库的特征图）数据库的特征图p bp网络数字识别网络数字识别0123456789char 8 pp. 176l 例子：机器人行动规划例子：机器人行动规划char 8 pp. 177 1612345u(t)y(t)yn(t)218.3.2 bp神经网络在软测量中的应用神经网络在软测量中的应用p bp网络的逼近网络的逼近 char 8 pp. 17