霍普菲尔德Hopfield神经网络PPT学习教案

1、会计学1霍普菲尔德霍普菲尔德Hopfield神经网络神经网络第1页/共51页第2页/共51页第3页/共51页第4页/共51页第5页/共51页 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1第6页/共51页第7页/共51页第8页/共51页有界EwxxxwEXWXXxxxwEniininjijniiininjjiijTTniiininjjiij 11111111121 2121 21第9页/共51页 kkkkknjjkjkniiikkkkkkkkkkkkkxxwtxwxtxwxEtutxtutxtutxxxtxtxxtE 211sgn, 1 21sgn,

2、1 2sgn 0 1 1 1tEE 211证明第10页/共51页 一个局部极小点。所以它总能收敛到它的的，。另外能量函数是有界有故对任意的神经元，。又因为的运行规则，根据故有因为根据定理条件有0001 211 21 ,221EkwtuxDHNNkwtuxkwtxwxEwwkkkkkkkkkknjkjkjkjiij第11页/共51页第12页/共51页niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11单位阵，则为给定输入第13页/共51页3233222!1131sgn Y sgn Y sgn Y031301110 111111111 TTWXTWXTWXIXX

3、WTXKTKK验证：解：第14页/共51页第15页/共51页endIXXWWqkforWTKK, 1 0第16页/共51页“”。第17页/共51页第18页/共51页第19页/共51页 tPtAtTtwtwPWijij1第20页/共51页 来。求出权矩阵满秩，其逆存在，则可线性无关的，则如果样本之间是为伪逆，有其中由此可得来映射，则有输入输出之间用权值设输入样本WPPPPPPPPNWNYXWNWXXXXTTTN, sgn, 121第21页/共51页第22页/共51页第23页/共51页 xxexuvIuvRRudtducxiiinjijijiiiitanh 11 110或第24页/共51页第25页

4、/共51页 u 1 u 2 u n v 1 v n v 2 第26页/共51页iiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtdu ,1 ,111101的一种特殊情况。视为可以此可见，模型有相同的形式。由上式与则有如果令为向量矩阵形式：CHNNDHNNDHNNWvuuRvdiagwwwwWWvuunnnnnn , 0, , , 12111111第27页/共51页第28页/共51页不同的系统解的情况。的不同情况，可以得到，解出的特征值为单位对角阵。通过对其中此系统的特征方程为：。其中：此时系统的状态方程为riiIIAWBRABAUUuv21 0 1 第29页/共51

5、页 :121 :101111的稳定性有如下的定理关于能量项。入状态和输出值关系的上式第三项表示一种输能量函数定义为CHNNdvvRIvvvwEniviiniiininjjiiji第30页/共51页 dtdvvcdtducRuIvwRuIvwvwvEdtdvvEdtdEnidtdEdtdvdtdEwwcviiiiiiiiinjjijiiinjjjinjjijiniiiijiijii111111 2121 , 2 , 100, 0 , 0 证明：，时，当且仅当，有则随着网络状态的变化，且为单调连续递增的函数定理：若第31页/共51页 idtdEdtdvdtdEvcdtdvvcdtdEiiiinii

6、iii 0 00 , 0 1121时仅当单调递增，第32页/共51页第33页/共51页第34页/共51页第35页/共51页第36页/共51页Nccc,21NcccC,21第37页/共51页CBACEADEBDdddddS第38页/共51页次序城市12345A00010B10000C00001D01000E00100第39页/共51页第40页/共51页第41页/共51页1） 第x行 的 所 有 元 素xi按 顺 序 两 两 相 乘 之 和xiNxNijxi 111应 为0。 2） N 个 行 的 所 有 元 素 按 顺 序 两 两 相 乘 之 和xjNxNiNijxi 1111也 应 为0。 3

7、） 将 第 2）项 前 乘 系 数 A/2，则 可 作 为 网 络 能 量 函 数 的 第 一 项 xiNxniNijxiA11112 同 理 ， 对 应 于 第 （ 2） 个 约 束 条 件 ， 可 得 能 量 函 数 的 第 二 项 yiNiNxNxyxiB 11112 式 中 ， B/2 为 系 数 。 第42页/共51页第43页/共51页第（4）项为优化目标，即优化要求其表达式为 1,1,iydiydxixyxixy和 由前三个约束条件可知，这两项至少有一项为 0，顺序访问x、y两城市所有可能途径（长度）可表示为 ),() 1,1,(111iyiyxixyNixixyyxixydiyd

8、id 第44页/共51页N个 城 市 两 两 之 间 所 有 可 能 的 访 问 路 径 的 长 度可 表 示 为 ),(11111 iyiyxiNxNyNixyd 当 这 项 最 小 时 ， 则 它 就 表 示 访 问 N 个 城 市 的 最 短 距离 。 由 此 得 到 网 络 能 量 函 数 的 第 四 项 NxNyNiyiyxixyidD1111)1,(2 式 中 ， D /2 为 系 数 。 第45页/共51页网络能量函数的最后表达式 21111111111)(222 NxNixiNxNiNijNiNxNxyyixixjxiNCBAE ),(211111 iyiyNxNyNixyxi

9、dD E 达到极小时，由网络状ij构成的换位矩阵表达了最佳旅行路径。 第46页/共51页 第 三 步 确 定 网 络 神 经 元 之 间 的 连 接 权 及 神 经 元 输 出 的阀 值 。 设 网 络 ),(ix神 经 元 与jy,神 经 元 之 间 的 连 接 权 为yixi,， 神 经 元),(ix输 出 的 阀 值 为xiI， 则 有 ),()1()1(,11ijijxyxyijijxyyjxiDdCBA CNIxi )(0)(1jijiij 第47页/共51页第四步:求解 TSP 网络的迭代方程 )(11111 NxNyxyNxyyyiNjjxixixiixiNCBARudtducNyyiyxyidD11)1,()tan