双向联想记忆

1、第五章第五章双向联想记忆双向联想记忆(Bidirectional Associative Memory) 双向联想记忆网络是一种异联想(hetero-association)的双层神经网络 记忆存储的样本是二元数据对 , A,B分属不同维量的向量空间 输入 或 ，经过双向反馈不断提高回忆联向精度，网络稳定输出 或足够逼近 。kkB,ANk, 2 , 1 kAkBkkBA ,kkBA ,概述概述网络结构网络结构ABn 两层结构，A层是m维，B层是p维。两者都可以作为输入层或 输出层n 每个神经元与本层其他神经元无连接，而和另一层全部神经元 连接。n 欲被联想的模式从某一层输入，经过双向反馈联想计

2、算，最终 趋于稳定，得到输出。n 神经元对输入加权和进行非线性处理。双向反馈联想计算 0)(10)(0)(1, 1,)()(1111miiijmiiijmiiijmijiijjtawtawtawmitawtb如果如果不变如果在t时刻，A层输入 ，经计算可得B层的输出 其中，单元j的输出为： TmaaaA,21 TpbbbB,21 也可以用阶跃函数也可以用阶跃函数 记忆记忆-权重学习权重学习 设有设有N N个样本个样本 ，采用基于，采用基于HebbHebb规则的外积规则的外积法得：法得： 正向联想存储器正向联想存储器： 矩阵 反向联想存储器反向联想存储器： 矩阵 NNBABABA,2211kNk

3、TkBAW 1 pm kNkTkTNkkTkTABBAWW 11 mp p,1jm,.,1ibawkjN1kkiij 其中p, 1jm,.,1ibawkjN1kkiij 其中 N1kkikjjip,.,1jm,1iabw其中p,1jm,.,1iabwkiN1kkjji 记忆记忆-权重学习例权重学习例样本：,111000,10101021AA1010110021BB, 11111111111121AA1111111121BB 200202202002200202202002111111111111111111111111111111111111111111111111221121BABABAWT

4、TkkTk 0 ,0 , 1 , 14,2,2,411 BAfAW输入 TWBfA122 , 2, 2 , 2, 20 , 1 , 0 , 1 , 0 , 11联想：联想：TWW BAM稳定性与Hopfield网络类似，BAM的样本存储在能量极小处Kosko定义了系统的能量函数： TTTTAWBABWAWBBAE 2121, TTTTTTAWBAWBAWBABW （标量转置为其本身） TAWBB,AE 类似Hopfield可以证明：沿着状态空间pm1 ,01 ,0 中的离散轨迹，0 E总有ijijWBAE,而对所有的A和B，E总是有界，即 TBWAABE ,( 令=0) BAM稳定性 如果将离

5、散BAM 的差分状态改成下列的微分方程式，就会得到连续BAM (continuous bidirectional associative memory)： 其中，Ii 以及 Ij 为正值常数。 jpiijijjirjjijiiIxwytdydIywxtdxd11)()(BAM稳定性根据 Kosko 的研究，BAM 的最大记忆容量为： ，更保守的估计应该不会超过BAM的状态改变，不管是用同步 (synchronization) 或异步 (asynchronization) 的方式，都会收敛至双向稳定状态。联想记忆的性能取决于吸引子的尺寸、存储容量和收敛时间。所存模式的正交性或统计可分离性影响网络

6、的记忆和回忆能力。 ),min(rp)r ,pmin(BAM稳定性 Kosko(1987)： 基本的双联存储器无条件稳定基本的双联存储器无条件稳定联接权矩阵联接权矩阵是互为转置矩阵。是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，当输入向量的维数与输出向量的维数相同时，WW为方阵，此时如果联接矩阵为方阵，此时如果联接矩阵WW是对称的，则基本是对称的，则基本的双联存储器退化成一个的双联存储器退化成一个HopfieldHopfield网网 序列模式记忆与联想 BAM 除了可被用于记忆静态 (static) 的向量对之外，亦可用来存储动态的状态变化 (dynamic state trans

7、itions)，譬如说，想要存储以下的一连串状态向量：12121sssssssNN我们可以将此问题视为异联想的记忆问题，亦即要 BAM记得以下之向量对： ),(),( ,),(),(113221ssssssssNNNNNNsssss121序列模式记忆与联想TNNkTkkssssW1111)()(xWyyWxNNNsssss121)()(xWyyWxTT12121sssssssNNWW 序列模式记忆与联想假如有以下三个状态要存储：T3T2T11, 1, 1 , 1s ,1 , 1 , 1 , 1s ,1, 1 , 1, 1s 1131311313111131312312TTTssssssW1311113131131311TW 1131311313111131ssssssWT31T23T12 正联想2TT1T1s1 , 1 , 1 , 1)6 , 6 , 2 , 6()Ws(y1, 1 , 1, 1 s 3TT2T2s 1, 1, 1 , 1 )4, 8, 4 , 4()Ws(y 1 , 1 , 1 , 1s 1TT3T3s 1, 1 , 1, 1 ) 2, 6 , 6, 2()Ws(y 1, 1, 1 , 1 s 3TT1TT1s 1, 1, 1 , 1 )2, 6, 6 , 2()sW(y