人工神经网络3课件

第5章

对传网

5.1网络结构

5.2网络的运行

5.3Kohonen层的训练

5.4Kohonen层联接权的初始化方法

5.5Grossberg层的训练

5.6补充说明

4/2/2023第5章

对传网RobertHecht-Nielson在1987年提出了对向传播神经网络(CounterpropagationNetworks，CPN)，简称对传网。CPN为异构网：Kohonen1981年提出的自组织映射(Self-organizationmap，SOM)算法—Kohonen层;Grossberg1969年提出的散射星(Outstar)算法——Grossberg层。4/2/2023第5章

对传网Kohonen层—无导师学习算法，解决网络隐含层的理想输出未知问题；Grossberg层—有导师学习算法，解决输出层按系统要求给出指定输出结果的问题。训练时间短：BP的1%；应用面：比较窄。让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路。4/2/20235.1网络结构以Kohonen层的神经元为“中心”讨论问题K1W1=(w11，w21，…，wn1)TV1=(v11，v12，…，v1m)K2 W2=(w12，w22，…，wn2)TV2=(v21，v22，…，v2m) ……KhWh=(w1h，w2h，…，wnh)TVh=(vh1，vh2，…，vhm)4/2/20235.2网络的运行除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因素。CPN是采用竞争型网络学习规则的异构网。竞争学习：同一层次的神经元相互竞争，胜利的神经元修改与其连接的权值－模式分类。4/2/20235.2网络的运行

5.2.1Kohonen层

“强者占先、弱者退出”

（thewinnertakesall）knetj=XWj=(x1，x2，…，xn)(w1j，w2j，…，wnj)T=w1jx1+w2jx2+…+wnjxn 向量形式KNET=(knet1，knet2，…，kneth)

4/2/2023上式等价于几何意义：学习目的：寻找与输入向量X最大相似度（最接近）的Wo4/2/20235.2.2Grossberg层

Grossberg层的每个神经元Gj

（1≦j≦m）gnetj=K(v1j，v2j，…，vhj)T =(k1，k2，…，kh)(v1j，v2j，…，vhj)T =k1v1j+k2v2j+…+khvhj

唯一输出1的神经元为Ko

gnetj=k1v1j+k2v2j+…+khvhj =voj

4/2/20235.2.2Grossberg层

GNET=(gnet1

，gnet2

，…，gnetm) =(vo1，vo2，…，vom)=Vo散射星：Vo的各个分量是从Ko到Grossberg层各神经元的联接权

4/2/20235.3Kohonen层的训练

5.3.1输入向量的预处理

单位化处理X=(x1，x2，…，xn)X′=(x1′，x2′，…，xn′) =(x1/‖X‖，x2/‖X‖，…，xn/‖X‖)

即：xj′＝xj/‖X‖,4/2/2023算法5-1Kohonen层训练算法

对所有的输入向量，进行单位化处理；对每个样本（X，Y）执行下列过程

2.1forj=1tohdo根据相应式子计算knetj；

2.2求出最大的kneto: 2.2.1max=knet1；o=1 2.2.2forj=1tohdo

ifknetj>maxthen{max=knetj；o=j}；

4/2/2023算法5-1Kohonen层训练算法2.3计算K

2.3.1forj=1tohdokj=0；

2.3.2ko=1；2.4使Wo更接近X：Wo(new)=Wo(old)+α(X-Wo(old));2.5对Wo(new)进行单位化处理

4/2/2023o单位圆Wo(new)=Wo(old)+α(X-Wo(old))Wo(old)(1-α)(X-Wo(old))Wo(new)(X-Wo(old))X(X-Wo(old))-Wo(old)4/2/2023学习率α

训练初期，α一般取0.7左右，它将随着训练进展不断变小，一个典型的调整公式为a(t)=a(0)*(1-t/Num)其中，a(0)为初始学习速率，t为学习次数，Num是终止的迭代次数。显然，a(t)是关于学习次数t的单调下降函数。如果α单一，会过大而导致有的X被放入错误的类中；使训练陷入抖动。4/2/20235.4Kohonen层联接权初始化事先给问题一个粗略分类，并从这个分类中提取一个较有代表性的向量构成样本集。根据X的分布决定W的初值，防止类过小和过大。启发我们采用训练和直接设定权向量的方式来完成该层的训练。4/2/2023o单位圆Xi的非均匀分布要求Wi非均匀分布X2X1X34/2/2023凸状组合法

取wij=将输入向量X=(x1，x2，…，xn)变换为X′=(x1′，x2′，…，xn′)其中

4/2/2023凸状组合法随着训练的进行，λ趋近于1，从而使X′趋近于X，进而Wj趋近于一组X的平均值。在训练的初期阶段，λ的值非常小，使得W需要追踪一个变化的目标4/2/2023X在加噪音后变成均匀分布的o单位圆4/2/2023初期全调法

Kohonen层训练的初期，对应一个输入向量，允许多个神经元同时处于激发状态。逐渐减少被激发的神经元的最大个数或者逐渐提高阈值，最后达到对一个输入向量，只有一个神经元激发

要解决的问题问题调整的范围的度量。4/2/20235.5Grossberg层的训练

训练标量形式 voj=voj+α(yj-voj)向量形式 Vo(new)=Vo(old)+α(Y-Vo(old))比较

Wo(new)=Wo(old)+α(X-Wo(old))

Kohonen层4/2/2023算法5-2CPN训练算法一

0对W、V进行初始化；1对所有的输入向量，进行单位化处理；2对每个样本（X，Y）执行下列过程 2.1forj=1tohdo根据knetj=XWj计算knetj； 2.2求出最大的kneto： 2.2.1max=knet1；o=1; 2.2.2forj=1tohdo 2.2.2.1ifknetj>maxthen{max=knetj；o=j}；4/2/2023算法5-2CPN训练算法一2.3计算K： 2.3.1forj=1tohdokj=0； 2.3.2ko=1；2.4使Wo更接近X： Wo(new)=Wo(old)+α(X-Wo(old))；2.5对Wo(new)进行单位化处理；2.6使Vo更接近Y： Vo(new)=Vo(old)+α(Y-Vo(old))。

4/2/2023算法5-3CPN训练算法二对应Kohonen的每一个Ki，它将代表一组输入向量，所以希望这个Ki对应的Vi能代表这组输入向量对应的输出向量的平均值。0

对W、V进行初始化；0′清空Kohonen层各神经元对应的纪录表： forj=1tohdoSKj=Φ；1对所有的输入向量，进行单位化处理；4/2/2023算法5-3CPN训练算法二

2对每个样本（Xs，Ys）执行下列过程 2.1forj=1tohdo 2.1.1根据相应式子计算knetj； 2.2求出最大的kneto： 2.2.1max=knet1；o=1; 2.2.2forj=1tohdo 2.2.2.1ifknetj>maxthen {max=knetj；o=j}；

4/2/2023算法5-3CPN训练算法二

2.3计算K： 2.3.1forj=1tohdokj=0； 2.3.2ko=1； 2.4使Wo更接近Xs： Wo(new)=Wo(old)+α(Xs-Wo(old))； 2.5对Wo(new)进行单位化处理； 2.6将Ys放入SKo： SKo=SKo∪{Ys}；3forj=1tohdo Vj=SKj中各向量的平均值

4/2/2023算法的进一步优化集合变量SK1，SK2

，…，SKh改为其它存储量更小，而且更容易实现的变量在Xs激发Ko时，Ys被放入到SKo中会出现一个向量被放入多个SK中的问题

4/2/20235.6补充说明