（计算机应用技术专业论文）hopfield神经网络扩展的分析与研究.pdf

独俄性声明 本人声明掰呈交麴学位论文是本久在导鄢指导下进行盼研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注釉致谢的地 方外，论文中不包含其i 锻人已经发液袋撰写遥的研究戚浆，氇不包含 零人为获得澹镪大学或熬它教育机构的学位或涯书而使用过的材料。 与我一霜工作鹣同志对本磺究所秧盼饪德贡献筠己在论文孛律了骥 确的说明并液示谢意。 签名：翻! 隧日期：童。年多月，日 关予论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学德论文的规 宠：江南大学有权保留并向国家有关部门或桃搦送交论文的复印件和 磁盘，兔许谂文被查阅和借阅，可潋将学位论文的全部或酃分肉容编 入有关数据脬进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸矮论文的内容攘一致。 保密的学位论文在解密后也遵守藏规定。 签名：鲴! 隧导师签名： 鹾赣：赢善热 摘要 摘要 自从1 9 8 2 年，j j h o p f i e l d 发表了他早期的论文i ”，并提出了离散型的h o p 行e l d 神 经网络刘以来，由于其简单和快速收敛的特性，而在各个领域得到了大量地运用f 3 】- 并且快速地发展。最近，e m c a s e r m e i r o 等提出了一个多值自联想反馈神经网络 ( m r e m ) j ，它是对h o 明e l d 神经网络的扩展，使得其不仅能像h o p n e 】d 网络那样存 储二进制样本和两极样本( b i p o l a rs a m p l e ) 而且能够存储多值的样本( 比如r e d ，g r e e n ， b l u e ) 。可是，它的容量与传统的h o p 行e l d 神经网络相比，相差不多。 为了进一步提高多值自联想反馈神经网络的容量，本文提出了核化的多值自联想 反馈神经网络( k a r n ) ，该网络利用核函数把维数较低的样本映射到高维空间，再通 过能量函数来计算经过核化的多值网络的容量。理论与实验结果表明，核化后的 k a r n 与m r e m 相比，能够有效地提高网络的容量。 本文还论述了目前普遍使用的光谱自联想反馈神经网络( s a r n ) ”，并且将神经元 状态取值的多样化和光谱自联想反馈神经网络的理论相结合，提出了多值光谱自联想 反馈神经网络( m s a r n ) ，相对于光谱自联想反馈神经网络，多值光谱自联想反馈神经网 络的主要优势在于有效扩大了网络的神经元状态的取值范围，使其刁i 仅仅能存储两级 样本，而且能够存储其他一些值( 比如：w a v e s ，c o l o r s ，等等) ，这样能够使得神经元之 间的联系更、为紧密。 关键词：核函数自联想h o 曲e 】d 神经网络多值反馈神经网络光谱自联想反馈神经 网络 江南大学硕：t 学位论文 a b s t r a c t s i n c ej j h o p 厅e l d ，ss e m i n a lp a p e r si n 19 8 2 哆d i s c r e t eh o 曲e l dn e u r a in e t w or k 【忡l h a v eb e e np u tf o r w a r d s ，w h i c hh a v eb e e ns t u d i e de x t e n s i v e l y 【1 】【1 叭，o w i n gt oj t ss i m p i i c i t yi n t h en e t w o r ka r c h i t e c t u r ea n di t sf a s tc o n v e 唱e n c ep r o p e n y r e c e n t l y ，e m c a s e r m e i r o s h o w san e wt y p eh o p 厅e l dm u l t i v a l u e dr e c u r r e n tn e u r a lm o d e lm r e m 1 ，w h i c hi s a e x t e n s i o no fh o p 疗e i dr e c u 九e n tn e u r a in e t w o r k ，m r e mc a ns c o r en o to n i yc h eb i n a 叫a n d b i p o l a rp a t t e m ，b l i ta l s om l i l t j v a l l l e dp a t t e m ( s u c ha s ： r e d g r e e n b l u e ) b u tt h ec a p a c i t yo f m r e mi sa sm u c ha st h a to fh o d n e l dn e u r a ln e t w o r k i nt h j sp a p e r ，t h ek e m e l i z e da s s o c i a t j v ea u t o n o m o u sr e c u r r e n tn e u r a ln e t w o r k ，k a r ni 8 p r e s e n t e d ，f o re x t e n d i n gt h ec a p a c i t yo fm r e m t h ek e m e lf u n c t i o ni su s e dt om a p t h el o w d i m e n s i o np a t t e mt oh i g hd i m e n s i o np a t t e ma n dp o w e rf u n c t i o ni su s e dt oc o m p u t et h e c a p a c i t yo fm r e m c o m p a r e dw j t hm r e m ，k a r nh a sam a i na d v a n t a g e ： b 噜g e r c a p a c i t v 0 u re x p e “m e n t a lr e s u l t sm a n i f e s tt h i sa d v a n t a g e t h ep a p e ra l s op r o p o s e sm u l t i v a l u e ds p e c t r a la s s o c i a t i v ea u t o n o m o u sr e c u r r e n tn e t w o r k m s a r n ，w h i c hc o m b j n et h em u l t i v a l u e dp a t t e ma n ds p e c t r a la s s o c l a t i v ea u t o n o m o u s r e c u r r e n tn e u r a l n e t w o r k ( s a r n ) o 1 c o m p a r e dw i t hs a r n ，m s a r nh a s t w om a j n a d v a n t a e s ：w j d e rv a l u ee x t e n s i o na n dl o s e ri n t e r a c t j o n k e y w o r d s ： k e r n e lf u n c t i o n ， a u t o a s s o c i a t i v e ，h o p f i e l dn e t w o r k ， m u t i v a l u e dr e c u r r e n t n e t w o r k ，s p e c t r a la u t o a s s o c i a t i v e 第一章绪论 1 1 h 叩f i e l d 神经网络简介 第一章绪论 1 9 8 2 年，j h o p f i e l d 提出了可用作联想存储器的互连网络，这个网络称为h o 叫e l d 网络模型，也称h o p f i e l d 模型。h o p 行e l d 神经网络模型是一种循环神经网络，从输出 到输入有反馈连接。h o 叩e l d 网络有离散型和连续型两种。 反馈神经网络由于其输出端有反馈到其输入端；所以，h o p n e l d 网络在输入的激 励下，会产生不断的状态变化。当有输入之后，可以求取出h o p f i e l d 的输出，这个输 出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果h o p f i e l d 网络是 一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，旦 到达了稳定平衡状态；那么h o p 行e l d 网络就会输出一个稳定的恒值。对于一个h o p 疗e l d 网络来说，关键是在于确定它在稳定条1 牛二f 的权系数。对于h o p n e l d 网络来说，还存 在如何判别它是稳定网络，还是不稳定网络的问题；而判别依据也是需要确定的。 1 1 1 离散型h o p f i e i d 神经网络 h o p n e l d 最早提出的网络是二值神经网络，神经元的输出只取1 和o 这两个值， 所以，也称离散h o p f i e l d 神经网络。在离散h o 面e i d 网络中，所采用的神经元是二值 神经元：故而，所输出的离散值1 和o 分别表示神经元处于激活和抑制状态。 首先考虑由三个神经元组成的离散h o p 行e l d 神经网络，其结构如图1 1 中所示。 在图中，第o 层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能； 而第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函 数厂处理后产生输出信息。厂是一个简单的阀值函效，如果神经元的输出信息大于阀 值日，那么，神经元的输出就取值为l ；小于阀值p ，则神经元的输出就取值为0 。 图ll 三神经元组成的h o o “e l d 网络 第0 层 第l 层 斯 江南大学硕士学位论文 对于二值神经元，它的汁算式子如下： 一= ，( u ) ，其中u ，( ，) = r + x ，一只 = l r lr = 0 似) 2 ot o 其中：为外部输入。并且有： = 1当u ，0 时 f = 0当u 0 时 对于一个离散的h o p n e j d 网络，其网络状态是输出神经元信息的集合。对于一个 输出层是”个神经元的网络，则其，时刻的状态为一个”维向量： y ( ，) = 【y i ( ，) ，t ( ，) ，匕( ，) 。 故而，网络状态有2 ”个状态：因为y ，( ，) ( j = l ，”) 可以取值为1 或0 ；故”维向量 y ( ，) 有2 “种状态，即是网络状态。 对于三个神经元的离散h o p f i e l d 网络，它的输出层就是三位二进制数：每一个三 位二进制数就是种网络状态，从而共有8 个网络状态。这些网络状态，如图1 2 中 所示。在图中，立方体的每一个顶角表示一种网络状态。同理，对于”个神经元的输 出层，它有2 ”个网络状态，也和一个”维超立方体的顶角相对应。 0 0 1 0 图l2 二神经元输出层的网络状态 1 1 1 如果h o p f i e l d 网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则 网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终 稳定于一个特定的顶角。 对于一个由 个神经元组成的离散h o p 矗e l d 网络，则有 权系数矩阵： = 扛i ，2 ， = 1 ，2 ，7 同时，有”维阀值向量臼： 臼= 臼，b ，p ， 一船而言，彬和p 可以确定一个唯一的离敞h o p f l c l d 网络。对于图1 2 所示的三 第一章绪论 神经元组成的h o p 行e l d 网络，也可以改用图l _ 3 所示的图形表示，这两个图形的意义 是一样的。考虑离散h o p f i e l d 网络的一船节点状态；用 ，( ，) 表示第个神经元，即节 点j 在时刻，的状态，则节点的下一个时刻，+ 1 的状态可以求出如下： 矾+ 1 ) 训叫啪：以础叫，) _ 窆舶) 屿一只 巧( ) = 厂( u 弘) ) 2 1 0 ( ， 0 当神经网络从，_ 0 开始，有初始状态y ( o ) ：经过有限时 刻，有： 聊+ 彳砂= 刑，则称网络是稳定的。 在串行方式下的稳定性称之为串行稳定性。同理，在并行方式的稳定性称之为并 行稳定性。在神经网络稳定时，其状态称稳定状态。 从离散的h o p f i e l d 网络可以看出：它是一种多输入，含有阀值的二值非线性动力 系统。在动力系统中，平衡稳定状态可以理解为系统的某种7 髟式的能量函数在系统运 动过程中，其能量值不断减小，最后处于最小值。 1 - 1 3 离散型h 叩f i e i d 网络的能量函数 对h o p n e l d 网络引入一个l y a p u n o v 函数，即所谓能量函数： e = ( 一) f ，y ，一， ，+ 曰， 厶 = l j = i，= 1 可以推出： = ( 一) 口y ，) ，】一， ，+ 臼，y ， ，= 1 ，= l j，= 1 对于衬i 经元i ，其能量函数可表示为： ej = t 一 、w u y j y i xj y i 删| | j l ，= l 也就是：= ， ，= 1 神经元j 的能量变化量表示为缸： 第一章绪沦 屿= 孑巧州一争喜c 毒+ i 苦卜_ 苦+ 只岳m 如果存在条件彬，= 0f - 1 ，2 ，” = ，1 ，2 ，月= 1 ，2 ，” 则有： 丝，= 一【y ；+ ，一b 匕 其中：e ，为神经元，的能量；舡，为神经元的能量变化； 为神经元f 到神经元的权系数；为神经元的输出； x ，为神经元的外部输入；臼，为神经元- ，的阀值： y j 为神经元j 的输出变化。 如果，令 u ，= + 爿， 则e ：可表示为： 考虑如下两种情况： 1 如果u ，q ，即神经元j 的输入结果的值大于阀值，则u ，一够o ，则从二。 值神经元的计算式子知道：一的值保持为l ，或者从。变到1 。这说明一的变化一只 能是o 或正值。这时很明显有丘： 业，o ，这说明h o 两e i d 网络神经元的能量减少或不变。 2 如果u ，b s 。i p = c p ，( 二) ( 2 1 2 ) z月 这里的c p ，( ) 聚拢到最接近的下一个整数。接下来，一个低频跳跃被放黄在m ， 来阻l l 激励波中l s b 的混沌现象，这是因为吸引子波中的u s b 作用的缘故。 二 ，7 一 j 魄二l = ( + 1 ) ( 2 1 3 ) 第二章h o d i j e l d 神经网络的扩展 这些都是为了阻止在记忆形成中的混沌现象。如果吸引子的u s b 被过滤或者取 消，那么这些控制是不需要的。分解向量可以这样计算得来： = 脚，一址( 2 1 4 ) 到此，就可以构造出光谱自联想网络的模型，对于含有噪音的样本向量进行解码， 还原样本。 2 1 4 光谱自联想反馈神经网络存在的不足 r o n a l dg s p e n c e r 提出的光谱自联想神经网络，是对传统的h o p f i e l d 神经网络的有 效扩充，它利用正弦波和余弦波的特性，和光谱环绕结构，来构造网络，提高了网络 的收敛速度，和传输效率，并且正是由于它的光谱特性，使得其在通信领域具有很乐 观的应用前景，但是由于它仍然只可以存储简单的( 一l ，1 ) 样本，不能有效地存储多值样 本，而使得其在应用领域还有一定的不足。 2 2 多值自联想反馈神经网络 近来，e m c a s e r m e i r o 等提出的多值自联想反馈神经网( m r e m ) f 4 8 】，【4 9 】，它是对 h o p f i e l d 神经网络的扩展，使得其不仅能像h o p f i e l d 网络那样存储二进制样本和两极 样本( b i p o l a rs a m p l e ) 而且能够存储多值的样本( 比如r e d ，g r e e n ，b i u e ) 。 在介绍这个网络之前，我们首先来介绍相似函数，以及神经元状态多值化的概念。 函数厂( _ ，矿，) 是一个相似函数，它用来说明向量矿中第，个和第，个神经元的相似程 度。 下面来讨论一下相似函数的性质： 1 ) 协r ，厂( x ，j ) = c ，c 是一个实数 2 ) 厂( j ，y ) 关于y = x 对称，b 陟( x ，y ) = ( y ，x ) 3 ) 、守y ，( x ，y ) c 最简单的相似函数是： 厂c x ，y ，= ：i ；或者c x ，y ，= j ，：i ； c z - s ， 引入了相似函数的概念以后，那么就不仅可以在网络中存储两极样本，也可以在 网络中存储其他神经元状态并不是 - l ，1 的样本向量，比如，表示颜色的( r ，g ，口) 等 等，而且容易可以看出，相似函数其实就是对简单乘积形式的扩展，( 简单的乘积只能 是对数字的乘积，而相似函数可以对其他非数字值做乘积，比如，( 月，g ，b ) 这样的字 符) 当网络中存储的样本神经元状态只是 一l ，1 ) 时，那么在计算其权矩阵的时候，相似 江南大学硕士学位论文 函数作用和普通乘积的效果是一样的。 例如：我们定义多值反馈神经网络中，m 是一个神经元的取值集合， k = 尼g ，8 ，( 尺= ，p d ，g = g m m ，b = 6 ，“8 ) ，相似函数= k k 斗 一i ，1 ) ，这就意味着 f t r ，对= ，旧，q = ，【b ，= 1 ，“r ，回= ，晒，黔= ，怛，= 八b ，黔= ，t b ，回= ，哆，踯= 一、 像传统的h o p “e l d 神经网络一样，我们可以通过相似函数将多值样本向量存入网络， 并且计算出其权矩阵。 假歧= ( g ，g ，尺，g ，b ) ，那么我们可以计算得到其权矩阵为： 1 哂，哂f 哂，q 嫡，鼬 婚，哂 嫣，玲 哂，哂 哂，q 嫡， 嫡，q 哂，b 、 ( 尺，( r ，g ) 八月，尺) ( r ，g ) 八足固 咚，qf ，f 姆，f ，回f 婚，踯 八b ，qf 幛，回f 蝎，黔f 哆，q 嵋，玢 2 2 1 多值自联想反馈神经网络结构 令是一个由p 个结点组成的反馈神经神经网络，其中每个神经元的状态是 _ ，i ，= 儿2 ，彤，并且它的取值都属于一个集合m m 中的元素可以是任意 值( 比如：m = 6 肠c t w f ，耐 ) 。网络在七时刻的状态可以这样给出： 俐= r _ 何俐，例，这个网络是完全连接的，并且甜i 是从，节点到f 的 节点连接的权值。网络的能量函数如下： ppp e = 一口( 矿，) + 口，( 矿，) ( 2 1 6 ) ，；lj = 1f = i 这里f ，并且，只是函数，：m m 斗月，b ：m 寸尺。( r 为一个实数，函 数厂( _ ，y ，) 是一个相似函数，它用来说明第，个和第个神经元的相似程度，b 是一 个阀值函数1 嘞= = - 厂( 。，4 ) ( 2 1 7 ) i k 权矩阵中的值是由k 个样本的相似函数厂( _ ，j ，) 替加而得到的。 2 2 2 多值自联想反馈神经网络的性质 既然m 是一个离散的集合，那么相似函数可以被定义为一个p j p 矩阵f ，c 只 这个矩阵用来衡量集合m 中的元素m ”，的相似程度，= - 厂( ，7 j ，) 。 第二章h o d n e l d 神经网络的扩展 和h o p n e l d 神经网络一样，对于所有的，f p ，阀值舅可以取0 函数，所以可以 将其省略，因此，网络片最终可以有三个量来表示h = ( m ，形，) ，网络的能量函数则 可以变为： 1p户 = 一f f ， ( 2 1 8 ) 二，= l = i 这里：气，i ，2c ，气_ c ， 多值自联想反馈神经网络的动态调整是在离散时刻里异步进行的，也就是在时刻， 内，只有一个神经元的状态被改变，和0 c h o m 模型相类似，f 4 3 l ，【4 4 】。在，时刻，计算 所有神经元的能量函数的值，取其值为最小的作为需要更改状态的神经元。假设在，时 刻，第口个神经元是能量最小的神经元，那么对于所以其他神经元( j 口) ，+ l 时刻 的状态都和，时刻是一样的( _ 一+ 1 j = _ ，v f a ) 于是为了决定第a 个神经元在第 ，+ l 时刻的状态，定义了第口个神经元的潜在增加函数： 1 = p1 u 叫( ，) = 吐o f 川”+ q 。气，门一寺哝。易 ( 2 1 9 ) = i 这样潜在增加函数是一个向量u 。= ( u 。u 。，一u 。) ，它有集合：m 中有 ，v 个元素。 u 。( ，) 是由能量函数演化而来，于是使用下面的神经元状态更新规则： 吃p + 1 ) 2 fc 己，“( ，) u 。( ，) ，v f m( 2 2 0 ) 因为要取得能量函数的最小值，也就是要取得潜在增加函数的最大值，我们规定， 如果第口个神经元与m 集合中，的潜在增加函数的值为最大，那么第口个神经元的 ，+ l 时刻的状态为就是，并且如果在吖集合中有几个元素与的第d 个神经元的潜在 函数都相同大，那么取这几个元素中最前的一个元素的值给第口个神经元，+ l 时刻的 状态。 再考虑到相似函数中，f 巾】与f ，的值是一样的，局= 1 ， 。是共有的，将 其省略，所以式子( 2 1 9 ) 最终可以写成： 1 ，。p u “( ，) = ( 。，+ 珊，。) f 叭“， ( 2 2 1 ) = l m r e m 已经被证明了，如果用上述的动态更新方式，网络会收敛到一个极小值状 态1 4 ”，也就是会到达一个稳定点，但是需要说明的是，其他动态更新方式也可以是网 络到达一个稳定状态【4 5 【4 6 j | 4 7 】。 江南大学硕士学位论文 2 2 3 多值自联想反馈神经网络稳定点的分析 我们知道h o p f i e l d 神经网络中，样本向量的相反向量也是网络的稳定点，但这个 稳定点却是不需要的。所以为了不让网络产生其他不需要的稳定点，将初始样本扩充 | v 个m 集合中的元素。 初始样本x = “，如，屯p ，m = ( m i ，m 2 ，朋) ，= t l ，屯，p ，埘1 埘2 ， ，) 例如：两极样本向量x = 卜1 ，1 ，l ，一1 ) ，m = ( 一l ，1 )x = ( 一1 ，l ，l ，一1 ，一l ，1 ) ， 一x = ( 1 ，一l ，一l ，l ，一1 ，1 ) 。 计算的权矩阵 ( 一1 ) 卜1 ) ( 1 ) ( 一1 ) ( 1 ) ( 一1 ) ( 一1 ) ( _ 1 ) ( 一1 ) ( 一1 ) ( 1 ) ( 一1 ) ( 一1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 一1 ) ( 1 ) ( 一i ) ( 1 ) ( 1 ) ( 1 ) 计算一x 的权矩阵 彤= ( 1 ) ( 1 )( 1 ) ( 1 ) ( 一1 ) ( 1 )( 1 ) ( 一1 ) ( 一1 ) ( 1 )( 1 ) ( 一1 ) ( 1 ) ( 1 )( 1 ) ( 一1 ) ( 一1 ) ( 1 )( 一1 ) ( 一1 ) ( 1 ) ( 1 )( 】) ( 一1 ) ( 一1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 一1 ) ( 1 ) ( 一1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 一1 ) ( 一1 ) ( - 1 ) ( 一1 ) ( - 1 ) ( 1 ) ( 一1 ) ( 一1 ) ( - 1 ) ( 1 ) ( 一1 ) ( 一1 ) ( _ 1 ) ( 1 ) ( - 1 ) ( 1 ) ( 一1 ) ( 一i ) 卜1 ) ( 一1 ) 卜1 ) ( 1 ) ( 一1 ) ( 一1 ) ( 一1 ) ( 1 ) ( - 1 ) ( 1 ) ( 一1 ) ( _ 1 ) ( 一1 ) ( _ 1 ) ( 一1 ) ( 1 ) 卜1 ) ( 一1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 一1 ) ( 1 ) ( 一1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 ) ( 1 )( 1 ) ( 一1 )( 1 ) ( 1 ) ( 一1 ) ( 1 ) ( 一1 ) ( _ 1 ) ( 一i ) ( 1 ) ( 一1 ) ( 1 ) ( 一i ) ( _ 1 ) ( 一1 ) ( 1 ) ( 1 ) ( 1 )( 1 ) 卜1 )( 1 ) ( 1 ) ( 一1 ) ( 1 )( 一i ) ( 一1 )( 一1 ) ( 1 ) ( 1 ) ( 1 )( 1 ) ( 卫1 )( 1 ) ( 1 ) 通过这样的变化，相反向量和原来的样本向量在计算其权矩阵的时，得到的矩阵 是不一致的，这样有效避免了网络最后稳定到错误的样本上。 我们可以很直观的看出，通过相似函数，我们将神经元状态的取值范围有效地扩 大，使得网络还可以存储许多具有特定意义的值。但是，多值自联想反馈神经网的结 构还是和离散型h o p f i e l d 神经网络是一致的。 2 2 4 多值自联想反馈神经网络容量分析 和h o p n e l d 网络的棚似，多值自联想反馈神经网络的存储容量也是用计算网络响 第二章h o d n e i d 神经网络的扩展 应中可能产生错误的概率而得到的。所以，我们考虑有k 个样本载入到网络中，并且 假设状态向量矿和一个载入样本一致，除了第丑个位置的神经元以外，状态向量矿“和 状态向量矿的神经元状态都一致。 从式子2 17 以及式子2 18 中，可以得到状态向量矿的能量函数为： p + np nk 一2 = 厂( 爿。目) ，( ) ( 2 2 2 ) r = i，= lt = i 为了简单，我们考虑状态向量y 和矿。之间，只有第一个神经元状态不一致。我 们用d 来表示： d = 2 = 2 ( e j e 。)( 2 2 3 ) rp 考虑到，如果d o ，那么说明说明矿1 加载入网络后网络不会收敛到错误样本。也 就是不产生错误，当矿。这个含有噪声的向量被还原的时候，能正确还原出它的初始 状态。 通过式子( 2 2 2 ) ，( 2 2 3 ) ，我们得到： d = 厂( 。，h ) ，( y 。)，( 盯，口) ，( 2 ，2 ) ( 2 2 4 ) 为了简单起见，定义= ( 当p l 时) ，也就是说_ k “。这样可以把式子 ( 2 2 4 ) 再次简化为： p 十hk d = 2 厂( x h ) ( 厂( y ，矿，) 一( 矿，2 矿2 ) ) ( 2 2 5 ) ， 2 = 1 我们把和样本向量。，一致的矿来替换x 。，则： p + d = 2 ( _ + ，_ ) ( ，( _ ，) 一l 厂( y 。，。) ) ，= ! ，+ k + 2 ( 。，x 。) ( 厂( + ，) 一厂( _ 2 ，_ “) ) ( 2 2 6 ) 忙2 1 0 接下来，对d 进行计算和讨论： p + 我们可以把d 看成两个部分，分别为d = 2 ，( k + ，杉+ ) ( - 厂( _ + ，_ + ) f = 2 p + nk b = 2 ( 以，。) ( 八k ，k + ) ，= 2 t 0 1 关于d 的计算 p + 首先，计算厂( u ，_ + ) ( 厂( _ ，_ + ) = 2 江南大学硕：l 学位论文 p + n 因为对于所有的f ，( _ ，_ + ) ( ( _ + ，_ ) 5 ( _ ，_ 。) ( 厂( _ + ，l ) = p + 一1 ( 2 2 7 ) 再计算厂( _ + ，_ + ) ( 厂( _ 。，_ ) ，又分两个部分来计算，当2 i 尸和 ，2 2 尸+ 1 蔓，尸+ 时。 p + 先计算厂( _ + ，_ ) ( 厂( _ 2 ，_ 2 ) ，既然后个神经元为b l ，w ：，”，。) ，那么存在 j = ，+ j ，。，p ，g l ，2 ，) ，并且k + = 7 ，_ 2 = m 。，所以可以得到，当涎 p ，g ) 时， ( _ + ，_ ) ( - 厂( k i ，_ ) 一l ，否则厂( _ + ，l + ) ( ( 巧2 ，杉2 ) = 一1 又因为当， 1 时，巧= 哆1 ，所以： l 厂( _ ，_ + ) ( ( _ ，_ ) = l ( 一2 ) + 2 ( 一1 ) = j v 一4 ( 2 2 8 ) 再计算，当2 f 尸时，( k ，l + ) ( ( _ 。，- 2 ) 的值，我们考虑，样本神经元为 平均分配的随机样本，那么( _ ，_ + ) ( ( _ ，_ 。) 的值为随机变量的一个分布。 根据表2 1 ，可以得到的概率分布。 刚- - 1 ) = 和川) = 等，数学期望瑙舻等，方朗舻半 第一项第一项概率值 m + = 所+ _ = l 01 k + = “+ k k l ， 一l h + j 彳4k = 矿l 一1 k + m + k l ( 一2 ) l 表2l 随机变量的概率分和 pp 厂( _ + ，l + ) ( 厂( _ 2 ，_ 2 ) = 矽， = !忙2 pp 所以，d l = 2 ( ( + p 一1 ) 一( 一4 ) 一谚) = 2 ( p + 3 一谚) ，= !j i 二 2 关于d ，的计算 f 2 2 9 ) ( 2 3 0 ) 第二章h o d n e l d 神经网络的扩展 同样，分两步来计算，当2 谜j d 和j d + l f 蔓p + 时。 令爿= 厂( 。以。) ( ( _ + ，k + ) 一( u2 ，_ 2 ) ) ，( 2 i j p ) ，那么可以令彳为随机变量 的一个分布。根据表2 2 ，可以得到爿的概率分布。 第项第一项第三项概率值 x i i = x _ = _ k2 = _ 。 oo x l = x h_ = _ 。_ 2 l ，22 x 女i = _ + _ +k2 = _ 2 l 22 l = x “ u _ + k 。_ 。 ( 一2 ) | v 2 o x 。x 目巧= _ +k2 = l 。 o0 x i l x _ = _ +_ 2 _ 2 ( 一1 ) 2 2 l hk + _ k 1 = 咋2 ( 一1 ) 2 2 女1 x h _ _ + 巧2 ( j 一1 ) ( 一2 ) 2 o p 忙= 一2 ) = p ( 占= 2 ) = 专，p ( 妒= o ) = 型方三，数学期望= ( ) = 。， 方觏沪号 所以，( 川，+ 。) ( ( _ + ，_ + ) 一厂( k 。，_ ) ) =占， ( 2 3 1 ) p + n kf ，t k 一 令b = 厂( 。，。) ( ( k + ，_ ) 一厂( 嵋1 ，_ 。) ) ，( j d + 1 玉，j p + ) 那么可以令b 为s 的一个随机量。根据表2 3 ，可以得到口的概率分布。 第一项第一项概率值 朋p = r肝? q = 卅r oo 卅p = ，q 埘， l 2 p 卅，卅q = m ， l 一2 ，p 月7 ，q ， ( 一2 ) 0 表22b 的概率分布 加一2 ) = 加锄= 专似= 旷等擞学期勤趔沪。 江南大学硕：l 学位论文 方差矿( ) 2 号。 可以看出，b 和爿服从同一个概率分布。所以： p + rp i 一】 ，( x 。，。) ( ( _ + ，_ + ) 一- 厂( _ 2 ，_ ) ) =s ， ( 2 3 2 ) ，= p + 1 o，= ( ，一lh k lp p 】 综合爿和b ，我们最后可以得到： 所以，d ， p _ 一 占， ，：l 综合式子( 2 3 0 ) ( 2 3 3 ) ，我们最后得到： d = 2 ( p + 3 一j ( 2 3 3 ) ( 2 3 4 ) 根据中心极限定理，当尸和k ( 样本个数) 很大时， s ，变成一个高斯分布，期望 为。，方差为垦丛等生，砉，也是一个高斯分布，期望为垡半，方差为 8 ( p 1 ) ( 一2 ) 2 。 网络中错误的概率为： 只= p ，0 6 ( d p “= l + = _ 似定x 。= j ，_ = “r _ = “。，( - ，“。) 第三章核化的自联想反馈神经网络 p f k 一1 l 根据表3 3 我们可以得到b = y ， ，= p i ) ( k 1 ) + i p + nk 结合爿，b 马上得到了( 。爿。) ( ( _ ，_ + ) 一厂( _ 2 ，_ 2 ) f - ! 女女0 p 一t 1 所以k ( 蚕，( i 一亍) ) = ( 占，+ c ) ” ，= l 3 2 3 3 对于使用多项式的核函数后容量的讨论 ( 3 1 0 ) 通过式子( 3 8 ) ，( 3 9 ) ，( 31 0 ) ，我们最后得到式子( 3 7 ) 的值： p“k 1 1 d = 2 ( ( + 尸一1 + c ) ”一( 一4 + c + 妒，) ”+ ( 占，+ c ) ) ( 3 1 1 ) ，= !，= l 根据中心极限定理，当j d 和k ( 样本个数) 很大时，s ，变成一个高斯分布，期望 ，一 p 为o ，方差为8 尸( k 一1 ) j v ，谚也是一个高斯分布，期望为( j d 1 ) ( 一4 ) ，j 方差 ，一 为8 ( 尸一1 ) ( 一2 ) 2 。 一 网络中错误的概率为： pp ( 一1 1 = p 阳6 ( d o ) = p ，d 6 ( ( + 尸一l + c ) 一( 一4 + c + 妒，) + ( s ，+ c ) m 9 ) ，= 2，= l 一 到此我们可以用代入m 值，来计算错误率。这里为了讨论方便，不妨设m = l 莱分 析： pp ( 一pp ( 1 ) p 加6 ( + 尸1 + c 一限4 + c + 谚) + 占，+ c o ) = p 加6 俨+ 3 + c 谚一占，) 卢2 ，= i ，_ 2，= l = ，p r d 6 = r 尸+ 3 + c 妒) 妒为，和s ，叠加后的一个分布，因为两者都是高斯分布，所以伊斗| v ( ， “：! ! 二丛型二尘 。 j v z ：! ! ! 二坐， 盯 俨! 二堕擎二生堕丝二1 2 、2 尸+ 3 + 。一竺二! 丛盟二型 。 | v ，怛生攀+ 堕竺生 2 d 就是网络的容量，即a = k 尸其中 将妒变为标准正态分布 口：去+ 挈 r 31 2 1 江南大学硕士学位论文 爿= j p + 3 + c 一( j p 1 ) ( 一4 ) 曰= 8 ( 尸一1 ) ( _ 2 ) 2 c = 一8 p n z 。一般取1 6 4 5 ，则可以通过上式得到a 。 m = 2 以及2 以上时，式子f 2 1 ) 将很复杂，在本文中不讨论。 3 2 3 4 径向基核函数的计算 1 k ( i ，丽的计算 k ( j ，j ) = e x p ( 一惦一酬! 2 盯，! ) = ( 3 1 3 ) 2 彤( s ，7 ) 的计算 k ( s ，7 _ ) = e x p ( _ | | s 一丁ij = 2 ( n 一) 首先我们计算：! ( ，( _ ，_ ) 一( _ ，_ 。) 一，我们令尺= 厂( _ + ，_ + ) 一- 厂( 嵋2 ，_ 。) ， 我们假设随机变量，那么只是一个随机变量为的独立分布。于是就可以得到的 概率，首先计算( 2 j 尸) ，根据表3 4 得到的概率，以= 2 ) = p ( = _ 2 ) = 1 ， j p ( = 0 ) = ( 一2 ) 第一项第一项概率值 中= _ += 旷2 o0 ”：p +y 一旷2 l 7 v 2 y 4 矿+矿= y l 一2 甲。+_ 。1 2 ( 一2 ) o 表3 4 月的概率分布 令z = r2 ，我们可以得到z 的概率，z 也可以写成随机变量为毋的独立分布 p ( 矽= 4 ) = 2 ，p ( 声= o ) = ( 一2 ) ，所以我们可以得到：z 的数学期望和方差分别是： 耳彩= 8 ，y ( ) = ( 3 2 一6 4 ) ! ， p 所以得到当( 2 f p ) 时，! ! ( 厂( 1 ，) 一，( i ，l4 ，旷，二) ) ! = ，。 = 2 接下来我们要计算当( 尸+ l 隧p + ) 时， 篡( ( _ + ，_ ) 一厂( _ ，_ ) ) ! 的值： 第三章核化的自联想反馈神经网络 我们看到扩充元素是 m l ，m ：，朋 ，这里存在7 ，p ，g l ，2 ，) ，如果 k + = ，= m 。，那么当f - p + p 时，( 矿，+ ，_ + ) 一( _ 。，l 。) = 2 ， 当 j = j p + g 时，( k ，形) 一( k 2 ，杉2 ) = 一2 否则，( y ，_ ) 一厂( 矿。，_ 。) = o ，篡，( ( _ + ，_ ) 一厂( _ ，_ 2 ) ) ! = 8 p k ( j ，亍) = e x p ( 一( ，+ 8 ) 2 盯2 ) ( 3 1 4 ) = 1 3 k ( 舀，( j 一亍) ) 的计算 首先