（电路与系统专业论文）基于Hopfield神经网络的盲均衡[电路与系统专业优秀论文].pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 无线信道盲均衡是近年来通信信号处理领域的研究热点，现代通信系统中，由于信道 的非理想特性而引起的码间干扰是影响通信质量的一个主要因素。传统均衡器克服码间干 扰的方法是发送训练序列，盲均衡是一种不借助于训练序列而仅仅利用接收序列的新兴均 衡技术。 本论文共分四章。第一章概述了盲均衡常识：第二章首先阐述了人工神经网络基础知 识，再过渡到神经网络和盲均衡算法相结合，推导出了基于多层前馈神经网络( m l f n n ) 的盲 均衡算法；第三章深入研究了一些经典二阶统计量算法，并分析了这些传统盲均衡算法的优 缺点。 第四章提出了一种基于连续状态离散时间h o p f i e l d 神经网络盲均衡的新方法：在基于 神经网络的能量函数基础上，充分利用接收信号矩阵的正交补空间与发送信号的有限字符 集特性，把构造的信号盲检测二次优化形式拟合成具有稳定状态解的连续h o p f i e l d 神经网 络能量函数形式：结合神经网络自收敛特点与最大程度减少网络平衡点方法，实现对盲信 号直接恢复。计算机仿真表明本文提出的算法表现出了更加良好的性能。 关键词：盲均衡；人工神经网络；h o 面e l d 神经网络；二次优化 南京邮电大学硕士研究生学位论文 摘要 a b s t r a c t t h eb l i n de q u a l i z a t i o no fw i r e l e s sc h a n n e l si sav e r yh o tr e s e a r c ht o p i cr e c e n t l y i nm o d e m c o m m u n i c a t i o ns y s t e m s ，t h ei n t e r - s y m b o li n t e r f e r e n c e ( i s i ) c a u s e db yt h en o n - i d e a lc h a r a c t e ro f c h a n n e l si st h em a i nf a c t o rw h i c ha f f e c t sc o m m u n i c a t i o nq u a l i t y t h ec o n v e n t i o n a l e q u a l i z e r r e s o r t st ot r a i n i n gs e q u e n c e si no r d e rt oo v e r c o m ei s i ，b u tb l i n de q u a l i z a t i o nt e c h n i q u e sr e l yo n s o l e l yt h er e c e i v e ds i g n a l st oa d j u s tt h ee q u a l i z e rw e i g h t sw i t h o u tak n o w nt r a i n i n gs e q u e n c e t h et h e s i si so r g a n i z e da sf e l l o w s i nc h a p t e r1 ，b l i n de q u a l i z a t i o ni ss k e l e t o n i z e d i n c h a p t e r2 ，w ef o r m u l i z ef o u n d a t i o n a lp r i n c i p l e sa b o u tn e u r a ln e t w o r k s ，t h e nw ed i r i v et h eb l i n d e q u a l i z a t i o na l g o r i t h m so fm u l t i l a y e rf e e d w a r dn e u r a ln e t w o r k sb yc o m b i n i n gn e u r a ln e t w o r k s a n db l i n de q u a l i z a t i o na l g o r i t h m s ，i nc h a p t e r3 ，w es t u d ys o m ec l a s s i c a lb l i n de q u a l i z a t i o n a l g o r i t h m sb a s e d o nt h es e c o n d o r d e rs t a t i s t i c s ( s o s ) ，a n da n a l y z et h e i ra d v a n t a g e sa n d d i s a d v a n t a g e s i nc h a p t e r4 ，an e wm e t h o do fb l i n de q u a l i z a t i o no ft h ec o n t i n u o u ss t a t ed i s c r e t et i m e h o p f i e l dn e u r a ln e t w o r ki sp r o p o s e d ：b a s e do nt h ee n e r g yf u n c t i o no ft h en e u r a ln e t w o r k ，b y u s i n gt h ec h a r a c t e ro ft h eo r t h o g o n a lc o m p l e m e n to far e c e i v e d d a t am a t r i xa n dap r i o r i k n o w l e d g et h a tt r a n s m i t t e ds i g n a l sb e l o n g t of i n i t e a l p h a b e t s ，t h ec o n s t r u c t e dq u a d r a t i c o p t i m i z a t i o nf o r mo fb l i n dd e t e c t i o ni st r a n s f o r m e dt oas t a b l ee n e r g yf u n c t i o nf o r mo fa c o n t i n u o u sh o p f i e l dn e u r a ln e t w o r k ；b yu s i n gt h ep e r f o r m a n c eo fi t sc o n v e r g e n c ea n dt h e m e t h o do fd e c r e a s i n ge q u i l i b r i u mp o i n to fn e t w o r ka sp o s s i b l ea sw ec a n ，t h en e we q u a l i z a t i o n a l g o r i t h mo ft h ep a p e rd i r e c t l yr e c o v e r st h eo r i g i n a ls i g n a l ss u c c e s s f u l l y c o m p u t e rs i m u l a t i o n s s h o wt h a tt h ep r o p o s e da l g o r i t h mh a sb e t t e rc o n v e r g e n tp e r f o r m a n c e k e yw o r d s ： b l i n de q u a l i z a t i o n ；a r t i f i c i a ln e u r a ln e t w o r k ； h o p f i e l dn e u r a ln e t w o r k ；q u a d r a t i co p t i m i z a t i o n i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：兰盛日期：丝呸! ：! 乡 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：垄垄圭蠡 导师签 嗍笾巫尘 南京邮电大学硕士研究生学位论文第一章绪论 第一章绪论 1 1 研究盲均衡技术的意义 近年来，数字通信技术得到了迅猛发展和广泛应用，成为信息学科中最为活跃的领域 之一。但在信号传输过程中，由于带限发射和接收滤波器、放大器、时延与多径传输、发 射机和接收机之间的相对运动、耦合效应以及多址干扰的影响 1 1 ，使得信道传输特性极其 复杂，产生了码间干扰( i n t e r s y m b o li n t e r f e r e n c e ，简称i s i ) 和信道间干扰( i n t e r c h a n n e l i n t e r f e r e n c e ，简称i c i ) 。如果不对信道加以适当补偿，接收信号就有可能产生很高的误码 率，影响通信质量。传统的克服码间干扰的方法是在接收端增加均衡器，使均衡器的特性 正好与信道的特性相反，使之能够准确地补偿传输信道的非理想特性。实际中的无线信道 是时变的，为了准确地补偿信道的传输特性，必须动态地跟踪信道的变化，以便及时调整 均衡器的参数，具有这种“智能特性”的均衡器称之为自适应均衡器( a d a p t i v ee q u a l i z e r ) 。这 种均衡器是在数据传输之前，首先发送接收端已知的训练序列，接收机测量出该序列通过 信道后产生的变化或误差，并依据该误差信息对均衡器参数进行调整，最终使均衡器正好 补偿信道特性，从而使接收机能够从均衡器输出序列中得到几乎无错的发送信号，保证数 据的可靠传输，该过程称为自动均衡( a u t o m a t i ce q u a l i z a t i o n ) ，此时的均衡器被称为工作在 训练模式。当训练结束时，均衡器参数的调整达到收敛，判决信号可靠性较高，误码率较 小。训练过程结束后，数据开始传输，此时发送信号是未知的，为了动态跟踪信道特性可 能发生的变化，接收机将均衡器输出的判决信号作为参考信号，用来测量信道变化产生的 误差，对均衡器输出的信号继续进行调整，此时被称为判决引导均衡( d e c i s i o n d i r e c t e d e q u a l i z a t i o n ) 12 ，根据自适应滤波理论，均衡器在判决引导模式下能正常工作的条件是输入 信号的眼图预先张开到一定程度，以保证均衡器可靠地收敛。如果这个条件不满足，就要 由发送端再发送一个接收端己知的训练序列对均衡器进行训练，使之收敛。因而训练过程 也被称为均衡器的学习过程，对一般通信系统来讲是不可缺少的阶段。均衡技术的发展最 早可以追溯到1 9 2 8 年，h n y q u i s t 提出了在理想带限信道中判决时刻无码间干扰的充分条 件【3 】，1 9 6 5 年，r w l u c k y 提出了能够自动跟踪信道慢变化的自适应均衡器【2 。此后，均 衡技术的研究成果层出不穷。从均衡器的结构形式上，主要有线性均衡器( l e ) 、判决反 馈均衡器( d f e ) 、分数间隔均衡器( f s e ) 、格型均衡器( l a t t i c ee q u a l i z e r ) 等等f 2 。1 ，从均衡准 则上，主要有最小均方误差准贝z j ( m m s e 准则) 、迫零准贝u ( z f 准则) 、最大后验概率准则( m a p 准则) 、最大似然序列估计准贝j j ( m l s e 准则) 等等【2 7 j ，从均衡算法上，主要有最小均方 南京邮电大学硕士研究生学位论文第一章绪论 系统也就成为期望的理想系统。此类盲均衡算法具有计算量小，易于实现的优点但是， 它们不能保证一定全局收敛，而且收敛速度慢。尤其对非线性信道和存在零点的信道效果 不佳【0 l 。 ( 2 ) 基于高阶谱理论的盲均衡算法 基于高阶谱理论的盲均衡算法在八十年代末出现并得到发展，高阶谱中不仅含有系统 或信号的幅度特性，而且还包含系统或信号的相位特性，因此，仅根据输出信号就可进行 系统辨识。其基本思想是从高阶累积量中获取调节信道参数的信息。这种方法是通过解方 程的方式来获取信道参数的，因此一般都能保证算法的全局收敛，但存在运算量大的缺点 【l l l o ( 3 ) 借助信号检测理论的盲均衡算法 基于信号检测理论的盲均衡算法的基本思想是将输入信号看成是一随机序列，利用极 大似然估计等方法对输入信号进行最优估计，或者对输入信号和信道进行联合估计。这类 算法抗噪声能力比较强，但是计算量大，不易实现i 住l 。 ( 4 ) 基于神经网络的盲均衡算法 基于神经网络的盲均衡算法是利用人工神经网络处理非线性问题的能力，来解决通信 中非线性信道的均衡问题。在实际的通信系统中，完全的线性信道是不存在的，这使得上 面针对线性信道设计的算法失效。因此，借助人工神经网络这一工具可成功地将线性盲均 衡算法扩展到了非线性通信系统中 1 3 】，但神经网络的结构参数确定依靠经验【1 4 】，且网络的 代价函数选择会影响网络收敛的效果。 1 3 基于神经网络盲均衡算法 盲均衡技术不需要训练序列便能对信道的非理想性特性进行补偿，有效的消除了通信 过程中产生的码间干扰。在快速移动的高速数据环境下，传输信道的非线性己成为影响信 道误码性能的主要因素。因此，非线性信道的盲均衡技术成为高速无线通信的研究热点。 神经网络为非线性动态系统，它具有大规模并行处理、高度的鲁棒性等特征，对处理一些 复杂的非线性问题特别有效。因此基于神经网络的盲均衡算法成为非线性信道盲均衡技术 的重要分支。 1 3 1 基于神经网络盲均衡算法分类 目前，利用神经网络处理信道盲均衡的方法主要有以下几种： ( 1 ) 基于前馈神经网络和高阶谱的盲均衡算法 南京邮电大学硕士研究生学位论文 第一章绪论 s m o 和b s f a f a i 1 5 l 于1 9 9 4 年提出采用前馈神经网络和高阶累积量的盲均衡方案。它是 基于信道输出信号的四阶谱对信道进行辩识，而后利用神经网络的非线性构造出该信道的 逆信道。盲均衡与传统均衡的最大区别在于输入端不加训练序列，而该算法则是利用估计 的信道作为均衡器的模型对接收到的序列进行训练，这种方案可用于线性信道或非线性 道，同时克服了信道阶次不确定性带来的影响，对加性噪声也具有一定的容错性，但该算 法收敛速度较慢，只能用于p a m 信号，而且文中的代价函数的凸性也没有进行讨沦，并不 能保证收敛到全局最优。 ( 2 ) 基于多层神经网络与高阶累积的均衡器 基于高阶累积量对高斯噪声具有抑制作用，接收信号事先通过高阶累积运算器，可将 高斯噪声滤掉。周正、梁启联【1 6 】，提出了基于多层神经网络与高阶累积的盲均衡算法。将 r o s s a r i o 算法【1 7 i ，与s o b s 和w e t s 的随机算法1 1 8 1 相结合提出了混合型算法，其误差函数为 p 矿( n ) = ( x ( 甩) 一曼( 门) ) 2 2 ，x ( n ) 为输入序列，曼0 ) 为均衡器输出序列。 ( 3 ) 基于递归神经网络的盲均衡算法 递归神经网络具有规模小、收敛速度快的优点，c k e c h r i o t i s 【1 9 】于1 9 9 4 年首先将递归 神经网络用于盲均衡，极大地改善了盲均衡器的收敛速度。其代价函数如下 44 尺( 玎+ 1 ) = a k e ( n + 1 ) = a k ( e ( x ( 珂+ 1 ) ) 一e ( x ( 刀) ) ) 2 ( 1 1 ) 其中，吼为学习步长，e + 1 ) 表示网络开始n + 1 个输出得到的估计均值。 这种算法的缺陷在于待定参数过多，增加了算法的计算复杂度，同时因为该算法的代 价函数为一个非凸函数，并且r n n 的训练过程是一个非线性优化问题，这样利用梯度下降 法就容易使算法陷入局部最优，而不能获得最优解。 1 9 9 7 年，梁启联、刘泽民等为了降低算法复杂度，在此基础上提出了新的代价函 数 r ( + 1 ) = 善2a k e ( 阼+ 1 ) = 喜吼( e ( i ( 月+ 1 ) ) 一黜) ( 1 - 2 ) = li = lo 、“， 将递归神经网络的训练算法用共轭梯度法进行代替，加快了收敛速度和克服了局部最 优。但是，该算法只适用于p a m 信号，大大限制了其应用场合。 2 0 0 2 年，d o n g c h u l p a r k 等【2 1 1 提出基于复杂双线性递归的神经网络盲均衡算法，用于 4 南京邮电大学硕士研究生学位论文第一章绪论 非线性信道中不仅提高了收敛速度还降低了稳态误差。 ( 4 ) 基于细胞神经网络的盲均衡算法 细胞神经网络是相邻神经元之间全互连的神经网络结构类型，具有收敛速度快、稳定 性好、易于实现等优势。因此，z h a oj i a n y e 2 2 l 于2 0 0 0 年提出了用维细胞神经网络实现盲 均衡的新算法。该算法是利用细胞神经网络的能量函数与传统s a t o 盲均衡算法代价函数的 相似性，重新为网络构造能量函数，并导出网络的状态方程，然后根据网络能量函数随时 间逐渐减小这一原理来实现权值的迭代，从而达到盲均衡的目的。该算法是一种利用神经 网络解决盲均衡问题的新思路。 ( 5 ) 基于线性神经网络的盲均衡算法 1 9 9 9 年，y o n gf a n g 矛d t o m m yw s 1 2 3 1 等提出了基于线性神经网络的盲均衡算法。该算 法与大多数基于矩阵分解和矩阵h a n k l e 特性的自适应盲均衡算法不同。它是利用传输信号 相关矩阵的特征为神经网络的训练运用一种随机逼近的学习算法其优点在于模型结构 单，收敛速度较快，且易于实时应用。 ( 6 ) 双线性神经网络盲均衡算法 双线性反馈神经网络具有高阶神经网络和反馈神经网络的双重优点。网络除了前馈项 与反馈项之外，还包含有一个线性反馈项( 类似于高阶神经网络的高阶项) ，所以称之为双 线性反馈神经网络。它可以用来逼近许多的非线性方程，并且克服了高阶神经网络的计算 量随阶数几何幂增加的缺点，使其在硬件实现上更容易，所以d o n g c h u lp a r k 等提出可用 双线性反馈神经网络来完成自适应的均衡算法【2 。 ( 7 ) 基于簇算法神经网络的盲均衡算法 1 9 9 9 年，a b d e n n o u rr b e n 和b o u a ie 等【2 4 1 提出了两种神经网络的盲均衡方案。一种是 他们将基于神经网络结构的簇算法应用于数字通信系统的盲均衡，这种算法为了使得均衡 器的性能更为有效、参数更易选取，将信道的建模与最终的算法相结合。仿真结果表明这 种算法特别适用于非最小相位信道。第二种是为了减小均衡器抽头延时的数量而提出的基 于b u s s g a n g 盲均衡的神经网络。这种均衡方案来源于判决反馈结构的均衡器( d f e ) 。 1 3 2 存在的问题 尽管基于神经网络的信道盲均衡技术已经取得了一定的发展，但是还存在一些问题： 1 神经网络己得到了广泛的应用，但神经网络的结构参数的选取需要依靠经验，其结 构的优化是一直探讨的问题。随着多种优化算法的出现，人们尝试了利用新的优化算法优 南京邮电大学硕士研究生学位论文 第一章绪论 化网络结构【2 5 。2 7 1 ，并取得了一定的成果，但耗时较多。由于盲均衡技术实时性强，如果将 结构优化的神经网络应用于盲均衡问题，则需要一个耗时少且效果好的优化算法。 2 均衡器的收敛速度是对一个均衡算法的重要评价因素。对于盲均衡，虽然不用发送 训练序列，但是均衡器在启动时总要经历一个从未收敛到收敛的过程，而且信道环境发生 变化的时候，收敛速度越快均衡器越能尽快再次达到收敛状态。但是现有的神经网络盲均 衡算法的收敛速度仍较慢，网络的收敛速度有待迸一步提高。 3 神经网络具有很强的非线性处理能力，在处理非线性信道均衡问题时表现出的性能 尤为突出。现有的典型神经网络结构比如b p 网络、r n n 网络、r b f 网络等，都已经被用来处 理非线性信道盲均衡问题，算法也比较成熟。但是，这些神经网络结构复杂，计算量较大， 硬件实现有困难。因此，需要设计结构简单而又具备很强的非线性处理能力的新型神经网 络盲均衡器。 1 4 本文工作 本论文结构安排如下： 第一章为绪论，首先介绍了盲均衡技术在通信中的背景与意义。然后简述了盲均衡技 术的发展概况，对现有的盲均衡算法进行了总结分类，分析了各类算法的优缺点。最后着 重对国内外神经网络盲均衡算法进行详细的分类，并研究分析各自的优缺点。 第二章首先阐述了人工神经网络基础知识，再过渡到神经网络和盲均衡算法相结合。 推导出了基于多层前馈神经网络( m l f n n ) 的盲均衡算法，文中详细阐述了如何将传统的 c m a 算法与神经网络相结合去定义目标代价函数，以及网络隐层，输出层中各自的权值 w ( 七) 学习算法。 第三章首先分析了s i m o 系统的模型设定；接下来介绍了基于s o s 的几种经典的可用 于s i m o 系统的盲均衡算法，有t x k 法、线性预报法( l p a ：l i n e a rp r e d i c t i o n a l g o r i t h m ) 、 外积分解法( o p d a - o u t e rp r o d u c t i v ea l g o r i t h m ) 、子空间算法( s s a ： s u b s p a c ea l g o r i t h m ) 等。并对各种算法进行仿真，验证并比较这几种算法的性能，并分析这些传统盲均衡算法 的优缺点。 第四章提出了本文的核心内容：如何利用连续状态离散时间h o p f i e l d 神经网络去进行 盲均衡。主要内容：( 1 ) 对将原信号盲检测问题转化为整数约束下的二次优化问题进行探讨， 并将此二次优化问题与h o p f i e l d 神经网络的能量函数联系起来；( 2 ) 证明了h o p f i e l d 网络能 收敛到平衡点，并且最优点存在于平衡点中。( 3 ) 论述了网络权值w 与平衡点的关系，然 后讨论如何构造最佳网络权值w 来进行寻优，并证明了h o p f i e l d 能量函数与待优化函数 6 南京邮电大学硕士研究生学位论文 第一章绪论 有相同的最优解；( 4 ) 对算法进行盲均衡性能的仿真，并与传统的二阶统计量盲均衡算法、 多层前馈神经网络盲均衡算法作比较。本文连续h o p f i e l d 神经网络盲均衡的机理是从 h o p f i e l d 神经网络的能量函数出发，充分利用接收信号矩阵的正交补空间与发送信号的有 限字符集特性，把原信号盲检测问题转化为整数约束下的二次优化问题，拟合成具有稳定 状态最优解的连续h o p f i e l d 神经网络能量函数形式；结合h o p f i e l d 神经网络自收敛特点与 最大程度减少网络平衡点方法，实现对盲信号直接恢复。 7 南京邮电大学硕士研究生学位论文第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 第二章人工神经网络概述及多层前馈神经网络 盲均衡算法 2 1 人工神经网络的基本概念及其发展 人工神经网络是一门发展十分迅速的前沿交叉学科。它的研究使诸如生物学、认知科 学、非线性科学等基础科学与计算机、电子学、人工智能、微电子、信息处理、模式识别 等工程学科有机地结合起来，并且更具有广泛的应用前景。 2 1 1 人工神经网络的概念 人脑大约由1 0 1 2 个神经元组成，神经元互相连接成神经网络，神经元是大脑处理信息 的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞， 其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触( s y n a p s e ，又称神经键) 组成。 人工神经网络( a r t i f i c a ln e u r a ln e t w o r k ) 简称神经网络【2 9 | ，是用大量简单的处理单 元广泛连接组成的复杂网络，是在现代生物科学研究人脑组织所取得的成果基础上提的， 用以模拟人类大脑网络结构和行为。人工神经网络反映了人脑功能的许多基本特性，但它 并不是人脑神经网络系统的真实写照，而只是对其作某种简化、抽象和模拟。它的研究成 果显示了人工神经网络具有人脑功能的某些基本特征：学习、记忆和归纳，从而解决了人 工智能研究中的某些局限性。 人工神经网络是一种大规模并行处理的高度复杂的非线性动力学系统，非线性是神经 网络系统的共性。在人工神经网络发生的动力学过程有两类：一类称之为快过程：另一类称 为慢过程。所谓慢过程，即是指神经网络的学习过程，神经元之间的连接强度将根据环境 信息发生缓慢的变化，将环境信息逐步存储于神经网络中。这种由于连接强度的变化而形 成的记忆是长久的，称之为长期记忆。神经网络模式识别的能力称为快过程，即是神经网 络的计算过程，神经网络在输入的影响下进入一定的状态，由于神经元之间相互联系以及 神经元本身的动力学性质，这种外界刺激的兴奋模式会迅速地演变而进入平衡状态，这样 具有这种特定结构的网络的输出可以定义和判断一类模式，即预测的功能。由于对神经网 络的快过程和慢过程的不同处理方法，便形成了神经网络的两种模式，即学习神经网络和 自组织网络模式，前者把快过程和慢过程分离开，无法实现“干中学、学中干 ：而后者 把快过程和慢过程同时进行而又相互影响的一个自组织过程，该过程可以实现“干中学、 8 南京邮电大学硕士研究生学位论文第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 学中干 。 2 1 2 人工神经网络的历史和发展 神经网络的第一个实际应用出现在2 0 世纪5 0 年代后期。1 9 6 1 年r o s e n b l a t t 提出了感知 机网络和联想学习规则。1 9 6 2 年w i d r o w 提出了主要适用于自适应系统的自适应线性单元模 型a d a l i n e 网络，这次成功引起了许多人对神经网络的兴趣。 由于受当时神经网络的理论研究水平所限以及应用前景的不明朗，加之受到“冯诺 依曼”式计算机大发展的冲击等因素的影响，对神经网络的研究陷入了低谷。而且当时没 有功能强大的计算机来支持，因此神经网络的研究停滞了十年之久。但是，在美、日等国 仍有少数学者在扎扎实实地继续着网络模型和学习算法的研究，提出了许多有意义的理论 和方法：如a r b i b 的竞争模型，1 9 7 7 年k o h o n e n 提出的自组织映射网络模型、g r o s s b e r g 的自 适应谐振模型，p u k u s h i m a 的新认知机等。有的学者还提出了连接机制( c o n n e c t i o n i s m ) 和 并行分布处理概念( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 。一直到8 0 年代个人计算机和工 作站计算能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究 者面前的障碍，人们对神经网络的研究热情空前高涨1 9 8 2 年生物物理学家j h o p f i e l d 教 授提出t h o p f i e l d 神经网络模型，引入了能量函数概念，它是神经元的状态和连接权值的 函数，利用该网络可以求联想记忆和优化计算的问题。这一成果的取得使神经网络的研究 取得了突破性进展8 4 年他用此模型成功地解决了复杂度为n p 的旅行商问题( t s p ) 1 9 8 7 年 6 月在美国j j l ) l l 举行了第一届神经网络国际会议。有一千多名学者参加，并成立了国际神 经网络学会。后确定为每年召开两次国际联合神经网络大会。1 9 9 0 年我国的8 6 3 高技术研 究计划，批准了关于人工神经网络的三项课题，自然科学基金与国防科技预研基金也都把 神经网络的研究列入选题指南，对中选的课题提供研究上的资助。对神经网络的复兴具有 极其重大意义的两个概念是：用统计机理解释某些类型的递归网络的操作和用于训练多层 感知器的反传算法。这些年来，人工神经网络的理论与应用在国际上成了了新的研究热点， 其中h o 面e l d 神经网络是最有代表性的研究方向之一。h o p f i e l d 神经网络是一类非常重要的 反馈网络，它对神经网络的研究热潮的兴起有极大的推动作用。 2 2 人工神经网络的模型 一个简单的神经网络是由若干个神经元( 也称处理单元或节点) 。各个神经元之间通过 相互连接形成网络，网络可划分成若干层。输入信息的神经元组成输入层，输出信息的神 经元组成输出层，其余神经元为中间层；其神经元之间的连接并不只是一个单纯的传送信 号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数起着生物神经 9 南京邮电大学硕士研究生学位论文 第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 系统中神经元的突角强度的作用，它可以加强或减弱上一个神经元的输出对下一个神经元 的刺激。这个加权系数通常称为权( 或称为连接强度) 。 2 2 1 神经元模型 神经元是神经网络的基本组成部分。在神经网络中每一个神经元所计算出的输出，又 是其下一层所有神经元的输入，一个神经元所产生的输出是到它上层的神经元和这些连接 权值来计算的。如图2 一l 所示，五，而，矗表示神经元的输入，所有这些输入分别乘上各相 应的权值，并对各乘积求和，就组合成神经元i 的总输出， 图2 - 1 神经元示意图 = 厂( 刀p ，j ) = 厂( _ + q ) ( 2 - 1 ) 式中f ( n e t t ) 是所考廖层中第i 个神经元的输出：是前一层第_ 个神经元的输出： 为神经元f 与前一层第j 个神经元之间的连接权值，它表示神经元的连接强度，由神经网络 的学习过程学习决定：谚为阈值神经元的内部阀值( 门限值) 。 神经元的各种不同数学模型的主要区别在于采用了不同的激活函数，从而使神经元具 有不同的信息处理特性。神经元的激活函数反映了神经元输出与其激活状态之间的关系， 下面是几种常用的激活函数。 ( 1 ) 阈值型 这种激活函数将任意输入转化为0 或1 的输出，函数f ( ，i c ) 为单位阶跃函数，如 图2 - 2 所示。具有此函数的神经元的输入输出关系为 y = f ( w p + o ) = ：) ：吕三： c 2 2 ， l o 南京邮电大学硕士研究生学位论文第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 f o i 1 w p f i 1 - - 6 w p ( a ) 没有偏差的阈值激活函数( b ) 带有偏差的阈值激活函数 图2 - 2 阈值型激活函数 ( 2 ) 线性型 线性激活函数使函数的输出等于加权输入和加上偏差，如图2 - 3 所示。此函数的输入 输出关系为 y = f ( w p + 0 ) = w p + p ( 2 - 3 ) f o w p f 。 、 l p w p ( a ) 没有偏差的线型激活函数( b ) 带有偏差的线型激活函数 图2 - 3 线型激活函数 ( 3 ) s 型( s i g m o i d ) s 型激活函数将任意输入值压缩到( 0 ，1 ) 的范围内，如图2 - 4 所示。此激活函数常用对 数或双曲正切等一类s 形状的曲线来表示，此函数的神经元的输入输出关系为 y = ( w p + d = 南( z - 4 ) 南京邮电大学硕士研究生学位论文 第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 f ol l 一 。 一 w p f i 1 一pw p ( a ) 没有偏差的对数s 型激活函数( b ) 带有偏差的对数s 型激活函数 图2 - 4 对数s 型激活函数 该激励函数的值域为( 0 ，1 ) ，反映神经元的“压缩”或“饱和”特性，即神经元定义 为具有非线性增益特性的电子系统。在地球物理勘探领域，当输入电磁特征参数的数值很 微小时，仍能产生有效的输出信息，但输入电磁特征参数的数值非常大时，其输出又将引 起本身的饱和，即其值接近于1 。 2 2 2 人工神经网络的连接模型 根据神经元之间的相互结合关系和作用方式，神经网络可有如下几种典型的结合形 式： ( 1 ) 前向网络。网络的结构如图2 5 a 所示。网络中的神经元是分层排列的，每个神 经元只与前一层的神经元相连接，隐含层的层数可以是一层或多层。前向网络在神经网络 中应用很广泛，例如，感知器就属于这种类型。 ( 2 ) 从输出到输入有反馈的前向网络。网络的结构如图2 b 所示。网络的本身是前向 型的，与前一种不同的是从输出到输入有反馈回路。例如，f u k u s h i m a 网络就属于这种类 型。 ( 3 ) 层内互连前向网络。网络的结构如图2 5 c 所示。通过层内神经元之间的相互连 接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经 数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经 网络就属于这种类型。 1 2 南京邮电大学硕士研究生学位论文第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 恐 ( a ) 艺矗 ( c ) x墨 1 ( d ) 图2 5 神经网络的典型连接模式 ( 4 ) 互连网络。网络的结构如图2 5 d 所示。互连网络有局部互连和全互连两种。全互 连网络中的每个神经元都与其它神经元相连。局部互连是指互连只是局部的，有些神经元 之间没有连接关系。h o p f i e l d 网络和b o l t z m a n n 机属于互连网络的类型。 南京邮电大学硕士研究生学位论文 第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 2 3 具有代表性的神经网络应用模型 ( 1 ) b p 网络。它是多层映射网络，采用最小均方差的学习方式，是使用最广泛的网络， 可用于语言综合、语言识别、自适应控制。 ( 2 ) h o p f i e l d ： o 经网络。它是相同元件构成的单层而不带学习功能的自联想网络。缺 点是连接需要对称和没有学习功能。 ( 3 ) k o h o n e n 神经网络。它是一种具有自组织特征映射的人工神经网络模型。 ( 4 ) 盒中脑( b s b ) 模型。这是具有最小均方差的单层自联想网络，可用于从知识库中 提取知识。其缺点是仅为单步决策。 ( 5 ) b m 网络。它又称b l o t z m a n n 机，是使用一噪声过程来取代函数的全局极小值的网 络，主要用于模式识别，其缺点是训练时间长，且有噪声。 2 4 神经网络的学习算法 学习功能是人工神经网络中最重要的特征之一。神经网络主要由三种因素决定：神经 元的特性、网络的连接和学习算法规则。其中，学习算法对网络学习速度、收敛特性、泛 化能力等有很大的影响。对各种学习算法规则的研究，在人工神经网络理论与实践发展过 程中起着相当重要的作用。当前，人工神经网络研究的许多课题仍然是致力于学习算法规 则的改进、更新和应用。 对于大脑神经而言不同的功能区域均有各自的学习规则。这些完整和巧妙的学习规则 是大脑在进化过程中通过学习得到的。对于人工神经网络而言，学习方法归根到底就是网 络连接权值的调整方法。 人工神经网络连接权值的确定通常有两种方法：一种是根据具体要求直接计算出来， 如h o 面e l d 网络作优化计算时就属于这种情况；另一种是通过学习得到的，大多数人工神 经网络都是采用这种方法。随着网络结构和功能的不同，人工神经网络的学习方法也是多 种多样的。在这里简要介绍人工神经网络中一些最基本的、最通用的学习算法，这些算法 主要有： ( 1 ) h e b b 学习算法 h e b b 学习算法是1 9 4 9 年由h e b b 根据生理学中条件反射机理，提出的神经元连接强度变 换的规则，它是人工神经网络学习的基本算法。可以这样形容，几乎所有的人工神经网络 的学习算法都可以看作是h e b b 学 - 3 算法的变形。假定第，个神经元到第f 个神经元之间的连 接强度( 突触权重) 为嘞，样本序号p 是从。到m l ，群和j c ? 分别表示第p 样本矢量的第f 1 4 南京邮电大学硕士研究生学位论文 第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 个和个元素，以它们分别作为第，个和第个神经元输入，那么，的计算规律是： i m i 嘞：j p = o 巧，( f 力 ( 2 5 ) 【0 ，( f = 歹) 算法表明：将全部m 个样本的第i 和第歹元素作相关运算，以求得连接权值。如果 两者符合的愈多，则w ，值愈大，也即两神经元之间的连接权重愈强。简单地说，若2 个神 经元同时处于兴奋状态，则它们之间的连接应该加强。 ( 2 ) d e l t a 学习算法 这是最为常用的学习算法，其要点是通过改变单元之间的连接权重来减小系统实际输 出与期望输出的误差。这个算法也d q w i d r o w - h o f 算法，首先在自适应谐振模型中得到应用。 ( 3 ) 梯度下降学习算法 这是将数学上的优化方法用于使要求的输出与实际输出之差最小。在这个方法中，加 权的修正量正比于误差对加权的一阶导数，它可用数学表示如下： 咄= 一刁穆缸，其中e 是描述误差函数，嘞是输入点f 至结点，的连接权：刁是学习 速率，虽然这一学习算法收敛到稳定点较慢，但还是被普遍应用的，d e l t a 算法是梯度算 法的一个特例。另外一个非常重要的学习算法一误差反向传播算法( b p 算法) ，也是从梯度 算法推导出的，它类f p j , d e l t a 算法，但更复杂些，所以有时也称它为一般化的d e l t a 学习算 法。 ( 4 ) 随机训练算法 随机训练算法利用了随机过程，概率和能量关系来调节连接权。 5 ) k o h o n e n i j l 练算法 这是t e u v o k o h o n e n 受生物系统的启发而提出的。它也是无指导训练算法。在训练过 程中，处理单元均参加彼此竞争活动，具有最大输出的处理单元是获胜者。该获胜者的结 点具有抑制其竞争的能力和激活其临结点的能力，但是只有获胜结点才允许有输出，也只 有获胜者和其近邻结点的加权被允许调节。 2 5 神经网络的基本特性及其与盲均衡的联系 神经网络具有许多重要的特点，自学习、自适应能力、大型的并行处理能力、内部的 互连性、存储的分布性、高度的非线性、良好的容错性、结构的可变性、高度的鲁棒性和 联想记忆功能等，使得它在处理非线性动态系统上有着广泛的应用。所以，随着神经网络 南京邮电大学硕士研究生学位论文第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 技术的发展，人们开始将神经网络应用于信号与信息处理中，而其中通信均衡算法是其中 的主要部分。这是因为信道的均衡问题可以看成是一个模式分类问题( 即将不同电平的信号 进行分类) ，而神经网络本身就具有良好的模式分类功能。最早将神经网络用于均衡算法的 是g j g i b s o n ，s s i u 和c e n c o w a n l 2 8 】他们将多层感知机( m l p ) 用到了针对线性信道的自适 应均衡器中，之后有s c h e n t 2 9 】和q z h a n g 3 0 1 将其推广到了非线性信道中。 2 6 多层前馈神经网络盲均衡算法 前馈神经网络【3 u ( f e e df o r w a r dn e u r a ln e t w o r k ，简称f n n ) 是神经网络结构中最基本 的一种，它原理简单，有完备的理论基础。结构上采用分层形式，信号只能从输入层单元 到它下一层单元，后一层的任一单元与上一层的每个单元都有连接。前馈神经网络训练方 法除了传统的反向传播算法( b a c kp r o p a g m i o n ，简称b p ) 之外，还有许多改进的方法，如高 阶导数法、共轭梯度法、神经元空间搜索法等【3 刁。从系统理论的角度讲，前馈神经网络表 示非线性系统。其良好的线性分类功能使其被广泛的应用于信号处理中。1 9 9 1 年 b e n v e n u t o 3 3 】等针对卫星移动通信系统，提出了一种适用于多普勒信号的复值多层前馈神经 网络的盲均衡算法。开辟了应用多层前馈神经网络解决盲均衡问题的先河。 2 6 1 前馈神经网络盲均衡的模型 前馈神经网络盲均衡算法( f n n a ) 的原理如图2 - 6 所示。s ( k ) 表示发送序列，v ( 七) 表示 加性噪声，x ( 七) 表示接收序列，j ( 七) 表示均衡器输出，叠( 七) 表示判决器输出。 图2 - 6 基于前馈神经网络盲均衡原理框图 多层前馈神经网络的结构一般包含输入层、输出层、及其隐层单元，隐层可以是一层 或多层。各神经元只接收前一层的输出做为自己的输入，并且将其输出给下一层，整个网 络中没有反馈。每一个神经元都可以有任意多个输入，但只允许有一个输出。其原理框图 如图2 7 所示。 1 6 南京邮电大学硕士研究生学位论文第二章人工神经网络概述及多层前馈神经神经网络盲均衡算法 x ( 七) 厶厶厶 输入层 隐层输出层 图2 - 7 基于多层前馈神经网络结构框图 根据图2 7 所示，三层前馈神经网络