（电路与系统专业论文）基于RBF神经网络的盲均衡算法[电路与系统专业优秀论文].pdf

南京邮电大学硕士研究生学位论文摘要 摘要 在移动通信中，码间干扰始终是影响通信质量的主要因素之一。均衡技术是抑制码间 干扰、增强系统抗干扰能力的有效方法。盲均衡则是一种不借助训练序列，仅利用接收序 列和发送序列的先验知识来恢复原信号的方法。本文主要研究r b f 神经网络作为盲均衡 器，基于带约束的二次规划的盲均衡算法。 本论文总共分为五章。第一章概述了人工神经网络的基础知识，由多层感知器的不足 引出r b f 神经网络。第二章深入研究了r b f 神经网络，推导了j 下则化r b f 网络，并在大 量样本点情况下为减小计算量给出广义r b f 网络；详细阐述了r b f 网络三种参数即数据 中心、扩展系数、权值的学习算法。第三章介绍了盲均衡及其已有算法，比如基于高阶统 计量的盲均衡算法，基于二阶统计量的盲均衡算法，基于有限字符集的盲均衡算法和基于 神经网络的盲均衡算法。第四章是基于r b f 的盲均衡算法，介绍了基于优化代价函数思想 和非监督l m s 算法的r b f 盲均衡算法。第五章提出一种新的r b f 盲均衡算法：与有限字 符集先验知识的带约束的二次规划代价函数相结合的盲均衡算法，并应用于s i m o 系统， 对b p s k 信号盲恢复，计算机仿真结果表现出较好的性能。最后，本文对m i m o 系统中的 基于二次规划的r b f 盲均衡算法进行展望。 关键词：盲均衡；人工神经网络：r b f 神经网络；b p s k 信号；二次规划 a b s t r a c t i n t e r s 咖b 0 1i n t e r f e r e n c e ( i s i ) i sa l w a y so n eo ft h em a i nf a c t o r sa f f e c t i n gt h eq u a l i 哆o f c o m m u n i c a t i o n si nt h ea r e ao fm o b i l ec o m m u n i c a t i o n s e q u a l i z a t i o n c a l lr e d u c ei s ia n d1 m p r o v e t h ee m c i e n c yo ft h es y s t e m b l i n de q u a l i z a t i o nd o e s n tu t i l i z eat r a i n i n gs e q u e n c eb u t j u s tu s e s t h er e c e i v i n gs e q u e n c ea n dt h ep r i o ri n f o r m a t i o no ft h es o u r c es e q u e n c et or e s t o r et h e s o u r c e s e q u e n c e 1 1 l i sd i s s e r t a t i o nm a i n l yr e s e a r c h e st h er a d i a lb a s i sf u n c t i o n ( r b f ) n e u t r a ln e t w o r k a st h eb l i n de q u a l i z e r , b a s e do nt h e c o n s t r a i n e dq u a d r a t i co p t i m i z a t i o n n ed i s s e r t a t i o ni so 昭a n i z e da sf o l l o w s c h a p t e r1 s u m m e f i z e sa r t i f i c i a ln e u r a ln e t w o r k , a n dm e ni n d u c t e st h er b fn e u r a ln e t w o r kb e c a u s eo ft h ed i s a d v a n t a g e so fm u l t i p l el a y e r p e r c e p t i o n ( m l p ) n e u r a ln e t w o r k t h ee n do fc h a p t e r1 l i s t st h em a i nw o r ko ft h ed i s s e r t a t i o n c h a p t e r2d i s c r i b e st h er b f n e u r a ln e t w o r k si nd e t a i l ，a n dp a y sm o r ea t t e n t i o nt og e n e l l z e d 蹦t n e 啪lr l e t w o r k sa m o n gt h e m c h a p t e r3f o r m u l i z e sb a s i cp r i n c i p l e so ft h eb l i n de q u a l i z a t l o n a l g o r i t h m s ，b a s e dr e s p e c t i v e l yo nh i g h e ro r d e rs t a t i s t i c s ( h o s ) ，s e c o n d o r d e rs t a t i s t i c s ( s o s ) ， f i n i t ea l p h 舭t s ( f a ) ，a n ds k e t c h e ss o m ea l g o r i t h m sw i t hn e u r a ln e t w o r k s - c h a p t e r4i n t r o d u c e s m eb l i n de q u a l i z a t i o na l g o r i t h mw i t hr b fn e u r a ln e t w o r k s ，p r i m a r i l yb a s e do nt h ep r i n c i p l e o f 删e r v i s e dl m sa l g o r i t h m c h a p t e r5p r o p o s e sa n e wb l i n de q u a l i z a t i o na l g o r i t h mb yu s l n g r b fn e u r a ln o r k ，w h i c hi sb a s e do na p r i o r ii n f o r m a t i o no ft h ef i n i t ea l p h a b e t s t h en e w a l g o r i t mi su s e dt or e c o v e rb p s ks i g n a l sb l i n d l yi ns y s t e m so fs i m p l e - i n p u t m u l t i p l e _ o u t p u t f s i m o ) c o m p u t e r s i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dn e wa l g o r i t h m h a sb e t t e r p e 而n 】 1 a n c et h a ne x i s t e da l g o r i t h m s t h el a s tp a r to ft h i sc h a p t e rg i v e sap r o s p e c tt h a t r b n e u r a ln e t 、r k sc a nb e e nu s e df o rb l i n de q u a l i z a t i o ni nm i m p l e - i n p u t m u l t i p l e o u t p u t ( m i m o ) s y s t e m s k e yw o r d s ：b l i n de q u a l i z a t i o n ，r a d i a l b a s i sf u n c t i o n ，n e u r a ln e t w o r k ，b p s ks i g n a l s ， q u a d r a t i co p t i m i z a t i o n 南京邮电大学硕士研究生学位论文 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经或撰写过的研究成果，也不包含获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：l 壹辈生日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所 送交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保 存论文。本人电子文档的内容和纸质论文的内容相一致。除了保密期内的保 密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内 容。论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名： 导师签名 糕醐：学 謦蹴奉 南京邮电大学硕士研究生学位论文 笫一章绪论 第一章绪论 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称砧州) 是在现代神经生物学研究的基础 上模拟生物进化过程以反映人脑某些特征的计算结构，在外界输入样本的刺激下不断改变 网络的权值及拓扑结构，使输出不断逼近期望值。人工神经网络最大的优点是学习及并行 运算的能力强，能充分逼近任意复杂的非线性关系并具有较强的鲁棒性和容错性。 径向基函数( r a d i a lb a s i sf u n c t i o n ，简称r b f ) 神经网络是一种性能良好的多层前向神 经网络，通过非线性基函数的线性组合实现从输入空间到输出空问的非线性转换，而从隐 层到输出层是权值线性关系。训练算法简单易行，收敛快，泛化能力强，不仅具有全局逼 近能力，而且具有唯一最佳逼近能力i l 】等优点。因此广泛应用于信号处理，模式识别，自 适应滤波，非线性时间序列预测等领域。 在高速无线数字通信系统中，信号通过无线信道时，由于信道多径传输、衰落、时延 扩展以及多普勒扩展等的影响，在接收端的信号会受到严重的符号间干扰( i s i ) ，使得误码 率大大提高。为了消除符号间干扰，提高通信系统的可靠性，在接收端需采用均衡技术， 由于无线信道的时变特性，传统的均衡技术为了获得可靠的性能，依赖于周期性地发送训 练序列以获取信道信息，增大有效信道容量。盲信道均衡的目的就是不需要训练序列而取 得相同的均衡性能。它可用于使用训练序列代价昂贵或训练序列不可获得的情况。显然盲 均衡不需要周期性地发送训练序列来更新信道估计，节省有限的带宽资源，有利于通信系 统向宽带、高速、大容量方向发展。盲辨识和盲均衡已成为通信信号处理的一个研究热点。 一般的线性均衡器作为逆滤波器，而r b f 均衡器可以表现出比线性均衡器更好的效果【2 一钉。 基于以上背景，将r b f 作为非线性均衡器，与基于有限字符集先验知识的带约束的二 次规划代价函数相结合，建立新的代价函数，应用于单输入多输出( s i m o ) 系统，仅利 用接收序列和发送序列的先验知识来恢复源信号。本文正是在研究了当前技术发展背景的 情况下，提出研究课题：“基于径向基函数r b f 的盲均衡算法”。 1 1 神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是通过对人脑的基本单元神经元的 建模和联结，来探索模拟人脑神经系统功能的类似生物脑系统的网络模型，并研制具有学 l 南京邮电大学硕士研究生学位论文第一章绪论 习、联想、记忆和模式识别等智能信息处理功能的人工系统，是- - f - j 活跃的边缘性交叉学 科。 神经网络系统是由大量的、简单的处理单元即神经元广泛地相互连接而形成的复杂网 络系统。神经元是神经网络的基本处理单元，一个神经网络系统由许多神经元构成，这些 神经元可分为输入单元、输出单元和隐含单元。输入单元从外界环境接受信息，输出单元 则给出神经网络系统对外界环境的作用。这两类处理单元与外界都有直接联系。隐含单元 则处于神经网络系统之中，不与外界环境产生直接联系。它从网络内部接受输入信息，所 产生的输出则只作用于神经网络系统中的其它处理单元。不同条件下，神经元具有不同状 态，从而使得神经网络系统具有记忆功能。神经网络的互连模式反映了神经网络的结构， 决定着这个网络的能力。神经网络系统的稳定结构规定且制约着神经网络的性能与信息处 理能力的大小，限制着网络系统的能力范围。决定网络整体性能的三大要素为神经元，即 信息处理单元；神经元之间的相互联接形式，即拓扑结构：为适应环境而改善性能的学习 规则，即学习算法。神经网络的结构随着研究和应用的不断深入而不断完善。 一个简单的神经网络是由若干个神经元( 也称处理单元或节点) 组成。各个神经元之间 通过相互连接形成网络，网络可划分成若干层。输入信息的神经元组成输入层，输出信息 的神经元组成输出层，其余神经元为中间层。其神经元之间的连接并不只是一个单纯的传 送信号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数起着生物 神经系统中神经元的突角强度的作用，它可以加强或减弱上一个神经元的输出对下一个神 经元的刺激，这个加权系数通常称为权值( 或称为连接强度) 。 人工神经网络的自适应和非线性特性，大量的并行分布结构以及学习和归纳能力使其 在诸如建模、时间序列分析、模式识别、信号处理以及控制等方面应用广泛。 1 1 1 神经元模型 神经元是神经网络的基本组成部分。在神经网络中每一个神经元所计算出的输出，又 是其下一层所有神经元的输入，一个神经元所产生的输出是到它上层的神经元和这些连接 权值来计算的。如图1 1 所示，五，如，矗表示神经元的输入，所有这些输入分别乘上各相 应的权值，并对各乘积求和，就组合成神经元f 的总输出， 2 南京邮电大学硕士研究生学位论文第一帝绪论 w i r l o i 图1 1 神经元示意图 乃= ( 刀p ) = 厂( 0 + 2 ) j = l 式中：f ( n e t ，) 是所考虑层中第f 个神经元的输出；x ，是该神经元的第个输入，也可以是 前一层第_ 个神经元的输出；为神经元f 与前一层第个神经元之间的连接权值，它表 示神经元的连接强度，由神经网络的学习过程学习决定；谚为阈值神经元的内部阈值( 门 限值) 。 神经元的各种不同数学模型的主要区别在于采用了不同的激活函数，从而使神经元具 有不同的信息处理特性。神经元的激活函数反映了神经元输出与其激活状态之间的关系， 下面是几种常用的激活函数。 ( 1 ) 阈值型 这种激活函数将任意输入转化为0 或1 的输出，函数厂( ) 为单位阶跃函数，如图1 2 所示。 具有此函数的神经元的输入输出关系为 m = 厂c w ；x + 谚，= 毛：；二：孑三吕 c - 2 ， 其中w j x 为权值输入，2 为偏差。该定义同( 1 3 ) ，( 1 4 ) 。 ( 2 ) 线性型 f 一。l 一+ 。一1 一w 一x x , v x - 8 。 ( a ) 没有偏差的阂值激活函数 图1 2 ( b ) 带有偏著的闽值激活函数 阈值型激活函数 飞鼍， 1 2 确 砀 一 ，k 南京邮电大学硕士研究生学位论文 第一章绪论 线性激活函数使函数的输出等于加权输入和加上偏差，如图l 一3 所示。此函数的输入 输出关系为 只= ( w j x + 谚) = w j 。x + e( 1 3 ) f o w x f j - 丘8w x ( a ) 没有偏差的线型激活函数 ( b ) 带有偏差的线型激活函数 图1 3 线型激活函数 ( 3 ) s i g m o i d 函数 s i g m o i d 函数将任意输入值压缩到( o ，1 ) 的范围内，如图1 4 所示。此激活函数常用对数 或双曲正切等一类s 形状的曲线来表示，此函数的神经元的输入输出关系为 y i = ( w n + 谚) 2 瓦蒜( 1 - 4 ) el + 、”1 ” fj l l 一 w x f jl l ，一， 。 一口w x ( a ) 没有偏差的对数s 型激活函数 ( b ) 带有偏筹的对数s 型激活函数 图l - 4 对数s 型激活函数 该激励函数的值域为( 0 ，1 ) ，反映神经元的“压缩”或“饱和”特性，即神经元定义为具有 非线性增益特性的电子系统。 1 1 2 神经网络的分类与结构 r 神经元的连接方式和训练网络的学习算法是密切相关的，可认为应用于神经网络设计 中的学习算法是结构化了的。从不同角度对神经网络进行分类： 4 南京邮电大学硕士研究生学位论文第一章绪论 ( 1 ) 网络性能：连续型和离散型网络、确定性与随机性网络。 ( 2 ) 网络结构：前向网络与反馈网络。 ( 3 ) 学习方式：有导师学习网络和无导师学习网络。 ( 4 ) 链接突触性质：一阶线性关联网络和高阶非线性关联网络。 本文将网络结构和学习算法相结合，重点介绍第二种分类，常用于信号处理领域。 根据神经元之间的相互结合关系和作用方式，神经网络可有如下几种典型的结合形 式： ( 1 ) 单层前向网络 指拥有的计算节点( 神经元) 是单层的，源节点个数的输入层看作一层神经元，不具 有计算功能。例如，单层感知器和自适应线性元件就属于这种类型。 ( 2 ) 多层前向网络 含有一个或多个隐含层，其中的节点被相应的称为隐含神经元。网络输入层中的每个 源节点的激励模式单元组成了应用于第二层中神经元的输入信号，第二层中神经元的输出 信号成为第三层的输入，以此类推。即信号从输入层输入，经隐含层传给输出层，由输出 层得到输出信号。通过加入一个或多个隐含层，使网络能提取出更高序的统计，比如多层 感知器和r b f 径向基函数网络均属于多层前向网络。 ( 3 ) 反馈网络 网络中至少含有一个反馈回路的神经网络。反馈回路可以包含一个单层神经元，其中 每个神经元将自身的输出信号反馈给其他所有神经元的输入，如h o 陋e l d 神经网络。 ( 4 ) 随机神经网络 随机神经网络对神经网络引入随机机制，认为神经元是按照概率的原理进行工作的， 这就是说，每个神经元的抑制或兴奋具有随机性，其概率取决于神经元的输入。b o l t z m a n n 机属于典型的随机神经网络。 ( 5 ) 竞争神经网络 输出神经元相互竞争以确定胜者指出哪一种原型模式最能代表输入模式。女i h a m m i n g 网络，有一个单层的输出神经元，每一个输出神经元都与输入节点全相连，从源节点到神 经元之间是兴奋性连接，输出神经元之间横向侧抑制。 1 1 3 神经网络的学习与算法 神经网络的学习也称训练，指的是通过神经网络所在环境的刺激作用调整神经网络的 自由参数，使神经网络以一种新的方式对外部环境做出反应的一个过程，能从坏境中学习 南京邮电大学硕士研究生学位论文 第一帚矫论 和在学习中提高自身性能是神经网络最有意义的性质。 神经网络主要通过三种学习方式进行训练，即监督学习( 有导师学习) 、非监督( 无导 师学习) 和强化学习。 ( 1 ) 监督学习( 有导师学习) 如图1 5 所示，监督( s u p e r v i s e d ) 学习方式需要外界有一个教师。它可对一组给定输 入提供应有的结果。这组已知的输入、输出数据称为训练样本集。学习系统可根据已知输 出与实际输出之间的差值来调节系统参数。 图l 一5 监督学习框图 ( 2 ) 非监督学习( 无导师学习) 非监督( u n s u p e r v i s e d ) 学习是一种自组织学习。在学习时，不存在外部教师，学习 系统完全按照环境所提供数据的某些规律如统计规律来调节自身参数组成结构，直到网络 形成某种有序状态。其原理如图1 6 所示。当网络出现输入数据的统计特征时，网络就实 现了对输入特征的编码，即把输入特征“记忆”下来。而且在记忆之后，当它再出现时， 能把它识别出来。非监督学习能对网络的学习进程进行度量，并优化其中的自由参数。因 此，这种学习的评价标准隐含于网络内部。 八 自组织学习 环境 v系统 图1 6 非监督学习原理示意图 ( 3 ) 强化学习( 有评判的学习) 这种学习介于上述两种情况之间。它是针对监督学习的输出不能得到具体的信息的情 况而提出的，是一种“奖一罚”学习算法，即当一个动作作用于系统后，若系统产生一个 良好的趋势，则强化这一动作。如图1 7 所示。 。 6 南京邮电大学硕士研究生学位论文 第一章绪论 图l - 7 强化学习原理不慈图 学习算法是指针对学习问题的明确规则的集合。神经网络主要由三种因素决定：神经 元的特性、网络的连接和学习算法规则。其中，学习算法对网络学习速度、收敛特性、泛 化能力等有很大的影响。学习类型是由参数变化发生的形式决定的，不同的学习算法对神 经元突触权值调整的表达式不同。选择或设计算法时还要考虑到神经网络的结构和外部环 境的相连方式。对于人工神经网络而言，学习算法归根到底就是网络连接权值的调整方法。 在这里简要介绍一些最基本的、最通用的学习算法： ( 1 ) h e b b 学习算法 h e b b 学习算法是1 9 4 9 年由h e b b 根据生理学中条件反射机理，提出的神经元连接强度变 换的规则，它是人工神经网络学习的基本算法。可以这样形容，几乎所有的人工神经网络 的学习算法都可以看作是h e b b 学习算法的变形。假定第歹个神经元到第f 个神经元之间的 连接强度( 突触权重) 为，样本序号p 是从0 到m - i ，矽和x ? 分别表示第p 样本矢量的 第f 个和j f 个元素，以它们分别作为第f 个和第个神经元输入，n z _ , ，的计算规律是： f m i 嘞： 丢州 ( 浮力 ( 1 - 5 ) 1 0 ， ( f = ) 算法表明：将全部从个样本的第f 和第歹元素作相关运算，以求得连接权值w f ，。如果 两者符合的愈多，则心i 值愈大，也即两神经元之间的连接权重愈强。简单地说，若两个神 经元同时处于兴奋状态，它们之间的连接加强，反之减弱。 ( 2 ) 误差修正学习算法( d e l t a 学习算法) 这是最为常用的学习算法，其要点是通过改变单元之间的连接权重来减小系统实际输 出与期望输出的误差。这个算法也n q w i d r o w h o f 蹲法，令儿( 甩) 为输入x ( n ) 时神经元k 在n 时刻的实际输出，以( ，? ) 为期望输出，则误差信号可写为： 气( ，2 ) = 以( 刀) 一儿( 门)( 1 6 ) 误差修正学习最终目的是使基于吼( 以) 的目标函数达到最小，使网络输出逼近期望值。一旦 确定目标函数形式，误差修正学习就是最优化问题。常用的目标函数为： 南京邮电大学硕士研究生学位论文 第一帝绪论 j = e ( 去气2 ( 丹) ) ( 1 - 7 ) 主 具体可用梯度下降法。为解决需要知道整个过程统计特性的困难，用，在时刻门的瞬时值 e ( n ) 来代替期望值j ： 占( 刀) = 去吼2 ( 刀) 问题变为求e ( n ) 对w 的极小值，根据梯度下降法： ( ，) = ，7 e k ( n ) x j ( n ) 其中，7 为学习步长。 ( 3 ) 竞争学习算法( 胜者为王算法) 在竞争学习阶段各输出单元互相竞争，最后达到只有一个最强者激活。 单元中如有某一单元较强，则他将获胜并抑制其它单元。 1 2 多层感知器( m l p ) 神经网络 ( 1 8 ) ( 1 - 9 ) 这样众多输出 神经网络具有自学习、自适应能力、大型的并行处理能力、内部的互连性、存储的分 布性、高度的非线性、良好的容错性、结构的可变性、高度的鲁棒性和联想记忆等功能， 使得它在处理非线性动态系统上有着广泛的应用，而通信均衡算法是其中的主要部分。这 是因为信道的均衡问题可以看成是一个模式分类问题( 即将不同电平的信号进行分类) ，而 神经网络本身就具有良好的模式分类功能。 多层感知器( m u l t i p l el a y e rp e r c e p t i o n ，简称m l p ) 是神经网络结构中最基本的一种， 属于前馈网络。前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而 得名的。网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性， 一般不存在反馈环路。由于多层感知器的训练经常采用误差反向传播算法( e r r o rb a c k p r o r a g a t i o n ，简称b p ) ，因此人们常把m l p 直接叫b p 算法。它由输入层、多层隐层和输出 层构成。在一般情况下，可以看作是统计模式识别中的后验概率估计和非线性判别分析的 结合。三层m l p 的拓扑结构如图1 8 所示。 南京邮电大学硕士研究生学位论文第一章绪论 a l ( n ) a 2 ( n ) a i ( n ) 输入层隐层输出层 y l ( n ) y j ( n ) 图1 - 8 典型m l p 神经网络拓扑结构 m l p 是前馈网络的一种，每个神经元为单个非线性并联计算单元，其输入通过网络一 层层传播，提供了输入层与输出层的非线性映射关系，数学描述为： 乃c 以，= ( 喜( 骞q e ，) ) t 。， 式中，q ( 疗) 为输入层神经元f 的输入；j ，q ) 为输出神经元的输出；i 和k 分别为输入层 和隐层的神经元数：( ) 为神经网络输入层和隐层的传递函数作用是将每个神经元的输入 非线性化，不同层的传递函数可以根据情况采用不同的表达式；表示从输入层神经元i 到隐层神经元k 的权值；w m 表示从隐层神经元k 到输出层神经元的权值。通常输入层神 经元个数为所选特征参数个数，输出层神经元个数为可能的调制模式个数。 1 3 径向基函数( r b f ) 神经网络 人工神经网络的控制主要应用神经网络的函数逼近功能，从这个角度看，神经网络可 分为全局逼近神经网络和局部逼近神经网络。如果网络的一个或多个权值或自适应可调参 数在输入空间的每一点对任何一个输出都有影响，则称网络为全局逼近神经网络。由于每 个输入输出数据对网络的权值均需要调整，导致全局逼近网络学习速度很慢。若对输入空 间的某个区域，只有少数几个权值影响网络的输出，则称网络为局部逼近网络。它具有学 习速度快的优点，这一点对于控制来说至关重要。径向基函数( r a d i a lb a s i sf u n c t i o n ，简称 i 强f ) 神经网络是一种典型的局部逼近神经网络，它在逼近能力、分类能力和学习速度等方 面均优于b p 神经网络【5 1 。 神经网络的训练能导致在目标函数的局部极小处产生权值。在具有高的非线性激励函 数的多层感知器中，这个问题特别严重，这是由于它们高度的非线性结构，并且网络尺寸 越大越严重。径向基函数网络的输出与输出层的权植是线性关系，并且它的非线性只是由 9 南京邮电大学硕士研究生学位论文笫一帝绪论 于训练目标函数所导致的，这有助于局部极值问题的解决，另外，由于这种网络使用非监 督学习对输入数据进行聚类，因此这种网络很适合于盲信号处理【i j 。 径向基函数( r b f ) i 网络的构成包括三层：输入层由一些源点( 感知单元) 组成，它们将网 络与外界环境连结起来。第二层是网络中仅有的一个隐层，它的作用是从输入空间到隐藏 空间之间进行非线性变换，在大多数情况下隐藏空间有较高的维数。输出层是线性的，它 为作用于输入层的激活模式( 信号) 提供响应。如图1 - 9 所示。关于非线性变换之后跟随线 性变换的理论基础其数学依据可以追溯到c o v e r ( 1 9 6 5 ) 的一篇早期论文。根据这篇文章，一 个模式分类问题如果映射到一个高维空间将会比映射到一个低维空间更可能是线性可分 的这就是径向基函数网络的隐藏空间的维数通常都较高的原因。还有另外一个重要的原 因，就是隐藏空间的维数与网络能否逼近一个光滑的输入一输出映射有着直接的联系 ( m h a s k a r , 1 9 9 6 ；n i y o g ia n dg i r o s i ，1 9 9 6 ) ：隐藏空间的维数越高，逼近就越精确【5 】o x 1 ) 【2 x p 输入层 隐含层输出层 图l - 9r b f 网络结构 径向基函数一般选用高斯函数q ( x ) = e x p _ 业笋】，则函数输出为 m ) = 喜w ，e x p ( 。一略) ( 1 - 1 1 ) f ( x ) = w ，。一譬) ( 1 - j。1二uo w 为权值，c ，为数据中心，q 为扩展系数，n 为隐含层数目。 1 4 本文工作及内容安排 本文围绕基于径向基函数r b f 的盲均衡技术进行分析研究。均衡问题是通信技术中的 一个难点，而盲均衡更是一个有挑战性的研究课题。将r b f 神经网络的思想与训练方式融 l o 南京邮电大学硕士研究生学位论文第一章绪论 合到盲均衡中，目前国内鲜有探讨。在研究过程中，将r b f 和有约束的二次规划性能函数 结合，构造代价函数，用于s i m o 系统中，仅利用接收序列和发送序列的先验知识来恢复 发送序列，这是本文最大的创新点。论文采用理论分析与计算机仿真相结合的手段，从理 论和实践两个方面验证了研究结果的可行性和正确性。全文主要工作如下： 第一章介绍了本文的研究背景和研究意义，并着重介绍了神经网络的相关知识，包括 神经网络的模型结构，学习算法，学习方式等。然后简介了多层感知器( m l p ) 神经网络， 由其不足引出径向基函数( r b f ) 神经网络。 第二章介绍了r b f 丰申经网络，由函数的逼近与内插引出径向基函数，推导出正则化r b f 网络。由于正则化网络在输入样本多时计算量大的缺点给出广义r b f 网络，并比较了两种 网络的优缺点。介绍了r b f 网络所要求的三种参数：数据中心，扩展系数，权值的各种详 细推导过程和计算方法。 第三章介绍了盲均衡的相关知识。包括均衡的局限引出盲均衡概念及模型，介绍了已 有的几种盲均衡算法：基于高阶统计量的盲均衡算法；基于二阶统计量的盲均衡算法：基 于有限字符集的盲均衡算法；基于神经网络的盲均衡算法，并比较了各自的优缺点及应用。 第四章介绍了r b f 盲均衡，回顾了将r b f 与盲均衡结合的算法。主要分为两类：一种 是基于代价函数优化的思想，通过调节r b f 网络的权值最小化代价函数恢复出原信号；另 一种是不是用复杂的代价函数迭代权值而是基于非监督l m s 的算法迭代权值，设计的r b f 盲均衡器输出采用了贝叶斯均衡判决函数的思想对网络输出进行符号判决。 第五章介绍了基于二次规划的r b f 盲均衡算法，这是本文的重点及核心，也是创新点。 本文在深入研究r b f 神经网络的结构与性能特征的基础上，利用接收信号矩阵的j 下交补空 间与发送信号的有限字符集特性，在有噪声的情况下，仅利用接收信号，恢复出原信号。 把原信号盲检测问题转化为整数约束下的二次优化问题，构造适用于盲均衡的r b f 神经网 络模型，提出一个代价函数，并且根据这个代价函数确定权值的递推方程( 此方程中包含 有输入和输出信号的特性) ，然后通过调整权值达到求代价函数极小值的目的。仿真实现 了s i m o 系统中盲恢复b p s k 信号。最后，对m i m o 系统中基于二次规划的r b f 盲均衡 算法进行展望。 南京邮电大学硕士研究生学位论文第二章r b f 神经网络 第二章r b f 神经网络【5 l 2 1 函数的逼近与内插 理解r b f 的工作原理可以从三个不同观点来理解：( 1 ) 当用r b f 解决非线性映射时， 可用函数的逼近与内插的观点来理解；( 2 ) 当r b f 解决复杂的模式分类问题时，用基于 c o v e r 关于模式可分的观点来理解：( 3 ) 建立在密度估计理论上的核回归估计观点。下面 基于第一种阐述r b f 工作原理。 给定一个包含不同点的集合 x ，尺，f - l ，2 ，n ) 和相应的n 个实数的_ 个集合 珥r j , 江1 ，2 ，n ，寻找函数f ：r 寸r 满足下列插值条件： y ( x f ) = 珥，扛l ，2 ，n( 2 1 ) 严格插值就是插值曲面f 必须通过所有的训练数据点。径向基函数技术就是要选择f 具有 如下形式： | f ( x ) = m ( 0 x x | i ) ，= l ( 2 2 ) 其中o ( 0 x x 。i i ) n 个任意函数的集合，称为径向基函数。l i x - - x ，0 是范数，表示x 与x ，的欧式 距离。 将( 2 1 ) 代入( 2 2 ) 得到关于权值w 的一组线性方程组： w l ： w n 吐 吐 ： d n ( 2 3 ) 上式中d 和w 分别表示期望输出向量和连接权值向量。n 表示训练样本的长度。( 2 3 ) 写 成矩阵形式： m w = d ( 2 - 4 ) 若m 为非奇异矩阵，则m j 存在，w 权值可表示为： w = m 以d ( 2 5 ) m i c c h e l l i ( 1 9 8 6 ) 证明了如下定理： 如果 x ，r m o , i = l ，2 ，n ) 集合中的x ，是各不相同的点，则插值矩阵m 为非奇异矩 阵。 1 2 南京邮电大学硕士研究生学位论文 第_ 二帝r b f 神经两络 有四个重要的径向基函数满足m i c c h e l l i 定理： ( x ) = e x p ( 一( 詈) 2 ) q ( 工) = 丽1 口 。 巾( x ) = ( 仃2 + x 2 ) 声0 o ，称为该基函数的扩展系数或宽度。 当m 接近奇异时，( 2 5 ) 解是不稳定的，因而要借助于正则化理论。 2 2 正则化理论i 引 ( 2 6 ) ( 2 7 ) ( 2 - 8 ) ( 2 9 ) 由有限数据点恢复其背后的规律( 函数) 是一个反问题( i n v e r s ep r o b l e m s ) ，往往是 不适定的( 1 1 1 p o s e d ) 【6 】。解决此问题可以加上正则化理论( t i k h o n o wt h e o r y ) 【7 】加入某 些含有解的先验知识的辅助泛函( a s i s t a n tf u n c t i o n ) 来使解稳定。先验识一般涉及假设输 入输出映射函数是光滑的，即相似的输入对应相似的输出。这样，目标函数包含两项。 ( 1 ) 常规误差项： e s ( f ) = i 1 ( 吐一y ) 2 = 寺【z - f ( x 1 n ，) 】2( 2 - l o ) - ，= li = l n 为样本数，4 r i , 江l ，2 ，n 为期望输出。 ( 2 ) 正则化项： e c ( f ) = 吾i i p f i l 2 ( 2 l1 ) 其中p 是线性微分算子。它代表对f ( x ) 的先验知识，也被称为稳定因子，使解光滑从而满 足连续性要求。这样问题变为求使式 e ( f ) ：e s ( f ) + 2 e c ( f ) ：丢羔 4 - f ( x ，) 】2 + i ia ip f i l 2 ( 2 - 1 2 ) 的极小化值e ( f ) 。e ( f ) 叫做t i k h o n o w 泛函。一个泛函映射函数到实直线。使t i k h o n o w 泛函最小的解函数用c ( x ) 表示。( 2 1 2 ) 中a ( 0 ，o o ) 是正实数，叫正则化参数，它的值控 制着正则化项的相对重要性，从而也控制着f ( x ) 的光滑程度。当五寸0 时，表明该问题不 受约束，e ( x ) 完全取决于所给样本；当元jo 。时，意味着样本不可信，仅有算子p 所决 定的先验光滑条件地“b e 得到c ( x ) 。当五( 0 ，0 0 ) 时，说明样本数据和先验知识对( x ) 都有 南京邮电大学硕士研究生学位论文 第二章r b f 神经网络 贡献。因此正则化项表示对模型的惩罚项。 由文献【8 】，上述问题可转化为求解e ( f ) 的e u l e r 方程： 尸+ 阼( x ) = 【z - f ( x 。) 】万( x - - x ，) ( 2 - 1 3 ) 其中p 宰为尸的伴随算子( c o n c o m i t a n ta r i t h m e t i co p e r a t o r s ) ，令g ( x ，x ，) 为自伴随算子p + p 的g r e e n 函数，它满足除在奇点x = x ，外，其余各处p 尸g ( x ，x ，) = o ，即 尸牛p g ( x ，x ，) = 8 ( x x ，) ( 2 1 4 ) 可利用g r e e n 函数求解上式。g r e e n 函数定义如下： 给定微分算子l ，若函数g ( x ，芎) 满足如下条件，则称g ( x ，号) 表示向量x 和鼍的一个函 数，是l 的g r e e n 函数。向量号作为自变量，向量x 作为参数。 ( 1 ) 对固定亏，g ( x ，亏) 是x 的函数，它满足给定的边界条件。 ( 2 ) 除x = 号外，g ( x ，号) 对x 的导数连续。 作为x 的函数，g ( x ，号) 满足下述微分方程： 三g ( 】i 【 芎) = 8 ( x 一号)( 2 - 1 5 ) 可见，g r e e n 函数对于微分算子的作用等于一个矩阵的逆矩阵对于该矩阵方程的作用。 用m ( x ) 表示x ，r ”的连续函数，则函数 f ( x ) 2 k ，g ( 】| 【芎) 认亏徙 ( 2 1 6 ) 是微分方程l f ( x ) = 缈( x ) 的解。 若令= 尸宰p ，f o ( x ) = ( 西- f ( x f ) ) 8 ( 亏- x ，) ，由式( 2 1 6 ) 有： 聃，= k g 伍芎，任缸1 = 1 川，涨一x ，忙 = 了1 n z f - f ( x , ) 咀g ( x ，芎矽( 芎一x ，) 鹕= 了 z) 也g ( x ，芎矽( 芎一x ，) 鹕 几i = i = z - f ( x ，) 】g ( x ，x 。) ( 2 1 7 ) 格林函数有明显的几何意义，可理解为封闭曲线s 内x 处放一单位正电荷，s 是导体，外 侧接地，于是外侧电位为零。s 内任一点的电位由两种电荷产生，一是点x 处的正电荷， 二是s 内感应的负电荷，格林函数g ( x ，x ，) 是x 点的结果电位。g ( x ，x ) 也可以理解为长度 为1 两端固定的弦在点x = x 处由于受单位集中力的作用在点x 处产生的位移。若为连续 1 4 南京邮电大学硕士研究生学位论文 第二章r b f 神经飚络 力，且其发布密度是f ( x ) ，则司看作在凼上受集中力f ( x ) d s ，这样弦在x 处严生的位移 是： j ，( x ) = fg ( x ，s 扩( x ) d s ( 2 - 1 8 ) 于是式( 2 1 4 ) 的解化为下式积分变换： f ( x ) = 上，g ( x ，号) 妒( 芎徙( 2 - 1 9 ) 其中缈( 号) 是式( 2 1 4 ) 右端的函数( 变量x 用号来代替) ，且 1n 伊( 号) = 【4 一f ( 亏) 】a ( 号- x ，) ( 2 2 0 ) t - - - i 代入上式，可得： 1n f ( x ) = z - f ( x f ) 】g ( x ，x ，) ( 2 2 1 ) i , l = l 可见，正则化问题是n 个基函数g ( x ，x ，) 的线性组合，问题转变为求上式中的未知系数： w ，： 【匝一f ( x 朋，i - l ，2 ，n ( 2 - 2 2 ) 根据f ( x ) = w , g ( x ，x ，) ，先求x 处的f ( x j ) 值，j = l ，2 ，n ，有 并令 j ， f ( x ) = w , g ( x j ，x f ) ，j = l ，2 ，n f = 【f ( x i ) f ( x 2 ) f ( x ) r d = 碣吐“】7 。 g = g ( x l ，x 1 ) g ( x 2 ，x 1 ) g ( x ，x 1 ) g ( x l ，x 2 ) g ( x 2 ，x 2 ) g ( x ，x 2 ) w = w 2 w n l 7 将( 2 2 2 ) 、( 2 2 3 ) 写成矩阵形式，有： 由( 2 2 8 ) 、( 2 2 9 ) 消去f ，可得： w ： ( d f ) 五、 f = = g w ( g + m ) w = d g ( x i ，x ，) g ( x 2 ，x j ) g ( x ，x n ) ( 2 - 2 3 ) ( 2 - 2 4 ) ( 2 2 5 ) ( 2 2 6 ) ( 2 2 7 ) ( 2 2 8 ) ( 2 2 9 ) ( 2 3 0 ) 南京邮电大学硕士研究生学位论文 第二章r b f 神经网络 其中i 为单位矩阵，g 为格林函数，它是一个对称矩阵，即g ( x ，x ，) = g ( x ，x ，) 。所 以g7 = g ，只要各数据点而，屯，h 不同，g