（信号与信息处理专业论文）cdma通信系统中基于神经网络的盲多用户检测.pdf

太原理工大学硕士研究生学位论文 y 6 2 0 2 5 7 c d m a 通信系统中基于神经 网络的盲多用户检测 摘要 多用户检测技术是c d m a 通信系统的一个关键技术，其 将各用户发送的信号做联合检测，缓解了远近效应问题，有 效地消除了多址干扰，明显地改善了系统性能，提高了系统 的容量。但是，多用户检测实现复杂度高，一般只在基站使 用，从而适用于移动台的盲多用户检测成为研究的前沿课题。 在神经网络理论迅速发展的同时，人们也加强了其在通信领 域应用的研究。本文在d s c d m a 通信系统中，将神经网络 与盲多用户检测相结合，得到一些有意义的结果。本文的主 要工作可以概括如下： 1 分析研究了用神经网络实现c d m a 通信系统中盲多 用户检测的可能性及其原理，仿真结果也证明了该方法的有 效性和可行性； 2 在高斯信道中提出了一种l a g r a n g e 神经网络盲多用 奎璺堡三奎兰堕主堡壅兰兰堡笙茎 户检测器，推导了其网络动态特性方程组，并对网络的稳定 性和收敛性进行了简单的证明，给出了神经网络的电路实现。 计算机仿真结果表明该算法有很快的收敛速度，能适应于时 变的移动环境，并具有抗远近性，仿真结果与理论分析一致； 3 在多径信道中采用新的代价函数，把复值优化问题转 化为便于神经网络计算的实值优化问题，用l a g r a n g e 神经网 络进行有效的求解，理论分析和仿真结果表明，该算法在计 算复杂度和收敛性能上要优于目前存在的同类算法。 关键词：盲多用户检测，神经网络，优化 太原理工大学硕士研究生学位论文 b l n 寸dm u i j i u s e rd e t e c t l 0 n b a s e do nn e u r a ln e t w o r k i nc d m ac o m m u n i c a t i o ns y s t e m a b s t r a c t a so n eo ft h e k e yt e c h n i q u e s i nc d m a c o m m u n i c a t i o ns y s t e m ，m u l t i u s e rd e t e c t i o n ( m u d ) c a nj o i n t l y d e t e c tt h es i g n a l st r a n s m i t t e db ya l lu s e r s ，t h e r e b yc a r lr e d u c e m u l t i p l e a c c e s si n t e r f e r e n c e ( m a i ) e f f e c t i v e l y , r e l a x “n e a r - f a r e f f e c td r a m a t i c a l l y , i m p r o v et h es y s t e mp e r f o r m a n c eo b v i o u s l y a n di n c r e a s et h es y s t e mc a p a c i t y b u tt h er e a l i z a t i o no fm u di sc o m p l e x ，m a n yr e s e a r c h a c t i v i t i e sh a v eb e e nf o c u s e do nb l i n dm u l t i u s e rd e t e c t i o n w i t h t h e r a p i dd e v e l o p m e n to fn e u r a ln e t w o r k ，t h e r e s e a r c ho fi t s a p p l i c a t i o n i nt e l e c o m m u n i c a t i o ni sw i d e l yc a r r i e do u t i nt h i s p a p e r ，f o rd s c d m a c o m m u n i c a t i o ns y s t e m ，b ya p p l y i n gn e u r a l i i i 太原理工大学硕士研究生学位论文 n e t w o r ka l g o r i t h m st ob l i n dm u l i t u s e rd e t e c t i o n ，w eh a v eg a i n e d s o m es i g n i f i c a t i v er e s u l t s t h em a i nw o r k so ft h i sp a p e rc a nb e s u m m a r i z e da sf o l l o w s 1 a n a l y s e d a n dr e s e a r c h e dt h e p r o b a b i l i t y a n dt h e t h e o r y o fu s i n gn e u r a ln e t w o r ki nd s c d m ac o m m u n i c a t i o n s y s t e m s t h e s i m u l a t i o nr e s u l t s p r o v e d t h e v a l i d i t y a n dt h e f e a s i b i l i t yo f t h i sm e t h o d 2 p r o p o s e dal a g r a n g en e u r a ln e t w o r kb l i n dm u l t i u s e r d e t e c t o ri nt h e s y n c h r o n o u s c d m as y s t e m t h r o u g h w h i t e g a u s s i s n c h a n n e l ，d e r i v e di t s d y n a m i ce q u a t i o n s ，p r o v e di t s s t a b i l i t ya n dc o n v e r g e n c es i m p l y ，g a v et h ec i r c u i ti m p l e m e n to f t h en e u r a ln e t w o r k t h es i m u l a t i o nr e s u l t ss h o w e d t h ep r o p o s e d a l g o r i t h mc o u l ds u p p r e s s “n e a r - f a r ”e f f e c t ，h a df a s tc o n v e r g e n c e s p e e d ，a n d c o u l db es u i t t o t i m e - v a r y i n ge n v i r o n m e n t t h e s i m u l a t i o nr e s u l t sw e r ea c c o r d e d w i t ht h e t h e o r ya n a l y s e s 3 i n m u l t i p a t hc h a n n e l ，w e a d o p t e d an e wc o s t f u n c t i o n ，c o n v e r t e dt h ec o m p l e x v a l u e do p t i m i z a t i o np r o b l e mt o ar e a l v a l u e d o n e ，s o l v e d i t u s i n gl a g r a n g en e u r a ln e t w o r k i v 太原理工大学硕士研究生学位论文 e f f i c i e n t l y t h e s i m u l a t i o nr e s u l t ss h o w e dt h e p r o p o s e d a l g o r i t h mi m p r o v e d t h ec a l c u l a t i o n c o m p l e x i t y a n dt h e c o n v e r g e n c ep e r f o r m a n c e k e y w o r d s ：b l i n dm u l t i u s e rd e t e c t i o n ，n e u r a ln e t w o r k ， o p t i m i z a t i o n v 太原理工大学硕士研究生学位论文 一绪论 1 研究盲多用户检测的意义 随着移动通信的迅猛发展，现有的包括全球移动通信系统( g l o b a l s y s t e mf o rm o b i l e ，g s m ) 和窄带码分多址( c o d e d i v i s i o nm u l t i p l ea c c e s s ， c d m a ) 的通信系统很难满足要求，因此第三代移动通信备受人们注目。 而在第三代移动通信中，宽带直序扩频码分多址( d i r e c ts e q u e n c e c d m a d s c d m a ) 是迄今为止最为看好的多址接入方式【1 , 2 1 。宽带c d m a 系统与窄带c d m a 系统相比，不仅是带宽的提高，更是单位带宽利用率 的增加，互操作性和移动性的增强，以及更广泛的业务范围和支持更高的 移动速率。多用户检测( m u l t i u s e rd e t e c t i o n ，m u d ) 技术作为c d m a 通信 系统中抗干扰的关键技术受到了广泛的重视【3 】。 在c d m a 通信系统中，依靠不同的扩频码来区分不同的用户，如果扩 频码之间是完全正交的，则各个用户之间不存在多用户干扰1 4 j 。但在实际 的c d m a 通信系统中，由于多个用户的随机接入以及用户扩频码之间的非 完全f 交性，非零互相关系数将引起各用户间的相互干扰称为多址干扰 ( m u l t i a c c e s si n t e r f e r e n c e ，m a i ) 。多址干扰包括小区内干扰和邻区干扰 两种。邻区干扰是指其它同频小区信号造成的干扰可通过合理的小区配 置来减小其影响。即使在最恶劣的情况下，邻区干扰功率也不超过内部干 扰功率的6 0 ，因此系统容量主要取决于对小区内干扰的处理。 由个别用户产生的m a i 固然很小，可是随着用户数的增加或信号功率 的增大，这种干扰将越来越严重，从而导致系统性能的急剧恶化。这种恶 太原理工大学硕士研究生学位论文 化无法靠提高信噪比来解决，m a i 就成为c d m a 通信系统的一个主要干 扰。传统的单用户检测系统完全按照经典的直接序列扩频理论对每个用户 的信号分别进行扩频码匹配处理，独立处理每个用户的信号，也称为相关 检测或单用户检测，把m a i 等效为高斯噪声，同时也把有用的信息作为噪 声丢弃了，导致误码率提高，抗多址干扰的能力较差。 同时，无线电信号经过移动信道时会受到来自不同途径的衰落1 5 】。由 于移动用户所在的位置是处于动态的变化中，基站接收到的各用户信号功 率可能k - f l 差很大，而即使各用户到基站的距离相等，深衰落的存在也会使 到达基站的信号各不相同，强信号对弱信号有着明显的抑制作用，会使弱 信号的接收性能很差甚至无法通信，这一现象称为“远近效应”( n e a r f a r e f f i c i e n c y ) ：现有系统都是靠严格的功率控制来解决这一问题的，但如果 功率控制的误差超过l d b ，系统的性能将会有明显的恶化，而精确的功率 控制不但实现非常复杂，同时出于传输时延及移动台的限制使其具有极大 的局限性。 多用户检测技术( 也称互信道干扰抑制、多用户解调或干扰抵消) 在传 统检测技术的基础上，充分利用造成m a i 的所有用户信号信息对多个用 户做联合检测或从接收信号中减掉相互问干扰的方法，有效的消除m a i 的 影响，从而具有优良的抗干扰性能。在理想情况下，应用多用户检测技术 系统的性能将接近于单用户的性能。这显然消除了远近效应的影响，可以 简化用户的功率控制，降低了系统对功率控制精度要求。并且由于m a i 的 消除，用户在较小的信噪比下就可以达到可靠的性能，单用户信噪比的降 低可以直接转化为系统容量的增加，因此能更加有效地利用链路频谱资 源，显著提高系统容量。 多用户检测技术有其局限性 6 1 。一方面，因为不知道相邻小区干扰用 户的地址码，它们不能够消除其它小区的m a i 干扰对本小区的影响。另一 2 太原理工大学硕士研究生学位论文 方面，它们要知道本小区各个用户的地址码以及对时延、功率、信道参数 等系统参量的准确估计，而对于异步系统【7 】、存在多径或信号功率不断变 化的情况下，获取这些信息是很困难的，实现复杂度高，一般只在基站使 用，即只适用于上行链路的检测。针对上述情况，出现了大量自适应多用 户检测器【8 。这些自适应多用户检测虽然很好地解决了实时性的要求且性 能较好，但这些检测器工作时需要不断发送训练序列，这就造成了信息传 输速率的降低，另一方面，由于信道是时变的，当变化很大时，发送的i j i i 练序列就将毫无用处，甚至使得检测器的性能变得很差。 为此，希望研究不需要训练序列的自适应多用户检测器，即盲多用户 检测器( b l i n d m u l t i u s e r d e t e c t o r ) 和半盲( s e m i - b l i n d m u l t i u s e r d e t e c t o r ) 。 所谓“盲”是指仅使用待测用户的观测数据，不知道干扰用户的信息，适 用于移动台；所谓“半盲”是指对干扰用户的地址码，小区内的己知而小 区外的未知，适用于基站。盲多用户检测器无需训练序列，开销小、效率 高，已成为通信、信号与信息处理等学科的热点研究课题之一。 2 盲多用户检测的研究现状 根据检测器所需要的先验知识，可以将盲多用户检测分为三类”1 ： ( i ) 已知期望用户的特征序列和信道参数，其他用户的特征序列和 信道参数未知： ( i i ) 已知期望用户的特征序列，期望用户的信道参数以及其他用 户的特征序列和信道参数未知： ( i i i ) 所有用户的特征序列和信道参数均未知。 第( 1 1 1 ) 类多用户检测可以归结为更一般的多输入多输出系统的盲 辨识问题，主要应用在侦听方面，本文不考虑此类问题。 目前盲多用户检测的算法仍在研究当中，已涌现的算法按照所要达 3 太原理工大学硕士研究生学位论文 到的代价函数不同可以分为：最小均方误差( m i n i m u mm e a l ls q u a r e e r r o r ，m m s e ) 算法1 烈、最小输出能量( m i n i n u mo u t p u t e n e r g v m o e ) 算法mj 、判决反馈型( d e c i s i o nf e e d b a c k ，d f ) 算法【1 4 , 1 5 、恒模 算法( c o n s t a n tm o d u l u sa l g o r i t h m ，c m a ) 、高阶累积量( h i g ho r d e r c u m u l a n t ) 算法【1 7 】、最大似然( m a x i m u ml i k e l i h o o d ，m l ) 算法 1 8 、最小 误码率( m i n i m u mb i te r r o r r a t e ，m b e r ) 算! ；去【哼1 以及以上各算法加入线性 约束条件的情况。 约束条件最优算法是针对以上各种目标函数加以线性约束条件而形 成，其中主要是对目标用户的扩频码进行约束。对于有约束的优化问题， 可以转化成为无约束优化问题，通常采用拉格朗日乘子法等。通过以上的 操作，实际上已将盲多用户检测的问题演变成为：以一定的代价函数最大 最小为目标，受一定的线性条件约束，求解关于权值的最优化问题。由 于优化问题已有一套十分完善的解决办法，所以盲多用户检测算法的实现 难度得到了简化。 除了上面所提到的线性规划型的检测算法，盲自适应检测算法还包 括最大熵( e n t r o p ym a x i m u m ，e m ) 算法【2 0 1 、基于隐m a r k o v 模型( h i d e m a r k o vm o d e l ，h m m ) 和最大似然准则的b a y e s i a n 统计算法【2 2 1 ( 非线 性) 、基于k a l m a n 滤波的盲算法( 线性) 2 3 1 等等。 h o n i g 等人i l 列于1 9 9 5 年首先采用m o e 准则和正交约束，在( i ) 类的 同步和异步情况下，以检测器的输出能量作为目标函数，在仅知道期望用 户扩频序列的情况下，研究了盲多用户检测。此算法计算量小，具有全局 收敛性，但此检测器对信号失配和码间干扰( i n t e r s y m b o li n t e r f e r e n c e i s i ) 非常灵敏，不能适用于多径色散系统。m a d h o w r 2 4 t 6 】提出了等价的同步信 号模型，研究了( i i ) 类情况的联合干扰抑制和定时获取。潘且鲁【2 7 】在代 价函数中引入差分，提出了差分最小输出能量( d m o e ) 算法。在共干扰环 4 太原理工大学硕士研究生学位论文 境下及信道参数变化时均能适用。t s a t s a n i s 2 s ；9 1 进一步采用多约束条件研 究了( i i ) 类的小时延多径信道情况，能够直接实现最小方差盲多用户检 侧，避免了信道估计。与此同时，以上研究都提出了各种修正的l m s 和 i l l s 算法来实现最小方差盲多用户检测1 3 0 】。 一 根据多用户检测与阵列处理之间的关系，子空间方法已经用于研究 c d m a 的同步问题3 1 。该算法主要基于数字信号的子空间结构特性： 在接收机端观测到的信号是所有用户信息码元乘以相应的扩频波形之后 线性组合并叠加噪声的结果。虽然噪声的随机性使得观察值可能取得n 维空间中的任何点，但是在实际通信系统中，用户信号的强度远大于噪声 观察值落在所有用户信号向量张成的子空间( 即信号子空间) 的机率更大。 所以可以通过统计方法求出信号子空间，作为该空间的基之一，目标用户 信号的检测问题将得以解决。 w a n g 等人【3 4 】进一步提出了盲多用户检测的子空间方法，它主要利用 输入信号的广义循环平稳特性，对输入数据自相关矩阵进行子空间分解， 根据信号子空间与噪声子空间的相互正交性，将输入信号投影到信号子空 间上，以获得多用户检测。w a n g l 3 钉首先研究了( i ) 类的同步情况，并 且通过基于压缩映射的投影逼近子空间跟踪( p r o j e c t i o n a p p r o x i m a t i o n s u b s p a c et r a c k i n g b a s e do nd e f l a t i o n ，p a s t d ) 算法实现了自适应接收机， 然后扩展到( i i ) 类的一般多径睛况，研究了联合抑制多址干扰和符号l 剐 串扰的两步实现方法，即先进行盲信道辨识，再实现子空间盲多用户检测。 l o u b a t o n 3 6 】进一步修正了c d m a 通信系统的盲信道辨识条件。s o n 9 1 3 7 】在 ( i i ) 类的一般多径情况下，研究了单细化快速子空间跟踪算法，能够直 接实现子空间卣多用户检测，避免了信道估计。 子空间算法的优势在于：利用数字信号的子空间特性，收敛速度快。 其缺陷在于计算复杂度高，达到d ( 2 ) ，低信噪比情况下误码性能较差。 5 太原理工大学硕士研究生学位论文 许多学者也致力于研究基于c m a 的盲多用户检测算法【1 6 , 3 8 1 ，满足收敛 条件的恒模算法的收敛速度和稳态性能都很好，但恒模算法存在多个局部 收敛点，对于初始向量和收敛步长参数的选择有很大的依赖性，容易收敛 到局部最小点上。因此，c m a 盲多用户检测技术的研究还有很长一段路要 走。 从目前文献中对盲多用户检测的研究，可以看出： 1 ) 较多讨论了m m s e 检测器，解相关检测器。 2 ) 跟踪和辨识信道的主要方法是使用子空间方法。通过奇异值分解， 利用噪声子空间和信号子空间的正交性，求取特征值和特征向量。 3 ) 计算方法主要采用l m s 的改进算法，r l s 的改进算法，改进代价 函数的办法等，使算法性能较以往有所提高。 4 ) 平0 用批处理算法和块处理算法来加快算法的收敛速度。 5 ) 算法所依据的基本判据和准则有m m s e 准则，m o e 准则，追零准 则等。 3 盲多用户检测的主要研究方向 目前的盲多用户检测研究大多都是假设多径时延扩展相对于符号周 期很小，以至于符号问串扰可以忽略。然而随着数据传输速率的不断提高， 必须考虑符号间串扰对系统性能的影响【3 9 】。因此，要求多用户检测能够 联合抑制多址干扰和符号间串扰。另一方面，对于快速衰落的多径信道情 况，结合有关协议，设计计算复杂度较小、所需硬件较少、收敛速度较快、 稳定性较好的盲检测方案仍是目前研究的主要问题之一f 4 0 , 4 1 】。 一般的多用户检测研究都假设用户数据是独立等概率的，没有考虑信 道编码的影响。目前，组合信道编码和多用户检测的研究也受到越来越多 的重视。扩频码的设计理念也需要有进一步的更新，比如：在接收端设计 6 太原理工大学硕士研究生学位论文 与恢复后的扩频码字相正交的接收扩频序列( 有别于传统系统中沿用发送 端的扩频码字) ，以减小由于信道畸变或者参数估计所带来的检测误差 1 4 2 1 。另外，目前的研究方向还包括多速率多用户检测【4 3 1 和空时多用户检 测【4 4 】等等。多速率多用户检测是为了支持不同传输速率、不同业务质量 的无线多媒体通信的需要。空时多用户检测组合多用户检测和空时处理技 术，它提出了一种有别于传统多用户检测的全新体系，在信号传输、识别、 检测等环节处处体现了空间与时间的结合。空时联合检测结合天线阵列接 收与时域检测等两方面技术对信号实施二维处理。已有研究证明：使用通 信阵列和空时信号处理可以有效的改善系统性能和提高系统容量，并能有 效地抑制同道干扰和码间串扰，获得抵抗多径衰落的空间分集。鉴于此， 空时联合检测是一种极具发展潜力的信号处理手段。 4 本论文结构安排 本文的主要内容安排如下： 第一章：分析了研究盲多用户检测的意义，综述了其研究现状，指出 了本文的主要研究工作。 第二章：论述了神经网络盲多用户检测的基本原理详细介绍了本文 要用到的优化神经网络的原理和电路实现，并通过数值仿真验证了网络的 可行性，作为本文后面的研究的基础。 第三章：简述了高斯信道下最小输出能量( m o e ) 盲检测器的原理， 基于m o e 准则提出了一种神经网络盲多用户检测器，推导了该算法的网 络动态方程组，分析了其性能，并进行了计算机仿真。 第四章：研究了多径衰落信道下的m o e 检测，将盲检测转化为优化 问题，采用了新的代价函数，对约束变量进行了适当的选择。把复值优化 问题转化为实值优化问题，用神经网络进行有效的求解推导了该算法的 7 奎垦垩：! 盔兰堡主塑塞竺堂垡堡奎 网络动态方程组，计算机仿真表明该算法降低了复杂度，有较好的性能。 第五章：总结了全文工作，并且对未来的研究方向进行了展望。 8 太原理工大学硕士研究生学位论文 二神经网络盲多用户检测的基本原理 1 人工神经网络的基本知识 ( 1 ) 人工神经网络的基本概念 人工神经网络模型是在现代脑科学对人脑神经元系统的认识和了解 的基础上提出来的，它是由一系列简单元件相互连接构成的工程计算模 型，部分地模拟了人脑的结构和功能，其目的是建立具有某种特定功能的 信息处理系统。在某些情况下，网络的规模和问题的规模无关，这使得神 经网络具有实时计算功能4 5 ，“。但是。网络的规模和问题的规模是相关的， 神经网络实时计算的本质是用网络的复杂性作为代价来换取实时处理能 力。而神经网络以模块化实现。其复杂性常常是可以接受的。它模拟人脑 的微观结构，通过大量神经元的连接，通过自学习、自组织和非线性动力 学所形成的并行分布方式来处理信息。 基于一种特定的神经网络模型，可以将很多个神经元按照不同方案组 合成各种类型的人工神经网络，各种类型的网络具有如下一些共同特点： 1 ) 网络由同一种简单的非线性处理单元即神经元处理。 2 ) 网络的构成和运行都按照分布一并行的方式。 3 ) 网络中神经元的数量非常巨大，从而使得网络成为一个复杂的系统。 4 ) 网络有学习能力，它并非按已经编制好的程序来实现某种所需的功能， 而是通过学习来获得此功能。 概言之，可以将人工神经网络描述为复杂的、分布一并行的、有学习 能力的非线性动力系统。人工神经网络的分布一并行原理使其能用一般的 9 奎星里j ：；查堂堕主塑塞生堂垡笙塞 处理单元完成极高速的运算，其学习能力和非线性可使之完成过去传统方 法无法完成的若干任务。 ( 2 ) 人工神经网络的分类 人工神经网络的主要工作是建立模型和确定权系数，依据人工神经网 络模型的建立和权系数的确定方法，神经网络主要分为两个主要模型：前 向( f e e d f o r w a r d ) 和反馈( f e e d b a c k ) 型人工神经网络f 4 7 】。 前向型神经网络的特点是将神经元分为层，每一层的神经元之间没有 信息交流，按一层一层地且同步计算；反馈型神经网络则将整个网络看成 一个整体，神经元相互作用，计算是整体性的。 对前向型神经网络来说，一般将神经网络的计算分为两个阶段，学习 阶段和应用或工作阶段。第一阶段为学习阶段，这个阶段的主要工作是确 定权系数，第二阶段是应用阶段，是在权系数确定的基础上，用带有确定 权系数的神经网络去解决实际问题。当然，学习和应用并不是绝对地分为 两个阶段，它们互相继承，可以通过学习，应用，再学习，再应用地循环 过程，逐渐提高人工神经网络的应用效果。 图2 1 是前向型人工神经网络的计算流程。第一个阶段如图2 1 ( a ) 描述，它的主要工作是：在选择网络模型和学习规则后，根据已知的输入 输出学习数据，输入和输出学习数据也分别成为理想输入和输出数据，通 过学习规则确定神经网络的权系数，这个阶段的输入是学习数据中的输入 数掘，通过人工神经网络的输出同学习数据中的理想输出数据的比较，确 定神经网络中的权系数。第二个阶段如图2 1 ( b ) 描述，它的主要工作是： 根据第一个阶段确定的模型和得到的权系数，在输入实际问题的输入数据 后，给出一个结论。 基于神经网络理论的非盲检测算法主要是基于神经网络的联想、分类 1 0 兰塑里兰盔堂堕主堕壅生兰垡笙奎 功能来实现对输入信号的恢复。此类算法一殷采用前向神经网络模型( 例 如多层感知器和反向传播( b a c k p r o p a g a t i o n ，b p ) 网络等) ，主要目的是 确定网络的权系数的更新公式或者是选择合适的传递函数【4 8 4 9 。 ( a ) ( b ) 图2 - 1前向型人工神经网络计算过程示意图 图2 - t ( a ) 第一阶段计算流程图图2 - lf b ) 第二阶段计算流程图 f i g2 - i c a l c u l a t i o nf l o wc h a r to f f e e d f o r w a r da r t i f i c i a ln e u r a ln e t w o r k f i g 2 l ( a ) c a l c u l a t i o nf l o wc h a r to f t h ef i r s tp h a s e f i g2 i ( b ) c a l c u l a t i o nf l o wc h a r to f t h es e c o n dp h a s e 反馈型神经网络的般结构如图2 2 所示。 图2 - 2 反馈型神经网络的一般结构 f i g 2 - 2 g e n e r a ts t r u c t u r eo ft h eb a c k f o r w a r da r t i f i c i a ln e u r a ln e t w o r k l l 太原理工大学硕士研究生学位论文 即神经元之间的信息传递关系不再是从一层到另一层，而是各神经元 之间存在着联系，反馈型神经网络有连续和离散系统两类，主要取决于用 微分方程模型还是用差分模型描述。下面主要介绍与本文有密切联系的连 续反馈型神经网络。 网络的平衡点、平衡点的稳定性和吸引域性质是研究连续反馈型神经 网络的重点。它们的研究方法，主要是通过研究动力系统和它对应的 l y a p u n o v 能量函数的性质，连续动力系统是反馈神经网络研究的一个基 础。从物理学的角度有这样的现象：随着系统的运动，其储存的能量随时 刚的增长而衰减，直至趋于能量极小的平衡状态，由此原理，我们研究 般采用稳定性的l y a p u n o v 第二方法，或称直接法，它首先给出微分方程 和相对应的能量函数或广义能量函数，或称l y a p u n o v 函数，在研究函数 的特性后，可以不用求解系统的运动方程，而给出系统平衡稳定性的信息。 l y a p u n o v 第二方法的基本思想是：先给以一个动力系统，而后构造对应的 l y a p u n o v 函数，通过l y a p u n o v 函数的研究来确定动力系统的稳定性。 个系统的l y a p u n o v 函数不具有难一性。 基于神经网络理论的非盲检测算法和盲检测算法主要用反馈神经网 络模型( 例如h o p f i e l d 网络) ，其主要目的是利用接收到的数据或者已知 数据经过适当地变形或转换得到网络的权系数，构造能量函数( 也称 k y a p u n o v 函数) ，然后根据系统的动态方程进行演变，最终确定网络平衡 稳定时的各神经元的状态【5 0 1 。 2 神经网络盲多用户检测的基本原理 神经网络的自学习、自适应能力以及大型并行处理、高度的鲁棒性等 特征，对处理一些复杂的非线性问题特别有效。因此，将人工神经网络理 论与现有的盲多用户检测技术相结合，解决通信系统具有极大的优越性。 1 2 太原理工大学硕士研究生学位论文 神经网络盲多用户检测器能很好地考虑系统的非线性、菲平稳往和非高斯 性，越来越引起人们的重视。神经网络盲多用户检测的基本模型如图2 - - 3 所示。 图2 3 中，y ( t ) 表示接收到的基带连续信号，经过码片匹配滤波器 得到离散信号，通过神经网络盲多用户检测算法，计算出检测器的最优权 值，通过硬判决得到目标用户传送的数掘的估计值。 神 码经 片网 y ( 。 匹 ) ： 络 配茸 滤检 波测 器 算 法 ；“1 ；：( f ) g 岸0 ) 图2 3 神经网络盲多用尸检测的基本模型 f i g 2 3 b a s i cm o d e lo fn e u r a ln e t w o r kb l i n dm u l t i u s e rd e t e c t i o n 基于神经网络理论的盲多用户检测算法从原理上主要有两种： 一种是基于传统的代价函数的方法，即在经典的处理盲多用户检测算 法中，都是根据信号的二( 高) 阶统计特性或频谱特性来构造一个性能较 好的代价函数( 如1 2 节中介绍) ，然后依据梯度下降法或其他改进算法 使其收敛。神经网络解决盲多用户检测问题是根据这个代价函数确定权值 的递推方程( 此方程中包含有输入和输出信号的特性) 。最后，通过使代 价函数变小达到调整权值的目的。 另一种是根据网络的能量函数构造权值的方法，每一种神经网络都有 自己的能量函数和状态方程。可以证明，当网络中的任何一个变量神经元 的状态发生变化时，能量函数都将减小。即网络系统总是朝着能量减小的 1 3 太原理1 ：大学硕士研究生学位论文 方向变化，最终进入稳定状态。根据能量函数的这一特性，将原有的代价 函数与能量函数相比较，进行一定的变化，作为网络的能量函数，再根据 新的能量函数设计网络的状态方程( 主要设计方程中与权值相关的量) ， 这就对原有的网络进行改造，可以达到所要求的目的。 本文所研究的神经网络盲多用户检测器遵从第二种原理。它的基本思 想是把盲检测问题的代价函数进行适当地变形，使之成为所选神经网络的 能量函数。主要是把检测问题转化为优化问题，用优化神经网络进行求解。 f 面的章节主要介绍一下本文所用的l a g r a n g e 优化神经网络1 5 t , 5 2 i 。 3 l a g r a n g e 神经网络 ( 1 ) l a g r a n g e 神经网络的模型及原理 问题 考虑以下的一般非线性规划( g e n e r a ln o n l i n e a rp r o g r a m m i n g ，g n p ) p i ( x ) g ( x ) = 0 0 ) s 0 ( 2 - 1 ) 式中，x = x ，x ：，x n ) 7 er “， s ( x ) 是标量函数 g b ) = k 0 l g ：b l ，g 。h ) 】， 是 m 维向量函数 ( x ) = 阮0 l 矗：b ) ，h ，b ) 】，是r 维向量函数，且m + ，s ”。即 x 彤，：r “_ r ，g ：r ”- + r ， ：r ”一r 是给定的函数。假设s ( x ) 、 g ( x ) 、 0 ) 均二次连续可微。 原问题( 2 一1 ) 的l a g r a n g e 函数l ：r ”7 斗r 定义为 1 4 太原理： 大学硕士研究生学位论文 ( 葺l 卢) = 厂( x ) + l g ( 工) 十7 n ( x ) u ( 2 2 ) 式中，日b ) = d i a g h 、0 ) 如0 l ，h ，0 ) 】是对角阵。 ，1 为l a g r a n g e 乘子，允= ( 五l ，五2 ，旯。) r r ，= ”2 ，) r r ，这里的l a g r a n g e 函数直接对不等式约束进行处理，不引入松弛变量”c $ 4 1 , 既能有效地克 服通常进行优化式采用的罚函数法的缺点，同时也可减少网络的复杂度和 实现难度。 根据优化理论 4 7 ，53 1 ，求解式( 2 1 ) 最优解的必要条件为 唑掣：掣材掣叫掣删 型粤剑：gx。)：o(2-3) 丝篷! 丝- h ( x k ：o 式( 2 - 3 ) 写成标量的形式为 掣+ 私掣+ 静划o x i o ，川，z ，一 g j ( x ) = o ， = l “2 一，m ( 2 4 ) a 。b l “。= 0 ， k = l 川2 r ，r 这罩x + 为最优解矢量。 基于上述l a g r a n g e 乘子构造一个求解式( 2 一1 ) 的神经网络称为 l a g r a n g e 神经网络( l n n ) ，使它的稳定点满足式( 2 3 ) 或( 2 4 ) ，该神经网 络的动态特性由下列方程决定 1 5 太原理工大学硕士研究生学位论文 一d x 堂! 吐型_ 2 r 型- 1 r 型“ 粤：掣：g ( x ) ( 2 - 5 ) 粤：掣：口( x 皿 式( 2 - 5 ) 也可写成标量的形式 警= g j ( x ) ， 掣：魄( 珈， t i t j = 1 ，2 ，- ，m k = 1 ，2 ，r i = l z ，n ( 2 6 ) 式中，一、 ，、，“分别表示相应神经元的状态变量，按照在求解过程 中的作用的不同，可将网络的神经元分为变量神经元x 和l a g r a n g e 约束神 经元l 、。l a g r a n g e 约束神经元l 、u 使稳态点落入约束区域内，而变 量神经元x 使l a g r a n g e 函数值减少。 从网络的动态方程可看出，沿着网络的轨迹l a g r a n g e 函数总是随着x 减少，随着a ，t 增加。当网络演变到稳态时，有 等k 。训= 尝鲁h r ，) + 盖等k r ，) + 罢- 警i l ( x ) = oi 忙- ) 3 瓦i r 一。) + 面i r 一) 十面i o o ) “ 式中，x ，l ，) 为优化问题的l a g r a n g e 解。文献 5 1 5 2 已证明了此网 络的稳定性，网络的稳定平衡点即是原问题( 2 - i ) 的最优解。 ( 2 ) 神经网络的电路实现 根据神经网络的状态方程( 2 6 ) ，可以直接用电路实现【5 l _ 5 4 ，5 5 1 。将方 1 6 掣 ， ，d 对一 引百。b川型蟊 = 如i 太原理：i ：大学硕士研究生学位论文 程( 2 - 6 ) 重写如下 c 鱼： 4 讲 d 2 cj j d c g 警 = g ，( q ， = 魄( 砒， i = l ，2 ，月 - ，= 1 ，2 ，m( 2 - 7 ) k = 1 ，2 ， 式中，c 。c ，c 。是积分电容，它们的取值不影响问题的解，仅改变网络的 时间常数，变量神经元和约束神经元的电路形式没有什么区别，只是起的 作用不同。 网络用”+ m + r 个运算放大器和积分器来实现，积分器的输出电压是 x ，五，t 。，输入电流是相应状念方程右端各项的和。图2 4 表示基本神经 元模块，它由积分器和反相放大器组成。积分器包括运算放大器和电容c ， 其输出电压v 正比于输入电流，的积分，反相器由运算放大器2 和电阻r 组成；将基本神经元用电阻连接即可得到求解网络。我们用图2 4 右边的 三角符号简单地表示基本神经元模块。 图2 - 4基本神经元模决 f i g2 - 4e l e m e n t a r yn e u r o n 在网络的电路实现时，还应考虑运算放大器的饱和值，令日是月”中的超 立方体，即 1 7 幽西 故。型魂 孰一 型砖 太原理：1 + 大学硕士研究生学位论文 h = x l x r “，一i x m i n , x r o a x l f 1 “2 一，n ( 2 - 8 ) 式中t 工。m ，工。是变量能达到的最小值和最大值。 令s 是约束区域 s = x l x tr ”，g ，( x ) = 0 = 1 ，2 ，一，m ，h 。( x ) o ，k ：l ，2 ， ( 2 - 9 ) 那么设计电路时，应使sch ，这个要求可通过调节供电电源达到。 ( 3 ) 数值仿真 根据神经网络的状态方程组( 2 5 ) ，用科学计算语言m a t l a b 进行计 算机仿真得到其最优解的方法通常有3 种： 1 ) 将此式离散化，用m a t l a b 中的s i m u l i n k 模块进行模拟仿真： 2 ) 用m a t l a b 程序设计语言进行串行计算； 3 ) 用r u n g e k u t t a ( 龙格库塔) 方法进行求解，可以直接用m a t l a b 函数库中的o d e 系列函数( 如o d e 2 3 ，o d e 4 5 等) 。 下面我们通过一个普通例子来验证l a g r a n g e 神经网络的有效性，为 以后在盲检测算法中应用此网络打好基础。 仞j 21 m i t t 厂( x ) = x ；+ x l 工2 + x ；一5 x i 一9 x 2 + 7 5 - - x t 一。! + 4 2 o(2-10、 一x l + x 2 2 0 一。i 一4 x 2 2 墨0 其理论最优解为x = ( 1 ，3 ) 7 ，且b ) = 一1 2 。 根据神经网络的动态特性方程( 2 5 ) 式，选定2 个优化变量神经元和 3 个约束神经元，相应的状态方程为 1 8 太原理工火学硕士研究生学位论文 垡d ! t = 一 ：i x 卜s 一。】一 ： 五一 一1 二j - ：； 警= _ 1 1 h 4 ( 2 - 1 1 ) 警= 一娜：一z 图2 5 为初始值x i = 1 0 ，x 2 = 0 ，五= 0 ，1 = - i ，2 = - 1 时的仿真曲线 获得最优解x + = ( 1 ，3 ) 7 。 图2 6 为初值同图2 5 时，函数，g ) 的值的迭代曲线，获得最小值 为一1 2 。 图2 7 为x 选取不同的初值：( 一6 ，一6 l 卜6 ，o l ( _ 6 ，6 l ( 6 ，一6 ) 时x x ：的 轨迹图，它们均收敛于( 1 ，3 ) 。 图2 8 为工选取不同的初值：( 一6 , - 6 l ( _ 6 ，o l ( - 6 ，6 x ( 6 ，一6 ) 时，函数 厂b ) 均得到最小值一1 2 。 网络的稳定性分析和数值模拟结果表明，网络初始状态可任意选取， 均能收敛到最优解。 4 本章小结 本章简述了神经网络盲多用户检测器的基本原理，分析了l a g r a n g e 优化神经网络的原理和简单的电路实现，它克服了传统的基于惩罚函数思 想的神经网络存在的缺陷直接对不等式约束进行处理降低了网络规模 和复杂度，是一种新型的优化神经网络，并通过计算机数值仿真对其可行 性进行了验证，为本文以后的工作打下了基础。 1 9 奎堕望三盔堂堡主堕塞生兰垡堡壅 图2 5x 随时间的迭代曲线 图2 6 i ( x ) 随时间的迭代曲线 f i g 2 5v a r i a t i o no f xw i