（计算机系统结构专业论文）基于fpga的模糊小波神经网络.pdf

- 吖 丫 c l a s s i f i e di n d e x ： u d c ： ad is s e r t a ti o nf o rt h ed e g r e eo fm e n g f u z z y w a v e l e tn e u r a ln e t w o r k b a s e do nf p g a c a n d i d a t e ：z h e n gf e i s u p e r v i s o r ：a s s o c i a t ep r o f n ij u n a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l i t y ：c o m p u t e rm c h i t e c t u r e d a t eo fs u b m i s s i o n ：d e c 2 0 0 8 d a t eo fo r a le x a m i n a t i o n ：m a r 2 0 0 9 u n i v e r s i t y ：h a r b i ne n g i n e e r i n gu n i v e r s i t y 肿舢1 删删5脚7m 1洲8 i0-y r r p ， 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中己注明引用的内容外， 本论文不包含任何其他个人或集体己经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：犯菲 日期： 汐oc | 年弓月i 步 f 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可曰在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ： 轩菲 日期： 劲护产3 月l 胡 导师( 签字) ：s ， 冶逝仗 2 弦c 7 年弓月乙日 哈尔滨+ 1 仟1 3 大学硕+ 学位论文 摘要 基于通用处理器用软件实现神经网络的方法在实际嵌入式应用中不但并 行程度较低而且不能满足系统的稳定性、芯片的功率及尺寸的限制。v l s i 实现神经网络灵活性较差、d s p 不适合神经网络的并行性设计，而专业的神 经芯片成本又太高，针对于此本文提出一种基于f p g a 的模糊小波神经网络 设计方法。 模糊小波神经网络较b p 网络具有更强的学习能力、精度更高，是近年 来神经网络研究的一个热点，本文通过对现存的三种基于f p g a 的神经网络 模型进行分析，针对模糊小波神经网络的算法结构，采用算法并行实现的方 法，设计了基于f p g a 的模糊小波神经网络硬件实现方法。在论文中通过浮 点库f p l i b r a r y 设计模糊小波神经网络的f p g a 数学部件，解决了模糊小波 神经网络中的浮点运算问题；提出了两种模糊隶属函数在f p g a 上实现的技 术方案。最后，参照一个模糊小波神经网络算法模型建立了基于f p g a 的模 糊小波神经网络，在f p g a 上体现了神经网络算法的并行性和模糊小波神经 网络预测准确性高的优势，并结合实际数据对这种结构进行了验证和评价。 关键词；模糊小波神经网络；浮点库f p 厶b r a r y ；模糊隶属函数；f p g a 哈尔滨t 稃大学硕十学位论文 a b s t r a c t t h er e a l i z a t i o nm e t h o do fn e u r a ln e t w o r kb ys o f t w a r ew h i c hi sb a s e do nt h e g e n e r a lp r o c e s s o ri nt h ea c t u a le m b e d d e da p p l i c a t i o nn o to n l yt h ep a r a l l e ld e g r e e i sl o w e rb u ta l s ot h i sm e t h o dc a n n o ts a t i s f yt h es y s t e ms t a b i l i t y , t h ec h i pp o w e r a n dt h es i z el i m i t a t i o n t h ef l e x i b i l i t yo fv l s i i m p l e m e n t a t i o no fn e u r a ln e t w o r k s i s b a d ，d s pd o e sn o ts u i tt h en e u r a ln e t w o r kp a r a l l e ld e s i g n ，m o r e o v e rt h e s p e c i a l i z e dn e r v ec h i pc o s ti st o oh i g h i nv i e wo ft h e s er e a s o n ，t h ea r t i c l ep r o p o s e ak i n df u z z yw a v e l e tn e u r a ln e t w o r kd e s i g nm e t h o dw h i c hi sb a s e do nf p g a t h ef u z z yw a v e l e tn e u r a ln e t w o r kh a ss t r o n g e rl e a r n i n gc a p a b i l i t ya n dh i g h e r p r e c i s i o nt h a nt h eb pn e t w o r k i ti sar e s e a r c hf o c u so nn e u r a ln e t w o r ki nr e c e n t y e a r s t h ep a p e ra n a l y z e st h r e ek i n d so fn e u r a ln e t w o r km o d e lb a s e do nf p g a ， d e s i g n sar e a l i z a t i o nm e t h o do ff u z z yw a v e l e tn e u r a ln e t w o r kh a r d w a r eb a s e do n t h ef p g a b yu s i n go ft h ea l g o r i t h mp a r a l l e lm e t h o d ，i nv i e wo ft h ef u z z yw a v e l e t n e u r a ln e t w o r ka l g o r i t h ms t r u c t u r e t h ep a p e rd e s i g n st h ef p g as t o r e h o u s ea b o u t f u z z yw a v e l e tn e u r a ln e t w o r kb a s e do nf p l i b r a r yh a ss o l v e dt h ef l o a t i n gp o i n t c a l c u l a t i o np r o b l e mi nt h ef u z z yw a v e l e tn e u r a ln e t w o r k ，a n dp r o p o s e dt w ok i n d o fr e a l i z a t i o nm e t h o do n f u z z ym e m b e r s h i pf u n c t i o n f i n a l l y , t h i sp a p e r e s t a b l i s h e saf u z z yw a v e l e tn e u r a ln e t w o r kb a s e do nf p g aw i t hr e f e r e n c et oa f u z z yw a v e l e tn e u r a ln e t w o r ka l g o r i t h mm o d e l i tm a n i f e s t st h en e u r a ln e t w o r k a l g o r i t h mp a r a l l e l i s ms u p e r i o r i t ya n dt h ef u z z yw a v e l e tn e u r a ln e t w o r kf o r e c a s t a c c u r a c ys u p e r i o r i t y , a n de v a l u a t e st h i ss t r u c t u r ec o m b i n e d 、i t l lo b j e c t i v ed a t ao n f p g a k e y w o r d s ：f u z z yw a v e l e tn e u r a ln e t w o r k ；f p l i b r a r y ；f u z z ym e m b e r s h i p f u n c t i o n ；f p g a 哈尔滨t 稗人学硕十学何论文 目录 第1 章绪论1 1 1 研究背景及意义：1 1 2 基于f p g a 的神经网络研究分析2 1 2 1f p g a 神经网络算法与结构介绍2 1 2 2 基于f p g a 的神经网络的现状分析6 1 3 论文研究内容7 1 4 论文研究方案及结构8 第2 章模糊小波神经网络与f p g a 相关技术1 0 2 1 模糊小波神经网络，1 0 2 1 1f w n n 网络结构1 0 2 1 2f w n n 的初始化11 2 2f p g a 及其丌发工具1 2 2 3 本章小结1 4 第3 章基于f p g a 的模糊小波神经网络浮点运算1 5 3 1 基于f p g a 的模糊小波神经网络数据类型1 5 3 2 基于f p l i b r a r y 库的模糊小波神经网络浮点运算1 6 3 2 1o p e n s o u r c e 浮点库v p l i b r a r y 1 6 3 2 2f p l i b r a r y 的编译使用1 8 3 2 3f p l i b r a r y 的测试验证1 9 3 2 4 模糊小波神经网络数学部件的设计与仿真验证2 1 3 3 实验分析及结论2 8 3 4 本章小结2 9 第4 章基于f p g a 的模糊隶属函数3 0 4 1 基于c o r d i c 算法的模糊隶属函数实现方法3 0 4 1 1c o r d i c 算法原理3 0 4 1 2 基于c o r d i c 算法在f p g a 上实现e 工3 2 4 1 3 基于c o r d i c 算法的模糊隶属函数实现方法3 2 4 2 基于s y s t e mg e n e r a t o rf o rd s p 的模糊隶属函数实现方法3 3 哈尔滨_ r ：稃大学硕十学1 _ 7 ：论文 4 2 1s y s t e mg e n e r a t o rf o rd s p 3 3 ，4 2 2 模糊隶属函数查找表单元实现3 4 4 3 两种技术方案的适用性分析3 5 4 4 本章小结3 6 第5 章基于f p g a 的模糊小波神经网络系统设计3 7 5 1 系统设计要考虑的主要因素3 7 5 2 模糊小波神经网络各层关键部件模型的提取与设计- 3 7 5 2 1 输入层3 8 5 2 2 模糊化层3 9 5 2 3 模糊推理层4 0 5 2 4 去模糊化层；4 2 5 3 基于f p ( j a 的模糊小波神经网络的整体结构4 2 5 3 1 模糊小波神经网络全并行理想结构4 3 5 3 2 模糊小波神经网络流水结构4 3 5 4 基于f p g a 的模糊小波神经网络仿真与综合4 6 5 5 基于f p g a 的模糊小波神经网络的评测4 7 5 5 1 并行性验证4 7 5 5 2 预测准确性验证4 8 5 5 3 评测结论5 2 5 6 本章小结s 2 结论5 4 参考文献5 6 攻读硕士学位期间发表的论文和取得的科研成果6 0 致 射6 1 哈尔滨i ：稃人学硕十学何论文 1 1 研究背景及意义 第1 章绪论 本文的研究工作源于基于模糊小波神经网络的短波通信频率预测项目j 无线电短波利用电离层折射可以完成远距离通信，由于电离层对电波的限制， 需要先期预测出电离层的情况，用来作为通信时挑选频率的根据。课题组已 提出采用模糊小波神经网络f f w n n ) 进行频率预测，但是通用计算机实现的 基于f w n n 的频率预测软件系统不便于嵌入到通信设备中，因此引出了对 f w n n 硬件系统的研究。 在进行神经网络的理论研究时，人们可以将自己的神经网络模型或算法 在通用计算机上编程模拟实现，但这只是研究的手段而不是目的，在构造实 际的神经网络系统时，需要考虑到硬件实现问题。传统c p u 的执行程序需要 取指，分析，执行。所有的算法或者软件执行的顺序都是这样。顺序执行指 令的优点是所有的算法或者软件都可以在通用处理器上被翻译成指令集进行 运算，但用这种方法实现神经网络却降低了运行效率。现有神经网络算法实 现大部分都是基于c p u 的串行指令描述，但这并不适合神经网络算法上并行 度高的特点。神经网络的f p g a 实现可以摆脱算法的指令描述方式，由于采 用硬件电路对神经网络进行实现，使神经元运算的并行度大幅度上升。 f p g a 是一种可编程逻辑，有像软件一样提供灵活性的特点，但却有接近 a s i c 的速度，由于其具有可无数次擦写的能力，f p g a 在设计芯片原型和复 杂系统上变得越来越受到广泛欢迎。尽管许多人工神经网络都已在通用计 算机上实现，但通用计算机系统对于神经网络处理不是最优化的，通常应用 于嵌入式的微处理器和d s p 也并不合适于并行设计。全并行的模块也可以使 用a s i c 或v l s i 来实现，但由于其丌发代价高、周期长，加之人工神经网络设 计是仅针对一个目标的设计，所以也并不是很适合用于人工神经网络的丌发。 相比之下，f p g a 具有很高的并行性、很强的灵活性和可重用性的特点，因此， 哈尔滨t 程大学硕七学位论文 可以节省大量的设计周期。所以，在短波通信频率预测系统中，f p g a 是可以 用做模糊小波神经网络设计的的非常好的原型工具。 1 2 基于f p g a 的神经网络研究分析 神经网络的f p g a 实现自1 9 9 2 年的一篇关于神经网络实现的文章【2 1 而丌 始，随着f p g a 性能的发展，开始越来越受到人们的关注【3 1 。s o m 神经网络、 b p 神经网络、h o p f i e l d 神经网络的f p g a 实现的研究已经有人涉足，但是作 为近几年出现的模糊小波神经网络基于f p g a 的研究仍然是个空白。 1 2 1f p g a 神经网络算法与结构介绍 ( 1 ) b p 神经网络 目前实际应用中，广泛采取的人工神经网络模型是一种无反馈多层前向 网络。b p 三层神经网络的结构如图1 i 所示，它包含输入层、隐含层和输出 层。当数据输入时，首先传到隐节点，经过作用函数后，再把隐节点的输出 信号传输到输出层节点。经过处理后给出输出结果。 一：卜+ ，： ) 。 ，厂j ，o 一7 一j ，| 、| 一、：、 一 一k 二、二，一o 一一：) 一卜 输入层隐含层输出层 图1 1三层b p 网络结构图 在f p g a 上实现b p 神经网络的单个神经元结构由m a c 、r o m 和l u t 三部分组成。其中m a c 为加权求和单元，计算神经元输入数据的加权和， r o m 为存储单元，存储神经元的连接权值，l u t 为激励函数单元。b p 三层 神经网络在控制单元状态机的控制下，同一层问的神经元并行运算，不同层 问的神经元的信息串行传递1 4 j i 引。整体结构如图1 2 所示。 哈尔滨t 程大学硕十学位论文 输入层隐含层输出层 x 1 x 2 i ： x n r o mr o m 一，圆圆- 囱恒匾 m圆m u 咂查乎囤 u 圃； xx 圆； 豳恒叵 巾i 闻佩 fjf? 控制单元 图1 2基于f p g a 的b p 神经网络模型结构图 ( 2 ) h o p f i e l d 神经网络 基于f p g a 的h o p f i e l d 神经网络的研究主要是针对于离散型的结构【6 l 。 离散型h o p f i e l d 网络是单层全互连的。神经元可取二值 0 ，l ，任意神经元 f 与_ ，问突触权值为0 。权值矩阵t = ( t i ) ( n 宰m ) 为对称阵r 严( p 其对角元0 = l 。 经验证，h o p f i e l d 神经网络权值对称矩阵t 的对角元，二l 与0 = o 相比，网 络有较大的存储记忆模式和纠错能力，其记忆模式尸= 2 n + l 。 h o p f i e l d 网络的权值不是通过学习得到的，而是根据网络的用途设计出 来的，可以采用某种学习规则对权值进行微调。以8 * 8 矩阵为例，如采用h e b b 规则的外积和法进行权值设计，并将联结权值离散化，可以得到权值丁为： t = h o p f i e l d 神经网络中有珂个神经元，其中任意神经元i 在，时刻状态用 联，) 表示，+ l 时刻状态用猷，+ 1 ) 表示。 ，0一一一o o o一oo一一n，0一一oo一 一o，o o o0 o o 一 ，oo o 0 o一一o o 蹦h 1 ) 吖( ，：莓，o s 产”又汪1 2 朋 ( 1 - 2 ) 其a x ) 是激活函数： 巾，= ：， ：三暑 、 ( 1 3 ) h o p f i e l d 网络工作过程是状态演化过程，从初始状态按“能量 减少的 方向进行演化，直到达到稳定状态，稳定状态即为网络的输出。 基于f p g a 的h o p f i e l d 神经网络的结构模型如图1 3 所示，该模型共分 为权值存储、时序控制、矩阵乘和稳定性判据四个功能模块【7 匕 厂一一一一 半高：曰国o 卜翻掣掣叫o u t 叫! 图1 3 h o p f i e l d 神经网络模块框图 时序控制模块控制权值存储模块、矩阵乘模块和稳定性判据模块的时序。 权值存储模块中存储权值矩阵丁，权值矩阵t 中的元素为三值逻辑数元 1 ，o ，1 ) ，当具体实现时将权值矩阵7 写入r o m 中。将r o m 中的数据以8 个为一组并行输入矩阵乘模块，8 个神经元为鼯 x | i = 1 ，2 ，8 ，x i e 0 ， 1 。在矩阵乘模块中，有8 个选择器和1 个8 输入加法器，它们均是并行执 行。从r o m 中取出的8 个数据( 丁的某一行) 分别用作8 个选择器的输入端， 各神经元分别作为8 个选择器的控制端，控制选择器的输出，控制端为0 值 时选择器输出0 ，控制端为1 值时选择器输出为权值，即执行了权值矩阵r 第i 行的各个元素分别与神经元的对应位相乘。8 个选择器的输出同时送入加 法器作加法运算，这样就实现了权值矩阵丁的第i 行与神经元的矩阵乘。其 输出是一个8 位信号量，第八位表示二进制数的符号位，当大于等于0 时将 趴什1 ) 赋值为1 ，当小于0 时将s t ( t + 1 ) 赋值为0 。以上操作循环八次，就可以 实现s f ( f + 1 ) = 厂( ，：善，o s - ，( 幻) ，o = 1 ，2 ，门) 的计算功能，完成了权值 矩阵r 与神经元的矩阵相乘。 4 哈尔滨l ：样人孑：硕十学何论文 在稳定性判据模块中，利用神经网络稳定性判掘判断s i ( t + 1 ) 是否为稳定 吸引子，如果是则输出，不是则将其输出值反馈回神经元输入端，继续运算、 判断，直到稳定，将稳定值中的信息输出。 基于f p g a 的h o p f i e l d 神经网络可以模拟非线性函数控制伪随机序列的 输出，不但加大了伪随机序列的周期，也提高了其线性复杂性【8 1 ( 3 ) s o m 神经网络 s o m ( s e l f - o r g a n i z e df e a t u r em a p p i n g ) 学习算法是一种无监督的神经网络 学习算法，在智能控制、编码和聚类方面有着广泛应用。用f p g a 实现s o m 神经网络，可以实现并行计算的功能并加快数据处理速度【9 】【1 0 1 。 s o m 学习算法步骤如下： 初始化。对初始权值【盼f 赋予【0 ，l 】区间随机值，确定学习速率，7 ( ，) 的 初值刀d 。确定临域n g ( t ) 初值n g ( 0 ) 及总学习次数丁。 取样。从输入空间提取样本吮。 计算连接权矢量研与输入矢量眦之问的欧式距离。 d ，= l 兰( u ，k 。一，) 2i ( 1 - 4 ) 找出最小欧式距离磨，并确定获胜神经元g 。 么= m i n d j 】( 1 5 ) 判断神经元是否在获胜神经元临域内，如果加呵2 + m 圳2g 咯， 则表明该神经元在获胜神经元临域之内，其中x 咖，m 咖为k o h o n e n 获胜 层神经元坐标；x ，弦为k o h o n e n 层神经元坐标。 调整连接权值，对竞争层临域n g ( t ) l 内所有的神经元与输入层恻的连 接权值进行调整。 。，、 i i ( ，+ i ) + 刁( 叫uf 一j i ( ，) f n g ( ，) ( t + 1 ) = l 1 ，( f ) 其他 ( 1 - 6 ) 更新学习速率j 7 及临域g 。 r ( t ) = 7 7 ( o ) 一，7 ( r ) ( 1 一t t ) + r l ( t ) ( 1 7 1 ，( ，) = ，( o ) + 【l r ( o ) t t f 1 - 8 ) 令t = t + l ，返回步骤( 2 ) ，直到t = t 为止。 基于f p g a 的s o m 神经网络结构： 哈尔滨下程大学硕士学位论文 以输入层神经元个数为4 ，k o h o n e n 层神经元个数为6 6 的s o m 神 经网络为例在f p g a 上实现该算法。算法完成一次学习迭代的过程如下：首 先从外部输入空间中读取向量“i n p u t ”并依次从“权值r a m l - 权值r a m 4 ” 中读取权值向量至“距离计算权值更新”模块，“距离计算权值更新”模块 将计算所得输入与各k o h o n e n 层神经元之间距离依次送入“最短距离判定 临域判定”模块。“最短距离判定临域判定”模块在判定输入与各k o h o n e n 层神经元之间最短距离完成后，“距离计算权值更新”模块将计算更新权值， 同时“与获胜神经元距离计算”模块开始工作，其计算结果送至“最短距离 判定临域判定 模块中，当该模块所得的结果判定神经元在获胜神经元临域 内时，计算好的更新权值将被写入“权值r a m l 权值r a m 4 ”，完成一次迭 代过程。“学习速率与临域更新”模块在迭代的开始即执行，在迭代结束时完 成学习速率与临域的更新。网络模型结构如图1 4 所示。 权价r a m 最垃i t 。离判 一 与扶 灶神纾 一 。 定，临域削定 元趴离汁掉 权值r a m2 ：一 l 一一一一。- 一r 一：二：二二二二二：m 一 权值r a m3i ! ”! ”一爵；离计算r | j；学 - j 速率与 二j 权值更新f i 临域更新 j一 一- - l 权债r a m4 。一 图1 4基于f p g a 的s o m 神经网络模型结构图 1 2 2 基于f p g a 的神经网络的现状分析 前面简要介绍了三种基于f p g a o 经网络的结构设计方法。现在基于 f p g a 神经网络的研究主要集中在s o m 、b p 、h o p f i e l d - - - 种神经网络实现方法 上。用f p g a 进行神经网络设计，最突出的是它的并行性在实现神经网络时所 具有的效率优势，以b p 神经网络为例，在软件上实现时，每个神经元的计算 是串联的，但是用f p g a 实现，每一层的神经元之i b j 是并联的关系，这就大大 提高了网络的计算效率。伴随着f p g a 器件细粒化程度不断提高和价格的降 低，在实际应用中必然：t , 哿f p g a 与神经网络越来越紧密的结合在一起。 6 哈尔滨t 挥入学硕十学何论文 传统基于通用处理器用软件实现神经网络的方法在实际嵌入式应用中存 在两个主要问题：一是并行程度低；二是很多嵌入式应用对系统的稳定性、 芯片的功率及尺寸都有较苛刻的限制。为此，研究人员提出了多种神经网络 专用硬件实现的方法和技术，包括v l s i 实现、神经芯片以及d s p 加速板等。 v l s i 的优点在于器件性能稳定、数据存储方便、设计工具丰富。但尽管有诸 多优点，神经网络数字v l s i 的实现方法仍面临着硬件灵活性较差的问题。因 为神经网络是与应用密切相关的，不同应用对象所采用的神经网络在规模结 构、传递函数甚至学习算法上都有所差别，而硬件设计一旦确定，其更改变 化比较困难。针对这个问题，相关研究如通用神经芯片和通用神经计算机提 出了一些提高硬件灵活性的办法，但其成本较高，不太适合工程应用，而d s p 的串行结构本身就不适合于神经网络的开发，随着f p g a 设计方式的不断成 熟，把神经网络嵌入到f p g a 芯片作为解决实际工程中的方法是一个非常好的 选择。 1 3 论文研究内容 用f p g a 实现模糊小波神经网络，并行性关系到模糊小波神经网络在 f p g a 上的效率和实时性，而预测的准确性，是基于f p g a 的模糊小波神经 网络能否应用到无线电短波通信频率预测应用中的基本前提，同时，在对问 题具体研究时，还会遇到如何在f p g a 上解决模糊小波神经网络中的浮点运 算，如何在f p g a 上实现模糊小波隶属函数，最后，又采用什么样的硬件结 构实现模糊小波神经网络等问题。本文所要研究的内容概括如下： ( 1 ) 为了保证模糊小波神经网络在无线电短波通信频率预测中的准确性，如 何解决模糊小波神经网络在f p g a 的中的浮点运算问题； ( 2 ) 模糊隶属函数在f p g a 上的实现方法： ( 3 ) 基于f p g a 的模糊小波神经网络的并行性研究和基于f p g a 的模糊小波 神经网络并行性设计：根据模糊小波神经网络结构，提取出用于并行性设计 的各层关键模块，并在此基础上完成模糊小波神经网络的整体设计。 7 哈尔滨r 程大学硕十学何论文 1 4 论文研究方案及结构 针对上面所提出的问题，本文采取下面的方法进行解决：设计基于浮点 库f l i b r a r y 的模糊小波神经网络数学部件，解决了模糊小波神经网络的浮点 运算问题，通过对数学部件的仿真，验证了符合算法的精度要求。对于模糊 隶属函数在f p g a 上实现的问题，在本文中作者提出了两种技术解决方案， 最后，以上面的方法为基础，针对模糊小波神经网络的各层结构，建立了基 于f p g a 的模糊小波神经网络，并进行了性能分析。 为了研究基于f p g a 的模糊小波神经网络，需要以已有的模糊小波神经 网络的算法的可并行实现为基础，将现有的模糊小波神经网络算法通过 v h d l 描述转为硬件描述，期间涉及到算法的串行描述向并行描述的转化， 在经过针对于特定f p g a 芯片的综合工具综合后，最终使算法在f p g a 硬件 上得以实现，并保证功能上的一致，而后进行性能方面的评估，比较分析基 于f p g a 的模糊小波神经网络预测的准确性和并行度的提高。 本文的具体组织安排如下： 第1 章讲述模糊小波神经网络算法的硬件实现的思想与目的；基于f p g a 的神经网络发展现状和三种已被研究基于f p g a 的模糊小波神经网络结构； 研究中所要解决的关键性问题。 第2 章对研究中的相关理论与技术进行简要说明，其中包括对模糊小波 神经网络的介绍和对f p g a 及其开发工具的介绍， 第3 章提出了解决基于f p g a 的模糊小波神经网络的浮点运算问题的方 法，对用于模糊小波神经网络运算的开源浮点库f p l i b r a r y 进行验证分析，并 在此基础上设计模糊小波神经网络数学部件作为解决模糊小波神经网络设计 的基础。 第4 章提出了两种模糊隶属函数在f p g a 上实现的技术解决方案，基于 e o r d i c 算法实现模糊隶属函数的方法和基于s y s t e mg e n e r a t o rf o rd s p 的查找 表方法，并对两种方法优缺点和在模糊小波神经网络f p g a 实现上的适用性 进行分析。 第5 章依照所要实现的模糊小波神经网络，提取出用于搭建模糊小波神 哈尔滨t 程大学硕士学位论文 经网络各层结构的关键模块，并在此基础上对网络做整体设计，并以短波通 信频率预测为任务背景进行评估。 9 哈尔滨t 程大学硕+ 学位论文 第2 章模糊小波神经网络与f p g a 相关技术 在f p g a 上实现一个模糊小波神经网络，首先要由模糊小波神经网络结 构分析着手。通过对网络结构的分析，挖掘其并行性确定在一个周期内有哪 些操作是可以同时进行。然后按照算法中的要求，建立与之对应的运算结构， 最终在f p g a 上实现。在本章将要对着旱面所涉及到的相关问题分别进行_ _ 个简短的介绍。 2 1 模糊小波神经网络 模糊小波神经网络实现了神经网络、小波网络和模糊系统之间的一致性。 网络使用混合学习算法训练网络，优化了网络参数，提高了函数逼近能力， 经过筛选，得到恰当的参数，通过较少的级数项组成小波网络，达到优良的 逼近效果，学习速度比一般网络快，使得小波网络有更强的自适应能力、更 快的收敛速度和更高的故障预报精度。将模糊系统和小波神经网络结合具有 更显著的优点：一方面可以用人类专家总结出的语言控制规则来训练小波神 经网络；另一方面可以使小波神经网络能够以语言规则的形式表达内部的知 识，并且根据语言控制规则，可以更方便地定义小波神经网络中各参数的初 始值。 2 1 1f w n n 网络结构 f w n n 主要利用小波基函数来动态地修改神经网络的隶属函数，并利用 模糊系统理论来构造神经网络的网络结构及初始化网络权值，最后形成的神 经网络具有处理模糊非线性问题的能力，并且可以通过动态的调节隶属函数 加快网络的学习速度。本文中的设计的是应用于无线电短波通信频率预测的 四层模糊小波神经网络结构。因为在第5 章中在对模糊小波神经网络f p g a 上的实现方法讨论的时候要对f w n n 各层结构和功能进行详细说明，所以这 1 0 哈尔滨1 ：稗大学硕十学 _ 奇：论文 里对要实现的模糊小波神经网络四层结构只作一个简要的介绍。 ( 1 ) 输入层 第一层是f w n n 的输入层，该层将求解问题的输入参数引入网络，t 表 示网络的第i 个输入参数，输入参数的论域 1 ，l 】。 ( 2 ) 模糊化层 第二层是f w n n 的模糊化层，该层对网络的输入进行模糊化处理，采用 小波基函数作为模糊隶属函数。 ( 3 ) 模糊推理层 第三层是f w n n 的模糊推理层，该层基于模糊规则进行模糊推理，该层 神经元的数量由模糊规则的数量直接决定。 ( 4 ) 去模糊层 第四层是f w n n 的去模糊层，该层主要用于解模糊，从此可得到精确可 执行解。 2 1 2f w n n 的初始化 f w n n 的初始化包括网络的小波基的选取、规则数的确定、小波隶属函 数的参数及网络权值的初始化【1 1 】。其中网络权值一般初始化为模糊规则后输 出所对应模糊言词的中心值，而模糊规则数则由各个输入子网小波基直接确 定，因此下面简单介绍一下小波基的选取及小波隶属函数的参数的初始化情 况。 给定一组训练样本集： ( 砰，吖) ，( 霹，一) ，( f ，) ，f r q , r( 2 1 ) 其中l 为训练样本数。定义输入矩阵x d 和输出向量】，d 为 x d = 矸，掣，砰】7 = 【剃。，泓：，x x q 】 ( 2 2 ) y d = ( y ? ，y 知，】r( 2 3 ) 其中剧，x ? 分别为x “的列向量和行向量。现在以上述样本集构造个 f w n n 使网络输出与】，d 之差最小。下面把如何选取小波基分为三步进行阐 述： ( 1 ) 确定采用的小波母函数及小波基伸缩因子的取值范围，由于小波母 l l 哈尔滨i ：程人学硕十学1 _ 奇：论文 函数的确定与具体应用直接相关，这里拟采用以后用到的m e x i c a nh a t 小波 ( 设为5 f ，( x ) ) 作为隶属函数，其伸缩因子的范围可由训练样本数据和小波函数 的形式决定。 ( 2 ) 选择候选小波基，在实际应用中，大多数逼近的系统都是紧支集的， 即函数定义域有限，对应每一维输入，给定伸缩因子m ，有有限个平移因子。 很明显，候选小波的基本条件是满足其支集能够覆盖被逼近函数的的相应范 围的所有小波函数【1 2 1 。即对样本数据x x ，满足： 缈m 。( x x ) 7 。( x x j ) q ，j 2 0 ，1 ，q ( 2 - 4 ) 定义m = n m ，：u m i , n ( x x j ) 7 弘- m t , n ( x x j ) 9 ，) ，产o ，l ，q ( 2 - 5 ) 根据下式获得候选小波集合： w = 一：q ( ，( 鹤) 。，( 弘) ) 占，n j ( 2 6 ) 其中占为正实数，它的大小决定候选小波的多少：i , j 分别为伸缩因子和 输入变量的下标，y t 为平移因子。 ( 3 ) 筛选小波，大多数情况下，样本数据分布并不均匀，在有些小波上 分布密集，其它小波上分布稀疏。因此，根据训练数据而选取的候选小波基 w 中，有些小波对于构造f w n n 来说是冗余的，即它们对f w n n 的输出贡 献甚微。过多的小波会导致模型过调，降低其泛化能力，因此对其进行筛选。 筛选小波的方法有很多，如f 交逐级选择法、逆向排除法及运用匹配跟踪的 前向选择法i b j 。 2 2f p g a 及其开发工具 f p g a 作为一种可编程逻辑器件，是在p a l 、g a l 、e p l d 、c p l d 等可 编程器件上进一步发展的产物。它是作为a s i c 领域中的一种半定制电路而 出现的，既解决了定制电路的不足，又克服了原有可编程器件们电路有限的 缺点【1 4 】。 在本设计中采用了x i l i n x 的v i r t e x t ”5f p g a ，v i r t e x 5 技术性能平均 比前一代v i r t e x 4f p g a 要高3 0 【l 引。利用新的逻辑构造( 在罩面可以实现诸 1 2 哈尔滨t 程入学硕十学何论文 如计数器、累加器和r a m r o m 存储) 和可用的硬i p 模块、存储器及d s p ( 经 最优化以运行在高达5 5 0 m h z 的时钟速率) 【i 7 l ，v i r t e x 5f p g a 是针对高性能 设计的平台选择。 x i l i n x 公司的f p g a 采用了逻辑单元阵列这样一个概念，不同于a l t e r a 公司基于门阵列的一种实现方式，x i l i n x 的f p g a 是基于s l i c e 实现的f l 引。内 部包括可配置逻辑模块c l b ( c o n f i g u r a b l el o g i cb l o c k ) 、输出输入模块 i o b ( i n p u to u t p u tb l o c k ) 核内部连线构成【1 9 】。x i l i n x 作为当今世界上最大的 f p g a 生产厂商之一，长期以来一直推动着f p g a 技术的发展，其丌发软件 也不断升级换代，0 7 年底发布的x i l i n xi s e 9 2 提供了最新f p g a 丌发的i p 核，拥有强大的可重配置逻辑功能。i s e 的主要特点如下【2 u j ： ( 1 ) 集成完整的f p g a 开发环境，包括时序仿真和功能仿真等，能够提 供完善的分析工具，为第三方软件提供完备的接口。 ( 2 ) i s e 界面简捷流畅，x i l i n x 提供了在线分析工具c h i p s c o p e 可以完成 逻辑分析仪的几乎所有功能，可以通过c h i p s c o p e 清楚的查看芯片内部的时 序1 2 l 】。 ( 3 ) 强大的辅助设计功能。i s e 继承了x i l i n x 设计软件的强大辅助功能， 在编写代码时可以使用编写向导生成文件头和模块框架，也可以使用语言模 板( l a n g u a g et e m p l a t e s ) 帮助编写代码。图形输入时可以使用e c s 的辅助帮 助设计原理图【2 2 l 。i s e 提供强大的i p 核生成工具c o r eg e n e r a t o r 2 3 1 ，可以方 便生成i p 核。i s e 设计工具的集成工具包括设计输入工具、综合工具、仿真 工具、实现工具、辅助设计工具等，具体如下： 设计输入工具。设计输入工具是工程设计的第一步，i s e 集成的设计 工具包括h d l 编辑器、状态机编辑器、原理图编辑器、i p 核生成器和测试 激励生成器等1 2 训。 综合工具。i s e 综合工具主要有s y n p l i c i t y 公司的s y n p l i f yp r o ，x i l i n x i s e 中的x s t 等【2 5 j 。s y n p l i f yp r o 作为新兴的综合工具在综合策略和优化手段 上有较大幅度的提高。它的综合结果往往面积比较小，速度较快1 26 。x s t ( x i l i n xs y n t h e s i st e c h n o l o g y ) 是x i l i n x 自主丌发的综合工具。虽然x i l i n x 设计 综合软件的经验还不够丰富，但只有x i l i n x 自己对其f p g a 内部结果最了解， 所以x s t 的一些优化策略是其他综合工具无法比拟的。x s t 对某些使用到 1 3 哈尔滨下稃大号：硕十宁何论文 x i l i n x 内部核心的设计的综合结果甚至比其他综合工具优越很多弘。 仿真工具。i s e 可以使用的仿真工具主要有m o d e l s i m 和测试激励生 成器等【2 8 】。m o d e l s i m 是