（光学工程专业论文）神经网络在vbr视频通信量预测和信元调度中的应用.pdf

摘要 摘要 本文对神经网络方法在v b r 视频通信量预测和最优信元调度中的应用进 行了深入研究 研究工作主要包括以f 几个方面 1 简要介绍了神经网络的基础知识 感知机的学习算法 多层前馈神经 网络的b p 学习算法 反馈神经网络优化方法 2 采用前馈神经网络对可变比特率 v a r i a b l eb i tr a t e v b r 视频通信量 预测进行了研究 提出一种自适应神经网络模型对v b r 视频通信量进 行非线性自适应预测 并采用基于递归最小方差 r e c u r s i v el e a s t s q u a r e r l s 的自适应学习及删剪舅法对捕头延迟神经网络进行训练 和结构优化 仿真实验表明 与其他预测方法相比 该模型能够实现 对复杂视频通信量序列的更高精度的预测 满足实时陕速的预测要求 3 提出了一种h o p f i e l d 神经网络模型用于a t m 交换中的信元调度 介绍 了各种交换结构和缓冲策略 分析和仿真了输入缓冲和输出缓冲交换 系统 由于存在队头阻塞 h e a d o f l i n eb l o c k i n g h o l b l o c k i n g 现象 输入缓冲交换系统的性能很差 为了消除队头阻塞 提出了虚拟输山 队列与无阻塞交换结构相结合的交换系统模型 并利用h o p f i e l d 神经 网络实现调度算法 计算机模拟结果显示 与单队列输入缓冲交换系 统相比 该方法可以将吞吐率从弱 6 提高到9 9 3 时延特性也有 较大改善 关键词 神经网络 视频通信量预测 递归最小方差 删剪算法 交换系统 信元调度 a b s t r a c t a b s t r a c t t h ea p p l i c a t i o no fn e p a ln e t w o r ka p p r o a c h e si nv b rv i d e ot r a f f i cp r e d i c t i o n a n dc e l l s c h e d u l i n g i ss t u d i e di n t h i sd i s s e r t a t i o n t h em a i nw o r kd e s c r i b e da s f o l l o w s 1 b r i e fi n t r o d u c t i o ni sm a d eo nt h eb a s i ck n o w l e d g eo fa r t i f i c i a ln e u r a l n e t w o r k t h el e a r n i n ga l g o r i t h mo fp e r c e p t r o n t h eb pt r a i n i n ga l g o r i t h mo f m u l t i l a y e rf e e d f o r w a r dn e u r a ln e t w o r k a n dt h ef e e d b a c kn e u r a ln e t w o r k o p t i m i z a t i o na l g o r i t h m 2 t h ev a r i a b l eb i t r a t e v b r v i d e ot r a f f i cp r e d i c t i o n i ss t u d i e db y e m p l o y i n gf e e d f o r w a r dn e p a ln e t w o r k a na d a p t i v et r a i n i n ga n dp r u n i n g a l g o r i t h mb a s e do nr e c u r s i v el e a s ts q u a r e r l s f o rv b rv i d e ot r a f f i c p r e d i c t i o ni sp r o p o s e di nt h i sd i s s e r t a t i o n b ys i m u l a t i o na n dc o m p a r i s o n t h ea d a p t i v en e p a ln e t w o r km o d e l p r o p o s e di nt h i sd i s s e r t a t i o ni ss h o w n t o b ep r o m i s i n ga n dp r a c t i c a l l yf e a s i b l ei n o b t a i n i n gt h e b e s ta d a p t i v e p r e d i c t i o no f r e a l t i m ev b r v i d e ot r a f f i c 3 ah o p f i e l dn e u r a ln e t w o r k h n n m o d e lf o rc e l l s c h e d u l i n gi na t m s w i t c hi sp r o p o s e d t h ea t ms w i t c h i n gf a b r i c sa n db u f f e rs t r a t e g i e sa r e p r e s e n t e d t h ea u t h o ra n a l y s e sa n ds i m u l a t e si n p u tb u f f e rs t r a t e g ya n d o u t p u tb u f l b rs t r a t e g y b e c a u s eo fb l o c k i n gi nh e a do fl i n e h o l i n p u t b u f f e rs t r a t e g ym a k e st h es w i t c hs y s t e mp e r f o r m a n c e sd e c l i n i n g d r a s t i c a l l y a th e a v yo f f e r e dl o a d a na p p r o a c hi sp r o p o s e dt oo v e m o m et h eh o l b l o c k i n gb ya d o p t i n gh n na l g o r i t h mi nt h en o n b l o c k i n ga t ms w i t c h e s w i t hv i r t u a lo u t p u tq u e u e s s i m u l a t i o nr e s u l t ss h o wt h a t c o m p a r e dw i t ht h e s i n g l ef i f oi n p u t q u e u e da t ms w i t c h i n gf a b r i c s t h ep r o p o s e da p p r o a c h i m p r o v e st h et h r o u g h p u tf r o m5 8 6 t o9 9 3 a n dr e d u c e st h ec e l ld e l a y k e yw o r d s n e u r a ln e t w o r k v i d e ot r a f f i cp r e d i c t i o n r e c u r s i v el e a s ts q u a r e p r u n i n ga l g o r i t h m s w i t c hs y s t e m c e l ls c h e d u l i n g i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集 保存 使用学位论文的规定 同意如下各项内容 按照学校要求提交学位论文的印刷本和电子版 本 学校有权保存学位论文的印刷本和电子版 并采用影印 缩印 扫描 数字化或其它手段保存论文 学校有权提供目录检索以及提 供本学位论文全文或者部分的阅览服务 学校有权按有关规定向国 家有关部门或者机构送交论文的复印件和电子版 在不以赢利为目 的的前提下 学校可以适当复制论文的部分或全部内容用于学术活 动 学位论文作者签名 良 穗 加岁年5 月l8 日 经指导教师同意 本学位论文属于保密 在年解密后适用 本授权书 指导教师签名 学位论文作者签名 解密时间 年月日 各密级的最长保密年限及书写格式规定如下 内部 5 年 最长5 年 可少于5 年 秘密 1 0 年 最民1 0 年 可少于1 0 年 机密 2 0 年 最k2 0 年 可少于2 0 年 南开大学学位论文原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师指导下 进 行研究工作所取得的成果 除文中已经注明引用的内容外 本学位 论文的研究成果不包含任何他人创作的 已公开发表或者没有公丌 发表的作品的内容 对本论文所涉及的研究工作做出贡献的其他个 人和集体 均已在文中以明确方式标明 本学位论文原创性声明的 法律责任由本人承担 学位论文作者签名 熊璃 办由5 年5 月1 8 曰 第一章绪论 第一章绪论 第一节引言 近年来随着互联网用户的急剧膨胀和用户业务多样化的不断增长 人们一 直在追求更快 更宽 更可靠的宽带网建设 由于用户接入和信元交换的不可 预测性 目前宽带网技术的难题是在最大程度满足用户需要和保证服务质量 q o s q u a l i t yo f s e r v i c e s 的同时如何充分利用网络资源 要解决这个技术难 题 必须在理沦上解决能够实现通信流量的精确预测判断和不同环境下的快速 优化处理问题 这也就是要求宽带网必须有白适应的和智能化的管理控制功能 能够提供可靠的网络性能 精确的业务预测 有效地利用信道带宽 实现最佳 的网络管理 适应于各种动态变化的环境等 传统的宽带网络管理技术往往不能满足上述要求 人工神经网络是一种仿 脑信息处理模型 与传统计算机相比 神经网络具有不依赖问题本身计算特性 的高度并行性处理和不以先验知识或规则为前提的白适应学习能力 因而在那 些需要高速处理的白适应控制和管理系统中得到了广泛的应用 按照网络结构 的不同 神经网络主要可以分为两大类 前馈神经网络和反馈神经网络 对于 前馈神经网络 它的特点是通过适当的算法 如b p 算法 进行训练学习 神 经网络的输入输出可以逼近任意形式的非线性映射 这种经过学习来实现映射 功能其实就是一种自适应的判断控制功能 而反馈神经网络的特点是没有训练 学习过程 它是通过设计能量函数将联想记忆的内容或优化问题的答案设置成 系统能量函数的极小点 利用神经网络的能量函数在迭代过程中下降的特点 自动优化处理完成 正是由于拥有自适应学习映射和联想优化功能的特点 神 经网络恰好能够在理论上解决目前宽带网技术所面临的一些技术难题 神经网 络在通信网络中的应用 将会改变现有通信网络的基础结构 为通信网络提供 灵活的 自适应的和智能化的信息处理方法 包括路由选择 信元调度 多媒 体业务预测等 因此 本文的主要工作就是将前馈神经网络的学习映射和反馈 神经网络的联想优化功能应用于通信网络中 本文所作的研究工作包括两个方 面 利用前馈神经网络的学习映射能力实现了可变比特率 v m i a b l eb i tr a t e 第一章绪论 v b r 视频1 2 1 通信量的高精度预测和利用反馈神经网络的联想优化功能实现 a t m a s y n c h r o n o u st r a n s f e rm o d e a t m p 卅交换系统中信元的最优调度 下 面就这两方面的内容分别加以说明 第二节前馈神经网络在v b r 视频通信量预测中的应用 目前 数字视频已在许多领域有着广泛的应用 数字电视和高清晰度电视 的发展 可视电话的日益普及 均说明了这 点 在图像 视频压缩方面已取得 的巨大成功使得数字视频的有效存储与低速率传输成为可能 由此产生了v b r 视频的概念 正是由于数字视频技术的快速发展 使得v b r 视频业务在基于 a t m 的宽带综合业务数据网 b r o a d b a n di n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k b i s d n 中占据大部分的带宽 因此在现有数字通信技术的带宽瓶颈下 解决 v b r 视频业务的高服务质量传输问题 足构建未来信息高速公路的一个关键环 节 解决这一问题有三个基本途径 一是加大网络信道自身的带宽 二是压缩 视频信息的流量 三足改善信道带宽的利用效率 三者相辅相成 缺一不可 本文侧重于研究第三个方面即改善信道带宽的利用效率问题 a t m 网络是一个基于连接的通信网络 若要建立一个连接 就需要为这个 新的连接分配所需要的带宽资源 静态分配方法是一次到位的带宽分配方法 由于v b r 视频通信量具有时变 非线性 突发性等特征 静态方法很难分配合 适的带宽资源 为保证q o s 网络资源利用效率很低 为提高网络带宽在多连 接条件下的利用效率 就要求动态分配带宽 从而合理地利用资源 提高网络 的传输效率 由于v b r 信源统计特性的复杂性 依赖有明确数学关系的算法解 决带宽的动态分配是非常困难的 针对这个问题 一些学者提出基于预测的动 态带宽分配方案 1 i 2 s 通过对通信量特征在线测量与学习 预测未来的带宽要 求 从而根据预测值动态分配带宽 因此 高精度的预测方法 不仅能够为视 频分配合适的带宽 达到高质量 低延迟抖动的视频服务 而且提高了网络资 源的利用效率 基于预测的动态带宽分配方案的基础是对于不同类型信源的统计特性的研 究 v b r 视频通信量时间序列是一个复杂的非平稳随机过程 为寻找描述该随 机过程的数学模型 人们已经作了大量工作 6 1 0 1 从最早提出的自回归 a r 模型 6 到复杂的自相似模型 7 9 都包含着层次不同的时问相关这一重要特性 2 第一章绪论 由于v b r 视频通信量序列的时间相关性 使得通信量的预测成为可能口 基 于宽带通信所要求的q o s 对于所采用的预测器的性能自然有了特殊的要求 预测精度高 计算复杂性低 实时性好 能在线实现 线性预测方法 b 19 是其 中最常用的方法 由于它的计算复杂度较低 适用于在线学习方式 即预测器 的参数在预测过程中根据当前预测误差进行更新 但用线性模型预测非线性的 v b r 视频通信量在理论上就存在不足 它的预测精度不高 由于神经网络具有自学习映射功能 因而在那些实时性要求很高且又无法 用确切数学模型捕述的智能性信息处理问题的求解上 用神经网络方法具有其 他方法无法比拟的优势 从神经网络信息处理已经取得的大量应用成果来看 神经网络确为解决一些智能问题提供一种有效的方法 在众多的预测模型中 人们通过广泛深入的研究和比较 发现神经网络模型有着良好的预测性能 它 能较好的解决非线性时问序列的建模和预测问题 进而受到越来越多的重视 人们已经尝试采用各种不同的神经网络模型用于v b r 通信量预测的研究 文献 1 2 1 3 采用了适合于非线性时间序列预测的t d n n 模型 该神经网络模型 是一种三层前馈神经网络 它的输m 神经元采 线性激活函数以提高预测精度 但是该模型只能逼近一个静态的非线性关系 因此预测精度不够高 文献 2 0 2 1 1 采用的管线循环神经网络 p r n n p i p e l i n e r e c u r r e n t n e u r a l n e t w o r k 模型对于较 为平滑的v b r 视频业务流 如场景变化不大的视频会议 能给出很好的预测性 能 但对于突发性很强的复杂业务流 其性能则有所下降 并且p r n n 采用实 时循环学习算法来修改权重 要求在视频采样间隔内完成多次迭代 因此计算 复杂性高 网上实时实现存在困难 文献f 2 2 1 提出了一种基于t d n n 的自适应 神经网络模型 该模型分为离线先验学习 在线二次学习两个阶段 在在线预 测阶段 神经网络要根据当前预测误差自适应调整权重 但同时要兼顾该调整 量要尽可能使对先验知识的影响最小 其作者用该模型对m p e g 2 业务量预测 作了模拟 得出了令人满意的结果 但是该模型需要一个大规模的矩阵去记忆 先验知识 先验知识的改变用一与该矩阵有关的能量函数表示 优化该能量函 数的计算复杂度较高 因此该模型的实时性能有所欠缺 有鉴于信流预测器的准确性 实时性与v b r 视频通信量的非平稳特性 本 文提出了一种基于递归最小方差 r e c u r s i v el e a s ts q u a r e r l s 删剪学习算法的 t d n n 神经网络模型 仿真实验表明该模型能够实现对复杂视频通信量序列的 高精度预测 满足实时快速的预测要求 第一章绪论 第三节反馈神经网络在信元调度中的应用 随着光纤通信技术的快速发展 特别是高密集波分复用 d w d m 技术的 不断成熟 通信网络的带宽得到迅速提高 使得通信网络的交换系统成为高速 通信网络性能改善的瓶颈 提高通信网络交换系统的交换效率对改善通信网络 性能具有极其重要的意义 a t m 交换能够实现高速 高吞吐量和高服务质量的 信息交换 提供灵活的带宽分配 适应从很低速率到很高速率的宽带业务交换 要求 它代表了交换技术发展的最高水平 是实现b i s d n 和i p v 6 的关键技术 之一 因此a t m 交换技术得到了广泛和深入的研究 a t m 交换系统的性能主要受到了交换结构和调度算法的影响 交换结构是 将信无从输入端传送到输出端的实际执行部件 它是路由器和交换机中的核心 设备 它的性能直接决定了交换设备的性能 调度算法保证交换系统的性能 如吞吐率 延迟 丢失率等 2 在交换系统中 当两个或多个分组 或信元 在交换结点上争用同一资源时 就会产生阻塞 为了避免被阻塞的分组 或信 元 丢失 必须对他们进行缓存 按缓冲器所在位置 交换结构可以分为输入 缓冲 排队 和输出缓冲 排队 输出缓冲具有良好的吞吐率和时延性能 但 是要求输出缓冲交换单元内部信元速率和输出缓存队列存储速度都加速到输入 端口速度的n 输入 输晰端口数 倍 实现复杂 2 输入缓冲方式结构简单 对缓冲器的速率要求较低 易于硬件实现 因此 它被广泛应用于高性能交换 系统中1 2 传统的输入缓冲策略是在每个输入端放置 个先入先出 f i r s ti nf i r s t o u t f i f o 缓冲器 由于存在队头阻塞 h e a do f l i n eb l o c k i n g h o lb l o c k i n g 现象 其吞吐率 t h r o u g h p u t 和信元时延等性能较差 在均匀业务流以及入 线数很大时 其最大吞吐率仅为0 5 8 6 1 2 9 j 为了克服传统输入缓冲队列带来的问题 h l u c h y j 提出了窗口接入技术1 3 0 1 其实质是放弃先进先出原则 允许输入缓存器前w w 为窗口大小 个信元参与 对输出线的竞争 使输出线获得最大限度的利用 但是它并不能完全消除队头 阻塞 虚拟输出队列 v i r t u a lo u t p u tq u e u e i n g v o q 能够彻底消除队头阻塞而 无需加速 其性能受信元调度算法的制约 3 1 1 设计 个既能提供高吞吐率 又 便于硬件实现的信元调度算法 是保证交换系统性能的关键 本文在虚拟输出 队列a t m 交换结构的基础上 通过设定一个新的能量函数 利用h o p f l e l d 神经网 络 h o p f i e l d n e u r a l n e t w o r k i i n n 迭代过程中能量下降的特性 实现了信元的 第一章绪论 优化调度 并从理论分析和计算机模拟的角度论证了该方案的可行性 近年来 因特网在商业上获得很大的成功 得到了厂 泛的应用 用户数量 的急剧增加和多媒体业务的快速增长促使因特网迅猛发展 因此 在主干网络 上的口路由器不仅要能够高速交换数据包 而且还要能够满足各种不同的服务对 服务质量 q o s 的要求 由于t c p i p 数据包长度不固定 难以实现数据包的高 速交换 并且i p 网络并不能保证服务质量 针对这些问题 人们提出了i p 路由交 换和多协议标记交换 m u l t i p r o t o c o ll a b e ls w i t c h i n g m p l s 1 3 2 的概念 将a t m 的优点应用于i p 网络中 即在i p 路由器中采用a t m 交换的技术 现在的骨干网高 速路由器普遍采用了基于a t m 的交换结构 以实现快速的数据包交换 在这种 交换结构中 t c p o p 变长的数据包在输入端口被分割成a t m 定长的信元 然后 在a t m 交换枧山实现高速信元交换 最后在输出端口将a t m 信元重新组成 t c p i p 数据包 33 j 由此可见 a t m 交换技术的研究成果不仅有利于a t m 本身 的发展 也是对其它需要高速交换的领域的有力帮助 第四节本文主要研究内容及章节安排 本论文的主要研究内容有以下几个方面 1 简要介绍了神经网络的基础知识 主要是前馈神经网络和反馈神经网 络 在前馈神经网络中主要介绍了b p 算法以及b p 算法存在的缺陷 针对这些问题提出采用基于r l s 的自适应删剪学习算法用于v b r 视频 通信量的预测 在反馈神经网络中作者介绍了t t o p f i e l d 神经网络以及利 用h o p f i e l d 神经网络解决优化问题的基本思想和具体方法 2 提出一种自适应神经网络模型对v b r 视频通信量进行非线性自适应预 测 首先介绍了v b r 视频通信量预测的基础知识 系统地综述了v b r 视频通信量预测的主要方法 在此基础上 提出一种基于递归最小方差 的自适应神经网络模型对v b r 视频通信量进行非线性自适应预测 并 进行了计算机仿真实验 结果显示该模型能够进行实时 精确的预测 3 提出了一种基于h o p f i e l d 神经网络的信元调度算法 介绍了通信网络中 的交换系统 仿真了输入缓冲和输出缓冲交换系统 并分析了各自的性 能 提出了虚拟输出队列与无阻塞的c r o s s b a r 交换结构相结合的交换系 统模型 并利用h o p f i e l d 神经网络实现调度算法 计算机模拟结果显示 第一章绪论 该方法提高了吞吐率 降低了信元时延 提高了交换系统的性能 本文后继章节按如下方式组织 第二章是神经网络概述 主要介绍了多层前馈神经网络及其算法 反馈神 经网络及其算法 第三章介绍了我们在v b r 视频通信量预测方而所作的工作 首先综述了相 关研究进展 主要是神经网络方法在v b r 视频通信量预测中的应用 然后在介 绍了神经网络的r l s 训练和删剪算法的基础上 提出了一种自适应t d n n 模型 并给出了仿真结果及其预测性能评价 第四章提出了采用反馈神经网络实现虚拟输出队列中的最佳信元调度 首 先简单介绍了通讯网络中的交换系统及其调度算法 对他们的性能进行了比较 并分析了不足之处 在此基础上提出采用虚拟输出队列的输入缓冲策略与无内 部阻塞的c r o s s b a r 交换结构相结合 利用h o p f i e l d 神经网络实现调度算法 并 从理论分析和计算机模拟的角度论证了该方案的可行性 第五章为全文的工作总结及后继工作展望 6 第 章人工神经网络概述 第二章人工神经网络概述 人工神经网络是对人脑最简单的一种抽象和模拟 是一种较新的信息处理 模型 它建立在神经心理学和认知科学研究成果基础之上 具有并行分布的 自适应的信息处理能力 本质上是大规模并行处理的自适应非线性系统 3 5 1 它 具有很强的自学能力 鲁棒性 r o b u s t n e s s 和容错性 f a u l tt o l e r a n c e 善于联想 概括 类比和推广 住许多实际应用中取得了显著的成效 解决了不少传统计 算方法难以解决的问题 随着人们对大脑信息处理机制认识的深化 以及人工 神经网络智能水平的提高 人工神经网络必将在科学技术领域发挥更大的作用 第一节人工神经元模型 神经网络模拟生物大脑神经系统 以类似于神经网络的人工神经元 n e u r o n 为基本运算单元组成一种在互连中分布式存储信息的智能信息处理 系统 现代脑科学研究表明 细胞神经元是神经系统的结构与功能的基本单位 3 6 1 大脑大约包含有l o 0 1 0 1 1 个神经元 每个神经死与大约1 0 3 1 0 5 卜其他神 经元相连接 电脉冲信号沿着轴突进行传播 激励突触连接处 接着非线性地 产生下一个激励 并沿着树突向f 一个神经元进行传播 由这样一些简单的非 线性单元构成的脑神经系统却具有几乎无限的智能活动能力 是大脑进行各种 思维活动的物理基础 人工神经网络是由大量神经元通过并行连接而构成的高度复杂的非线性网 络系统 它是对人脑神经系统的模拟 它反映了人脑功能的若十基本特征 但 只是对人脑功能的某种简化和抽象的模型 事实卜 现有的任何 种人工神经 网络结构的复杂程度都与真正大脑神经系统的复杂程度相差甚远 在人工神经 网络中 神经元具有加权求和及非线性输出等功能 但在功能上讲 人工神经 元只是生物神经元的一阶逼近 一般 一个人工神经元具备以下三个基本元素 3 7 1 1 突触或连接链 每一个都由其权值或者强度作为特征 特别是 在连到 神经元k 的突触 上的输入信号x 被乘以神经元七的突触权重w 注意突触权 第 章人工神经网络概述 值w 的下标的写法很重要 第一个下标指查询神经元 第二个下标指权值所在 的突触的输入端 人工神经元的突触权值有一个范围 可以取正值也可以取负 值 2 加法器 用于求输入信号被神经元的相应突触加权的和 这个操作构成 一个线性组合器 3 激活函数 a c t i v a t i o nf u n c t i o n 用来限制神经元的输出范嗣 激活函数 也称为压制函数 由于它将输出信号压制 限制 到允许范围之内的一定值 通常 一个神经元输出的正常幅度范围可写成单位闭区间l o 1 l 或者另一种区间 卜 1 1 l 这样 一个神经元的结构模型就如图2 1 所示 其中包括一个外部偏置 址 为b 偏置的作用是根据其为征或为负 相应地增加或降低激活函数的网络输 入 用数学术语 神经元k 的输入 输出就表示为 咋 w 目x 2 1 儿 玩 其中 x 1x 2 x 是输入信号 w 峨2 入信号的线性组合器的输出 偏置为b 信号 2 2 w k n 是神经元k 的突触权值 v 是输 激活函数为厂 y 足神经元的输出 阔2 1 人上神经元模型 激活函数厂0 的基本形式为一些最简单的非线性函数 下而列举三种基本的 第一章人工神经网络概述 激活函数 1 硬取阈函数 h a r dl i m i t e rf i m c t i o n 见图2 2 j 1 0 f u 1 1 0c h a n g e 0 l 一1 口 盯 日 一口 t u 1 7 广j 一n 0 a i 一1 图2 4 饱和取闽函数 2 6 虽然单个神经元的计算较简单 它的信息处理能力也很有限 但是 由大 l o 堑三至 塑垒堕丝堡垄 量的神经元所组成的神经网络却呵以完成十分复杂的任务 每一个神经元在空 问的位置并不重要 重要的是它们之问的相互连接方式 按照神经元构成神经 网络的连接方式 即拓扑结构 的不同分类 神经网络主要可分为前馈型神经 网络和反馈型神经网络两大类 下面我们分别加以介绍 第二节前馈型神经网络 前馈型神经网络内的神经元分层排列 每一层内的神经元之间无连接 仅 层问神经元有连接 且各神经元的状态信息仅向前传递 即由输入层 顺序到 各中间层 或称隐藏层 最后从输出层输出 前馈型神经网络可以有许多层 其总层数取决于中间层的多少 因为输入和输出层各只有一层 感知机 p e r c e p t r o n 是由一个输出神经元所组成的最简单的前馈型神经网络 感知机的 提出在神经网络的研究历史上有重要意义 2 2 1 惑知机及其学习算法 1 感知机模型 图2 5 是感知机的结构模型 x 图2 5 感知机的结构模型 y 图中x 为输入矢量 j i x x rx 1 为偏置分量 的输入端 r w 为权重矢量 w 1 w 2 r y 为感知机的输出 y 窆一w 一w 厂 窆 w 式中 为输出神经元的非线性锨活函数 通常或特号函数s g n u 第二苹人工神经网络概述 2 感知机的学习算法 感知机学习算法步骤如下 1 初始化 根据经验确定学习的步长参数口 通常o d 1 并在实数 区间 一l 1 内 随机给定权重矢量和闽值的初始值 2 输入任一个样本矢量 和它的期望输出值d 计算 f w t x 7 和 y f s g n 1 f 2 7 上式中 为学习的迭代次数 初始化后第1 次迭代从t o 开始 以后侮迭代一 次加1 3 若y f d 则对权重和阂值作如下修正 o 1 f a i d 一y o l x i o 1 胛 2 8 4 换另 个输入样本 4 t t l 回到 2 若全部样本都已输入 遍 则回到 2 再次从头输入样本 如此重复多遍 直到迭代次数f 达到预设的最 大值t 时 停止学习 回到 1 重新学习 5 若y k d 对所有m 个连续输入的不同样本都能成立 由 2 8 式可知 权重矢量利阂值将不再随迭代次数t 而变 则学习完成 称为 收敛 这个稳定的增广权重矢量就是我们所要的解w 其中t 是为防止凶初始化或步长选取不当而设定的最大迭代次数 t 通常是 一个很大的整数 当迭代次数超过t 时 学习便自动停止 以便改变初始化条 件 重新学习 3 感知机学习算法能在有限次迭代后达到收敛的充分和必要的条件是 1 满足分类要求的解存在 2 学习步长甜足够小 太小则慢 太大则不能收敛 3 学习的结果要有推广性 即对所有未学习过的同类样本也能正确分类 则学习样本的数目m 要足够多 且有代表性 2 2 2 多层前馈神经网络及b p 学习算法 由于单层感知机在分类问题上存在缺陷 即彳i 能处理x o r 或更复杂的非线 性问题 曾经使得人们对神经网络的前景得出悲观的结论 误差背传 b a c k p r o p a g a t i o n b p 算法的出现使多层神经网络变得可行 由于多层神经网络能 第二章人 神经网络概述 解决单层感知机不能解决的非线性问题 对它的研究也越来越多 同时b p 算法 也成了一种广为关注的神经网络学习算法 1 多层前馈神经网络基本结构模型和符号说明 多层前馈神经网络是由大量的神经元广泛互连而成 各层的神经元之间通 过权值的大小来表征它们的连接强弱 图2 6 是多层前馈神经网络的模型 多层神经网络由输入层 隐藏层和输出层组成 其中隐藏层可以是一层或 多层 隐藏层和输出层中任意神经元的输入等于它前一层的各神经元输出的加 权和 硝 噩 输入层隐藏层 输出层 图2 6 多层前馈型神经网络的结构和符号说明 结构参数 输入层 i 隐藏层 h 输出层 o 神经元数 n i 1 2 nm j 1 2 m z i z 2 状态矢量 丑 i x l z 2 x 7y y l y 2 7z 毛 z 2 z l 7 n 激活函数无 厂 v f t o 连接权重 矿制 i 1 2 1 2 n m f i k f e w 冲y j 莎 j 1 2 2 m 三 第二章人 神经刚络概述 闽值矢量 简化表示 矿 i v v v 7矿o w o w o w 0 7 n m 1 一m 2 一 一mh l 或者 当h 1 时 一m 一三 学习参数 训练样本 样本矢量 输出误差 输出方差 样本方差 平均方差 每 五 p 1 2 p i x f x 扩 x 妒 r西 d p d w d p r j 一上 卢 一2 p 台却 学习目标 权重初值 学习步氏 动量常数 迭代次数 输出层背传误差 隐藏层背传误差 d k 一缸 k t 2 三 i 1 l 婶l 厶 l 乞 寺 d 一z 2 厶i 1 去壹 二 p l 墨 b p 1 2 p o i v o i v f 形 o 1 w o 1 夥 女 0 d 1 0 r 1 f t t 为预设最大迭代次数 2 9 2 1 0 2 1 1 2 1 2 2 1 3 2 1 4 2 1 5 第二章人丁神经网络概述 2 b p 学习算法 b p 算法的学习过程由两个阶段组成 信息的前向传播和误差的后向传播 在前向传播的过程中 输入信息从输入层经隐层单元逐层处理 并传向输出层 每一层神经元的状态只影响下一层神经元的状态 如果在输出层不能得到期望 的输出 则转入反向传播 将误差信号沿原来的连接通路返回 通过多次修改 各层神经元的权值 使得误差信号最小 b p 算法的流程图见图2 7 b p 学习算法的前提条件是 前馈神经网络的 结构 一m 一三为己知 学习步长口 输出方差的目标值己 以及权重调整的最 火允许迭代次数丁 皆已设定 p 个学习样本 盖 x x n p np 1 2 p 2 1 6 及其对应的期望输出 3 b p 神经网络存在的问题 b p 模型虽然从各个方面都有其重要意义 但它存在着如下问题 1 难以确定网络的规模 特别是隐藏层节点数的选取 当隐层节点数太 少时 预测的精度无法得到保证 太多时 网络在训练过程中又容易陷入局部 极小点且收敛速度慢1 3 8 3 9 l 2 b p 学习算法的收敛速度很慢 通常要几千次迭代甚至更多 3 b p 学习算法参数 如学习步长搿 的选取尚无理论上的指导 而是根 据经验选取的 需要进一步的寻找解决办法 4 不可避免地存在有局域极小问题 针对以上问题 本文采用基于r l s 的自适应学习及删剪算法对前馈神经网 络进行训练和网络结构优化 有效地克服了b p 模型中存在的缺陷 7 2 d p 畦 p 科 p d o 知已为皆 第二章人工神经网络概述 样 本 一 刖 传 误 差 同 传 薹f 罔2 7 误差背传学刊算法的流程图 第三节反馈型神经网络 从1 9 8 2 年起 美国物理学家j h o p f i e l d 连续发表文章 报道了他对一种单 1 6 第二章人工神经网络概述 层反馈神经网络 被称为 h o p f i e l d 模型 的理论和应用的研究成果 受到世 界范围的重视 从而掀起了神经网络研究的第二次热潮 本节主要介绍h o p f i e l d 神经网络 i 烈n 的模型和优化方法 2 3 1h o p f i e l d 神经网络模型 h o p f i e l d 模型是 种非线性动力学系统 其时间变量既可是离散的 又可是 连续的 我们先介绍离散时问的h o p f i e l d 模型 1 离散型b o p f i e l d 神经网络 o h 州 d h n i n 是一种单层 输出为二值的反馈网络 它主要用于联想记忆 图2 8 是它的结构图 其中有n 个神经元 其状态用露 f k o 苫 o h o r 表示 t f e 1 l k 加 羔 表示第i 神经元与第j 神经元之间的连接权重 用瓦连矩 阵萨表示 一 w w t w 2 n w m 2 1 8 i 佩t w 2 1 w m 7 1 弘1 n k k 1 2 t l 1 w j一一i w 0 一 x l l w z l j j 嘞k 菇 n k 宁 t t i i 图2 8 离散型h o p f i e l d 模型的网络结构 x 1 t x 2 t x n 一1 t x n t 第二章人丁神经网络概述 每 个神经元在t 时刻的内部状态i i t 由t 时刻所有其他神经元的状态x j t 决定 l f t f i 1 2 n 2 1 9 j l 而t 5 t 时刻神经元的输出为 rn f 岔 f 一w 厂l z w f i x i 1 l 2 2 2 0 l j 2 0j 这里 母是指神经元完成一次迭代运算所需要的时间 为方便起见通常取毋 l 式中已置x t 一1 称w 0 为神经元i 的闽值参数 为神经元的激活函数 通常用符号函数s g n 也可采用其它形式的非线性函数 h o p f i e t d 模型的互连 矩阵是列称矩阵 且其对角元为零 即 w w w e 0 f o rv f 2 2 1 2 2 0 式是反馈神经网络的动力学迭代规则 当所有的神经元同步改变状态时 称为并行迭代 当神经元按不同的顺序和方式迭代时 称为串行迭代 给定仞 始状态卫 o i x o x 2 o x n o r 后 神经网络将按动力学规则彳i 停地 迭代下去 因而这种神经网络是一个动力学系统 h o p f i e l d 引入计算能量函数 c e f c o m p u t a t i o n a le n e r g yf u n c t i o n 作为 h n n 计算求解的工具 d h n n 计算能量函数的定义为 一三牙7 殿 或 露 2 2 2 可以证明计算能量嘲数的非增性 印总有 e 0 这表明d h n n 在运行过 程中能量将不断降低 最终趋于稳定的平衡状态 2 连续型h o p f i e l d 神经网络模型 c h n n d h n n 中晌神经元与生物神经元的差别较大 因为生物神经元的输入输出是 连续的 而且 生物神经元存在时滞 1 9 8 4 年 h o p f je l d 又提出一种连续型神 经网络模型 在这种网络中 神经元的状态可以取0 至1 之间的任一实数值 第一章人工神经网络概述 图2 9 连续型h n n 的网络结构图 图2 9 是连续时间h n n 的网络结构图 说明如下 1 网络中的n 个神经元分别出具有正 反向输出 和矿 的运算放大器 来实现 其输入输出关系可近似用s i g m o i d 函数来表示 盼咖渺肛而1 2 2 3 2 神经元之间的互连权重舢 圮 与h n n 相同 这里用电阻扣f i j 来实 现 其数值为 f 2 2 4 互连权重的符号由输出端的开关接到k 或矿 来决定 连线之间的电阻r 在图2 9 中用连线交叉点的小圆圈来简化表示 如图2 9 的右下侧所示 3 每一神经元输入点上接有输入电阻r 和电容c 构成神经元的时间常 数 用以影响网络的动力学特性 4 每一 神经元输入端都有一个外加偏置电流l 与神经元的闽值w 0 相当 由基尔霍夫电流定律 神经元输入j 的电流节点方程为 善w 沪姒嘞 掣 半 2 2 5 j 流入电流 流出电流 第二章人上神经网络概述 由 2 2 5 可以推导出h n n 的动力学方程 j业 一半 兰wgdt 哪 2 j l l 2 2 6 t 州k r i 1 2 n 它包含 个非线性的常微分方程组 决定了系统的动力学特征 连续型h n n 在简化生物神经元性质的同时 重点突出了以下重要特性 1 神经元作为一个输入输出变换 其传输特性具有s 特性 2 细胞膜具有时空整体作用 3 神经元之间存在着大量的兴奋和抑制性联结 这种联结主要是通过反 馈来实现的 4 具有既代表产生动作电位的神经元 又代表按渐近方式工作的神经元 的能力 因此 c h n n 准确地保留了生物神经网络的动态和非线性特征 有助于理解 大量神经元之间的协同作用是怎样产生巨大的计算能力的 c h n n 的能量函数定义为 一告兰兰w l一 咕 r 1 z dz一 iivie v i 2 2 7 一吉 w l 一 咯 i 1 0 一 2 2 7 二 1j lz儿 o 式中z z 为k z 的反函数 即 甜 z 1 2 2 8 由 2 2 7 式定义的能量函数可以证明也是非增函数 即掣 o 2 3 2h n n 优化计算方法 1 9 8 5 年 j j h o p f i e l d 和d wt a n k 巧妙地将h n n 应用于t s p 问题的求 解 取得了良好的效果 表明了h n n 的能力 为求解优化问题开辟了新的途径 1 h n n 优化方法 h n n 的能量函数都表征了网络的动力学演化过程 并揭示了该演化过程与网 络稳定状态之间的内在联系 也就是说 能量函数的极小化就表示了网络从初 始状态到稳定状态的演化过程 通常 约束优化问题的求解过程实际上就是目 标函数的极小化过程 如果将目标函数与能量函数相联系并通过能量函数将约 第i 章人工神经网络概述 束优化问题的解映射到网络的一个稳定状态上去 也就是使自 量函数的极小值 对应于问题的最优解 那么当能量函数达到局部极小或者全局最小时 相应的 解就为约束优化问题的局部最优解或者全局最优解 这就是应用反馈神经网络 解决优化问题的基本思想 利用反馈神经网络求解优化问题必须解决以下两个问题 1 如何把待求解的优化问题转化为一个h o p f i e j d 神经网络的输出表示 2 如何确定i i n n 的能量函数 使其极小值对应于优化问题的最优解 对第一个问题一般可以将待求解的优化问题的每一个可行解用一个换位矩 阵f 4 w 来表示 对第二个问题通常可以利用优化问题的目标函数和约束条件构造 相应的能量函数 基于以上讨论 用h n n 解决优化问题的一般步骤为1 4 1 1 选择合适的问题表述方法使神经元的输出与问题的解彼此对应 2 构造能量函数 使其极小点刈应于优化问题的最优解 并保证当能量 函数取极小值刚 问题的约束条件被满足 3 根据能量函数定义网络动力学方程 4 给定网络初始状态和网络参数a b 等 使网络按动力学方程运行 直 到达到稳定状态 此时就得出优化问题的解 2 h n n 优化方法的几个重要问题 对于h n n 优化方法 应该注意其收敛性和有效性 1 收敛性 作为一个优化算法 h n n 应保证从任一初始点出发 按动态 方程演变 最后都能收敛到网络的平衡点 h n n 的收敛性可通过能量函数e 来加 以证明 2 有效性 只有收敛得到的解为可行解 h n n 优化方法才是有效的 如何构造合适的能量函数e 以及采取合适的方法使h n n 逃出对应不可行解 的局域极小值 都是值得广泛深入研究的问题 另外 对于h n n 算法收敛速度以 及所得解的优劣 目前只能通过实验方法来说明这两方面的性能 第三章基于神经网络方法的v b r 视频通信量预测 第三章基于神经网络方法的v b r 视频通信量预测 31 1 可变比特率视频 第一节基础知识 视频传输有两种比特率模型 一种是固定比特率 c o n s t a n t b i tr a t e c b r 视频 一种是可变比特率 v a r i a b l