（电路与系统专业论文）输入空间自优化神经网络的研究及其在车型识别中的应用[电路与系统专业优秀论文].pdf

摘要 神经网络是基于生理学的仿生模型，近年来，越来越多的应用于各个领域，尤以模 式识别最为成功。但绝大多数的神经网络的训练过程，是在其拓扑结构不变的前提下， 仅对网络的参数进行优化。也有少部分具有网络结构优化思想的网络，即级联相关学习 结构和网络剪枝，对输入空间进行优化的神经网络还未见报道。 本文提出了神经网络结构自优化的新理念，并主要介绍输入空间自优化的概念及输 入空间自优化神经网络的基本思想和基本算法。用m a a b6 5 编写了输入空间自优化神 经网络的程序，并将输入空间自优化神经网络应用于高速公路的汽车车型的分类中，提 高了车型分类的正确率，同时也降低了神经网络的运算量，解决了实际问题。 与传统的神经网络相比，本文的主要贡献在于： ( 1 ) 提出了自优化神经网络的概念。1 9 9 0 年a e f a h l m a n 和c l e b i e r e 提出了“级 联相关学习结构”、1 9 9 0 年y l ec u n 等提出了“最佳脑损坏”、1 9 9 2 年b h a s s i b i 等提出 了“最佳脑手术”，神经网络的隐层节点和网络的层次随着算法自动的调节，使得神经 网络的输出达到最小的误差。实际上，这几种网络给出了神经网络结构自优化的思想， 本文将具有这种功能的网络归纳为结构自优化神经网络，简称自优化神经网络。 ( 2 ) 提出了一种新的自优化神经网络，即输入空间自优化神经网络。它不但能够 优化神经网络的参数，同时也能优化输入空间。在不断调整神经网络输入空间的同时， 神经网络的结构也不断的变化，使得神经网络的分类结果达到最优化。 ( 3 ) 本研究将输入空间自优化神经网络与实际应用相结合，证明了输入空间自优 化思想的实用性和正确性。 关键词：神经网络；输入空间自优化；b p 网络；u 检验；a r 参数模型 第一章绪论 一、引言 神经网络模型是生物神经系统的一种高度简化后的近似，是基于生理学的智能仿生 模型。它是用大量简单神经元广泛连成的一种计算结构，属于自适应非线性动力学系统， 它能通过模拟人的智能行为处理一些复杂的、不确定的、非线性的问题，具有很强的容 错性和联想记忆功能。它为处理模糊的、数据不完全的、模拟的、不精确的模式识别提 供了一个全新的途径，具有自组织、自适应、自学习的能力和非线性、非定常性和非局 域性等特点。因此神经网络在越来越多的领域中得到了广泛的应用。 绝大多数神经网络的训练过程是在其拓扑结构不变的情况下，对网络的参数进行优 化。但神经网络的结构选择对神经网络运算结果影响很大，如网络隐含节点和隐含层数 的选择。神经网络的隐层节点和隐含层数越多，神经网络的规模越大，逼近能力越强， 同时网络的运算时间越长，网络训练时越容易发生过拟合，使泛化能力降低：神经网络 隐层节点和隐含层数少，会导致神经网络训练不出来，容错性差。因此神经网络的网络 结构调整是十分必要的。在1 9 9 0 年a e f a h l m a n 和c ，l e b i e r e 提出了级联相关学习结构， 它是网络增长的学习方法。开始时神经网络没有隐层节点，并可以用l m s 算法进行训i 练。 网络一次增加一个隐层节点，每个隐藏节点都与输入节点和先前的隐藏节点有连接。每 个隐藏节点都连接到每个输出节点，直到神经网络的总输出误差达到预设目标或达到节 点数时，亦或超出预设值时，神经网络隐层节点的增加过程结束。与级联相关学习结构 同时出现的网络结构调整的网络方法还有网络修剪。1 9 9 0 年y l ec u n 等提出了最佳脑损 坏，1 9 9 2 年b h a s s i b i 等提出了最佳脑手术，这两种方法主要是针对神经网络的训练缺 乏一般性问题提出的。如果神经网络有过多的参数，它可能会对数据适合过度。当数据 在训练集合中时，误差可能变得很小；反之，当数据在训练集合之外时，则误差很大。 网络一般化的方法之一是减少参数，网络修剪是在网络训练后，去掉一些权值“1 。 在级联相关学习结构和网络剪枝中，神经网络的隐层节点和网络的层次随着算法自 动的调节，使得神经网络的输出达到最小误差。实际上，这两种网络给出了神经网络结 构自优化的思想，我们可以将具有这种功能的网络归纳为结构自优化神经网络，简称自 优化神经网络。 在白优化神经网络思想的指导下，本文进行了输入空间自优化神经网络的研究，即 神经网络在输出达到最小误差的时候，判断神经网络模式识别的正确率，并反复调整输 入空间的维度及分量构成，使神经网络的隐层节点也随着输入空间结构的变化而变化。 当输出的正确率达到最高值时，神经网络的训练和优化自动结束。此时神经网络的输入 空间为最优输入空间，即最优的输入向量维度和分量构成，神经网络的隐层节点数和权 重及偏置值成为相对最优输入空间的最优网络参数。显然，最优输入空问结构与神经网 1 络面临的工作任务有很强的关联性，正是由于这种强关联性，使得这种神经网络具有了 针对工作任务的输入空间结构自适应优化的功能。我们将这种神经网络称为输入空间 ( 结构) 自优化神经网络，可以归类为自优化神经网络的一种。 本文主要依托国家自然科学基金项目“基于车辆声谱特征的高速公路交通事件及交 通流特性直接检测技术研究”( 项目批准号5 0 4 7 8 0 0 7 ) ，用现代信号分析技术( a r 参数 模型分析) 处理在高速公路上采集到的车辆在行驶中的声音信号，通过神经网络融合识 别技术实现车型识别。在本文中将输入空间自优化神经网络应用到高速公路的车型识别 中，以验证输入空间自优化神经网络的可行性和实用性。 二、神经网络的发展与现状 所谓神经网络，是由大量简单的非线性处理单元彼此按某种方式广泛相互连接而成 的复杂计算系统，是神经系统的抽象的数学模型。 ( 一) 神经网络的发展 神经网络的研究从2 0 世纪4 0 年代初开始，至今已经有半个多世纪的历史。1 9 4 3 年，心理学家w a r r e n m c c u l l o c h 和数学家w a l t e rp i t t s 首先提出了形式神经元模型( 简 称m p 模型) ，从此开创了神经科学理论研究的时代。1 9 4 9 年，d o h e b b 提出了改变神 经元连接强度的h e b b 规则，它至今人在各种神经网络模型中起着重要的作用。5 0 年代 开始对人工智能网络系统进行研究，这是神经网络研究的第一次高潮。1 9 6 9 年m m i n s k y 和s p a p e r t 共同发表了感知机一书，严格地论证了简单线性感知器功能的局限性， 一度使神经网络研究处于低潮。此后s g r o s s b e r g 提出了自适应共振理论，t k o h o n e n 提出了自组织映射网络，k f u k u s h i m a 提出了神经认知网络理论，j a n d e r s o n 提出了 b s b ( 盒中脑) 模型，p w e r b o s 提出了b p 理论，b w i d r o w 发展了a d a l i n e 模型。这些为 神经网络研究的发展奠定了理论基础。1 9 8 2 年，美国物理学家j j h o p f i e l d 提出了h n n 模型，引发了神经网络研究的又一次热潮。在此后的十余年中，神经网络的理论研究取 得了许多重大的进展，提出了不少有效的人工神经网络模型计算理论，主要有以下几种： 误差反向传播( f r r o rb a c kp r o p a g a t i o n b p ) 模型，它是一种广泛应用的网络，可用 一于检测及自控等：b k o s k o 提出了双向联想记忆网络，它是最早用于学习的网络：1 9 8 8 年美国加州大学的蔡少堂等人提出了细胞神经网络模型，与般神经网络一样，它是一个 大规模非线形模拟系统，同时又具有细胞自动机的动力学特性进入二十世纪9 0 年代后， 神经网络的研究热湖仍然高涨，各种模型和算法纷纷出台，其重比较著名的是c 州网络， 这是l o c h u a 等人在h o p f i e l d 网络的基础上发展的局部连接网络，这种网络在视觉初 级加工上得到广泛的应用。此外，神经元模拟软件和神经元芯片也不断提出。同时伴随 着神经元网络的发展还出现了一些边缘学科，如计算神经元、信息论和计算科学等。神 经刚络的国际会议接连不断，1 9 9 1 年在美国西雅图召开国际神经网络学术会和r e e e 联 合年会，1 9 9 2 年国际神经网络学会和i e e e 神经网络委员会联合学术会议在北京召开。 1 9 9 3 年、1 9 9 6 年分别在美国旧金山和华盛顿召开国际神经网络会议( i c n n ) 。许多工业 2 化国家也纷纷成立专门的研究机构，研究神经网络的理论、模型和算法，并将神经网络 成功地应用在各个领域中，可以预言，在2 l 世纪，神经网络的研究将会有更大的突破。 ( 二) 神经网络的研究现状 目前，神经网络应用研究较多、较成功的领域有： ( 1 ) 计算机视觉。它是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息， 对客观世界的三维景物和物体进行形念和运动的识别。 ( 2 ) 语音的识别、理解和合成。这一直是一个非常活跃的领域。目前成功地运用于语 音处理的神经网络模型主要有两种：b p 模型用于音素的识别：自组织特征映射模型用于 音素的识别等。 ( 3 ) 优化计算。将最优化问题转化为神经网络问题时，网络的状态组合相应于问题的 可能解。当实现了网络能量函数中对应于全局最小的稳态组合时，便可从中得到问题的 解。 ( 4 ) 智能控制和复杂系统的分析。目前神经网络已用于实时控制系统，例如g r o s s b e r g 的视觉运动控制神经网络等。另外，神经网络可以成为复杂的非线性系统建模、仿真、 预测的新型的强有力的工具。 ( 5 ) 模式识别。除图像和语音外，在其它一些模式识别领域，神经网络也有着广泛地 应用，如机器故障诊断等。 ( 6 ) 专家系统与人工智能。神经网络由于具有知识处理能力而被用来建立神经网络专 家系统。目前较成功的是根据k o s k o 的模糊认知映射而建立起来的由多个领域专家知识 组成的组合式神经网络专家系统。 三、输入空间自优化准则 在神经网络进行分类的特征向量空间中，特征向量有些分量( 参数) 是冗余的，这 些冗余分量的存在会导致特征向量在分类时不能高效率的工作，有时甚至不能正确地分 类。在保持特征向量的分类能力相对较高的前提下，根据某种准则删除不相关或不重要 的特征向量分量，我们将这种特征向量分量进行选择的过程称为优化。这个优化的过程 如果能够根据一定的准则和运算规则由神经网络自动地完成，则称之为自优化的过程。 以下对输入空间自优化准则的几个例子进行简单的介绍： ( 一) u 检验理论 u 检验主要利用特征的统计分布，依赖于对已有大量样本的统计分析和基于距离度 量的模式匹配，根据样本数据，对总体的未知参数，提出具体数值的假设，经统计程序 进行检验，然后作出推断决策：接受或是拒绝假设的数值。 u 检验可以用于样本均数与总体均数的比较，以及两样本均数的比较。比较的目的 是推断样本所代表的未知总体均数与已知总体均数硒有无显著差别。通常把理论值、 标准值或经大量调查所得的稳定值作为胁。当总体标准差仃未知，但是n 值足够大时可 以用u 检验。如果它的估计值为i 则u 值的计算公式为：“ 剽 如果“。：则拒绝乩，如果该不等式不成立则接受风( 无显著性差异) 。 当我们对两类样本进行显著性差异的运算的时候，直接利用u 检验公式 计算两种样本的同一参数的显著性差异。其中h 为样本一的均值，肫为 样本二的均值，砰为样本一的方差，盯；为样本二方差，喝为样本一的样本数，月，为样 本二的样本数。 因此在本文中进行判断两种车型参数之间的显著性差异的工作可以通过以上u 检 验的公式得到。 ( 二) 粗糙集理论 粗糙集( r o u g hs e tr s ) 理论由波兰学者z p a w l a k 于1 9 8 2 年提出的，是一种刻画 不完整性和不确定性的数学工具。它通过约简能有效地发现数据中起主要或决定性作用 的因素，从而实现对数据的简化和提炼。同时粗糙集理论扩展了经典的集合理论在处理 不准确和不完整信息方面表现出独有的优势，被公认为是进行机器学习、知识获取、决 策分析的有效工具。 粗糙集能在保留关键信息的前提下对数据进行化简并求得知识的最小表示；能识别 并评估数据之问的依赖关系，揭示出概念简单的模式；能从经验数据中获取于证实的规 则知识。 粗糙集理论在人工智能中有很丰富的应用，具有带代表性的有应用有： l 、对学习的训练集作预处理。 2 、用粗糙集方法获取规则，这是典型的监督学习。 3 、信息检索。 ( 三) 无准则自优化 无准则自优化，也就是特征向量的分量在进行输入空自j 自优化之前，不用任何的准 则对其进行预处理。在进行自优化时，特征向量的分量可以任意的组合，进行优化。因 此这种无准则在进行自优化的过程中，能搜索到整个特征向量分量的所有组合，找到所 有组合中的最优解。但是这样自优化的运算量会增大，自优化的速度会降低。 自优化准则还可以有很多种，采用那种准则要根据具体工作任务确定。 4 麟 四、基于谱估计的特征提取。1 信号的谱估计是从频域反映信号特性的重要方面，频域的谱特征是目标识别中使用 最多的特征，主要的估计方法有： ( 1 ) 非参数化谱估计 又叫经典谱估计，是基于傅立叶分析的谱估计方法( 如周期图法和自相关法) 。它 的特点是技术成熟、方法简单，且谱信息中包含明确的物理概念，在早期的声呐目标识 别中应用的比较广泛，但由于频率分辨率低、方差性能不太好，现已逐渐丧失其主导地 位。 ( 2 ) 参数化谱估计 又叫现代谱分析，是通过建模的方法，计算它的模型参数，通过建立的模型得到信 号的谱，其参数模型主要有a r 模型、m a 模型以及a r m a 模型等。其思想是：进行谱估计时， 对观测的有限数据不作任何确定性假设，在对这些数据如何产生具有一定先验知识的基 础上，采用外推或预测的方法，从己知的有限个点推求无限个点。这样它就克服了非参 数化谱估计法中假设除已知数据外其他数据全为零的不合理性，从而提高了谱a r m a 分辨 率，改善了信噪比，特别是对于在小样本的情况下优势就更明显。正是由于这些优点， 它已成为现代信号处理中最流行的方法。主要估计方法有a r m a 谱估计、最大似然法、熵 谱估计和特征分解法。 ( 3 ) 高阶谱估计。 由于高阶谱具有抑制未知谱特征的高斯噪声的特点，并能保持信号相位特征的优 点，经过有益的尝试后，其独特的作用逐渐被认识，在近几年已引起水声界广泛重视， 被用来作为分析非高斯信号的主要工具。其原理是：对于h 维高斯随机变量， ( 五，而，矗) ，阶数，= 岛+ 屯+ + k 的联合累量定义为 ? 一t ：k 2 c 一，7 l ! ；：! ；? ； ：i ： ! ：! j i 犁j 。：。，：。：。 当，3 时，由于妒( ) 只是自变量q 的二次多项式，故声( 曲) 关于自变量的三阶及更 高阶的偏导数等于零，从而该过程阶次高于2 的，阶累积量等于零。因此当加性噪声是 高斯有色噪声时，高阶累积量在理论上完全可以抑制噪声的影响，即当观测的信号是一 个非高斯信号和与之独立的加性高斯有色噪声的话，则该观测的高阶累积量就是原非高 斯过程的高阶累积量。同样，用累积量进行多维f f t 变换得到的累积量谱高阶谱也 具有这种能力。特别地， r = 3 时的三阶谱s ，( q ，吐) 叫做双谱，习惯上用只( q ，吡) 表 示，由于双谱的计算相对简单，因此在实际中应用比较多。 习算法中，权值的修正常采用最有梯度下降法。其基本思想是：利用神经元的希望输出 响应与实践相迎之间的偏差作为连接权调整之参考，最终减少这种偏差。在b p 网络中 就采用了这种算法。 ( 2 ) h e b b 学习 由神经心理学家h e b b 提出的学习规则可归纳为：当一突触( 连接) 两端的神经元 同步激活( 同为激活或同为抑制) 时，该连接的强度应增强，反之应减弱。 ( 3 ) 竞争学习 竞争学习是指网络的某神经元群体中所有单元相互竞争对外界刺激模式响应的权 力。竞争取胜的连接权变化向着对这一刺激模式竞争更有利的方向变化。相对来说，竞 争取胜的单元抑制了竞争失败的单元对刺激模式的响应，这种自适应学习，是网络单元 有选择地接受外界刺激模式的不同特征，从而提供了基于检测特性空间活动规律的性能 描述。 随着神经网络的应用，新的网络学习算法还会不断地出现，网络的发展将不断的完 善。 三、b p 网络的介绍 在各种神经网络模型中，b p 网络是具有最具有代表意义的神经网络模型，同时也是 当前应用最为广泛的神经网络。 ( 一) b p 网络的构成 1 、b p 网络的结构 b p 网络的结构如图三所示： 输入层隐含层输出层 图三单层b p 神经网络 图中的是三层b p 网络，即只有一个隐含层。这种神经网络的模型特点是：各层神 经元仅与相邻层神经元之间有连接；各层神经元之间没有任何连接；各层神经元之间无 反馈连接；隐台层和输出层上的每个神经元都对应一个激励函数和一个偏置值。 2 神经网络结构的选定 在进行神经网络设计的时，首要任务就是网络结构的确定，这包括：输入输出节 1 0 点、层数、每层的激活函数的确定以及臆含层节点数。 ( 1 ) 输入层与输出层节点数的选定 神经网络的输入层和输出层是与外界联系的接口。这两层神经元数的选取与实际的 样本直接相关的。输入层的节点数与输入样本数的维度相同。输出层的节点数可根据设 计者的具体研究情况来确定。 ( 2 ) 层数和隐含层节点数的选定 b p 网络所具有的最大也是唯一的特点是非线性函数的逼近，而且只含有一个隐含层 的b p 网络是可完成此任务。由于b p 网络的功能实际上是通过网络输入到网络输出的计 算来完成的，所以多于一个隐含层的b p 网络具有更快训练速度。 隐层节点数目的选取是b p 网络学习参数中较难选取的一种，如何选取合适的隐层节 点数目目前尚无规律可循然而，隐层节点数目选取是否恰当对整个网络能否正常工作 具有重要的意义。对于用于分类的b p 网络。其隐单元的输入与输出之间是单调上升的 非线形性函数，它的输出是一个软函数。若单元数太少时，局部极小就多，或者“鲁棒” 性差，容错性差。但是隐节点数太多又会使学习的时间过长。误差不一定最佳，因此存 在一个最佳隐节点数，如何求取最佳的隐节点数? 很多学者对这一问题进行了研究和探 索，提出了各种可行的方案。下面介绍几种单隐含层节点数的估算方法( 设m 、n 、h 分 别表示输入节点数、输出节点数和隐层节点数) ”3 ： 用于统计过程控制时： = 4 ”： 对于医疗诊断系统，通常n 值较大：红。= 埘+ 1 ) 或。= 3 m ： 对于小型网络通常最佳隐节点数： ：0 i i i 在图形识别中当输入维数较多时： 。= o 0 2 ” 当用于数据压缩时： = l o g ( 2 肝) ： ( 二) b p 网络的基本算法 l 、思想 b p 算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降 方法，按误差函数的负梯度方向修改权系数。 ( 1 ) b p 算法的数学描述 为了说明b p 算法，首先定义误差函数p 。取期望输出和实际输出之差的平方和为误 差函数，则有： p = 去( f y ，) 2 ( 2 1 ) f 其中：只是输出掌元的期望值，它也在这里用作导师信号；f 是实际输出，第掰层是 输出层。由于b p 算法按误差函数p 的负梯度方向修改权系数，故权系数w ，的修改量， ( 2 2 ) ( 2 3 ) 其中：叩为学习速率，即步长。很明显，根据b p 算法原则，求要最关键的。下面求要 帆u4 有 由于 故而 从而 & 一o e k 醚 饥苏? 弧 盟：型 一吁毒一嚎苟一吁瓦一叩两巧 令d ：2 急 则由学习公式= 一珂矸苟。 其中：玎为学习速率，即步长，一般取o 一1 间的数。 从上面可知，实际仍未给出明显的算法，下面求露的计算公式。 ：墨 。 a “。 耐 a “! 有茸= ，( “) 可知式( 2 1 0 ) 中有 等厂，) ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) 为了方便进行求导，取为连续函数。一般取非线性连续函数，例如s i g m o i d 函数。当 取，为非对称s i g m o i d 函数时，有 m 沪南 ( 2 1 2 ) 旦弧 唧 蛳 旦峨 瓢 以 呵 m 也 西 苟 鱼钟 i i 鸭鱼 则有：- 厂( 矿) = ，( 矿) ( 1 一厂( ”? ) ) = # ( 1 一# ) 再考虑( 2 8 ) 中的偏微分项砉，有两种情况需考虑的 ( 2 1 3 ) 如果 = 卅，则是输出层，这时有只( f + 1 ) 是输出期望值，它是常数。有 害= 罢= ( f 只) 苏2 彘“ ( 2 1 4 ) 从而有：秽= r ( 1 一爿”) ( r 一 ) ( 2 1 5 ) 如果t m ，则该层是隐层，这时应考虑上一层对它的作用，故有： 罢：y 黑娑 ( 2 1 6 ) 耐午耐“耐 从式( 2 8 ) 中可知有：羞昌= 钟“ ( 2 1 7 ) 从式“；= z 中，可知有： 等= 学吼。 缇 故矾嘉2 军 ( 2 1 9 ) 最后有：群= # ( 1 一对) 钟“ ( 2 2 0 ) 从上述过程可知：多层网络的训练方法是把一个样本加到输入层，并根据向前传播的规 则：# = 厂( “? ) ( 2 2 1 ) 不断一层一层向输出层传递，最终在输出层可以得到输出x ? 。 把x ? 和期望输出只进行比较，如果两者不等，则产生误差信号g ，接着则按下面公式单 项传播修改权系数：w = # ( 1 一# ) 群“ ( 2 2 2 ) 其中：= r ( 1 一r ) ( f 一只) 群= # ( 1# ) w f j 形+ ( 2 2 3 ) ( 2 2 4 ) 上面公式中，求取本层时，要用到高一层的“；可见，误差函数的求取是从输出层 开始，到输入层的反向传播过程。在这个过程中不断进行递归求误差。通过多个样本的 反复训练，同时向误差渐渐减小的方向对权系数进行修正，已达到消除误差。从上面公 式也可以知道，如果网络的层数较多时，所用的计算量就相当可观，故收敛速度不快。 为了加速收敛速度，一般考虑上一次的权系数，并以它作为本次修正的依据之一，故而 有修正公式：# o + 1 ) = 叼彩带1 + 础( ，) ( 2 2 5 ) 其中：叩为学习速率，即步长，印= o 1 一o 9 左右 口为权系数修正常数，取口= o 7 o 9 左右。 在上面峋( f + 1 ) = 一可霉。+ 口o ) 也称为一般化的d e l t a 法则。对于没有隐层的神经 网络，可取= 玎( 乃) t ( 2 2 6 ) 其中：只为期望输出；为输出层的实际输出：为输入层的输入。 这显然是一种十分简单的情况，上式也称为简单d e l t a 法则。在实际应用中，只有 一般化的d e l t a 法则式才有意义。简单d e l t a 法则式只有在理论上推倒上有用。 ( 2 ) b p 算法的具体执行步骤 在反向传播算法应用于前馈多层网络时，采用s i g i n o i d 为激活函数时，可采用下列 步骤对网络权系数进行递归求取。注意对于每一层有n 个神经元的时候，既有 f = 1 ，2 ，竹，j = l ，2 ，月。对于第层的第f 个神经元，则有玎个权系数w ，w 1 2 ，另 外取多一个屹+ ，用于表示闽值q ；并且在输入样本x 时，取x = ( x ，恐，1 ) 。 算法的执行步骤如下： 对权系数置初值。对各层的权系数置一个最小的非零随机数，但其中 ，“= 一乱 输入一个样本x = ( 五，屯，矗，1 ) ，以及相应期望输出y = ( 乃，儿，儿) 。 计算各层的输出 n 十i 对于第七层第f 个神经元的输出# ，有：茚= 弓“ j = l 其中制= 1 ，w f 。= 一目 ( f + i ) = ( r ) 一呀d ，：e 。# = 厂( 矿) 求各层的学习误差对于输出层有l j = 埘，有 1 4 有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广 性质。因此，应用中如何选择合适的网络结构是一个重要的问题； 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也 必须相同； 网络的预测能力( 也称泛化能力、推广能力) 与训练能力( 也称逼近能力、学习 能力) 的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练 能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力 的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样 本细节，而不能反映样本内含的规律。 输入向量空间结构是预先确定的，进而网络结构也被预先确定下来。神经网络的 输入向量结构维度的选定是：人们根据数据源，人工的进行向量分量的取舍，将取舍后 的特征向量作为网络的输入。如果特征向量中的分量组合不是最佳的，那么神经网络的 输出效果也会受到影响。 b p 网络中，隐含层可以增强神经网络的处理能力，但网络隐含层数多会导致网络结 构的复杂，训练时间长，网络震荡现象发生。鉴于k o l m o g o r o v 定理证明了任意一个连 续函数或映射关系可以精确地由一个三层b p 网络实现”3 ，即一个三层的b p 网络就能够 实现任意的n 维到m 维的映射，因此在本网络的设计中，主要采用了三层的b p 网络。 ( 2 ) 网络隐层节点数的选择 基于b p 算法的网络中，各层节点数的选择对网络的性质的影响很大。在上一章中， 介绍了几种b p 网络隐含节点选取的经验公式。我们在本次论文研究中，主要应用小型 神经网络，因此在隐层节点的选取中，我们选择了公式 = m 。由于在输入空间自 优化神经网络优化的过程中，随着输入节点数目的减少，适合b p 网络分类的节点数目 也在不断的变化，系统能够根据公式进行自动调整神经网络的节点数目以达到神经网络 分类的最佳效果。 ( 3 ) 网络训练参数的选择”3 b p 网络是迄今应用最为广泛地神经网络结构，但它仍然存在着许多不足，比如：易 陷于局部极小值、学习过程收敛速度慢等缺点。 为了避免网络陷入局部极小值可以采用附加动量法，它不仅考虑误差在梯度上的作 用，而且考虑在误差去面上变化趋势的影响，其作用如同一个低通滤波器，允许网络忽 略网络的微小变化特性，在没有附加动量的作用下，网络可能陷入浅的局部极小值，但 利用附加动量的作用就可能滑过这些极小值。 为可解决网络学习过程时间长收敛速度慢，可以采用自适应学习速率。它在网络训 练的过程中，自动的调整学习速率，当新的误差超过旧的误差超过旧的误差一定倍数时， 学习速率将减少；否则学习速率保持不变；当新的误差小于就的误差时，学习速率将被 增加。此方法可以保持网络总是以最大的可接受的学习速率进行训练，提高网络了的训 练速度。 在本文的设计中将动量法和白适应速率结合起来进行神经网络的训练，这样不但能 够提高网络训练的速度，同时也能避免网络训练进入局部极值， 4 、输入空间自优化网络流程图 2 l 三、输入空间自优化神经网络与传统神经网络的不同之处 ( 一) 输入样本分类的不同 输入空间自优化神经网络将样本分为三类：训练样本，优化样本和检验样本。传统 神经网络的样本一般分为两类：训练样本和检验样本。两种网络中的训练样本都是对网 络的结构进行训练的样本，检验样本都是对神经网络的训练结果进行检验。而输入空间 自优化神经网络中的优化样本则是通过对网络输出结果的不断检测、不断反馈检测结果 来实现对网络的优化，它也具有检验样本的功能。 ( 二) 优化过程的不同 传统的神经网络是对网络自身参数的优化，即对网络权值和偏置值的调整。而据有 自优化思想的级联相关学习结构和网络剪枝，也是对网络的结构( 隐含层数和隐含节点 数) 进行调整，而输入空间自优化神经网络通过对输入空间和网络参数的优化，从而找 出最优的分类空间。 ( 三) 网络内部调整机制不同 传统的神经网络，在进行网络训练之前将网络的结构固定，在以后训练中只是对网 络的参数进行调整，网络内部结构是不发生变化的。而输入空间自优化神经网络的内部 节点是随着输入参数的调整而不断调整的。 第四章输入空间自优化神经网络在车型分类中的应用 以上主要介绍了输入空间自优化神经网络的基本思想和算法。本章将探讨输入空间 自优化神经网络在高速公路车型分类中的应用。本文把汽车声音信号的a r 模型参数作 为优化对象，以u 检验为优化准则，以b p 网络为输入空间自优化网络的核心网络，来 研究输入空间自优化神经网络的可行性及实用性。 本文中所有的程序都是在w i n d o w sx p 环境下用m a t l a b6 5 实现的。数据采集卡的 采样频率为5 0 k h z 。 一、目标特征向量的选取 为了达到目标分类的目的，首先要进行目标特征向量的提取，尤其是不变特征向量 的提取。目标特征向量的有效不变性是正确分类的基本前提，它应该反映目标的本质特 性，不随目标方位的变化而变化或者基本一致，即提取的特征必须对同一类目标保持不 变，而对不同类别目标必须有足够的差异。只有这样才能有效地识别目标。 a r 模型参数的提取法。1 将a r ( k ) 模型参数 ) 看成一个序列( 这里f - o ，1 ，t ) ，并用多项式表示为 它的倒序多项式为 4 ( z ) = z 1 ( 5 1 ) 4 = = 4 4 0 。) ( 5 2 ) x ( ”) 经预测误差滤波器4 ( z ) 后得到输出( 聆) ，称为前向预测误差，即 ( ”) = x ( 胛一f ) ，q 。= l t = o 或乓( z ) = 4 ( z ) x ( z ) 前向预测是由 x 0 一尼+ 1 ) ，z 一七+ 2 ) ，x ( h 一七) ) “预测”z ( h ) 。 ( 5 3 ) ( 5 4 ) 由 x 一+ 1 ) ，x ( n 一+ 2 ) ，x ( 一) ) “预测”x 一k ) 称为后向预测，后向预测误差 定义为( 聆) = 缸x o 一七+ f ) 吼。= 1 扭0 ( 5 5 ) 或巧( z ) = 管( z 沙( ：) ( 5 6 ) 在实际应用中，常需根据信号的有限个取样值来估计a r 模型的参数，应用较多的是 y u l e w a l k e r 法或自相关法、协方差法和b u r g 法三种，这三种方法都可以用时间平均 代替集合平均的最小平方准则推导得到。下面主要来介绍一下b u r g 法。 理论上，a r 模型参数是根据预测误差功率最小的准则来确定的，该准则表示为： e 0 ：) 2 = n l i n 或e 0 ：( n ) 2 】= m i n ( 5 7 ) b u r g 法一方面希望利用已知数据段两端以外的未知数据，另一方面又总是设法保证使 预测误差滤波器是最小相位的。它不直接估计a r 参数，而是先估计反射系数，然后利用 l e v i n s o n 递推算法由反射系数九来求得a r 参数。 b u r g 法估计反射系数的准则为： s = e ；( 妒托；( 矿】- m i n ( 5 8 ) b u r g 法可归纳为以下三个公式： 2 e “肝) e “”一1 ) 以= 而型一 ( 5 9 ) 畔一( ”) ) 2 + ( 8 “ 一1 ) ) 2 】 酬= 一一 纂：) 眠 吼，。= 吼一l ，一靠嘞一t ，h ，f = 】，2 ，t ，唯一l ，o = l ( 5 1 1 ) b u r g 法估计a r ( p ) 模型参数的具体步骤如下： ( 1 ) 确定初始条件 菇( 九) = p i ( ) = x ( ”) ，o ”v l 爵：丢芝z z ( 。) v ，：0 ( 2 ) 确定七一1 阶a r 参数4 一。( = ) ，七一l 蔓h 茎一1 ( 迭代计算时，膏的值从1 开始选取) ( 3 ) 用式( 5 9 ) 计算儿； ( 4 ) 用式( 5 1 1 ) 计算4 ( z ) ； ( 5 ) 用式( 5 1 0 ) 计算g ；( ) 和8 i ( 疗) ，女兰n 一1 2 4 ( 6 ) 计算_ 】 阶均方误差= ( 1 一疙) 一， ( 7 ) 回到步骤( 2 ) ，进行下一次迭代。 一般来说，如果处理的数据来自a r 过程，那么采用b u r g 算法可以获得精确的a r 谱估计。 在本文中我们用a r 参数模型对声音信号进行特征向量的提取。 有多种准则可以用来确定模型的阶数。通过反复的实验，我们选择最终预测误差 ( f p e ) 准贝0 脚叫( 等等 其中k 为模型阶数，盯：为k 阶模型激励源的方差，n 是样本数据点数。括号内的数值 随着k 的增大而增加，这反映预测误差功率估计的不精确性在增加。由于a ：随阶的增 加而减小，所以，f p e 将有一个最小值，该最小值所对应的阶数便是最后所确定的阶。 通过计算，实验样本f p e 最小值所对应的阶数为7 阶。而这个7 阶系数是对信号的 最好的描述，对于两种车型的a r 模型系数，可能存在着一定的共性，因此这7 阶系数 不是最佳分类参数的个数，需要我们对它进行进一步的优化。 二、显著- 陛差异的计算 为了便于研究，我们根据汽车的形体把汽车按形体大小分为两类：形体比较大的划 分为大车、形体小的划分为小车。对汽车的性能指标判别时可按大、小车两种类型来进 行。 本文主要对汽车在高速公路上行使中产生的声音信号分进行研究，根据数据情况分 两组样本：一、速度为7 0 8 0 k m h 汽车声音信号，其中大车样本5 2 个，小车样本2 2 个：二、 速度不相同时汽车声音信号，其中大车样本为2 6 个，小车样本为1 2 个。 直接利用u 检验公式“=计算从不同类别车型的同一参数的显著性差异。 其中“为大车车速的均值，鸬为小车车速的均值，砰为大车样本方差，司为小车样本 方差，啊为大车样本数，为小车样本数。 根据显著性差异的大小，将参数进行由小到大的排序。 根据u 检验的公式对两类样本进行显著性差异的运算，如下表格所示： 其中：为参数的均值，盯为相应样本的方差。 髅 表一速度为7 0 一8 0 k m h 汽车声音信号的7 阶模型参数u 检验的结果 参数 q tq 2n ，a 4n 5d 6a ， 大 一2 5 0 2 6 2 5 5 7 7 1 5 6 7 0 o 7 5 1 7一o 3 5 5 3 o 1 6 5 90 0 4 2 2 型 o 0 1 8 7o 1 7 9 9o 3 0 1 20 1 8 7 0o 0 7 3 40 ：0 2 0 2o 0 0 3 3 盯 小 2 3 3 4 72 0 5 7 3一o 9 4 l oo 2 8 9 3一o 1 0 4 6 o 0 8 6 6 0 0 5 2 8 车 o 0 3 7 6o 3 2 8 8o 3 9 0 70 1 2 5 l0 0 3 5 40 0 1 0 2o o 叭9 盯 u 检验值 1 8 7 2 l1 8 5 6 l1 9 9 1 22 1 9 0 02 0 1 0 91 2 0 3 70 3 8 8 3 根据u 检验值对参数进行排序：呜 吼 q q 呜 吒 q 表二速度不相同时汽车声音信号7 阶模型参数u 检验的结果 参数 a 1a 2a 3n 4n 5n 6n 1 大 2 4 2 7 62 3 1 4 61 1 9 6 20 3 8 6 5一o 0 9 4 2o 0 2 8 1一o 0 1 0 9 型0 0 2 5 00 1 5 9 0 o 3 1 7 9o 2 5 2 4 o 0 8 8 3 o 0 1 8 8o 0 0 2 4 盯 小 2 2 0 1 41 6 4 4 5一o 4 2 3 lo 0 5 1 30 0 1 4 5 0 0 5 8 l 一0 0 4 1 2 生 o 0 3 1 lo 2 5 8 9 o 3 6 6 4 0 1 4 7 7 0 0 3 2 6o 0 0 5 0o 0 0 1 0 盯 u 检验值 2 5 2 7 02 7 4 2 82 4 7 2 81 8 3 1 5o 8 2 7 80 5 1 3 6 1 3 6 7 2 根据u 检验值对参数进行排序： 呜 q 吼 吩 口l 吒 三、输入空间自优化神经网络的优化结果 本研究以汽车的7 阶a r 模型的参数为神经网络的输入，以现在应用最广泛的b p 网 络为核心网络进行研究。 ( 一) 、参数的选取 l 、输入层节点、输出层节点 根据输入空间维度的选择输入向量，由于是自优化的过程，因此输入节点是不断变 化的，初始的输入空间维度为7 阶，即输入的初始节点数为7 ，当自优化结构在反复的优 化过程中，参数的维度不断减小，则神经网络的输入节点数目与输入向量的维度相等。 本文中主要识别两种车辆，我们设大车的输出为l ，小车的输出为o ，即设输出向量是 一