（模式识别与智能系统专业论文）基于特征加权支持向量机的复合材料接缺陷量化识别研究.pdf

原创性声明 本人声明：所呈交的学位论文是本人在导师的指导下进行的研究工作及取得的研究 成果。除本文已经注明引用的内容外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得凼墓直太堂及其他教育机构的学位或证书而使用过的材料。与我一同： 作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：至毕指导教师签名： 在学期间研究成果使用承诺书 本学圣i ) = 论文作者完全了解学校有关保留、使用学位论文的规定，即：内蒙古人学有权 将学位论文的全部内容或部分保留并向国家有关机构、部门送交学位论文的复印仆和磁盘? 允许编入有关数据库进行检索，也可以采刚影印、缩印或其他复制手段保存、汇编学位论 文。为保护学院和导师的知识产权，作者在学期问取得的研究成果属于内蒙古大学。作者 今后使用涉及在学期间主要研究内容或研究成果，须征得内蒙古大学就读期间导师的同意： 若用于发表论文，版权单位必须署名为内蒙古大学方可投稿或公开发表。 学位论文作者签名： 日 期： 嘲75 7川88舢8 iiii_y 车叫避 内蒙古大学硕士学位论文 基于特征加权支持向量机的复合材料粘接缺陷量化识别研究 摘要 粘接工艺是现代工业，尤其是国防工业越来越广泛采用的工艺技术。但是 粘接层间脱粘，或粘接强度未达到设计要求，以及在使用过程中强度降低，则 会引发各种灾难性事故。因此，粘接结构的安全和质量成为国际上广泛关注的 研究领域和前沿课题。 目前，粘接缺陷检测偏重于是否发生脱粘的定性分析，对于定量检测的研 究刚刚起步。本文针对的是钢一橡胶机械贴合脱粘定量检测这一难题开展的研 究。以往解决此问题时的方法是：采用模糊神经网络的方法进行粘接缺陷的定 量识别。然而神经网络方法有其固有缺陷，如网络结构不易确定、容易陷入局 部极小点等。支持向量机( s v m ) 是针对小样本的一种统计学的新技术，通过 寻求结构风险最小，获得了全局最优解。该算法自提出以来得到了广泛研究， 但是用在脱粘缺陷诊断领域的还未出现。薄板复合材料粘接缺陷超声检测模式 识别属于典型的小样本问题，本文针对1 0 级标准脱粘样块，在提取出有效粘接 缺陷特征向量基础上，采用s v m 方法来解决此问题。 原始s v m 识别方法是针对两分类问题提出的，l o 级脱粘连续量化识别属于 典型的多类问题，因此本文首先构建多类s v m 分类模型。与此同时，为获得准 确的量化识别结果，采用k c v 参数搜索方法确定了多类s v m 的模型参数。另外， 提取的三个特征量存在明显的非线性特性，采用原始线性s v m 方法得到的粘接 缺陷识别结果准确度偏低，故提出非线性特征加权s v m 方案：对六种特征度量 方法分别进行分析实验，最终选择r e l i e f f 方法得到的权值因子赋给各个特征 向量，构造特征加权核函数，获得特征加权s v m 模型。通过比较支持向量机和 特征加权支持向量机的实验结果，发现特征加权s v m 方法提高了量化识别结果 的准确度，该方法为薄板复合材料粘接缺陷的量化识别提供了一套较为科学的 方法，同时为薄板复合材料粘接缺陷的自动检测奠定了基础。 关健词：复合材料；粘接缺陷；量化识别；特征加权支持向量机； 内蒙古大学硕士学位论文 r e s e a r c ho nq u a n t i t a t i v er e c o g n i t i o nf o r b o n d i n gf l a wo fc o m p o s i t em a r t e r i a l b a s e do nf e a t u r ew e i t h t l n gs v m a b s t r a c t b o n d i n gt e c h n o l o g yi sw i d e l yu s e di nm o d e mi n d u s t r y ，e s p e c i a l l yi nd e f e n s e i n d u s t l yb u tv a “o u sc a t a s t r o p h i c a c c i d e n t sw i l lh a p p e ni ft h e r ea r e d e b o n d i n g ， b o n d i n gs t r e n 酉hd e c r e a s e do rt h es t r e n 舀hd o e sn o tm e e tt h ed e s i g nr e q u i r e m e n t s t h e r e f o r e ，t h es a f e t ya n dq u a li t yo fb o n d i n gs t m c t u r eh a v eb e e nt h eis s u eo fw i d e l y c o n c e ma n da ne f f e c t i v em e t h o df o rd e t e c t i o na j l dr e c o g n i t i o ni sn e e d e d t h es a 衄 a n dq u a l i t yo fb o n d i n gs t r u c t u r eb e s o m e sar e s e a r c h i n gf i e l da n di s s u ew h i c hi s p e n ，a s i v e l yc o n c e m e db yr e s e a r c h e r sc o m i n gf o n na l lo v e rt h ew o r d a tp r e s e n t ，m a n yr e s e a r c h e so fd e - b o n d i n gd e t e c t i o na r ef o c u s e do nq u a l i t a t i v e a n a l y s i s ，b u tr e s e a r c ho nq u a n t i t a t i v er e c o g n i t i o ni ss t i l li np r i m i t i v es t a g e t h i sp a p e r d e v o t e sr e s e a r c ho nq u a n t i t a t i v er e c o g n i t i o nf o rd e b o n d i n go fs t e e l r u b b e rm a t e “a l s t h et r a d i t i o n a lm e t h o dw h i c hr e s 0 1 v e st h i s p r o b l e mi sm z z yn e u r a l n e t w o r k h o w e v e r ，n e u r a ln e t w o r km e t h o dh a si t si n h e r e md i s a d v a n t a g e s ：t h es t m c t u r eo f n e t w o r ki sn o ts t a b l ea n dl o c a lm i n i m u m p o i n t sa r ee a s yt ob ef a l l e n s u p p o r tv e c t o r m a c h i n e ( s v m ) i san e ws t a t i s t i c a lt e c h n o l o g yt oa i ma tt i n ys a m p l e ；i tc a l c u l a t e s g l o b a l l yo p t j m a ls o l u t i o nb ym e a n so fs e a r c h i n gt h es t r u c t u r ew h o s er i s ki sm i n i m a l 内蒙古人学硕士学位论文 t h i sa l g o r i t h mh a sb e e nr e s e a r c h e dp e r v a s i v e l ys i n c ei ti sp r o p o s e d ，b u ti ti ss t i nn o t a p p l i e d t o d e b o n d i n g d e t e c t i o n q u a n t i t a t i v ei e c o g n i t i o n f 0 r d e b o n d i n g o f c o m p o s i t ep l a t ei s ap r o b l e ma b o u tt i n y s a m p l e t h i sp a p e rp r o p o s e ss v mt 0 r e c o g n i z ed e - b o n d i n gd e g r e eo fc o m p o s i t ep l a t eq u a n t i t a t i v e l yi n 1o l e v e lo nt h e b a s i so fm ee 矗宅c t i v ef e a t u r e s 1 1 r a d i t i o n a ls v mi sp r o p o s e dt or e s o l v e2 一c l a s s i f i c a t i o np r o b l e m ，c l a s s i f i c a t i o n o fq u a n t i t a t i v e r e c o g n i t i o n f o rlo d e _ b o n d i n gd e g r e ec o n t i n u o u s i sat y p i c a l m u l t i c l a s s i f i c a t i o np r o b l e m ，a n ds om u l t i c l a s s i f i c a t i o ns v mm o d e l i se s t a b l i s h e di n t h i sp a p e r m e a n t i m e ，k c vp a r a m e t e rs e a r c h i n gm e t h o di s 印p l i e dt od e t e m i n i n g p a r a m e t e r so fm u l t i c l a s s i f i c a t i o n s v mm o d e l i n a d d i t i o n ，m et h r e ef e a t u r e s e x t r a c t e da r en o n l i n e a r ，s ot h er e s u l to fr e c o g n i t i o ni sn o tp r e c i s ee n o u g hi fu s i n g t r a d i t i o n a ll i n e a rs v m i no r d e rt oi m p r o v ee f - f e c to f r e c o g n i t i o n ，t h i spa _ p e rp r o p o s e s n o n li n e a rf e a t u r ew e i g h i n gs v mm e t h o dt or e s o l v en o n li n e a rp r o b l e m ，a n a l y z e ss i x m e t h o d so ff e a t u r em e a s u r e m e n ta n dc h o o s e st h ew e i g hf a c t o r sc a l c u l a t e db y r e l i e f - fm e t h o df o re a c hf e a t u r e sv e c t o r f r o mt h ec o m p a r i s i v er e s u l t s ，i tc a nb es e e n t h a tf e a t u r ew e i g h i n gs v mi m p r o v e st h ep r e c i s i o no fq u a n t i t a t i v er e c o g n i t i o n ；t h i s m e t h o dp r o v i d e sam o r ep r e c i s ec “t e r i o nf o rq u a n t i t a t i v er e c o g n i t i o no fd e - b o n d i n g i n c o m p o s i t ep l a t e ， a n d s t r e n g t h e n st h e f o u n d a t i o no fa u t o m a t e dd e t e c t i o nf o r d e b o n d i n gi nc o m p o s i t ep l a t e k e y w o r d s ：c o m p o s i t ep l a t e ；d e - b o n d i n gf l a w s ；q u a n t i t a t i v er e c o g n i t i o n ；f e a t u r e w e i 曲t i n gs v m l v 内蒙古大学硕士学位论文 目录 引言1 1 研究背景及意义1 2 国内外研究现状1 3 课题研究的内容及章节安排3 一统计学习理论与模式识别方法5 1 1 机器学习问题中的经验风险最小化原则5 1 1 1 机器学习问题的表示5 1 1 2 经验风险最小化原则6 1 1 3 结构风险最小化原则下机器学习的推广能力7 1 2 统计学习理论中的结构风险最小化原则7 1 2 1v c 维8 1 2 2 推广性的界8 1 2 3 结构风险最小化原则9 1 3 本章小结一1 l 二支持向量机分等级量化识别模型1 2 2 1 支持向量机算法1 2 2 1 1 最优超平面的构造1 2 2 1 2 支持向量机算法1 6 2 2s v m 模型参数选择1 7 2 2 1 基于经验公式的模型选择1 7 2 2 2 基于交叉验证的模型选择1 8 2 2 3 基于m a t l a b 的k c v 方法实现1 9 2 3 基于支持向量机的多类别分类2 0 2 3 1 支持向量机多类别分类算法2 0 2 3 2 分级聚类支持向量机2 4 2 4 本章小结2 7 三粘接缺陷特征向量的加权2 8 v 塑鍪堕奎兰堡主堂垡堡塞 3 1 特征加权2 8 3 1 1 特征重要性的度量2 8 3 1 2 信息增益法3 0 3 1 3 增益比率法3 0 3 1 4 对称不确定性法3 1 3 1 5z 2 检验法3 1 3 1 6g i n i 指标法3 l 3 1 7r e l i e f f 算法3 2 3 2 构造特征加权支持向量机3 3 3 3 本章小结3 5 四基于s v m 的薄板粘接缺陷定量识别3 6 4 1 薄板粘接缺陷超声检测定量识别的数据来源3 7 4 2 数据预处理3 8 4 2 1 基于k 平均聚类的训练集压缩3 8 4 2 2 数据归一化4 1 4 3 基于支持向量机的薄板粘接缺陷量化识别4 3 4 4 基于特征加权支持向量机的粘接缺陷量化识别4 5 4 5 本章小结4 8 结论5 0 参考文献5 2 致谢5 7 攻读学位期间发表的学术论文目录5 7 读研期间参加的科研项目5 7 v i 内蒙古人学硕士学位论文 己l 吉 ji口 1 研究背景及意义 粘接工艺是现代工业，尤其是国防工业越来越广泛采用的工艺技术，其中包括金属金属、 金属非金属及非金属非金属等各类粘接结构。譬如：油井水泥胶接固井中钢套管水泥地 层各界面；固体火箭发动机中壳体绝热层包覆层药柱各界面；反应堆核元件中包覆层过 渡扩散层铀芯各界面；飞机上蒙皮衬层蜂窝各个界面；以及各种复合材料和制造的部件等。 但是，由于粘接层问脱粘或粘接强度未达到设计要求或在使用过程中强度降低而引发的 各种灾难性事故时有发生，因此，粘接结构的安全和质量问题成为国际上广泛关注的研究领 域和前沿课题n 1 。不同于一般的材料中的缺陷检测，粘接质量的检测主要关注的是材料介质 的界面部位，因而检测的难度更大。由于这一问题的复杂性和困难性，粘接质量的检测多年 以来进展缓慢，在一定程度上制约了有关粘接工艺的使用，有效的检测方法亟需建立起来。 因此，粘接质量的检测与评价，便成为国际上超声检测领域的热点和难点。多年来，粘接缺 陷检测的研究一直偏重于是否发生脱粘的定性分析，对于定量检测的研究还比较少乜 5 1 。2 0 0 】 年，刘镇清老师在无损检测杂志上发表了一篇名为超声无损检测与评价中的信号处理及模 式识别的信号处理专题综述，该专题综述专门指出缺陷形状的定量检测是一个难题，从 工业应用角度出发应该尽快解决。另外还指出，在获取了与其他因素相连较少的缺陷回波信 号后，如何根据信号的各种特征确定缺陷的量化指标成为要亟需解决的又一难题。 本文的研究工作是在薄板复合材料粘接缺陷超声检测定量识别这一国家自然科学基金课 题下开展的。课题将薄板复合材料钢一橡胶机械贴合粘接质量检测按脱粘程度分成了l o 个等 级模型：全粘，1 0 脱粘、2 0 脱粘、3 0 脱粘、4 0 脱粘、5 0 脱粘、6 0 脱粘、7 0 脱粘、 8 0 脱粘、9 0 脱粘。将不同等级的脱粘程度看作不同的脱粘模式，对于薄板复合材料粘接 缺陷的定量检测这一难题，可以用模式的分级量化识别归类方法来解决。本文在课题已完成 的工作基础上，对检测过程中的分级量化识别问题进行了深入的研究，得到了准确的脱粘缺 陷定量识别结果。 2 国内外研究现状 粘接结构由于具有优越的性能被广泛应用于多个领域。2 0 世纪7 0 年代以来，如何有效 塑鍪直奎堂堡主堂垡丝茎 的解决粘接结构的无损检测一直是国内外研究的热点问题扫3 。目前，国内外对于粘接缺陷的 研究主要集中在两个方面：第一是如何采用先进、有效的数字处理技术对获取的原始数据进 行变换，得到最能反映分类本质的特征；第二就是采用何种有效的识别方法进行缺陷的定性 和定量研究。 早在1 9 8 6 年，s f b u r c h 等人利用超声检测装置，对4 0 个有光滑裂纹、粗糙裂纹、多孔和 加渣四种不同缺陷的焊缝进行了探测，通过计算不同特征值的均值和方差，对待测样本采用 最小加权距离来归类，缺陷样本的成功归类率可达l o o 。m a t z k a n i n 等人在1 9 8 9 年专门报道了 针对橡胶金属胶接结构的无损检测，采用的是超声检测技术。p a p a d a k i s 等人在1 9 9 2 年开展 了薄板胶接结构的定量无损检测方法研究，通过采用统计分析技术和建模，从中得到有关胶 接强度的信息。国内，唐明洲等对于铝合金一橡胶粘接结构的超声检测信号，利用了小波变换 多分辨率分析的方法，有效的提取了反映多层材料粘接状况的信号特征，并指出该方法可用 在粘接结构的无损检测中n 叫。 神经网络分类器一般对输入模式信息的不完备或特征的缺损不太敏感，只要待识别模式 在所表示域具有一定的差异，网络就可以通过自适应的学习，找到不同模式的特征信息进行 分类。神经网络被提m 以来，被广泛应用在超声检测的定性定量分析方面。 r b a k e r 将 s f b u r c h 等人提出的特征值进行编码后作为i o p f i e l d 网络的输入来进行分类，1 2 1 。1 9 9 5 年， 中国科学院声学研究所李明轩等对国内外人工神经网络在超声无损检测中的应用研究做了较 为详细的介绍和分析，指出人工神经网络是实现超声无损检测定量化的有效途径。后来，李 明轩等又应用r b f 神经网络对钢一多层橡胶脱粘结构进行了不同层脱粘模式的识别n 3 1 和。中国 科学院物理研究所吕甘霖等1 9 9 6 年建立了超声缺陷模糊模式识别模型，可以识别不同形状钢 管的人工标准缺陷。同年8 月，吕干霖等声学学报又发表了超声检测中缺陷模糊聚类识别， 用模糊聚类分析方法解决超声无损检测中识别缺陷的可能性，用这种模糊数学方法识别出了 钢管标准缺陷的类别n 6 1 8 。 对于薄板复合材料粘接缺陷超声检测定量识别这一课题，目前已得出的研究成果有： 高志奇：对回波信号进行分析，构建回波信号数学模型，并对缺陷信号模型进行了小波变 换分析，采用择近原则进行模糊模式识别。 任月清：采用最大熵谱估计和小波变换对回波信号进行分析，完成了粘接缺陷特征量的 提取。 王晓娟：采用模糊模式识别方法对粘接缺陷进行识别，用b p 神经网络实现了隶属函数的 建立，采用择近原则进行模糊模式识别。 2 堕鍪查奎堂堡圭兰垡堡壅 徐艳红：采用结构等价型模糊神经网络模式识别方法，对薄板复合材料粘接缺陷超声检 测的回波信号进行模式识别，得到薄板复合材料的脱粘程度。 前期研究工作中，分析了回波信号的特征，建立了仿真模型，并提取了粘接缺陷特征参 数；研究了薄板复合材料粘接缺陷超声检测的识别方法，包括模糊模式识别方法、模糊神经 网络模式识别方法。薄板复合材料粘接缺陷定量识别作为超声检测领域的一大难题，需要从 不同角度，研究解决量化识别问题的有效途径，寻求解决量化识别问题的最佳方法啪础1 。 支持向量机( s v m ) 是基于统计学的机器学习方法，并且作为神经网络中一种新的类别， 在解决分类识别问题的出发点上与神经网络完全不同。它所具备的独特优点是：通过寻求结 构风险最小，根据有限样本信息在模型的复杂性和学习能力之间寻求最佳折衷，实现经验风 险和置信范围的最小化，从而在统计样本量较少的情况下获得更好的泛化能力及良好的统计 规律。该算法自提出以来得到了广泛的研究，但是在脱粘缺陷诊断领域，目前用到此方法的 却还未发现。薄板复合材料粘接缺陷超声回波定量检测属于典型的小样本问题，采用支持向 量机这一先进技术实为不错的选择。本文针对标准脱粘样块，在提取出有效粘接缺陷特征向 量基础上，采用支持向量机方法来解决薄板复合材料粘接缺陷超声检测定量识别的问题啪 3 引。 3 课题研究的内容及章节安排 图l 是薄板粘结结构定量识别系统方框图。首先搭建基于脉冲回波法的超声检测系统， 对制作好的1 0 等级标准脱粘样块进行回波信号的采集，接下来运用各种信号处理技术，对采 集到的各脱粘等级回波信号进行预处理，包括时域、频域、时一频域的分析，进而提取反映脱 粘缺陷的有效特征量，然后经过适当的特征加权处理，按照粘接结构的脱粘等级，用模式识 别分类的方法进行分级量化识别，最后得到薄板复合材料粘接缺陷定量检测的结果。 搭建基于脉冲同波 法的超声检测系统 粘接缺陷定 量检测结果 采集各脱粘等 级回波信号 按脱粘等级 分类识别 回波信号分析 及时频域处理 特征加权 图1 薄板粘结结构定量识别系统方框图 f i g 1q u a n t i 协t i v er e c o g n i t i o ns y s t e m so fc o m p o s i t ep l a t e s 提取脱粘缺陷 有效特征量 本文在提取了反映脱粘缺陷三个有效特征量的基础上，首先针对分类过程中3 个特征向 堕鍪直奎堂堡主堂垡堡壅 量的非线性特性，对特征向量进行了加权处理，然后将各脱粘等级特征样本看作不同的模式 类别，采用支持向量机的分类方法，进行粘接缺陷的量化识别，最后得到粘接缺陷定量检测 的结果。本文研究的重点内容包括以下几个方面： ( 1 ) 多类s 、，m 分类器的设计：原始s 识别方法是针对两分类问题提出的，1 0 级脱粘 连续量化识别属于典型的多类问题，因此，借鉴决策树和一对多多类s v m 分类法的思想，本 文首先构建了分级聚类多类s v m 分类模型。另外，为求解二次规划问题时获得拉格朗日乘子 的全局最优解，继而在最终获得准确的量化识别结果，采用交叉验证的参数搜索方法确定了 多类s 的模型参数。 ( 2 ) 特征权值矩阵的构建：针对特征向量的非线性特性，采用六种信息度量方法，分析 三个特征分量对各等级脱粘模式的贡献度，选择一组最适合本文特定数据集的结果构建特征 权值对角阵。 ( 3 ) 特征加权s v m 量化识别方案的设计：将求得的特征权值对角阵赋给各特征向量进行 特征加权处理，求取特征加权核函数，构造特征加权s 分类器，将经过加权处理后的特征 样本向量作为训练样本，训练分级聚类s v m 模型，最后采集待识别样本，同样进行加权处理 后，输入训练好的模型进行分类识别，得到薄板复合材料的脱粘程度。 本文的主要章节安排如下： 第一章简单介绍了支持向量机的理论来源，包括机器学习问题中的经验风险最小化原则， 统计学习理论中的结构风险最小化原则。 第二章阐述了支持向量机算法，着重介绍了s v m 模型的选择以及分级聚类多类s v m 的构 造方法。 第三章分析了六种特征度量方法，并给出了各自的实现过程，最后指出了最适用于本文 的方法：r e l i e f f 方法。 第四章是本文的重点，详细论述了用于薄板粘接缺陷定量检测的特征加权支持向量机量 化识别模型的实现过程。并对支持向量机量化识别模型和特征加权支持向量机量化识别模型 的识别结果进行了比较，数据实验结果说明了特征加权支持向量机量化识别模型能得到更准 确的识别结果，为薄板复合材料粘接缺陷的自动检测奠定了基础。 最后对整篇文章进行了全面的总结，同时指出了方法中有待进一步研究的问题。 4 内蒙吉大学硕士学位论文 一统计学习理论与模式识别方法 传统的统计模式识别的方法都是在样本数目足够多的前提下进行研究的，所提出的各种 方法只有在样本数趋向无穷大时其性能才有理论上的保证。而在多数实际工程问题中，样本 数目通常是有限的，这时很多方法都难以取得理想的效果。统计学习理论是一种专门的小样 本统计理论，为研究有限样本情况下的统计模式识别和更广泛的机器学习问题建立了一个较 好的理论框架，同时也发展了一种新的模式识别方法一支持向量机，能够较好地解决小样 本学习问题3 3 朝。 在解决薄板复合材料粘接缺陷超声检测定量识别这一难题时，本文设计了基于支持向量 机这一先进技术的分等级量化识别模型，支持向量机是基于统计学的机器学习方法，统计学 习理论又是在经验风险最小化研究的基础上发展起来的。因此应用支持向量机设计分级聚类 粘接缺陷量化识别方法之前，需要对机器学习问题中的经验风险最小化原则、统计学习理论 中的结构风险最小化原则进行深刻的、全面的理解。 1 1 机器学习问题中的经验风险最小化原则 统计模式识别问题可以看作是基于数据的机器学习问题的特例。基于数据的机器学习是 现代智能技术中十分重要的一个方面，主要研究如何从一些观测数据出发得出目前尚不能通 过原理分析得到的规律，利用这些规律去分析客观对象，对未来数据或无法观测的数据进行 预测。本文以提取出的粘接缺陷有效特征量为出发点，采用基于统计学的s v m 方法，对采 集到的待识别数据进行预测，得到其脱粘程度，进而实现薄板复合材料粘接缺陷的定量识别。 1 1 1 机器学习问题的表示 机器学习的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它 能够对未知输出做出尽可能准确的预测。可以一般地表示为：变量y 与x 存在一定的未知依赖 关系，即遵循某一未知的联合概率f ( x ，y ) ，( x 和y 之间的确定性关系可以看作是其特例) ，机 器学习问题就是根据n 个独立同分布观测样本 l ，y i ) ，( x 2 ，y 2 ) ，( 勘，弘) ( 1 1 ) 在一组函数 f ( x ，w ) ) 中求一个最优的函数f ( x ，w 。) 对依赖关系进行估计，使期望风险 内蒙古大学硕士学位论文 尺( 们= i 三( j ，厂( x ，w ) ) d f ( x ，y ) ( 1 2 ) 最小。其中， f ( x ，w ) 为预测函数集，w 为函数的广义参数，故 f ( x ，w ) ) 可以表示任何函数 集。l ( y ，f ( x ，w ) ) 为由于用f ( x ，w ) 对y 进行预测而造成的损失。不同类型的学习问题有不同 形式的损失函数。 对模式识别问题( 这里仅讨论监督模式识别问题) ，系统输出y 就是类别标号。两类情况 下y = 0 ，l 或 1 ，一1 ) ，损失函数可以定义为： 三c j ，c x ，们，= 0 ，参；i ； 二： c t 3 ， 在这个损失函数定义下的期望风险就是平均错误率，使它最小的模式识别方法就是贝叶斯决 策。当然也可以根据需要定义其他的损失函数，得到其他决策方法。 对于薄板复合材料粘接缺陷超声检测的定量识别问题，根据提取出的三个有效特征量， 希望求一个最优的决策函数，能够使期望风险最小。 1 1 2 经验风险最小化原则 在上而的问题表述中，学习的目标在于使式( 1 2 ) 定义的期望风险最小化，必须依赖关 于联合概率f ( x ，y ) 的信息，在粘接缺陷定量识别问题中就是必须已知每类脱粘模式的先验概 率和条件概率密度。但是，由于我们可以利用的信息只有表达式( 1 1 ) 描述的样本，( 1 2 ) 式 的期望风险无法计算和最小化。因此传统的学习方法中采用了训练样本的算术平均式定义经 验风险： 尺。，( w ) = 三三( 少，厂( x ，w ) ) ( 1 4 ) 行百 作为对期望风险的估计，设计学习算法使它最小化。用对参数w 求经验风险r 。( w ) 的最小值代 替求期望风险r ( w ) 的最小值，就是所谓的经验风险最小化( e r m ) 原则。对于损失函数米说， 经验风险就是训练样本错误率。事实上，用e r m 准则代替期望风险最小化并没有经过充分的理 论论证，只是直观上合理的想当然做法。 首先，r 唧( w ) 和r ( w ) 都是w 的函数，概率论中的大数定理只说明了( 在一定条件下) 当样 本趋于无穷多时，r 呻( w ) 将在概率意义上趋于r ( w ) ，并没有保证使r 唧( w ) 最小的w + 与使w 、是同 一个点，更不能保证r 。( w ) 能够趋近于r ( w 、) 。其次即使我们有办法使这些条件在样本数无穷 大时得到保证，我们也无法认定在这些前提下得到的经验风险最小化方法在样本数有限时仍 能得到好的结果。 6 塑鍪直查堂堡：生兰垡堡茎 尽管有这些未知的问题，经验风险最小化作为解决模式识别等机器学习问题的基本思想， 却在多年的机器学习方法研究中占据了主要地位。人们多年来将大部分注意力集中到如何更 好地最小化经验风险上，那么在有限样本下e r m 准则得到的结果能使真实风险也较小吗? 对于 本文的定量识别问题来说，经过实验验证，答案是否定的。一个最有力的证据就是：采用神 经网络的方法训练量化识别模型时，如果训练样本个数稍作改变，训练的结果就会产生很大 差异。也就是说，当训练样本数不同时，需要重新调整网络的结构。 1 1 3 结构风险最小化原则下机器学习的推广能力 在早期的神经网络研究中，人们总是把注意力集中在如何使r 。“) 更小，但很快便发现， 一味追求训练误差小并不是总能达到好的预测效果。某种情况下，训练误差过小反而会导致 推广能力的下降，即真实风险的增加，这就是几乎所有神经网络研究者都曾遇到的过学习问 题。将学习机器对未来输出进行正确预测的能力称作推广性。 之所以出现过学习现象，一是因为样本不充分，二是学习机器设计不合理，这两个问题 是互相关联的。有时试图用一个复杂的模型去拟合有限的样本，结果导致丧失了推广能力。 在神经网络中，如果对于有限的训练样本来说网络的学习能力过强，足以记住每一个训练样 本，此时经验风险很快就可以收敛到很小甚至零，但我们却根本无法保证它对未来新的样本 能够得剑好的预测。这就是有限样本下学习机器的复杂性与推广性之间的矛盾。在很多情况 下，即使我们已知问题中的样本来自某个比较复杂的模型，但由于训练样本有限，用复杂的 预测函数对样本进行学习的效果通常也不如用相对简单的预测函数，当有噪声存在时就更是 如此。 从这些讨论中我们可以得出以下基本结论：在有限样本情况下， 1 ) 经验风险最小并不一定意味着期望风险最小； 2 ) 学习机器的复杂性不但与所研究的系统有关，而且要和有限的学习样本相适应。 在神经网络研究中对具体问题可以通过合理设计网络结构和学习算法达到学习精度和推 广性的兼顾，但却没有任何理论方面的指导。我们需要一种能够指导我们在小样本情况下建 立有效的学习和推广方法的理论。 1 2 统计学习理论中的结构风险最小化原则 统计学习理论是目前研究小样本统计估计和预测学习的最佳理论，从理论上较系统的研 究了经验风险最小化原则成立的条件、有限样本下经验风险与期望腿险的关系以及如何利用 7 内蒙古大学硕士学位论文 这些理论找到新的学习原则和方法等问题。其主要内容包括四个方面： 1 ) 经验风险最小化准则下统计学习一致性的条件； 2 ) 在这些条件下关于统计学习方法推广性的界的结论； 3 ) 在这些界的基础上建立的小样本归纳推理准则； 4 ) 实现新的准则的实际方法( 算法) 。 其中，最有指导性的理论结果是推广性的界，与此相关的一个核心概念是v c 维。 1 2 1v c 维 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有关函数集学 习性能的指标，其中最重要的是v c 维。模式识别方法中v c 维的直观定义是：对一个指示函数 集，如果存在h 个样本能够被函数集中的函数按所有可能的2 “种形式分开，则称函数集能够把 h 个样本打散；函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都有函数 能将它们打散，则函数集的v c 维是无穷大。 在前面定义的损失函数下，损失函数集q ( z ，w ) = l ( y ，f ( x ，w ) ) 和预测函数集 f ( x ，w ) ) 具有 相同的v c 维。因为根据v c 维的直观定义可知，d 维空间中的线性分类器，如式( 1 5 ) 的v c 维 d 厂( 毛川= s g i l ( w 件w o ) ( 1 5 ) ，= i 是d + 1 ，s g n ( ) 为符号函数；d 维空问中的实值线性函数 j ( x ，w ) = w + 啪 ( 1 6 ) f = i 的v c 维也是d + 1 。v c 维反映了函数集的学习能力，v c 维越大则学习机器越复杂。遗憾的是， 目前尚没有通用的关于任意函数集v c 维计算的理论，只对一些特殊的函数集知道其v c 维。对 于些比较复杂的学习机器( 如神经网络) ，其v c 维除了与函数集( 神经网结构) 有关外，还受 学习算法等的影响，其确定更加困难。 1 2 2 推广性的界 对于一个学习机器，我们关心的是该学习机器对训练样本之外的样本数据的处理能力， 即学习机的推广性。推广性的界是统计学习理论中关于经验风险和实际风险之问的关系的重 要结论，它足分析学习机器性能和发展新的学习算法的重要基础。推广性的界的结论从理论 上说明了学习机器的实际风险是山两部分组成的，即：实际j x l 险= 经验风险( 训练误差) + 置 信范围。关于两类分类问题，确如下的结论：对指示函数集中的所有函数( 包括使经验风险最 堕鍪查查兰堡主堂垡丝塞 小的函数) ，经验风险r 。( w ) 和实际风险r ( w ) 之间以至少l t l 的概率满足如下关系： r ( 叻：月。“w ) + 、( 堑堕堕业些业) ( 1 7 ) y ，z 其中h 是函数集的v c 维，n 是样本数，i l 为一个任意小的正数。简单的表示为： 尺( w ) 尺一p ( w ) 十( j j l 甩) ( 1 8 ) 如图1 1 所示，当n h 较小时( 比如小于2 0 ，此时我们说样本数较少) ，置信范围中较大， 用经验风险近似真实风险就会有较大的误差，用经验风险最小化取得的最优解可能具有较差 的推广性，这就是为什么选用复杂的分类器或者神经网络会出现过学习现象的原因；如果样 本数较多，n h 较大时，置信范围就会很小，经验风险最小化的最优解就接近实际的最优解。 另一方面，对于一个特定的问题，其样本数n 是固定的，此时分类器的v c 维越高，则置信范围 越大，导致真实风险与经验风险之间可能的差就越大。因此，在设计分类器时，我们不但要 使经验风险最小化，还要使v c 尽量小，从而缩小置信范围，使期望风险最小。 1 2 3 结构风险最小化原则 巾( n h ) n h n ：训练样本数，h ：v c 维，巾( n h ) ：置信范围 图1 1 置信范围的变化趋势 f i g 1 1v a r i a t i o nt e n d e n c yo fc o n f i d e n c ei n t e r a i 从对经验风险最小化原则及其推广能力的有关分析结论中可以看到，机器学习过程不但 要使经验风险最小，还要使v c 维尽量小，以缩小置信范围，才能取得较小的实际风险，才能 对未来样本有较好的推广性。e r m 原则在样本有限时是不合理的。其实，在传统方法中，由于 缺乏理论指导，一般是根据先验知识和经验，人为地一次一次的修改学习模型和算法，以期 调整置信范围，这种手工的方法比较适合现有样本的离线训练。当样本数目变换更新时，常 常出现所选择的模型又出现较大的偏差，需要进一步调整，于是出现了自适应算法等各种修 正方法，但问题的根本却未得到解决。 9 内蒙古大学硕士学位论文 如果一个复杂的机器，其置信范围很大，即使可以把经验风险最小化为零，在测试集上 的错误数目仍可能很大。为避免过学习，必须构造v c 维较小的学习机器，但另一方面如果函 数集的v c 维小，那么就难以逼近训练数据，因此这是一对矛盾。 针对这对矛盾，在构造分类器时，根据不同侧重点可以采用两种处理方法：1 ) 预先设 计一个具有确定复杂度的函数集，在这个函数集上执行经验风险最小化原则。这是神经网络 算法的出发点。在神经网络中，需要根据问题和样本的具体情况来选择不同的网络结构。当 结构模型确定以后，网络的容量也就随之确定，即确定了置信范围，然后通过经验风险最小 化原则求最小风险。2 ) 给定一个经验误差底线，然后选择能够满足这个误差底线的v c 维最小 的函数集。这种方法是结构风险最小化原则的思路。支持向量机就是这种思路的实现，目前 不需要计算v c 维的具体的值，只需要知道不同函数集的v c 维的相对大小。简而言之，a n n 采用 了保持置信范围( 通过选择一个适当构造的学习机器) 并最小化经验风险的策略，s v m 采用的是 保持经验风险固定( 或等于零) 并最小化置信范围的策略，可以看出，s v m 更侧重获得良好的推 广能力。 对于s v m 方法，在实施结构风险最小化原则的过程中，为了便于比较函数集的v c 维的大小， 统计学习理论提出了一种新的策略：即把函数集构造为一个函数子集序列，使各个子集按照 v c 维的大小进行排列，这样在同一个子集中置信范围就相同；在每一个子集中寻找最小经验 风险，通常它随着子集复杂度的增加而减小。在子集中选择经验风险和置信范围之和最小的 予集，作为期望风险最小的函数模型。这种思想称作结构风险最小化( s t r u c t u r a lr i s k m i n i m i z a t i o n ，简称s r m 原则，如图1 2 所示。 风险 欠学习 过学习 墨翟三彳 函数集子集：s ，c s 2 c s ， v c 维： l z 0 ，只要使 f 。( 考) = 够 ( 2 1 2 ) ，= l 最小就可以使错分样本数最小。对应线性可分情况下的使分类问隔最大，在线性不可分情况 下可引入约束： 1 1 w l l 2 吒 ( 2 1 3 ) 在约束条件( 2 1 2 ) 和( 2 1 3 ) 下对式( 2 1 2 ) 下求极小，