（电力电子与电力传动专业论文）svr在电力谐波测量中的应用研究.pdf

s u b j e c t ：t h ea p p l i c a t i o no fs v r i nt h ef i e l do fh a r m o n i cm e a s u r e m e n t s p e c i a l t y ：p o w e r e l e c t r o n i c sa n dd r i v e s n a m e ：d a n g y e i n s t r u c t o r ：f uz h o u x i n g a b s t r a c t ( s i g n a t u r e ) 坦丝 ( s i g n a t u r e ) s o m ed i s a d v a n t a g e so ft h ee x i s t i n ga p p r o a c hf o rm e a s u r i n gh a r m o n i cb a s e do na r t i f i c i a l n e u r a ln e t w o r km e t h o d sa r ep o i n t e do u t t h es v ri sa p p l i e dt oh a r m e n i cm e a s u r e m e n ti n t h i sp a p e rd u et oi t so b v i o u sa d v a n t a g es u c ha sg o o dg e n e r a l i z a t i o na b i l i t y ，u n i q u ea n d g l o b a l l yo p t i m a ls o l u t i o n s ：u s i n g t h eb a s i c p r i n c i p l e o fa n a l o g p a r a l l e l h a r m o n i c s m e a s u r e m e n td e v i c e ，s o m es v rm o d e mf o rm e a s u r i n gh a r m o n i ca r eb u i l t a c c o r d i n gt ot h e p r i m a r yc h a r a c t e r so fh a r m o n i c si np o w e rs y s t e m t h et r a i n i n gs a m p l e sa r em a d eb a s e do n p r i n c i p l ea n a l y z i n g l a r g en u m b e r so fs i m u l a t i o n r e s u l t si l l u s t r a t et h ep r e s e n t e da p p r o a c h c o u l da c q u i r ep r e f e r a b l em e a s u r ep r e c i s i o n t oi n c r e a s e t h em e a s u r ee x t e n s i o na n dm e a s u r ep r e c i s i o n ，t h ee x i s t i n ga p p r o a c hf o r r e d u c i n gt r a i n i n gs a m p l e si su s e di nb u i l d i n gt h es v r m o d e r n s ：a tf i r s t ，t h eh a r m o n i cp h a s e i sd e t e r m i n e d ，t h e nt h ea p p r o p r i a t es v rm o d e m st ob eu s e df o rm e a s u r i n gt h eh a r m o n i c a m p l i t u d e s i m u l a t i o ni l l u s t r a t e st h ee f f e c t i v e n e s so f t h i sm e t h o d i na d d i t i o n ，a ni n t e g r a t e dm e a s u r i n gh a r m o n i cp r o g r a mi sc o m p l e t e di nm a t l a bb a s e d o na b o v em e t h o d sa n dt h eb pn e t w o r ki sb u i l ta l s o l a r g en u m b e r so fs i m u l a t i o nd a t aa r e u s e dt o t e s tt h ep r o g r a m s i m u l a t i o ni l l u s t r a t e st h ec a p a b i l i t yo ft o l e r a t i n gn o i s ea n d r o b u s t n e s sc h a r a c t e r i s t i c so f t l l i sm e t h o d k e y w o r d s ：h a r m o n i cm e a s u r e m e n t s u p p o r tv e c t o rm a c h i n e s s u p p o r tv e c t o r r e g r e s s i o n n e u r a ln e t w o r k t y p eo ft h e s i s ：a p p l i e d f u n d a m e n m l 姿料技土学 学位论文独创性说瞬 本人郑重声鹱：掰呈交麓学位论文是我个人在霹簿指譬下进行静研究工 乍及 其取得研究成果。尽我所知，除了文中加以标注和致谢的地方外，论文中不包含 其他人或繁体已经公开发表或撰写过的研究成果，也不包含为获得西安科技大学 或箕他教鸯机构的学位或证书赝经爆过豹材辩。与我一疑王据煞困惑对本磷究爨 做的任何贡献均己在论文中做了明确的说明并表示了谢意。 学位论文作者签名：篪桦日期：抑矿， 学位论文知识产权声明书 本入完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间 论文工佟懿皴识产投蕈谴藏子疆安秘接大学。学校蠢投绦馨著自鏊家有关部门或 机构送交论文的复印件和电予版。本人允许论文被套阅和借阅。学校可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和挺缡本学经论文。疑露本人摄迁，毕业蜃缝合学镶论文磷突课 题褥撰写的文章一律注明作者单位为西安科技大学。 保密论文待解密后适用本声明。 学位论文作者签名：娩磅翠 f 指导教舜铸名囊裥关 冽年矿是擘疆 1 绪论 1 绪论 “谐波词起源于声学，根据i e e e 的定义，电力系统中的谐波是指一个周期电气 量的正弦波分量，其频率为基波频率的整数倍。 早在2 0 世纪2 0 年代和3 0 年代，在德国由于使用静止汞弧变流器而造成了电压、 电流波形的畸变，谐波问题开始引起人们的关注；到了5 0 年代和6 0 年代，由于高压直 流输电技术的发展，研究主要针对此项技术中变流器引起的电力系统谐波问题；进入7 0 年代后，随着电力电子技术的发展及其在工业、交通及家庭中的广泛应用，谐波问题日 趋严重，从而引起世界各国的高度重视。 1 1 谐波检测的意义 谐波检测的意义，首先在于谐波的危害十分严重。谐波电流和谐波电压对公用电网 以及周围的其它系统的危害大致有以下几个方面口j ： ( 1 ) 谐波使公用电网中的元件产生了附加的谐波损耗，降低了发电、输电以及用电 设备的效率，大量的3 次谐波流过中性线时会使线路过热甚至发生火灾。 ( 2 ) 谐波影响各种电气设备的正常工作。谐波对电机的影响除引起附加损耗外，还 会产生机械振动、噪声和过电压，使变压器局部严重过热。谐波使电容器、电缆等设备 过热、绝缘老化、寿命缩短，以至于损坏。 ( 3 1 谐波会引起公用电网中局部的并联谐振和串联谐振，从而使谐波放大，这就使 上述提到的危害大大增加，甚至引起严重事故。 ( 4 ) 谐波会导致继电保护和自动装置的误动作，并会使电气测量仪表计量不准确。 ( 5 ) 谐波会对邻近的通信系统产生干扰，轻者产生噪声，降低通信质量；重者导致 信息丢失，使通信系统无法正常工作。 基于以上原因，谐波抑制势在必行。 谐波检测的意义，还在于该项工作是研究分析谐波问题的出发点【2j 和主要依据，准 确，快速地检测系统中的谐波成分，是保证谐波抑制有效性的关键。谐波检测的主要作 用有如下几点【j ，4 j ： ( 1 ) 鉴定实际电力系统及谐波源用户的谐波水平是否符合标准的规定，包括对所有 谐波源用户的设备投运时的测量。 ( 2 ) 电气设备调试、投运时的谐波测量，以确保设备投运后电力系统和设备的安全 及经济运行。 f 3 1 谐波故障或异常原因的测量。为了分析各种谐波故障或异常原因以及采取相应 的对策的各种测试和分析。 西安科技大学硕士学位论叉 ( 4 ) 谐波专题测试，如谐波阻抗、谐波潮流、谐波谐振和放大等。 综上所述，谐波检测是保证电力系统安全、稳定、经济运行的重要技术，具有十分 重要的研究意义。 1 2 国内外研究现状 谐波检测是谐波问题的一个重要分支，是研究分析谐波问题的主要依据和出发点， 对谐波抑制有着重要的指导作用，长期以来，国内外学者对谐波检测的理论和方法作了 大量的研究工作，提出了多种各具特点的检测方法。 早期的谐波检测方法都是采用模拟滤波原理h j ，优点是原理和电路结构简单、造价 低、输出阻抗低、品质因素易于控制，能检测到一些固有频率的谐波。该方法也有许多 不足之处：滤波器的中心频率对元件参数十分敏感，受外界环境影响较大，难以获 得理想的幅频和相频特性；电网频率波动不仅影响检测精度，而且检测出的谐波中含 有较多的基波分量；当需要检测多次谐波分量时，实现电路变得复杂，其电路参数设 计难度随之增加；运行损耗大。 基于f f t 的谐波检测方法是当今应用最为广泛的一种方法。该方法精度较高、功能 较多、使用方便，其缺点是：需要一定时间的电流值，且需要进行两次变换，计算量 大、需花费较多的计算时i 创，从而使得该检测方法具有较长时间的延迟；在采样过程 中，当采样频率不是信号频率的整数倍时，使用该方法会产生频谱泄漏现象和栅栏效应， 使计算出的信号参数( 即频率、幅值和相位) 不准确，无法满足准确的谐波测量要求。针 对以上不足之处，国内外学者提出了多种改进的算法，文献【6 】利用加窗插值算法对f f t 的结果进行修正，文中给出了不同的窗函数( 如矩形窗、海宁窗、哈明窗、布莱克曼窗、 布莱克曼窗哈里斯窗等) 的插值算法，并证明布莱克曼窗一哈里斯窗插值算法的测量 精度最高。该算法有效地提高测量精度，减少泄漏，抑制谐波之问或杂波及噪声的干扰， 比较准确地测量到各次谐波电压和电流的幅值及相位，并可计算得到谐波功率、谐波功 率流向和谐波阻抗。文献【7 】利用数字式锁相器( d p l l ) 实现信号频率和采样频率同步柬 减小频谱泄漏；文献 8 提出了修正理想采样频率法，该方法对每个采样点进行修正，得 到理想采样频率下的采样值，实时性较好，但是只能减少5 0 的泄漏。文献【9 】提出了 一种自适应采样算法以减少频谱泄漏，该算法根据当前信号频率实时调整采样频率，借 助信号的谐波分析来实现，具有较好的实时性和较高的测量精度。文献【1 0 提出了一种 基于两根谱线的加权平均来修正幅值的双峰谱线修正算法，该方法用距谐波频点最近的 两根离散频谱幅值估计出待求谐波幅值，同时用多项式逼近法获得频率和幅值修正的计 算公式，这些改进降低了频谱泄漏和噪声干扰，并推导出一些典型窗函数的谐波分析实 用修正公式，实验结果证明了该方法的有效性和易实现性。 1 9 8 4 年，日本学者h a k a g i 等提出了非正弦条件下的瞬时无功功率理论，并迅速 1 绪论 应用于电力系统谐波检测，对治理谐波和研发无功补偿装置起到了很大的推动作用。目 前，基于瞬时无功功率理论的谐波检测研究已非常深入【l i ”j ，是总谐波实时检测的主要 方法。基于瞬时无功功率理论有3 种谐波检测方法：p q 法、i p - i 。法和d - q 法。这3 种方 法都能准确、实时测量三相三线制对称电路的总谐波分量。i p - i 。法和d - q 法适用范围更 广，不仅在电网电压畸变时适用，在电网电压不对称时也同样有效，使用p - q 法测量电 网电压畸变时的谐波会存在较大误差。瞬时无功功率理论方法的优点是当电网电压对称 且无畸变时，检测基波正序无功分量、不对称分量及高次谐波分量的实现电路比较简单， 并且延时小，具有很好的实时性。缺点是硬件多，花费大。文献1 3 币t j 用单相电路的电 压、电流构造一个类似的三相系统( 或直接构造一个等效的两相系统) ，即可使用三相 电路瞬时无功功率理论，将该理论发展到了单相电路的谐波检测。文献 1 4 】提出一种能 适用于任意非正弦、非对称三相电路的基于d q 0 坐标系的广义瞬时无功功率谐波电流测 量方法。文献 1 5 在分析傅立叶瞬时功率定义的基础上，提出了建立在平均功率基础上 的瞬时无功和谐波电流检测的理论，并提出了相应的检测电路。这种算法的物理意义明 确，实现电路简单，检测精度较高，实时性比较好，适用于对称和不对称电路。文献【1 6 通过对影响谐波电流检测精度的因数进行分析，提出了使用复化积分提高检测直流分量 的计算精度，利用h a m m i n g 窗消除直流分量检测过程产生的频谱泄漏的方法，该方法 不仅能实时提供有源电力滤波器所需的电流补偿指令信号，还能以较高的精度检测基波 和各次谐波电流的正序及负序分量有效值。 小波分析作为调和分析的重大进展，克服了傅立叶分析在频域完全局部化而在时域 完全无局部性的缺点。1 9 9 4 年，r i b e i r opf 首次指出小波变换是分析电力系统非平稳 谐波畸变的新工具【1 ”。之后，小波变换被用于构造不同形式的小波滤波器实现对遥控信 号、可调速电机和储能照明设备的电流波形进行谐波提取【l 、消除谐波、检测总畸变电 流和提取电力系统次同步谐振分量f 19 】等目的。文献【2 0 提出可滤除偶次和1 5 次以上 非整次谐波的b 样条小波滤波算法，该算法基本可消除故障信号中偶次和分数次谐波 对傅氏算法的影响，且具有数据窗短、计算简单、易于在微机保护上实现等优点。文 献1 2 1 提出了多频带小波函数和多频带小波变换的概念，指出多频带小波变换的时频特 性具有很好的分段局部化能力，能有针对性地同时提取待分析信号的多个谐波分量，特 别适用于电力系统谐波分析。文献 2 2 1 币t j 用正交小波所张成的标准正交小波基和小波函 数时频局部性的特点，将谐波时变幅值投影到小波函数和尺度函数张成的子空间上，从 而把时变幅值的估计问题转化为常系数估计。 虽然小波变换较早用于暂态谐波的提取，但应当指出，由于小波变换是基于频带的 概念，因此在谐波提取中，往往无法提出单一的频率，甚至还存在着频率混叠。可以相 信，随着小波变换数学理论的发展，小波母函数将具有更好的性能，这一缺点也将得到 克服。 西安科技大学硕士学位论文 人工神经网络( a n n 帅具有很强的学习能力，目前人工神经网络已成功用于谐波检测 领域。谐波的神经网络检测方法显现出的优点有：计算量小；检测精度高，各次谐 波检测精度不低于傅立叶变换和小波变换，能取得令人满意的结果；对数据流长度的 敏感性低于傅立叶变换和小波变换：实时性好，可以同时实时检测任意整数次谐波； 抗干扰性好，在谐波检测中可以应用一些随机模型的信号处理方法，对信号源中的非 有效成份( 如直流衰减分量) 当作噪声处理，克服噪声等非有效成份的影响。但是，神 经网络用于工程实际还有很多问题，例如：没有规范的神经网络构造方法，需要大量的 训练样本，如何确定需要的样本数没有规范方法，神经网络的精度对样本有很大的依赖 性，易陷入局部最小等。文献【2 3 通过研究单个神经元的映射关系和学习算法，提出了 基于单个神经元的谐波检测方法。文献 2 4 】在文献 2 3 研究的基础上利用模拟电路实现 基于单个神经元的谐波检测方法。文献 2 5 】提出了基于人工神经网络的电力系统谐波测 量方法。该方法利用多层前馈网络的函数逼近能力，通过构造特殊的多层前馈神经网络， 建立了相应的谐波测量电路，提出了训练样本的构造方法。仿真结果表明了此方法的有 效性。文献 2 6 1 将神经网络理论和自适应对消噪声技术相结合，a d l l n e 矩阵作为输入， 构建了自适应能力较强的谐波检测网络。文献 2 7 】提出了用人工神经网络实现谐波与无 功电流检测的网络，该方法不仅对周期性变化的电流具有很好的跟踪性能，而且对各种 非周期变化的电流也能进行快速跟踪，对高频随机干扰有良好的识别能力。 支持向量机s v m 由于其出色的学习性能，已成为国际上机器学习领域的研究热点。 目前在电力系统的负荷预测幽1 、故障诊断四1 以及电压稳定等领域也有了成功的应用。 文献 3 l 】将基于支持向量机的稳健频谱估计算法，用于电力系统谐波和间谐波的分析， 该方法精度较高，鲁棒性较强，对异常值和脉冲性噪声不敏感，具有较强的稳健性。支 持向量机的兴起将给谐波测量提供新的研究途径。 1 3 本文的研究内容 1 研究分析了多层前馈神经网络在电力谐波测量中的应用方法，并发现了神经网 络在应用中表现出的不足之处。 2 针对神经网络表现出的不足之处，在研究分析了支持向量回归用于谐波测量的 可行性之后，提出了一种将支持向量回归( s v r ) 应用于谐波测量的方法： 基于模拟并行谐波测量装置的基本原理，即从频域的观点，任何非正弦周期波形经 过傅立叶级数展开，可以看成是由基波和各高次谐波迭加而成，建立了一个s v r 谐波 测量模型。根据电力谐波的特点，从理论上构造训练数据，对该s v r 模型进行训练， 该模型输入为待测量信号，即在一个周期内的采样值，输出为待测的各次谐波幅值。 3 为了扩大s v r 谐波测量模型的测量范围和测量精度，本文将文献 4 7 】提出的合 理压缩训练样本的方法应用于s v r 谐波测量的模型建立当中，构成了一个完整的谐波 1 绪论 测量方法。该测量方法在每次测量时，首先利用离散的谐波采样值计算出初相角，然后 选择合适的s v r 模型进行谐波测量。 4 综合上述方法，在m a t l a b 环境编写了完整的谐波测量程序，进行了大量的仿 真研究，并与应用b p 算法训练的神经网络的方法进行了比较。通过仿真实验，验证了 b p 网络的不足之处，表明了本文建立的s v r 谐波测量模型具有较好的测量精度和容噪 能力，具有较强的稳健性。 西安科技大学硕士学位论文 2 1 引言 2 统计学习理论与支持向量机 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据( 样本) 出发 寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。包括模式识别、神经 网络等在内，现有机器学习方法共同的重要理论基础之。是统计学。传统统计学研究的 是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题 中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人 意【3 2 1 。 与传统统计学相比，v - v a p n i k 等人提出的统计学习理论1 33 j ( s l t ：s t a t i s t i c a l l e a r n i n gt h e o r y ) 是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样 本统计问题建立了一套新的理论体系，避免了人工神经网络等方法的网络结构难于确 定、过学习和欠学习以及局部极小等问题，被认为是目前针对小样本的分类、回归等问 题的最佳理论。 支持向量机是统计学习理论中最年轻的内容，也是最实用的部分。其核心内容是在 1 9 9 2 到1 9 9 5 年间被提出的【3 4 ，35 ” ，目前仍处于不断发展阶段。其方法是建立在统计学 习理论的v c 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂 性( 即对特定训练样本的学习精度) 和学习能力( 即无错误地识别任意样本的能力) 之 问寻求最佳折衷，以期获得最好的推广能力( g e n e r a l i z a t i o n a b i l i t y ) 。 起初支持向量机主要是在用于解决分类问题的过程中不断发展完善的，v v a p n i k 等 学者于1 9 9 7 年将其引入回归和函数逼近的研究领域p “。在国内外的相关文献中，术语 s v m 多表示用于解决分类问题的支持向量机，术语s v r ( s u p p o f lv e c t o rr e g r e s s i o n ) 多表示用于解决回归问题的支持向量机，本文沿用以上术语。 2 2 统计学习理论 3 2 , 3 3 , 3 8 , 3 9 】 2 2 1 统计学习理论中的一些基本概念 统计学习可视为基于数据的机器学习的一个特例。基于数据的机器学习是现代智能 技术中十分重要的一个方向，主要研究如何从一些独立、随机的观测数据( 样本数据) 得出目前不能经由原理分析得到的规律和关系，利用这些规律去分析客观对象，从而对 未来的新数据或无法观测的数据进行预测。统计学习理论是在研究小样本统计估计和预 测的过程中发展起来的一种新兴理论，它的发展及其在随后的应用中涉及到一些基本的 6 2 统计学习理论与支持向量机 概念如下： 学习如果一个系统能够通过执行某种过程而改进它的性能，我们就称之为学习。 机器学习主要研究从采集样本出发得出目前尚不能通过进行原理分析得到的规 律，并利用这些规律对未来数据或无法观测的数据进行预测。 传统的统计学理论基于样本数据量无穷大前提的渐近理论分析。 统计学习理论是一种研究小样本估计和预测的理论。 2 2 2 统计学习理论的基本问题 机器学习的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计， 使它能够对未知输出作出尽可能准确的预测。可以一般地表示为：变量y 与x 存在一定 的未知依赖关系，即遵循某一未知的联合概率，慨，) ，( x 和y 之问的确定性关系可以 看作是其特例) ，机器学习问题就是根据n 个独立同分布观测样本 ( 工1 ，y 1 ) ，( x 2 ，y 2 ) ，- - ( x 。，y 。) ( 2 1 ) 在一组函数 f ( x ，c o ) 中求一个最优的函数 f ( x ，。) ) 对依赖关系进行估计，使期望 风险最小。 r ( 国) = i l ( y ，f ( x ，c o ) ) d f ( x ，y )( 2 2 ) 其中，( f ( x ，国) ) 称作预测函数集，d 为函数的广义参数， f ( x ，国) ) 可以表示任何函 数集；l ( y ，f ( x ，甜) ) 为由于用f ( x ，m ) 对y 进行预测而造成的损失，不同类型的学习问题 有不同形式的损失函数。预测函数也称作学习函数、学习模型或学习机器。 对于未知的概率分布f ( x ，y ) ，最小化风险函数( 式2 - 2 ) ，我们只有样本( 式2 - 1 ) 的信息可以利用，这导致式2 2 定义的期望风险是无法直接计算和最小化的。因此传统 的学习方法中采用了所谓经验风险最小化( e r m ) 准则，即采用样本定义经验风险来 1 ” r e m p ( o ) = 去z l ( y ，( x ，) ) ( 2 3 ) ，i = 1 逼近式2 2 定义的期望风险，设计学习算法使之最小。 长期以来用经验风险最小化代替期望风险最小化来解决学习问题的思想几乎统治 了这一领域的所有研究，人们将大部分注意力集中到如何更好地最小化经验风险上面。 然而，从期望风险最小化到经验风险最小化并没有可靠的理论依据，它只是直观上想当 然的做法。这里存在一个学习的一致性问题： 首先，r 。( 国) 和r ) 都是的函数，根据大数定理，当样本无穷多时尺 ) 将 在概率意义上趋近于r ( ) ，但不能保证r 。，( ) 的最小值月。，( c o 。) 能够趋近于尺( ) 的最 西安科技大学硕士学位论文 小值r ( c o 。) 。 其次，即使有办法使上述条件在样本无穷大时得到保证，也无法认定在这些条件下 得到的经验风险最小化方法在样本数有限时仍能得到好的结果。 神经网络的过学习问题是经验风险最小化( e r m ) 准则失败的一个例子。最初很多 注意力都集中在如何使r ( ) 更小，但很快就发现训练误差小并不总能导致好的预测 效果。某些情况下，训练误差过小反而会导致推广能力( 人们将学习机器对未来输出进 行正确预测的能力称作推广性) 的下降，这就是在训练神经网络过程中经常会碰到的过 学习( o v e r f i r i n ) 问题，它导致了真实风险增加。 研究出现过学习现象的原因，发现这里既有学习样本不充分的原因，也有学习机器 设计不合理的因素，但最基本的原因是试图用一个十分复杂的模型去拟合有限的样本， 这往往会导致学习机器丧失推广能力。在神经网络中，若对有限的样本来说网络学习能 力过强，足以记住每个样本，此时经验风险很快就可以收敛到很小甚至零，但根本无法 保证它能对未来样本给出较好的预测结果。学习机器的复杂性与推广性之间的这种矛盾 同样可以在其它学习方法中看到。 根据上面的讨论可以得出：在样本有限的情况下，( 1 ) 经验风险最小并不一定意味 着期望风险最小；( 2 ) 学习机器的复杂性不但与所研究的系统有关，而且要和有限的学 习样本相适应。 基于以上原因有关学者提出了很多解决办法，如采用正则化、模型选择、噪声干扰 或者有限温度学习等方法以控制学习机器的复杂度。但这些方法缺乏完善的理论基础。 2 2 3 统计学习理论的核心内容 统计学习理论是在研究小样本统计估计和预测的过程中发展起来的一种新兴理论， 被认为是目前针对小样本统计估计和预测问题的最佳理论。主要内容包括四个方面： 1 1 经验风险最小化准则下统计学习一致性的条件； 2 ) 在这些条件下关于统计学习方法推广性的界的结论； 3 ) 在这些界的基础上建立的小样本归纳推理准则； 4 1 实现新的准则的实际方法( 算法) 。 其中，最有指导性的理论结果是推广性的界，与此相关的核心概念是v c 维与结构风险 最小化原则。 一、v c 维 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有关函数 集学习性能的指标，其中最重要的是v c 维，这个概念是由v a p n i k 和c h e r v o n e n k i s 提出， 并取两人名首字母而得名。在模式识别方法中v c 维的直观定义是：对一个指示函数集， 2 统计学习理论与支持向量机 如果存在h 个样本能够被函数集中的函数按所有可能的2 6 种形式分开，则称函数集能够 把h 个样本打散；函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样 本都有函数能将它们打散，则函数集的v c 维是无穷大。有界实函数的v c 维可以通过 用一定的阈值将它转化成指示函数来定义。 羹 尊 尊 图2 - 1v c 维示例 毒 由图2 - 1 所示的例子可直观的看出，平面中直线可将3 个向量打散而不能打散4 个 ( 右图中椭圆包围的两个向量就不能用直线与另外两个向量分开) ，因此平面中直线的 v c 维等于3 。 目前为止v c 维是对函数集学习性能最好的描述指标，一般而言，v c 维越大( 不 是自由参数个数) ，学习机器的学习能力就越强，但同时学习机器的复杂度也越高( 容量 越大1 ，这样可能导致生成的学习机器的泛化能力反而降低。因此，可以通过控制函数 集的v c 维来控制学习机的推广能力，而不必考虑所谓的“维数灾害”问题。 二、推广性的界 对于各种类型的函数集，统计学习理论系统地研究了经验风险和实际风险之间的关 系，即推广性的界。它是分析学习机器的性能和发展新的学习算法的重要基础。根据统 计学习理论中关于函数集推广性界的结论，对于指示函数集中所有的函数，经验风险 r e m p ( 口) 和实际风险r ( 口) 之间至少以概率l 一刁满足如下关系： r ( 口) r e i n p ( 口) + 、h ( 1 n ( 2 n h ) + 1 ) - i n ( r 4 ) ( 2 - 4 ) y 其中h 是函数集的v c 维，n 是样本数。从结论中可以看出学习机器的实际风险由两部 分组成：一部分是训练样本的经验风险，另一部分是置信范围，它不仅同置信水平1 一刁 有关，而且同学习机器的v c 维和训练样本数有关。可以把式2 - 4 化简为： 厶 r ( a ) r 。( 口) + 妒( 兰) ( 2 5 ) 几 由式2 5 可知：在训i 练样本有限的情况下，学习机器的v c 维越高，则置信范围就越大， 西安科技大学硕士学位论文 导致实际风险与经验风险之间可能的差就越大，这也是在一般情况下选用过于复杂的学 习机器或神经网络往往得不到好的效果的原因。因此在设计学习机器时，不但要使学习 机器的经验风险最小，还要使v c 维尽量小以缩小置信范围，从而达到使期望风险最小 的目的，也即对未来样本有较好的推广性。 需要指出的是，推广性的界是对于最坏情况下的结论，在很多情况下所给出的界是 较松的，尤其在v c 维比较高时更是如此。有研究表明，当h n 0 3 7 时这个界肯定是 松弛的，当v c 维为无穷大时这个界就不再成立。这里的界只在同一类学习函数集之间 进行比较时才有效，可指导我们从函数集中选择最优的函数，而对于不同的函数集之间 的比较却不一定有效。 三、结构风险最小化 传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理 的，从式2 - 5 可以看出，我们需要同时最小化经验风险和置信范围。其实在传统的机器 学习中，我们选择机器学习模型和算法的过程就是优化置信范围的过程，如果选择了适 合现有样本的学习模型，就可以取得比较好的效果。但由于缺乏理论上的指导，只能依 赖先验信息和经验来选择模型和算法，这造成了诸如神经网络等学习方法对使用者“技 巧”的过分依赖。 风险 灾学习 过学习 _ o 真窭风陵的器 心 心、黼溯 ，孓竺竺斑险 甬数粲，集：s 1 c s ：c s v c 维：h j 2 j 图2 - 2 结构风险最小化示意图 统计学习理论提出了一种新的策略，来解决上述问题，也就是把函数集 0 2 统计学习理论与支持向量机 s = f ( x ，埘) ，q 分解为一个函数子集序列( 或叫子集结构) ： s 1c s 2 亡c s c c s ( 2 6 ) 使各个子集能够按照巾的大小来排列，也就是按照v c 维的大小来排列，即满足： 曩h 2 茎h - ( 2 7 ) 在每个子集中寻找最小经验风险，在子集问折衷考虑经验风险和置信范围，使实际风险 最小。这种思想称作有序风险最小化或结构风险最小化( s t r u c t u r a lr i s km i n i m i z a t i o n ) ， 简称s r m 准则，图2 - 2 为结构风险最小化示意图。 如图2 2 所示：真实风险的界是经验风险与置信范围之和。随着结构元素序号的增 加，经验风险将减小，而置信范围将增加。最小的风险上界是在结构的某个适当的元素 上取得的。 结构风险最小化原则为我们提供了一种不同于经验风险最小化的更科学的机器学 习设计原则，但它最终是在式2 5 的两个求和项之间进行折衷，因此实现这一原则并不 容易。一般有两种思路，一是在每个子集中求经验风险最小化，然后选择使经验风险最 小和置信范围之和最小的子集，显然，这种方法在子集数目很大甚至是无穷时是不可行 的。第二种思路是设计函数集的某种结构使每个子集中都能取得最小的经验风险，然后 选择使置信范围最小的子集，则这个子集中使经验风险最小的函数就是最优函数。支持 向量机实际上就是这种思路的体现。 2 3 支持向量机 1 9 6 3 年v a p n i k 在解决模式识别问题时提出了支持向量方法，这种方法从训练集中 选择一组特征子集，使得对特征子集的划分等价于对整个数据集的划分，这组特征子集 就被称为支持向量( s v ) 。1 9 7 1 年，k i m e l d o r f 提出使用线性不等约束重新构造s v 的核 空间，解决了一部分线性不可分问题。1 9 9 0 年，g x a c a ，b a s e r 和v a p n i k 等人开始对s v m 进行研究，并开始取得突破性进展，直到1 9 9 5 年v a p n i k 正式提出统计学习理论，并较 好地解决了线性不可分问题，从而奠定了s v m 的理论基础。s v m 实质上是统计学习理 论在实际应用中的一种实现方法。它在解决小样本、非线性及高维模式识别问题中表现 出许多特有的优势，而且可以推广应用到函数估计等其他机器学习问题中。 2 4 用于分类的支持向量机( s v m ) 支持向量机是从数据分类问题的研究中发展而来的，在数据分类问题中，如果采用 通常的神经网络方法，可以简单地描述为：系统随机产生一个超平面并移动它，宜到数 据集中属于不同类的点正好位于超平面的不同侧面。这种处理机制决定了采用神经网络 进行数据分类最终获得的分类超平面将相当靠近训练集中的点，在绝大多数情况下，它 并不是最优解。而s v m 考虑寻找一个满足分类要求的超平面，并且使训练集中的点距 西安科技大学硕士学位论文 离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域( m a r g i n ) 最大，如图 2 3 所示。 l i - l 图2 - 3 数据集的最优分类面示意图 图2 3 中，实心点和空心点代表两类样本，h 为把两类样本正确地分开的分类线。 h 。，h 2 分别为通过各类样本中离分类线最近的点且平行于分类线的直线，也就是要求 分类线不但能将两类样本正确地分开，而且要使h l ，h 2 之间的间隔最大。分类线方程 为x 珊+ b = 0 ，对它归一化，使对线性可分样本集( x ，弘) ，f _ 1 , 2 ，n ，工r “， y + 1 ，一1 ) 满足 y 。 ( 国x 。) + b 卜l o ，f = 1 , 2 ，h ( 2 8 ) 这样分类间隔就等于2 州国0 ，因此使分类间隔最大就等价于最小化2 1 1 0 , i l 。因此满足 式2 - 8 并且使2 州国0 最小的分类面就是最优分类面，h i ，h 2 上的训练样本就是支持向量。 实际上使分类间隔最大就是对推广能力的控制，这是s v m 的核心思想之一。统计 学习理论指出，在n 维空问中，设样本分布满足s r ，a ，则指示函数集 f ( x ，国，b ) = s g n ( o x ) + 6 ) ( 其中s g n ( ) 为符号函数) 的v c 维满足下面的界 h m i n ( r2 爿2 】，n ) + 1( 2 - 9 ) 由式2 - 9 可见最小化恻l 就是使v c 维的上界最小，从而实现结构风险最小化准则对 2 统计学习理论与支持向量机 函数复杂性的选择。 利用l a g r a n g e 优化方法，根据w o n e 对偶理论可把上述分类问题转化为它的对偶问 题，最大化泛函： q ( c t ) = 口，一寺哆m 乃( x ，- x ，) ( 2 l o ) i = 1 i ，j = l s ， y ，q = 0 ( 2 1 1 ) i = 1 口，0 ，i = 1 , 2 ，玎( 2 - 1 2 ) 式中d 为与第i 个样本相对应的l a g r a n g e 乘子。这是一个有不等式约束的二次规划 问题，因此存在唯一解。解上述问题后得到的最优分类函数是 厂( x ) = s g n ( 珊x ) + = s g n 甜? j ，j ( x 。x ) + 6 ( 2 - 1 3 ) j = l 式中口? 是式2 1 0 ，2 一1 1 ，2 1 2 的解，b + 是分类阈值，可利用任一支持向量求得。 n 维空间中的线性函数，其v c 维为n + 1 ，当维数较高时v c 维相应较大，由式 2 - 9 可知，由于受到蚓i a 的约束，其v c 维有可能大大减小，也就是说在十分高维的 空间中也可以得到较小v c 维的函数集，使有效地对付维数灾难成为可能。 对于线性不可分的情况，v a p n i k 等人提出了用广义分类面来解决这一问题，也就是 折衷考虑最小错分样本和最大分类间隔。对于非线性问题，可以通过非线性变换将它转 化为某个高维空间中的线性问题，在这个高维空间中寻求最优分类面。由于这种变化可 能比较复杂，因此在一般情况下是不容易实现的。由式2 1 0 和式2 1 3 可知，不论是对 于寻优函数还是分类函数都只涉及到训练样本之间的内积运算x ，x ，因此实际上在高 维空间中只需进行内积运算，而这种内积运算是可以通过定义在原空间中的函数来实现 的，我们甚至没有必要知道变换的形式。统计学习理论指出，根据h i l b e r t s c h m i d t 原理， 只要一种核函数k ( x ，x ，) 满足m e r c e r 条件，它就对应某一变换空间中的内积。 因此，在最优分类面中采用满足m e r c e r 条件的核函数丘( x ，x ，) 就可以实现某种非 线性变换后的线性分类，而计算的复杂度并没有增加，此时目标函数2 1 0 变为 q ( 口) = 口，一寺口，m y ，k ( x j , x j ) ( 2 1 4 ) i = lr ，= l 相应的分类函数也变为 西安科技大学硕士学位论天 厂( x ) = s g n 口j 咒k ( x ，x ) + 6 ) ( 2 - 1 5 ) i - i 这就是用于分类的支持向量机。 综上所述，用于分类的支持向量机的思路是通过某种事先选择的非线性映射将输入 向量映射到一个高维特征空间，在这个特征空间中构造最优分类超平面，在形式上s v m 分类函数类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应于一个 支持向量。 2 5 用于回归估计与函数拟合的支持向量机( s v r ) 虽然s v m 方法是通过分类问题提出的，但随着损失函数的提出它同样