（通信与信息系统专业论文）基于支持向量机的多类分类问题的研究.pdf

基于支持向 t机的音频多 类分类问 压的研究 硕士学位论文 摘要 支持向量机是上世纪九十年代提出的一种基于小样本的新的统计学习方法。本论 文通过引入一种新的基于支持向量机的多类分类方法来解决音频中的多类分类问 题， 同时将该方法与传统的两种多类分类方法的性能做了比较分析。为了探究基于支持向 量机的各种多类分类法在音频方面的分类性能，论文对包含 1 3类 3 2 7多个音频文件 进行了实验.本论文工作主要集中于如下几个方面:一在样本训练阶段，论文提出 了一种新的离群点检测方法，通过预处理 ( 去除离群点， 进行矢量量化)，大大减小 了 样本训练时处理的数据量.二. 引入一个新的多类分类方法 a b ( a u g m e n t b i n a r y ) 用于设计音频分类器.该方法有较高的分类精度。更突出的一点就是由于该方法将多 类问 题直接映射为两类分类问 题， 使得通过计算实验误差来估计泛化误差的界成为可 能。这样对如何选择分类器的各个参数具有指导意义。三. 在音频样本特征提取中， 对低能量成分比例和平均幅度差函数做了修正。从实验的结果来看， 修正以 后的特征 区分效果有明显改进。此外，为进一步精简模板，提高音频分类阶段的效率，实验中 采用了一种近似核函数展开的方法， 在保证一定精度的前提下用以减少支持向量个 数。 实验表明: 在中 规模数据处理中， 该方法对于进一步提高分类器的 效率是十分有效 的。 关键词:s v m s ( s u p p o r t v e c t o r m a c h i n e s ) 、音频分类、o a a ( o n e - a g a i n s t - a l l ) 、 o a o ( o n e - a g a i n s t - o n e ) 、 a b 法( 增 广 两 类 分 类法) 基于支持向 t机的音频多类分类问 题的研究硕士学位论文 abs tract on t h e mu l t i - c l a s s au d i o cl a s s i fi c a t i o n b a s e d o n t h e s u p p o r t v e c t o r ma c h i n e s s u p p o rt v e c t o r m a c h in e ( s v m ) is a s t a t is t ic l e a r n in g m e t h o d b a s e d o n le s s s a m p le s p r o p o s e d i n r e c e n t y e a r s . i n t h e p a p e r , a n a b ( a u g m e n t b in a r y ) s t r a t e g y is u s e d t o d e a l w it h t h e m u lt i- c la s s a u d io c la s s i f ic a t io n p ro b le m . i n o r d e r t o e x p lo r e t h e p o t e n t ia l o f t h e s v m in a u d io c la s s if ic a t io n , t h e e x p e r im e n t is b a s e d o n t h e c o m m o n a u d io d a t a b a s e , w h ic h is c la s s if i e d i n t o 1 3 c la s s e s c o n s is t i n g o f a b o u t 3 2 7 s o u n d s . t h e c o m p a r is o n is m a d e b e t w e e n t h e a b w it h o t h e r p o p u la r a p p r o a c h e s . t h e m a in n o v e l p o i n t s in t h is p a p e r a r e lis t e d f o llo w i n g : f ir s t ly , l o w e n e r g y r a t io a n d a m o f a r e m o d if ie d d u r in g t r a in i n g t h e s a m p le s . i n t h e e x p e r im e n t , t h e m l e r ( m o d if ie d l o w e n e r g y r a t io ) a n d d a m d f a c h ie v e b e tt e r p e rf o r m a n c e . s e c o n d ly , a n e w m e t h o d f o r m u lt i- c la s s is i n t r o d u c e d t o d e s ig n t h e a u d io c la s s if ie r . t h e e x p e r ie n t ia l r e s u lt s s h o w t h a t t h e n e w m e t h o d e x h ib it s t h e b e tt e r p r o p e r t y . f u r t h e r m o r e , t h e m e t h o d is t h e m a p p in g o f t h e m u lt i- c la s s p rob le m t o a b i- c la s s o n e , w h ic h a llo w s u s t o s u g g e s t a m e t h o d f o r e s t im a t i n g t h e g e n e r a l iz a t io n e r r o r b y u s in g d a t a - d e p e n d e n t e r r o r b o u n d s . f in a l ly , i n t h e t r a i n i n g p h a s e , a n e w p r e p r o c e s s in g m e t h o d is p r o p o s e d , in w h ic h w ild - p o in t s a r e r e m o v e d w it h d e n s it y m e t h o d a n d t h e n v e c t o r q u a n t iz a t io n is m a d e . s u c h m e t h o d g r e a t ly r e d u c e d t h e d a t a s e t i n t h e t r a i n in g p h a s e . f u rt h e r m o r e , t h e r e d u c e d - s e t - m e t h o d is u s e d t o s i m p lif y t h e m o d e l w it h r e d u c e d t h e n u m b e r o f s u p p o r t v e c t o r s . t h e e x p e r im e n t a l r e s u lt s s h o w s t h a t t h e r e d u c e d s e t m e t h o d is c o n s id e r a b ly e ff e c t iv e t o im p r o v e t h e f u n c t io n o f c la s s if ie r f o r m e d ia n - s c a le d a t a - p r o c e s s in g . k e y w o r d s : s v m s ( s u p p o rt v e c t o r m a c h in e s ) 、a u d it io n c la s s if ic a t io n、 o a a ( o n e - a g a i n s t - a ll) , o a o ( o n e - a g a i n s t - o n e ) , a b m e t h o d ( a u g u m e n t b in a ry ) m 基于支持向t机的音频多类分类问 颐的研究 硕士学位论文 第一章引言 1 . 1 支持向量机的介绍与音频分类的研究现状 支持向量机是在高维特征空间中，使用线性函数假设空间的学习系统.该方法使 用最优化学习算法对样本数据进行训练，应用统计学习理论求出分类目 标函数。它是 由v a p n i k和他的合作者们提出的，是一种准则性的强有力的学习算法。自 提出以 来， 支持向 量机被广泛地应用于人脸识别、 三维物体识别和”b数据挖掘等方面山 。 它的学习性能超过了大多数学习系统。该方法之所以能如此快地得到广泛重视和应 用，主要基于以下几点: 首先，在理论上，该方法基于十分简明的概念，并对所分的数据提供了一种十分 明晰的学习过程。其次，在实际的数据分类中，通常所用的算法和模型都很繁杂，如 神经元网络等， 对这些算法和模型作理论的分析是很困难的。s u m s算法同样也构造 了一个较复杂的模型，其中包含大量的神经元、r b f ( 径向基函数) 、多项式分类器 等。然而，该模型的数学分析却是十分简约的。因为该算法将输入的特征空间非线性 地投影到一个高维的空间中， 应用线性方法实现分类。尽管这种分类被认为是在高维 空间中的线性分类问 题，但却没有因维数的增加而引入任何额外的计算量。 通过对核 函数的应用， 所有必要的计算都直接在输入空间中 进行【7 ) 。 这是 s u m s的一个显著的 特征。 随着多媒体技术和 w e b技术的发展，包括图像、音频、视频等多媒体数据大量涌 现;如何有效地按照多媒体数据的特性去存取和管理这些数据便成了多媒体技术中的 热点问题，由 此也产生了多媒体存取技术。基于内 容的分类与检索是根据媒体对象的 内容特征进行相应的分类和检索。如图像中的颜色、形状、纹理;视频中的场景、 镜 头和镜头的运动;声音中的响度、音调和音色等。这是一项实用性很强的高技术。其 应用领域也非常广泛 。 在音频数据处理方面， 音频数据是现代计算机与多媒体处理 应用的重要组成部分。随着信息技术飞速发晨，很多方面对系统的音频数据处理效率 要求不断提高。系统音频数据处理的效率很灭程度上取决于系统基于内容和特性对音 频文件进行分类和检索的能力。正是出于这种需求，现在已 有用于音频分类和检索的 商 业软件出 现 ( h t t p : / / w w w . m u s c l e f i s h . c o m , h t t p : / / w w w . c o m p a r i s o n i c s . c o m ) : e 基于内容的音频数据分类与检索方面的研究比 较晚。于二十世纪九十年代初，国 际上才逐渐开始了基于内容的多媒体信息方面的研究。所研究的检索方法从基本特征 的检索到综合利用各种多媒体特征检索。其9 比较重要的有，w o l d等人开发的音频 分类检索系统“ m u s c l e f i s h ，与先前这方面的研究不同之处在于他们应用了基于内容 的分类检索特点。m u s c l e f i s h系统中用所提取的感知特征，如响度、亮度、音调和 音色等组成特征向量来代表每一帧的音频用于分类与检索， 采用归一化欧氏距离度量 基于支持向t机的音频多类分类问 颐的研究 硕士学位论文 第一章引言 1 . 1 支持向量机的介绍与音频分类的研究现状 支持向量机是在高维特征空间中，使用线性函数假设空间的学习系统.该方法使 用最优化学习算法对样本数据进行训练，应用统计学习理论求出分类目 标函数。它是 由v a p n i k和他的合作者们提出的，是一种准则性的强有力的学习算法。自 提出以 来， 支持向 量机被广泛地应用于人脸识别、 三维物体识别和”b数据挖掘等方面山 。 它的学习性能超过了大多数学习系统。该方法之所以能如此快地得到广泛重视和应 用，主要基于以下几点: 首先，在理论上，该方法基于十分简明的概念，并对所分的数据提供了一种十分 明晰的学习过程。其次，在实际的数据分类中，通常所用的算法和模型都很繁杂，如 神经元网络等， 对这些算法和模型作理论的分析是很困难的。s u m s算法同样也构造 了一个较复杂的模型，其中包含大量的神经元、r b f ( 径向基函数) 、多项式分类器 等。然而，该模型的数学分析却是十分简约的。因为该算法将输入的特征空间非线性 地投影到一个高维的空间中， 应用线性方法实现分类。尽管这种分类被认为是在高维 空间中的线性分类问 题，但却没有因维数的增加而引入任何额外的计算量。 通过对核 函数的应用， 所有必要的计算都直接在输入空间中 进行【7 ) 。 这是 s u m s的一个显著的 特征。 随着多媒体技术和 w e b技术的发展，包括图像、音频、视频等多媒体数据大量涌 现;如何有效地按照多媒体数据的特性去存取和管理这些数据便成了多媒体技术中的 热点问题，由 此也产生了多媒体存取技术。基于内 容的分类与检索是根据媒体对象的 内容特征进行相应的分类和检索。如图像中的颜色、形状、纹理;视频中的场景、 镜 头和镜头的运动;声音中的响度、音调和音色等。这是一项实用性很强的高技术。其 应用领域也非常广泛 。 在音频数据处理方面， 音频数据是现代计算机与多媒体处理 应用的重要组成部分。随着信息技术飞速发晨，很多方面对系统的音频数据处理效率 要求不断提高。系统音频数据处理的效率很灭程度上取决于系统基于内容和特性对音 频文件进行分类和检索的能力。正是出于这种需求，现在已 有用于音频分类和检索的 商 业软件出 现 ( h t t p : / / w w w . m u s c l e f i s h . c o m , h t t p : / / w w w . c o m p a r i s o n i c s . c o m ) : e 基于内容的音频数据分类与检索方面的研究比 较晚。于二十世纪九十年代初，国 际上才逐渐开始了基于内容的多媒体信息方面的研究。所研究的检索方法从基本特征 的检索到综合利用各种多媒体特征检索。其9 比较重要的有，w o l d等人开发的音频 分类检索系统“ m u s c l e f i s h ，与先前这方面的研究不同之处在于他们应用了基于内容 的分类检索特点。m u s c l e f i s h系统中用所提取的感知特征，如响度、亮度、音调和 音色等组成特征向量来代表每一帧的音频用于分类与检索， 采用归一化欧氏距离度量 基于支持向里机的音频多类分类问 题的 研究硕士学位论文 音频之间的相似度， 用最近邻法准则来判决最后的所属类别 o z . l i u等人在感知特 征向量的基础上又增加了 子带能量比 例特征，用类内和类间散度来度量不同 类别之间 的可区分度，同时用该量来度量各特征的区分性能。f o o t e等人则选用 1 2阶美尔倒 谱系数 ( m f c c s )加短时能量作为音频特征向量，并构造了一个树形矢量量化器，将 输入特征空间分割为互不相交的特征子空间。其中采用欧氏距离和 c o s i n e距离作为 距离测度， 用最近邻法作为判别准则(s 1 支持向量机是一种比较新的基于统计学习理论的机器学习方法.该方法已 在很多 领域得到了推广应用。在音频数据处理方面，也已经有相关的研究报道。由于支持向 量机的基本算法是面向两类问题。如何利用它来解决多类分类问题，现在仍然是一个 正在研究的课题。目 前，主要是采用将多类问题转化为两类的方法来处理。但也有将 多类综合到一起考虑的方法。 采取不同策略，其最后的分类精度是有差别的。从查阅 的资料来看，目 前至少已 有5 种不同的处理方法二2 7 。 本文工作重点之一就是对支持向 量机的三种多类分类方法在音频分类中的应用进行研究，期望通过对所选对象的实 验，比较各种方法的分类性能，得出各种多类分类方法所对应的最佳参数组合，用以 指导对全部数据的训练。 1 . 2 论文的主要工作 1 .本文提出了一种有效的数据预处理方法; 即在特征空间中对各数据采用了一 种动态的离群点检测方法，在预处理时去除掉由噪声引起的聚类效果比较差的数据 点，然后利用 k均值算法对预处理后的数据进行矢量量化。该方法大大降低了训练过 程中所要处理的数据量; 2 .训练阶段，论文将一种新的基于支持向量机的多类分类法一a b法应用于音 频的多类分类问题的研究。该方法有较高的分类精度，而且由于该方法将多类问题 映射为两类问题，可在多类问题中估计泛化误差的界。该界对如何选择分类器的各个 参数具有指导意义。此外， 在实验中，论文为进一步提高分类器的效率，引入一种精 简模板的方法，通过减少支持向量个数来降低数据分类中的运算量; 3 .在特征提取与特征向量构造方面，论文对低能量成分比例和平均幅度差函 数进行了修正，并且引入了感知特征和 m e l倒谱系数相结合的特征提取方法;感知 特征与不同阶的 m e l倒谱系数组合，形成不同的特征矢量。各感知特征捕捉的主要 是音频的频谱特征，但原信号中的一些本质特征就会丢失。而倒谱系数可以捕捉到频 谱的轮廓，该特征可以重构出原信号中大部分成分，因此将它作为感知特征的一个补 充。 4 .为进一步提高分类器的效率，论文引入一种近似的核函数展开的方法来精 简数据工作集，减小分类器的计算量。 基于支持向里机的音频多类分类问 题的 研究硕士学位论文 音频之间的相似度， 用最近邻法准则来判决最后的所属类别 o z . l i u等人在感知特 征向量的基础上又增加了 子带能量比 例特征，用类内和类间散度来度量不同 类别之间 的可区分度，同时用该量来度量各特征的区分性能。f o o t e等人则选用 1 2阶美尔倒 谱系数 ( m f c c s )加短时能量作为音频特征向量，并构造了一个树形矢量量化器，将 输入特征空间分割为互不相交的特征子空间。其中采用欧氏距离和 c o s i n e距离作为 距离测度， 用最近邻法作为判别准则(s 1 支持向量机是一种比较新的基于统计学习理论的机器学习方法.该方法已 在很多 领域得到了推广应用。在音频数据处理方面，也已经有相关的研究报道。由于支持向 量机的基本算法是面向两类问题。如何利用它来解决多类分类问题，现在仍然是一个 正在研究的课题。目 前，主要是采用将多类问题转化为两类的方法来处理。但也有将 多类综合到一起考虑的方法。 采取不同策略，其最后的分类精度是有差别的。从查阅 的资料来看，目 前至少已 有5 种不同的处理方法二2 7 。 本文工作重点之一就是对支持向 量机的三种多类分类方法在音频分类中的应用进行研究，期望通过对所选对象的实 验，比较各种方法的分类性能，得出各种多类分类方法所对应的最佳参数组合，用以 指导对全部数据的训练。 1 . 2 论文的主要工作 1 .本文提出了一种有效的数据预处理方法; 即在特征空间中对各数据采用了一 种动态的离群点检测方法，在预处理时去除掉由噪声引起的聚类效果比较差的数据 点，然后利用 k均值算法对预处理后的数据进行矢量量化。该方法大大降低了训练过 程中所要处理的数据量; 2 .训练阶段，论文将一种新的基于支持向量机的多类分类法一a b法应用于音 频的多类分类问题的研究。该方法有较高的分类精度，而且由于该方法将多类问题 映射为两类问题，可在多类问题中估计泛化误差的界。该界对如何选择分类器的各个 参数具有指导意义。此外， 在实验中，论文为进一步提高分类器的效率，引入一种精 简模板的方法，通过减少支持向量个数来降低数据分类中的运算量; 3 .在特征提取与特征向量构造方面，论文对低能量成分比例和平均幅度差函 数进行了修正，并且引入了感知特征和 m e l倒谱系数相结合的特征提取方法;感知 特征与不同阶的 m e l倒谱系数组合，形成不同的特征矢量。各感知特征捕捉的主要 是音频的频谱特征，但原信号中的一些本质特征就会丢失。而倒谱系数可以捕捉到频 谱的轮廓，该特征可以重构出原信号中大部分成分，因此将它作为感知特征的一个补 充。 4 .为进一步提高分类器的效率，论文引入一种近似的核函数展开的方法来精 简数据工作集，减小分类器的计算量。 基于支持向a机的 音频多类分类问 压的 研究 硕士学位论文 本章小结 本节主要介绍了支持向量机的特点和基于内容的音频媒体分类与检索技术的发展 状况，以及本论文所作的主要工作。作为一种有效的学习小样本问题的机器学习算 法， 支持向 量机在多类音频信息分类中的应用探索是一个很值得研究的 课题。 尤其是 在解决多类分类问题中， 对目 标函数的选择、分类器参数的确定以及在多类问题中不 同分类方法之间的性能差异的研究对提高分类器分类精度和推广能力是很有帮助的。 攀于 支 持向 t 机的 音 频 多 类分 类问 压 的 研究 硕士学位论文 第二章 统计学习理论与支持向量机的原理 2 . 1 机器学习所面临的问题 在 模 式 识别 中， 我 们 总 是 设 法 依 据 训 练数 据 ( n 维 特征向 量x 和 类别 标记y l ) 去 估计一 个函 数f : r nf : r . ( ( x 1 , y t ) . f l ) ，形式如下: ， ( x , , y , ) ) e r n x t l ) ( 2 . 1 ) 该预测函数可以 对新的训练数据正确分类， 该数据与上述训练样本集服从同一概率分 布p ( x , 刃， 如果 不 对 预 测函 数 集附 加 任何约束 条件， 即 使 该函 数 对训 练 样本 有 很 好 的 区 分 特性即f ( x j - 少 ， ， 也 不能 保证该 分类函 数对于 未知 样 本 数 据 仍具 有好的 分 类 性 能。 如果对分类函数集本身的 特性 ( 如函数是否光滑) 不清楚， 那么原来用于训练的 样本一定程度上并不带有多少对未来新的样本的正确分类有帮助信息。所以，在这种 意义上通过最小化训练样本分类误差来提高学习器的学习能力是行不通的， 训练样本 误差最小无法保证它对未来新的样本能够得到好约预测。 在早期的神经网络研究中。人们总是把注意力集中在如何使经验风险最小， 但很 快便发现，一味追求训练误差小并不是总能达 i. 好的预测效果.人们把对未来输出 进 行正确预测的能力称为推广性。某些情况下当训练误差过小反而会导致推广能力下 降，这就是神经网络中经常遇到的过学习现象。认 理论上看，模式识别也存在这样的 问题，但因为使用的函数模型形式都相对比较r单，所以过学习现象并不象神经网络 中那样突出。之所以出现过学习现象，一是因为学习样本不充分，二是学习函数模型 设计不合理.如果用一个复杂模型去拟合有限的徉本，结果就会导致丧失了预测函数 的推广能力。这就是有限样本下学习函数模型的复杂性和推广能力之间的矛盾。由 此 可看出， 在有限样本的情况下， 1 . 经验风险最小并不意味着期望风险最小; 2 . 学习机器 的复杂性不但与所研究的系统有关， 而且要和学习样本相适应。统计学习理论表明: 用某个量对一个函数集进行约 束是十分必要的。该量在v c 理论中称为容量或v c 维， 函数集的v c 维，与训练样本数相适应。 2 . 2 统计学习理论的核心内容 统计学习理论被认为是目 前对小样本统计估汁和预测学习的最佳理论。它从理论 上较系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险 的关系及如何利用这些理论找到新的学习原则哀方法等问题。 其主要内容包括四个方 面:1 .经验风险最小化原则下统计学习一致性的条件;2 .这些条件下关于统计学习 方法推广性的界的结论;3 . 在这些界的基础上建立小样本归纳推理原则: 4 .塞f w i k 攀于 支 持向 t 机的 音 频 多 类分 类问 压 的 研究 硕士学位论文 第二章 统计学习理论与支持向量机的原理 2 . 1 机器学习所面临的问题 在 模 式 识别 中， 我 们 总 是 设 法 依 据 训 练数 据 ( n 维 特征向 量x 和 类别 标记y l ) 去 估计一 个函 数f : r nf : r . ( ( x 1 , y t ) . f l ) ，形式如下: ， ( x , , y , ) ) e r n x t l ) ( 2 . 1 ) 该预测函数可以 对新的训练数据正确分类， 该数据与上述训练样本集服从同一概率分 布p ( x , 刃， 如果 不 对 预 测函 数 集附 加 任何约束 条件， 即 使 该函 数 对训 练 样本 有 很 好 的 区 分 特性即f ( x j - 少 ， ， 也 不能 保证该 分类函 数对于 未知 样 本 数 据 仍具 有好的 分 类 性 能。 如果对分类函数集本身的 特性 ( 如函数是否光滑) 不清楚， 那么原来用于训练的 样本一定程度上并不带有多少对未来新的样本的正确分类有帮助信息。所以，在这种 意义上通过最小化训练样本分类误差来提高学习器的学习能力是行不通的， 训练样本 误差最小无法保证它对未来新的样本能够得到好约预测。 在早期的神经网络研究中。人们总是把注意力集中在如何使经验风险最小， 但很 快便发现，一味追求训练误差小并不是总能达 i. 好的预测效果.人们把对未来输出 进 行正确预测的能力称为推广性。某些情况下当训练误差过小反而会导致推广能力下 降，这就是神经网络中经常遇到的过学习现象。认 理论上看，模式识别也存在这样的 问题，但因为使用的函数模型形式都相对比较r单，所以过学习现象并不象神经网络 中那样突出。之所以出现过学习现象，一是因为学习样本不充分，二是学习函数模型 设计不合理.如果用一个复杂模型去拟合有限的徉本，结果就会导致丧失了预测函数 的推广能力。这就是有限样本下学习函数模型的复杂性和推广能力之间的矛盾。由 此 可看出， 在有限样本的情况下， 1 . 经验风险最小并不意味着期望风险最小; 2 . 学习机器 的复杂性不但与所研究的系统有关， 而且要和学习样本相适应。统计学习理论表明: 用某个量对一个函数集进行约 束是十分必要的。该量在v c 理论中称为容量或v c 维， 函数集的v c 维，与训练样本数相适应。 2 . 2 统计学习理论的核心内容 统计学习理论被认为是目 前对小样本统计估汁和预测学习的最佳理论。它从理论 上较系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险 的关系及如何利用这些理论找到新的学习原则哀方法等问题。 其主要内容包括四个方 面:1 .经验风险最小化原则下统计学习一致性的条件;2 .这些条件下关于统计学习 方法推广性的界的结论;3 . 在这些界的基础上建立小样本归纳推理原则: 4 .塞f w i k 基于支持向盆机的音频多类分类问 题的研究 硕士学位论文 些新的原则的实际方法g e 2 . 2 . 1学习过程的一致性条件 所谓的 学习 过程的 一 致 性 ( c o n s i s t e n c y ) ， 就 是指当 训 练样 本数目 趋于无穷 大时， 经验风险的最优值收敛到真实风险的最优值。只有满足一致性条件，才能保证经验风 险最小化原则下得到的最优方法在样本趋于无穷大时也趋于使期望风险最小的最优 解。 学习 过 程的 一 致性: 记f ( x , w ) 为n 个独立同 分 布 样 本下 在函 数 集中 使 经 验风 险 取最小的 预测函 数，由 它 带 来的 损失函 数记为l ( y , f ( x , w 卜 ， 相 应的 最小 风险 值为 r , ( w i n ) 记r ( w i n ) 为 l ( y , f ( x , w 卜 ) 下 所 取 得 的 真 实 风 险 值( 期 望 风 险) 。 当 下面两式成立时称经验风险最小化学习过程是一致的。 r ( w 卜 ) 一， . 加 月目 目 .，r ( w a ) 尺 娜( w 卜 ) .目 -，门 卜 h ，心口 口r ( w o ) ( 2 . 1 . 1 _ 1 ) ( 2 . 1 . 1 一) 经验风险和真实风险之间的关系可用图2 . 2 . 1 1 表示。 期亘 u 双 险 r ( w o ) 脸风险 h ( 1 n ( n / h ) + 1 ) .，. 圈 2 . 1 . 1 _ 1 经脸风位和真实风险之间的关系 圈2 . 1 . 1 2 生长函效的性质 学习理论关键定理:对于有界的损失函数，经验风险最小化学习一致的充分必要条件 是经验风险在如下意义上一致地收敛于真实风险: 浊p s u p (r ( w ) 一 、(w ) ) 小0 ， v e 0 其中， p 表示 概率， r e . p ( w ) 和r ( w ) 分别 表示 在n 个 样 本下 的 经 验 风 险 和 对于 同 一w 的真实风险。 虽然学习理论关键订立给出了经验风险最小化原则成立的充分必要条件，但这一 条件并没有给出什么样的学习方法能够满足这些条件。为此，统计学习理论定义了一 基于支持向盆机的音频多类分类问 题的研究 硕士学位论文 些新的原则的实际方法g e 2 . 2 . 1学习过程的一致性条件 所谓的 学习 过程的 一 致 性 ( c o n s i s t e n c y ) ， 就 是指当 训 练样 本数目 趋于无穷 大时， 经验风险的最优值收敛到真实风险的最优值。只有满足一致性条件，才能保证经验风 险最小化原则下得到的最优方法在样本趋于无穷大时也趋于使期望风险最小的最优 解。 学习 过 程的 一 致性: 记f ( x , w ) 为n 个独立同 分 布 样 本下 在函 数 集中 使 经 验风 险 取最小的 预测函 数，由 它 带 来的 损失函 数记为l ( y , f ( x , w 卜 ， 相 应的 最小 风险 值为 r , ( w i n ) 记r ( w i n ) 为 l ( y , f ( x , w 卜 ) 下 所 取 得 的 真 实 风 险 值( 期 望 风 险) 。 当 下面两式成立时称经验风险最小化学习过程是一致的。 r ( w 卜 ) 一， . 加 月目 目 .，r ( w a ) 尺 娜( w 卜 ) .目 -，门 卜 h ，心口 口r ( w o ) ( 2 . 1 . 1 _ 1 ) ( 2 . 1 . 1 一) 经验风险和真实风险之间的关系可用图2 . 2 . 1 1 表示。 期亘 u 双 险 r ( w o ) 脸风险 h ( 1 n ( n / h ) + 1 ) .，. 圈 2 . 1 . 1 _ 1 经脸风位和真实风险之间的关系 圈2 . 1 . 1 2 生长函效的性质 学习理论关键定理:对于有界的损失函数，经验风险最小化学习一致的充分必要条件 是经验风险在如下意义上一致地收敛于真实风险: 浊p s u p (r ( w ) 一 、(w ) ) 小0 ， v e 0 其中， p 表示 概率， r e . p ( w ) 和r ( w ) 分别 表示 在n 个 样 本下 的 经 验 风 险 和 对于 同 一w 的真实风险。 虽然学习理论关键订立给出了经验风险最小化原则成立的充分必要条件，但这一 条件并没有给出什么样的学习方法能够满足这些条件。为此，统计学习理论定义了一 墓于支持向t机的音频多类分类问皿的研究 硕士学位论文 些指标来衡量函数集的性能，其中最重要的是v c维. 2 . 2 . 2 v c 维的定义与函数集的学习性能以及可推广性的界 为了研究函数集在经验风险最小化原则下的学习一致性问题和一致性收敛速度， 统计学习理论定义了一系列有关函数集学习性能的指标，其中函数集的 v c维就是最 重要的指标之一。v c 维的定义并不很直观，下面给出一个等价定义: 假如存在一个样本数为n的样本集能够被一个函数集中的函数按照所有可能的2 - 种形式分为两类，则称函数集能够把样本数为 n的样本集打散。指示函数集的 v c维 就是用这个函数集中的函数所能够打散的最大样本集中的样本数目。 统计学习理论中定义函数集在所有可能样本集上的最大随机嫡为生长函数 g ( n ) g ( n ) 一 i n m a x n( z . ) 式中， z 。 为 包 含n 个训 练 样 本的 样 本 集。 生 长函 数反 映了 函 数 集 把 n 个 样本 分 成 两 类 的最大可能的分法数， 该 函数大小与样本分布无关。明显地，生长函数 g ( n ) s n i n 2 。 通过进 一步 研究， v ip n i k 和。e r v o n e n k is 于1 9 6 8 年发 现t 下面 规 律: 定理1 : 所有函数集的生长函数或者与样本数成正比，即 g ( n ) - n i n 2 ( 2 . 2 . 2 _ 1 ) 或者以 下列样本数的某个对数函数为上界，即 g (n ) h (in 唠 + 1) , n h (2 . 2 . 2 一 2 ) 其中，h是一个整数，它是上述两式的一个转折点.生长函数的这种性质如图 2 . 1 . 1 _ 2 所示。 v c维对于一个指示函数集，如果其生长函数是线性的，则它的v c维为无穷大; 而如果生长函数以参数为 h的对数函数为上界则函数集的v c维是有限的且等于 h e 经验风险最小化学习过程一致的充分必要条件是函数集的 v c维有限，且这时的收敛 速度是最快的。v c维是统计学习理论中的一个核心概念，它是目前为止对函数集学 习性能的最好描述指标。但遗憾的是，目 前尚没有通用的关于如何计算任意函数集的 v c维的理论，只有一些特殊的函数集的 v c维可以准确知道，而对于一些比较复杂的 学习机器 ( 如神经网络)，其 v c维除了与函数集的选择有关外，通常也受学习 算法 等影响，因此，其确定将更加困难.与对于给定的函数集，如何用理论或实验的方法 计算它的v c 维仍是当前统计学习理论中有待研究的一个问题。 这里要讨论的可推广性的界是统计学习理论中关于经验风险和实际风险之间的关 系的一个重要结论.它们是分析机器学习性能和发展新的学习算法的一个重要基础。 墓于支持向t机的音频多类分类问皿的研究 硕士学位论文 些指标来衡量函数集的性能，其中最重要的是v c维. 2 . 2 . 2 v c 维的定义与函数集的学习性能以及可推广性的界 为了研究函数集在经验风险最小化原则下的学习一致性问题和一致性收敛速度， 统计学习理论定义了一系列有关函数集学习性能的指标，其中函数集的 v c维就是最 重要的指标之一。v c 维的定义并不很直观，下面给出一个等价定义: 假如存在一个样本数为n的样本集能够被一个函数集中的函数按照所有可能的2 - 种形式分为两类，则称函数集能够把样本数为 n的样本集打散。指示函数集的 v c维 就是用这个函数集中的函数所能够打散的最大样本集中的样本数目。 统计学习理论中定义函数集在所有可能样本集上的最大随机嫡为生长函数 g ( n ) g ( n ) 一 i n m a x n( z . ) 式中， z 。 为 包 含n 个训 练 样 本的 样 本 集。 生 长函 数反 映了 函 数 集 把 n 个 样本 分 成 两 类 的最大可能的分法数， 该 函数大小与样本分布无关。明显地，生长函数 g ( n ) s n i n 2 。 通过进 一步 研究， v ip n i k 和。e r v o n e n k is 于1 9 6 8 年发 现t 下面 规 律: 定理1 : 所有函数集的生长函数或者与样本数成正比，即 g ( n ) - n i n 2 ( 2 . 2 . 2 _ 1 ) 或者以 下列样本数的某个对数函数为上界，即 g (n ) h (in 唠 + 1) , n h (2 . 2 . 2 一 2 ) 其中，h是一个整数，它是上述两式的一个转折点.生长函数的这种性质如图 2 . 1 . 1 _ 2 所示。 v c维对于一个指示函数集，如果其生长函数是线性的，则它的v c维为无穷大; 而如果生长函数以参数为 h的对数函数为上界则函数集的v c维是有限的且等于 h e 经验风险最小化学习过程一致的充分必要条件是函数集的 v c维有限，且这时的收敛 速度是最快的。v c维是统计学习理论中的一个核心概念，它是目前为止对函数集学 习性能的最好描述指标。但遗憾的是，目 前尚没有通用的关于如何计算任意函数集的 v c维的理论，只有一些特殊的函数集的 v c维可以准确知道，而对于一些比较复杂的 学习机器 ( 如神经网络)，其 v c维除了与函数集的选择有关外，通常也受学习 算法 等影响，因此，其确定将更加困难.与对于给定的函数集，如何用理论或实验的方法 计算它的v c 维仍是当前统计学习理论中有待研究的一个问题。 这里要讨论的可推广性的界是统计学习理论中关于经验风险和实际风险之间的关 系的一个重要结论.它们是分析机器学习性能和发展新的学习算法的一个重要基础。 奎 c p 亘 场 机 的 音 频多 类 分 类 问 h 的 研 究 硕士学位论文 根 据统 计学习 理论中 关 于函 数 集的 推 广性的 界的结 论， 对于 指示函 数 集f ( x , w ) ， 如 果 损失 函 数q ( z , w ) s l ( y , f ( x , w ) ) 的 取 值为。 或1 ， 则 有 如 下结 论: 定理 2 : 对于两类分类问 题，对指示函数集中的所有函数，经验风险和实际风险之 间至少以概率 1 - n 满足如下关系: r ( w ) r a p( w ) + 生 在 2 ( 2 . 2 . 2 一) 其中，当函数集中包含无穷多 个元素时， 一 i n i i , ， )一u1( 2 . 2 . 2 乡) 而当函数集中包含有限个元素时， ， _ 2 竺 n 二竺 ( 2 . 2 . 2 5 ) 式中a : 和a 2 为两常数。 如果损失函 数q ( z , w ) 为一般的 有界非负实函 数， 即 0 q ( z , 叻 0 . 3 7 ( h 为v c 维、n 为样本数)时这个界肯定是松弛的，而且v c 维无穷 大时，这个界就不再成立.而且这种界往往在对同一类学习函数进行比较时是有效 的，可以指导我们从函数集中选择最优函数，但在不同函数集之间比较却不一定成 于支持向t机的音频多类分类问班的研究硕士学位论文 立。实际上， 寻找反映学习机器的能力的更好的 参数从而得到更好的界是今后学习理 论的重要研究方向之一。 2 . 3支持向量机的基本原理 支持向 量机分类的目 的就是开发一种计算有效的途径， 从而能在高维特征空间中 学习 “ 好” 的分类超平面。支持向 量机中最简单也是最早提出的模型是最大间隔分类 器。 它只能 用于特征空间中 线性可分的数据，因此不能在现实 情况中使用。 但它容易 理解，并且是更加复杂的支持向量机算法的主要模块。它展示了这一类学习器的关键 特征，因此，该分类器描述对理解后面的更高级的系统至关重要。 2 . 3 . 1 最大问隔分类器 给定一个两类可分训练特征向量， ( - , y ) , . . . . . . + ( x 1 , y , ) l 其中， y i - f - 1 , 十 1 ，要找一个超平面 w x + b = 0对这两类数据加以区分，如图 2 .3 . 1 _ 2 所示 x ; cr ， 2 . 3 . 1 1和 圈2 . 3 . 1 _ 1 两类间的分类百圈2 . 3 . 1 夕 .优分类面 图2 . 3 . 1 _ 1中 所示， 存在多 个超平面可以 将 数据分开， 但只有一 种超平面可将两类 数据间隔最大化 ( 图 2 .3 . 1 - 2 )，即使得两类中距离超平面最近点之间的 距离最大。 该分类器为最优分类面，两侧距离最优平面距离最短的向量称为支持向量。超平面方 程w x + b = 0 ，其中w是权重向量，b为偏置。设两类数据点分别用x 十 和x - 表示，并归 一化权重向量实现在正点 x + 和负点 x 一 上函数间隔为 1 .计算几何间隔如下:( 图 2 . 3 . 1 - 3 ) + b = + 1 + b = - 1 于支持向t机的音频多类分类问班的研究硕士学位论文 立。实际上， 寻找反映学习机器的能力的更好的 参数从而得到更好的界是今后学习理 论的重要研究方向之一。 2 . 3支持向量机的基本原理 支持向 量机分类的目 的就是开发一种计算有效的途径， 从而能在高维特征空间中 学习 “ 好” 的分类超平面。支持向 量机中最简单也是最早提出的模型是最大间隔分类 器。 它只能 用于特征空间中 线性可分的数据，因此不能在现实 情况中使用。 但它容易 理解，并且是更加复杂的支持向量机算法的主要模块。它展示了这一类学习器的关键 特征，因此，该分类器描述对理解后面的更高级的系统至关重要。 2 . 3 . 1 最大问隔分类器 给定一个两类可分训练特征向量， ( - , y ) , . . . . . . + ( x 1 , y , ) l 其中， y i - f - 1 , 十 1 ，要找一个超平面 w x + b = 0对这两类数据加以区分，如图 2 .3 . 1 _ 2 所示 x ; cr ， 2 . 3 . 1 1和 圈2 . 3 . 1 _ 1 两类间的分类百圈2