智能检测理论与技术.ppt

第八章 基于支持向量机的智能检测,Intelligent Detection Theory and Technology,智能检测理论与技术,第七章内容回顾,一、基于神经网络智能检测的概述 二、神经网络与智能检测建模 三、基于神经网络智能检测的通用模型 四、基于神经网络智能检测应用实例,第八章 基于支持向量机的智能检测,一、统计学习理论 二、支持向量机基本理论 三、用于智能检测的支持向量机回归模型 四、基于支持向量机的智能检测应用实例,第八章 基于支持向量机的智能检测,第八章 基于支持向量机的智能检测,支持向量机（SVM）是基于结构风险最小化原则的统计学习方法，能够避免人工神经网络方法的过拟合、容易陷入局部极小等缺陷。由于支持向量机不但较好地解决了以往困扰很多学习方法的小样本、过学习、高维数、局部最优等实际难题，而且具有很强的泛化能力，因此，支持向量机在函数估计和软测量建模方面逐步得到应用。 支持向量机是一种新的机器学习算法，该方法由于采用了结构风险最小化原则，与传统机器学习方法相比，在最小化学习误差的同时可以保证具有较小的泛化误差。,第八章 基于支持向量机的智能检测,过学习问题 某些情况下，当训练误差过小反而会导致推广能力的下降。 例如：对一组训练样本(x,y)，x分布在实数范围内，y取值在0，1之间。无论这些样本是由什么模型产生的，总可以用y=sin(w*x)去拟合，使得训练误差为0。,第八章 基于支持向量机的智能检测,机器学习的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。 变量y与x存在一定的未知依赖关系，即遵循某一未知的联合概率 ，（x和y之间的确定性关系可以看作是其特例，机器学习问题就是根据n个独立同分布观测样本 ，在一组函数 中求一个最优的函数 对依赖关系进行估计，使期望风险,最小。,是由于,对y的预测误差而造成 的损失。,第八章 基于支持向量机的智能检测,学习的目标在于使期望风险最小化，但是由于可以利用的信息只有样本，期望风险并无法计算，因此在传统的学习方法中，采用了所谓经验风险最小化（ Empirical Risk Minimization，ERM）准则，即用样本定义经验风险 设计学习算法使 最小化，作为对期望风险的估计。,第八章 基于支持向量机的智能检测,用经验风险最小化准则代替期望风险最小化并没有经过充分的理论论证，但这种思想却在传统的机器学习方法研究中占据了主要的地位。以前大量研究都将注意力集中到如何更好地最小化经验风险上，而实际上，即使可以假定当n趋向于无穷大时，在很多问题中的样本数目也离无穷大相差很远。有限样本下ERM准则得到的结果并不能使真实风险也较小。 神经网络的过学习问题：很多注意力都集中在如何使经验风险更小，但是训练误差小并不总能导致好的预测效果。某些情况下，训练误差过小反而会导致推广能力的下降，即真实风险的增加，这就是神经网络的过学习问题。（过拟合）,第八章 基于支持向量机的智能检测,有限样本的情况下，经验风险最小并不一定意味着期望风险最小；学习机器的复杂性不但应与所研究的系统有关，而且要和有限数目的样本相适应。需要一种能够指导在小样本情况下建立有效的学习和推广方法的理论。 统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括下面四个方面： 经验风险最小化准则下统计学习一致性的条件； 在这些条件下关于统计学习方法推广性的界的结论； 在这些界的基础上建立的小样本归纳推理准则； 实现新的准则的实际方法（算法）。,SVM,第八章 基于支持向量机的智能检测,VC维 为了研究学习过程一致收敛的速度和推广性，Vapnik V N在统计学习理论定义了一系列有关函数集学习性能的指标，其中最重要的是VC维（Vapnik-Chervonenkis Dimension）。 模式识别方法中VC维的直观定义 对一个指示函数集，如果存l个样本能够被函数集中的函数按所有可能的2 l种形式分开，则称函数集能够把l个样本打散；函数集的VC维就是它能打散的最大样本数目l 。 若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大。有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。,第八章 基于支持向量机的智能检测,VC维 反映了函数集的学习能力，VC维越大则学习机器越复杂。 目前尚没有通用的关于任意函数VC维计算的理论，只对一些特殊的函数集知道其VC维。 在n维实数空间中线性分类器和线性实函数的VC维是n+1。 对于一些比较复杂的学习机器（如神经网络），其VC维除了与函数集（神经网结构）有关外，还受学习算法等的影响，其VC维的确定更加困难。 对于给定的学习函数集，如何（用理论或实验的方法）计算其VC维是当前统计学习理论中有待研究的一个重要问题。,第八章 基于支持向量机的智能检测,结构风险最小化 经验风险和实际风险之间的关系，即推广性的界。 得到的结论是：经验风险 和实际风险 之间以至少 的概率满足如下关系 其中l是函数集的VC维，n是样本数。这一结论从理论上说明了学习机器的实际风险是由两部分组成的：一是经验风险（训练误差），另一部分称作置信范围，它和学习机器的VC 维及训练样本数有关。,第八章 基于支持向量机的智能检测,结构风险最小化 经验风险和实际风险之间的关系，即推广性的界。上式表明，在有限训练样本下，学习机器的VC维越高则置信范围越大，导致真实风险与经验风险之间可能的差别越大。这就是为什么会出现过学习现象的原因。机器学习过程不但要使经验风险最小，还要使VC维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。,第八章 基于支持向量机的智能检测,结构风险最小化 统计学习理论给出了合理的函数子集结构应满足的条件及在SRM准则下实际风险收敛的性质。 构造一组嵌套的函数子集，使其VC维由内向外依次递增，然后在该嵌套子集中寻找能够使经验风险和置信范围之和最小的子集，从而使得实际风险上界达到最小化。支持向量机方法实际上就是这种思想的具体实现。,结构风险最小化示意图,第八章 基于支持向量机的智能检测,用于线性分类的支持向量机 SVM是从线性可分情况下的最优分类面发展而来的，基本思想可用右图的两维情况说明。 最优分类线就是要求分类线不但能将两类正确分开（训练错误率为0），而且使分类间隔最大。 使分类间隔最大实际上就是对推广能力的控制，这是SVM的核心思想之一。,线性可分情况下的最优分类线,第八章 基于支持向量机的智能检测,用于线性分类的支持向量机 在线性分类SVM算法中，假设训练样本集为 其中 （R表示为实数域）。对于两类的分类问题， 。支持向量机分类算法的原始形式可归结为下列二次规划问题（Quadratic Programming，QP） 当无错分样本时，最小化目标函数的第一项等价于最大化两类间的间隔，可降低分类器的VC维，实现结构风险最小化原则。,为松弛项，表示错分样本的惩罚程度；,C为常数，用于控制对错分样本惩罚的程度，实现在错分样本数与模型复杂性之间的折衷；,第八章 基于支持向量机的智能检测,用于线性分类的支持向量机 上述二次规划的对偶形式为 根据最优化理论中的KKT条件，只有少量样本的 值不为零，Vapnik V N等人称之为支持向量，这便是支持向量机名称的由来。 SVM的最优求解基于结构风险最小化思想，因此比其它非线性函数逼近方法具有更强的泛化能力。,其中 为Lagrange乘子。,第八章 基于支持向量机的智能检测,用于非线性回归的支持向量机,最小化,最大化,非线性回归模型,第八章 基于支持向量机的智能检测,用于非线性回归的支持向量机 概括地说，支持向量机就是首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，在这个空间中求（广义）最优分类面。SVM形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个支持向量。,支持向量机结构示意图,第八章 基于支持向量机的智能检测,SVM常用核函数,第八章 基于支持向量机的智能检测,SVM训练算法 传统的利用标准二次型优化技术解决对偶问题的方法，是SVM训练算法慢及受到训练样本集规模制约的主要原因。 目前已提出了许多解决方法和改进算法，主要是从如何处理大规模样本集的训练问题、提高训练算法收敛速度等方面改进。 代数算法：QP算法、Chunking算法、Osuna算法、SMO算法。 几何算法：SK算法、Gilberts算法、MDM算法、NPA算法。,第八章 基于支持向量机的智能检测,SVM训练算法：序贯最小优化(SMO) SVM的训练问题实际上是一个凸规划问题，或者其对偶问题一个二次规划问题。在最优化理论中的许多成熟的算法都需要利用整个Hessian矩阵，但是受计算机内存容量的限制，这些算法仅适用于学习样本较少的情况，而无法处理大量学习样本数据的训练问题。因此设计适于大量学习样本的训练算法成为SVM建模研究中的一个重要内容。其中序贯最小优化(Sequential Minimal Optimization，SMO)算法是一种比较有效的训练算法，在SVM大样本训练中得到广泛应用。,第八章 基于支持向量机的智能检测,SVM训练算法：序贯最小优化 序贯最小优化是由Platt J C提出的，该算法工作集中只有2个样本，其优点是针对2个样本的二次规划问题可以有解析解的形式，从而避免了多样本情形下的数值解不稳定及耗时问题，同时也不需要大的矩阵存储空间，非常适合稀疏样本。 Platt J C利用两条行之有效的经验确定工作集。外层循环在某个乘子集合中遍历，将第一个不满足优化条件的乘子作为第一个被优化对象。第一次遍历全部乘子，以后遍历非有界乘子；如果所有非有界乘子都满足优化条件，则再次遍历全部乘子。一旦找到第一个乘子，内层循环寻找第二个乘子，使其在当前迭代步中具有最大的改变量。 为减少计算量，Platt J C直接根据当前分类器对样本的分类错误量来大致估计。对估计值不满足要求的情况还设计出了相应对策。一旦确定了工作集，就得到一个二阶的QP问题，可以求得解析解，而无需其他复杂的优化软件包。,第八章 基于支持向量机的智能检测,SVM训练算法：序贯最小优化 在许多实际问题中，样本数据的各分量中有很多是零。SMO算法充分利用了这种稀疏性，优化某些核函数的计算，减少了核函数的计算量。 SMO算法主要包括两个步骤：一是求解最小工作集中两个Lagrange乘子优化问题的分解步骤；二是如何选择这两个Lagrange乘子。将SMO算法应用到SVM大量学习样本的训练中，可以大大缩短训练时间，提高程序效率。,第八章 基于支持向量机的智能检测,SVM方法的特点 由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解。 非线性映射是SVM方法的理论基础，SVM利用内积核函数代替向高维空间的非线性映射。 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。,第八章 基于支持向量机的智能检测,SVM方法的特点 SVM 的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。 少数支持向量决定了最终结果，这不但可以抓住关键样本、“剔除”大量冗余样本，而且注定了该方法不但算法简单，而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在： 增、删非支持向量样本对模型没有影响; 支持向量样本集具有一定的鲁棒性; 有些成功的应用中，SVM 方法对核的选取不敏感。,第八章 基于支持向量机的智能检测,近年来SVM方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用，显示了它的优势。 SVM 通过核函数实现到高维空间的非线性映射,所以适合于解决本质上非线性的分类、回归和密度函数估计等问题。 支持向量方法也为样本分析、因子筛选、信息压缩、知识挖掘和数据修复等提供了新工具。 支持向量机用于智能检测的方法是通过建立支持向量机回归模型构造软测量仪表。,第八章 基于支持向量机的智能检测,最小二乘支持向量机(LS-SVM) 加权最小二乘支持向量机 模糊最小二乘支持向量机,第八章 基于支持向量机的智能检测,原始问题： 其对偶问题：,第八章 基于支持向量机的智能检测,原始问题： 其对偶问题：,第八章 基于支持向量机的智能检测,最小二乘支持向量机 最小二乘支持向量机用最小二乘线性系统作为损失函数，代替传统的二次规划方法。因此，LS-SVM在利用结构风险原则时，其优化问题变为： 其Lagrange函数为：,第八章 基于支持向量机的智能检测,最小二乘支持向量机 求Lagrange函数最小值 整理得到(n+1)维线性方程 LS-SVM最小二乘向量机估计函数为,第八章 基于支持向量机的智能检测,发酵过程包括大量复杂的生化反应和迁移现象。发酵过程中底物浓度、菌体浓度、产物浓度随时间变化，发酵液物料的性质，如密度、黏度、流变学特性、表面张力、氧及其他性质如扩散系数、氧饱和浓度也随时间发生变化。由于一系列分解代谢和合成代谢的结果，引起了温度、pH值、氧化还原电位、排气二氧化碳和溶解氧的变化。为了能够有效地控制发酵，就需要获得发酵过程变量的变化信息，对发酵过程关键生物参量的变化进行检测。 目前，生物参量测量大多采用手工离线取样测量，如干重法、离心叠集细胞体积法、直接染色法、光密度法和细胞计数法等。这些方法操作复杂，滞后时间长，测量误差大，且测量精度受死细胞影响，不能及时反映发酵状态，难以满足发酵过程实时控制的要求，且取样测量容易污染杂菌，影响发酵的正常进行。,第八章 基于支持向量机的智能检测,生物参量在线测量对发酵工程的优化和控制具有重要意义，国内外的研究者一直致力于生物参量在线测量的研究。在以硬件形式直接在线测量的方法中，代表性的有光浊度法、荧光法、介电常数法、超声波法等。这些方法在使用上都有局限性，每种测量方法都有各自的特点和适用范围，且在线分析仪器价格昂贵、维护费用高、测量滞后大，不能适用于所有发酵过程的生物参量的在线测量。 近年来，随着软测量技术的研究进展，应用软测量技术研究生物参量在线估计已成为一个重要研究领域。 Wang J L, Yu T, Jin C Y. On-line estimation of biomass in fermentation process using support vector machineJ. Chinese Journal of Chemical Engineering, 2006, 14(3): 383-388. Desai K, Badhe Y, Tambe S S, et al. Soft-sensor development for fed-batch bioreactors using support vector regression J. Biochemical Engineering Journal, 2006, 27(3):225-239.,第八章 基于支持向量机的智能检测,有关SVM在发酵过程软测量中应用的中文文献 马勇，黄德先，金以慧. 基于支持向量机的软测量建模方法J. 信息与控制，2004, 33(4): 417-421. 常玉清，王福利，王小刚，等. 基于支持向量机的软测量方法及其在生化过程中的应用J. 仪器仪表学报，2006, 27(3): 241-244. 高学金，王普，孙崇正，等. 基于动态 的发酵过程建模J. 仪器仪表学报，2006, 27(11): 1497-1500. 孙玉坤，陈明忠，嵇小辅，等. 基于支持向量机的赖氨酸发酵生物参数软测量J.仪器仪表学报，2008, 29(10): 2067-2071. 刘国海，周大为，徐海霞，等. 基于SVM的微生物发酵过程软测量建模研究J.仪器仪表学报，2009, 30(6): 1228-1232.,第八章 基于支持向量机的智能检测,采用 不敏感损失回归SVM进行软测量模型的建立，采用SMO算法进行样本的训练。,第八章 基于支持向量机的智能检测,数据归一化处理 进行SVM建模以前，需要对训练样本集进行缩放，主要目的在于避免一些特征值过大而另一些特征值范围过小，同时也可避免在训练时为了计算核函数而计算内积的时候引起数值计算困难。因此在建立SVM模型前将样本数据缩放到-1,1之间。在进行SVM模型预测时，需要将输入数据集缩放到-1,1之间，得到的输出结果也在-1,1之间，需要经过转换后得到正常范围内的输出预测结果。,第八章 基于支持向量机的智能检测,SVM参数选择方法 核函数和参数的选择对SVM模型的性能有非常大的影响。在 不敏感损失回归SVM中选用径向基RBF核函数，则在模型一共有3个参数需要确定：C， 和 。C是SVM模型中对误差项的惩罚系数， 是RBF核函数中的参数， 是 不敏感损失回归模型中的不敏感损失函数值。 对于C和 的取值，采用网格搜寻和 折交叉验证的方法选择最佳参数取值，从而保证SVM回归能够具有对未知输入的准确预测。,第八章 基于支持向量机的智能检测,SVM参数选择方法 折交叉验证的方法是将学习训练样本分为 份子集。反复地将其中一份子集作为预测子集，其他 份用于SVM模型的训练。最后，学习样本中每一份子集都将被用于一次预测，所有子集的预测误差和作为交叉验证的准确度指标。为了获得最优的参数，利用C和 的不同取值重复进行 折交叉验证。每次交叉验证都需要计算所有子集的预测误差，得到预测准确度指标。最后，根据预测准确度指标可以选择预测误差和最小的参数值。,第八章 基于支持向量机的智能检测,SVM参数选择方法 的参数值决定了回归模型中支持向量的个数。当 值减小时，支持向量占样本总数的比例（记作%SV）将增大，同时SVM的模型复杂度也增强。相反地，当 值增大时，SVM模型将具有较强的泛化能力但是训练误差将增大，%SV也减小。 与输入系统的噪声水平成比例关系，它的取值范围一般为0.001到0.1。因此在实际建模过程中，分别取 的值为0.1，0.01和0.001。%SV随着 的减小而增大。作为模型在泛化能力和训练精度两个指标中的折中方案，选择三个 参数值中%SV最