LSSVM--matlab

精品文档 1欢迎下载 最小二乘支持向量机最小二乘支持向量机 对于以前的版本 1 5 版的工具箱和更新现有的一些命令我们增加了新功能 由于许多 读者都是熟悉的版本 1 5 布局 我们试图尽可能少地改变它 主要的区别加速了一些方法 的实现 Chapter solver functionWhat s new What s new 2 LS SVMLab toolbox examples LS SVM 的路线图 增添更多的回归和 分类的例子 界面更容易 多级分类 改变 执行了健全 ls svm 3 Matlab functions 回归或分类的可能性只使用一条命令即 可 功能验证已经被删除 更快 强劲 训 练和 强大 模型选择标准被提供给用户 以防万一 稳健回归不同的函数必须要和与 迭代重加权 LS SVM 一起使用 4 LS SVM solver 所有 CMEX 和 或 C 文件已被删除 求解 线该性系统通过使用 MATLAB 命令 反斜杠 精品文档 2欢迎下载 第一章第一章 引言引言 在解决非线性分类 函数估计和密度估计问题中 支持向量机是一个很强大的方法 支持向量机也致使了其核心的新动向 最新发展事基于一般学习方法的 支持向量机应经 被引入统计学习理论和结构风险最小化之中 这些方法中 凸优化问题 解决了一个典型的 二次规划问题 LS SVM 是标准 SVM 的改进 这样就可以解决线性 kkt 系统的问题了 最小 二乘支持向量机与正规化网络和高斯过程密切相关 但更加重视和利用原始对偶的规范条 款解释 经典的模式识别算法的内核版本如判别分析的内核 Fisher 以非监督学习 循环 式网络扩展和控制之间的链接是可用的 健全性 稀疏性 权重可以被应用到 LS SVM 上 并具有三个层次的推理贝叶斯框架已经制定 LS SVM 像原始对偶那样配方给予核 PCA 核 CCA 和 PLS 对于非常大的规模问题和在线学习 一个固定大小的 LS SVM 方法被提出 它基于 Nystrom 在原始空间中支持向量的积极选择和估计的近似值 原始对偶申述的方法 被开发为核心谱聚类 数据可视化 降维和生存分析 目前 LS SVMlab 工具箱用户指南包含了大量 MATALAB 中 LS SVM 算法的实现 其中 涉及分类 回归 时间序列预测和无监督学习 所有的功能都已经用 Matlab 从 R2008a R2008b R2009a 测试 工具箱中参考命令都以打印字体书写 LS SVMlab 主页 http www esat kuleuven be sista lssvmlab 精品文档 3欢迎下载 第二章第二章 LS SVMlabLS SVMlab 该工具箱主要用于商业用 Matlab 软件包使用 Matlab 的工具箱已经在不同的计算机 体系结构编译和测试 包括 Linux 和 Windows 大部分函数可以处理的数据集可高达 20 000 或更多点的数据 LS SVMlab 对 Matlab 接口包括一个适合初学者的基本版本 以 及一个多类编码技术和贝叶斯框架的更先进的版本 未来版本将逐步加入新成果的和额外 的功能 大量功能受到最小二乘 支持向量机的限制 其中包括 最小二乘支持向量机在函数中 的扩展名 其余的都是一般使用 大量的演示说明如何使用工具箱中的不同功能 Matlab 的函数接口以两种方式组织 例如在网络实验室人们可以根据自己的选择将函数既可以按 照功能性方式调用又可以按照面向对象的结构方式调用 2 12 1 分类和优化分类和优化 调用函数 调用函数 trainlssvm simlssvm plotlssvm prelssvm postlssvm 演示 演示 Subsections demofun democlass Matlab 的工具箱是围绕一个快速 LS SVM 的训练和模拟算法而建立的 相应的函 数调用可用于分类以及函数估计 函数 plotlssvm 显示该模型在培训点区域模拟结果 通过执行 Matlab 中灵活和简单代码 lssvmMATLAB m 来求解线性系统 它基于 Matlab 矩阵分解 反斜杠命令 为准 对单个和多个输出回归和分类的函数都可以使用 训练和模拟可以做到为每个输出 分别通过传递不同的核函数 内核和 或作为列向量正规化参数 执行工具箱中其他核函 数也是简单的 一个模型的性能依赖于输入数据和输出数据的缩放 一个适当的算法检测 适当的 重新调整重设比例 分类和二进制变量 精品文档 4欢迎下载 2 1 12 1 1 分类扩展分类扩展 调用函数 调用函数 codelssvm code deltablssvm roc latentlssvm 演示 演示 Subsection democlass 大量附加功能的文件是可用于分类工作的 对于模拟分类模型的潜变量是通过模拟得到的连 续的结果 这个结果最终是离散的 受试者工作特征曲线 ROC 可以用来衡量一个分类器的性能 多类分类问题分解成多个二元分类任务 几种编码方案可以用在了这一点 最小输出 一比一 一对多和纠错编码方案 可以用海明距离 损失函数距离和贝叶斯损解码来解码一个给定的结果 一个偏差期限校正是可以做 然而对于小数据集是特别有趣的 2 1 22 1 2 调谐 稀疏 完整性调谐 稀疏 完整性 调用函数 调用函数 tunelssvm crossvalidatelssvm leaveoneoutlssvm robustlssvm sparselssvm 演示 演示 Subsections demofun democlass demomodel 估算训练模式的泛化性能的很多方法都包括在内 对于分类 可以用错误分类率 misclass 来表述 对重复培训和验证为基础的估计都是通过 crossvalidatelssvm 和 leaveoneoutlssvm 来实现的 一个强大的 crossvalidation 关于迭代重加权 LS SVM 的 分数由 rcrossvalidatelssvm 函数被调用 这些绩效措施 可用于确定调整参数 如正规 化和内核参数的 LS SVM 的 tunelssvm 减少一个 LS SVM 的模型的复杂性可以通过 反复修剪较重要支持值 sparselssvm 在数据中的异常值的情况下 支持数值的更正将 改进模型 robustlssvm 2 1 32 1 3 贝叶斯框架贝叶斯框架 调用函数 调用函数 bay lssvm bay optimize bay lssvmARD bay errorbar bay modoutClass 精品文档 5欢迎下载 kpca eign 演示 演示 Subsections 计算模型的后验概率和不同层次的推理中超参数的函数是可以用的 通过考虑模型和 超参数的不确定性得到误差线 进行分类 一类可以估算后概率 这也被称为主持输出 bay modoutClass 在贝叶斯框架中使用特征值分解核矩阵 矩阵的大小会随着数据点 的数量而增长 因此 人们需要逼近技术处理大型数据集 众所周知 主要特征值和相应 的特征向量是相关的 因此 迭代逼近方法 如作为 Nystrom 方法包括在内 这也是高斯 过程中经常使用 输入选择可以通过自动关联的测定 bay lssvmARD 对于一个落后的变 量的选择 贝叶斯框架推断的第三个层次对这个问题来说最合适的运用 2 22 2 NARXNARX 模型及预测模型及预测 调用函数 调用函数 predict windowize 演示 演示 Subsection 对非线性 NARX 时间序列应用系统可以扩散 一个 NARX 模型能够建立基于非线性回归 量 这是通过对过去数据的输出 或输入 的测量来估计下一次迭代输出的值 使一个数 据集通过窗口和 NARX 窗口转变为一个新的输入 过去测量的 和输出集 未来的输出 这两个窗口分别为时间序列事件和一般的外部输入 NARX 事件 迭代预测 在递归方法中 下一个输出 该输出是基于先前的预测 及初始值都是由预测来工作 2 32 3 非监督学习非监督学习 调用函数 调用函数 kpca denoise kpca preimage rbf 精品文档 6欢迎下载 演示 演示 Subsection 非监督学习可以基于主成分分析 kpca 所描述的内核进行工作 为此 一种对最小 二乘支持向量机的原始双重的解释得到屈服 这也将进一步扩展到内核典型相关分析和内 核偏最小二乘法 2 42 4 通过固定大小的最小二乘支持矢量机解决大型规模问题通过固定大小的最小二乘支持矢量机解决大型规模问题 调用函数 调用函数 demo fixedsize AFEm kentropy 演示 演示 Subsection demo fixedsize demo fixedclass 例如喜欢基于最小二乘支持向量机算法的典型内核通常具有记忆功能和算法复杂度为 O N 2 的计算要求 为绕过这个瓶颈 对大规模的工作方法提出了解决方案 对于大型数 据集 将有利于在原始权空间解决最小二乘问题 这是由于当时未知数向量大小是与特征 向量大小是成比例的 而不是数据点的数量 但是 该特征空间映射是由内核诱导的 而 内核又需要获得非线性 因此 提出了一种固定大小的最小二乘支持向量机的方法 首先 Nystr om 方法能够用来估计特征空间的映射 Nystr om 近似值 内核主成分分析和密度估 计之间的联系已被讨论 在固定大小的最小二乘支持向量机中 聘请了明确的原始对偶 LS SVM 的解释 将它们联系起来 根据二次 Renyi 熵准则选择支持向量机 最后一步 在 原始空间中完成回归 原始空间为求解大规模非线性函数估计和分类问题提供了适当的方 法 而固定大小的最小二乘支持向量机的方法正适合处理非常大的数据集 另一个选择子集的标准由 41 and 24 提出 并与之有很紧密的联系 它衡量特征 空间和由子集引起的空间逼近的质量 视为自动特征提取或 AFEm 该子集被认为是从数 据 子样本 提取的随机子样本 精品文档 7欢迎下载 第三章第三章 LS SVMlabLS SVMlab 工具箱举例工具箱举例 3 13 1 LSLS SVMSVM 布局布局 在这节中 我们简单地概括一下如何获得的 LS SVM 模型 用于分类和回归有效 见图 3 1 1 面向功能或面向对象接口 initlssvm 之间进行选择 见图 A 3 15 2 寻找合适的优化参数 tunelssvm 搜索 见图 A 3 35 精品文档 8欢迎下载 3 训练原先确定优化参数的给定模型 trainlssvm 见图 A 3 34 4a 例如模拟模型测试数据 simlssvm 见图 A 3 32 4b 必要的时候将结果可视化 plotlssvm 见图 A 3 24 3 3 2 2 分类分类 首先 对工具箱中进行任务分类的可能性说明 3 2 13 2 1 hellohello worldworld 一个简单的例子说明如何开始使用工具箱中的分类任务 我们首先我们按照正确的格 式构建一个简单的数据集示例 数据表示为矩阵 每个矩阵包含一个数据点行 X 2 rand 100 2 1 Y sign sin X 1 X 2 X X 0 9003 0 9695 0 5377 0 4936 0 2137 0 1098 0 0280 0 8636 0 7826 0 0680 0 5242 0 1627 精品文档 9欢迎下载 0 4556 0 7073 0 6024 0 1871 Y Y 1 1 1 1 1 1 1 1 为了建立一个 LS SVM 模型 带有高斯 RBF 核 我们需要两个调整参数 GAM 的是正则参数 它取决与训练误差最小化和平滑程度之间的权衡程度 通常情况下在高斯 RBF 核中 2 sig2 是平方带宽 gam 10 sig2 0 4 type classification alpha b trainlssvm X Y type gam sig2 RBF kernel 参数和与 LS SVM 相关的变量是通过为一个单元联系起来 此单元允许 LS SVM 的 参数和相关参数的默认处理句法分类一致 这个定义应该由整个统一使用该 LS SVM 的模 型使用 相应的 LS SVMlab 面向对象接口导致短函数调用 见 demomodel 精品文档 10欢迎下载 默认情况下 数据是由适用于原始数据预处理功能的函数 prelssvm 和对模型进行预测 的函数 postlssvm 来处理的 此选项在调用中可以进行显式切换 alpha b trainlssvm X Y type gam sig2 RBF kernel original or be switched on by default alpha b trainlssvm X Y type gam sig2 RBF kernel preprocess 一定要始终使用相同的选项在所有连续调用中 为了评估这个模型中新的点 需要使 用函数 simlssvm Xt 2 rand 10 2 1 Ytest simlssvm X Y type gam sig2 RBF kernel alpha b Xt 如果输入数据的维数是 2 LS SVM 的结果就可以显示 plotlssvm X Y type gam sig2 RBF kernel alpha b 所有的绘制是通过这个简单的命令 它查找结果中显示的最佳方式 见图 3 2 3 2 23 2 2 示例示例 精品文档 11欢迎下载 著名的里普利数据集的问题包括两个类 在每个类中的数据是由两个混合正态分布生成的 见图 3 3a 首先 我们基于某数据集建立一个 LS SVM 模型并确定合适的优化参数 在这种情况下 调整参数 例如 10 3 105 和带宽 2 0 01 3 平方内核 load dataset type classification L fold 10 L fold crossvalidation gam sig2 tunelssvm X Y type RBF kernel 1e 3 1e5 0 01 3 crossvalidatelssvm L fold misclass alpha b trainlssvm X Y type gam sig2 RBF kernel plotlssvm X Y type gam sig2 RBF kernel alpha b 默认情况下 为优化参数的最低和最高值都设置为 0 05 148 和带宽 2 0 08 12 平方内核 gam sig2 tunelssvm X Y type RBF kernel crossvalidatelssvm L fold misclass 受试者工作特征 ROC 曲线提供了有关的质量信息分类 alpha b trainlssvm X Y type gam sig2 RBF kernel latent variables are needed to make the ROC curve Y latent latentlssvm X Y type gam sig2 RBF kernel alpha b X area se thresholds oneMinusSpec Sens roc Y latent Y thresholds oneMinusSpec Sens ans 2 1915 1 0000 1 0000 精品文档 12欢迎下载 1 1915 0 9920 1 0000 1 1268 0 9840 1 0000 1 0823 0 9760 1 0000 0 2699 0 1840 0 9360 0 2554 0 1760 0 9360 0 2277 0 1760 0 9280 0 1811 0 1680 0 9280 1 1184 0 0 0080 1 1220 0 0 2 1220 0 0 相应的 ROC 曲线如图 3 3b 所示 精品文档 13欢迎下载 图 3 3 ROC 曲线的里普利分类任务 一 原 LS SVM 的分类器 二 接收器工作特性曲 线 3 2 33 2 3 使用面向对象的接口 初始化最小二乘支持向量机 使用面向对象的接口 初始化最小二乘支持向量机 initlssvminitlssvm 另一种可能获得相同的结果是使用面向对象接口 如下所示 load dataset gateway to the object oriented interface model initlssvm X Y type RBF kernel model tunelssvm model 1e 3 1e5 0 01 3 crossvalidatelssvm L fold misclass model trainlssvm model plotlssvm model latent variables are needed to make the ROC curve Y latent latentlssvm model X area se thresholds oneMinusSpec Sens roc Y latent Y 3 2 43 2 4 最小二乘支持向量机的分类 只有一个命令行最小二乘支持向量机的分类 只有一个命令行 用简单的方法获得一个最小二乘支持向量机模型如下 二进制分类问题和一对一多类 编码 load dataset type classification Yp lssvm X Y type 该最小二乘支持向量机命令通过十倍交叉验证 简称 CV 或留出一个依赖于样本大小 的交叉验证来自动调整参数 此功能将自动的解决 如有可能 问题 默认情况下 高斯 RBF 将会被采用 更多信息 请参见图 A 3 23 3 2 53 2 5 贝叶斯推理的分类贝叶斯推理的分类 针对 3 2 2 节的结果 本节将做进一步的分析 贝叶斯框架被用来调整优化参数 以 精品文档 14欢迎下载 获得适当的输出 最优正规化参自由亚齐运动的参数和内核参数 sig2 可分别通过优化成本 推理的第二层和第三层获得 建议采用合适的初始值来初始化模型 gam sig2 bay initlssvm X Y type gam sig2 RBF kernel Optimization on the second level leads to an optimal regularization parameter model gam opt bay optimize X Y type gam sig2 RBF kernel 2 Optimization on the third level leads to an optimal kernel parameter cost L3 sig2 opt bay optimize X Y type gam opt sig2 RBF kernel 3 Theposteriorclassprobabiliesarefoundbyincorporatingtheuncertaintyofthemodelpara meters gam 10 sig2 1 Ymodout bay modoutClass X Y type 10 1 RBF kernel figure One can specify a prior class probability in the moderated output in order to compensate for an unbalanced number of training data points in the two classes When the training set contains N positive instances and N negative ones the moderated output is calculated as N prior N N Np 10 Nn 50 prior Np Nn Np 精品文档 15欢迎下载 Posterior class P bay modoutClass X Y type 10 1 RBF kernel figure prior The results are shown in Figure 3 4 结果如图 3 4 所示 精品文档 16欢迎下载 图 3 4 a 展示的是基于里普利数据 LS SVM 的分类器输出设置 该颜色表示的概率属于 某一个类 b 这个例子说明了一个不平衡的里普利数据子集主持输出 人们可以弥补在主持输 出数据计算不平衡 需要注意到在用阳性标本的蓝区面积增加补偿而红色区相应缩小 3 2 63 2 6 多级编码多级编码 下面的示例将演示如何使用多级编码方案的问题 编码和解码分别被视为一个单独的和独立 的预处理和后处理步骤 图 3 5 a and 3 5 b 一个名为 demomulticlass 的演示文件包含在工具箱中 load multiclass data Ycode codebook old codebook code Y code MOC alpha b trainlssvm X Ycode classifier gam sig2 Yhc simlssvm X Ycode classifier gam sig2 alpha b Xtest Yhc code Yh old codebook codebook codedist hamming 在多类分类问题 它是最容易使用的面向对象接口集其中集成了 LS SVM 训练和模拟调用 的编码 load multiclass data model initlssvm X Y classifier RBF kernel model tunelssvm model 1e 3 1e5 0 01 15 leaveoneoutlssvm misclass code OneVsOne model trainlssvm model plotlssvm model 精品文档 17欢迎下载 该 tunelssvm 例行的最后一个参数可以设置 code OneVsOne 一对一编码 code MOC 最小输出编码 code ECOC 纠错输出码 code OneVsAll 一对多编码 精品文档 18欢迎下载 图 3 5 LS SVM 的多类的例子 a 一对一编码 b 纠错输出码 c 最小输出编码 d 一对多编码 3 33 3 回归回归 3 3 13 3 1 一个简单的例子一个简单的例子 这是一个简单的演示 使用 ls SVMlab 解决一个简单的回归任务 以正确的格式构建数 据集 这些数据被表示为矩阵的每一行包含的一个数据点 X linspace 1 1 50 Y 15 X 2 1 2 X 4 exp X normrnd 0 0 1 length X 1 X 精品文档 19欢迎下载 X 1 0000 0 9592 0 9184 0 8776 0 7959 0 9592 1 0000 Y Y 0 0138 0 2953 0 6847 1 1572 1 5844 1 9935 0 0613 0 0298 为了获得一个 LS SVM 模型 带有 RBF 内核 我们需要两个额外的优化参数 GAM 的 是正则参数 取决于对训练误差最小化和估计函数平滑的权衡 2 sig2 是内核函数的参数 在这种情况下 我们进行用十倍交叉验证的方法分析以确定优化参数 type function estimation gam sig2 tunelssvm X Y type RBF kernel 1e 3 1e5 0 01 3 精品文档 20欢迎下载 leaveoneoutlssvm mse alpha b trainlssvm X Y type gam sig2 RBF kernel plotlssvm X Y type gam sig2 RBF kernel alpha b 参数和 LS SVM 的变量是通过为一个单元相关联的 此单元格允许 LS SVM 的参数和相关 默认参数处理句法分类一致 这个定义应该由整个统一使用该 LS SVM 的模型使用 LS SVMlab 所面向对象的接口导致了较短的函数调用 默认情况下 对应用程序的原始数据数据可以 使用 prelssvm 进行预处理 对模型的预测用函数 postlssvm 在调用中此选项可以进行显式关闭 alpha b trainlssvm X Y type gam sig2 RBF kernel original or can be switched on by default alpha b trainlssvm X Y type gam sig2 RBF kernel preprocess 一定要始终使用相同的选项在所有连续调用中 为了评估这个模型中新的点 需要使用函数 simlssvm Xt rand 10 1 sign randn 10 1 然后 我们得到基于模拟测试数据的模型 Yt simlssvm X Y type gam sig2 RBF kernel preprocess alpha b Xt ans 0 0847 0 0378 1 9862 0 4688 0 3773 1 9832 0 2658 0 2515 精品文档 21欢迎下载 1 5571 0 3130 如果输入数据的维数是 1 或 2 最小二乘支持向量机的结果可以显示出来 plotlssvm X Y type gam sig2 RBF kernel preprocess alpha b 所有的绘制是通过这个简单的命令实现的 它是显示结果的最佳方式 如图 3 6 3 3 23 3 2 最小二乘支持向量机的回归 只有一个命令行 最小二乘支持向量机的回归 只有一个命令行 作为一种替代方式 它可以使用一行最小二乘支持向量机命令 type function estimation Yp lssvm X Y type 默认情况下 采用高斯径向基函数内核 其坐标的范围设置为 0 05 148 它的平 方内核带宽设置为 2 0 08 12 更多信息见 A 3 23 中所示 图 3 6 简单的回归问题 实线表示估计输出 虚线代表真实的基本函数 点代表训练的数 据点 3 3 33 3 3 贝叶斯推断回归贝叶斯推断回归 type function approximation X linspace 2 2 2 2 250 精品文档 22欢迎下载 Y sinc X normrnd 0 1 size X 1 1 Yp alpha b gam sig2 lssvm X Y type 对训练数据的计算误差线使用贝叶斯推理 sig2e bay errorbar X Y type gam sig2 figure 所产生的误差线如图 3 7 所示 图 3 7 该图给出最小二乘支持向量机估计 实线 的 68 误差线 绿色虚线和绿色双虚线 和 95 误差线 红色虚线和红色双虚线 在接下来的例子中 说明了该自动相关确定的过程 X normrnd 0 2 100 3 Y sinc X 1 0 05 X 2 normrnd 0 1 size X 1 1 自动相关确定被用来确定提出的模型的最相关的输入子集 inputs bay lssvmARD X Y type 10 3 alpha b trainlssvm X inputs Y type 10 1 3 3 43 3 4 使用面向对象模型接口使用面向对象模型接口 这一事例说明了如何使用模型接口 在这里 涉及到回归 但这与分类拓展是相似的 type function approximation X normrnd 0 2 100 1 精品文档 23欢迎下载 Y sinc X normrnd 0 1 size X 1 1 kernel RBF kernel gam 10 sig2 0 2 定义一个模型 model initlssvm X Y type gam sig2 kernel model model type f x dim 1 y dim 1 nb data 100 kernel type RBF kernel preprocess preprocess prestatus ok xtrain 100 x1 double ytrain 100 x1 double selector 1x100 double gam 10 kernel pars 0 2000 x delays 0 y delays 0 steps 1 latent no code original 精品文档 24欢迎下载 codetype none pre xscheme c pre yscheme c pre xmean 0 0690 pre xstd 1 8282 pre ymean 0 2259 pre ystd 0 3977 status changed weights whuber 通过以下调用进行训练 模拟和决策执行 model trainlssvm model Xt normrnd 0 2 150 1 Yt simlssvm model Xt plotlssvm model 贝叶斯框架推理的第二层可以被用来优化调整自由亚齐涌动的参数 在这种情况下 需要用 到 Nystr om 的 20 个特征向量的逼近 model bay optimize model 2 eign 50 与推理第三层相关的成本优化提供了一种优化内核参数 这种优化是基于 Matlab 的优化工 具箱实现的 这可能需要一段时间 model bay initlssvm model model bay optimize model 3 eign 50 3 3 5 稳健回归 首先 构建一个含 15 异常值的数据集 X 5 07 5 epsilon 0 15 精品文档 25欢迎下载 sel rand length X 1 epsilon Y sinc X sel normrnd 0 1 length X 1 1 sel normrnd 0 2 length X 1 稳健的调整参数的调整工作由最小二乘支持向量机的交叉有效数据实现 同时注意到首选的 损失函数是 L1 选择成本函数中的加权函数作为胡贝尔加权 在工具箱内可能还有逻辑加权 极 大加权和汉佩尔加权 model initlssvm X Y f RBF kernel L fold 10 10 fold CV model tunelssvm model 1e 3 1e5 0 01 3 rcrossvalidatelssvm L fold mae whuber 由 robustlssvm 执行训练任务 model robustlssvm model plotlssvm model 图 3 8 以一个具有 15 扰动的 Sinc 数据内集进行实验 a 应用标准的训练和超参数选 择技术 b 应用迭代重加权最小二乘支持向量机的训练加上一个强大的 crossvalidation 评分功 能 提高了测试设备的性能 精品文档 26欢迎下载 第二 更极端的例子 我们已采取污染分布是一个立方米的标准柯西分布和 0 3 X 5 07 5 epsilon 0 3 sel rand length X 1 epsilon Y sinc X sel normrnd 0 1 length X 1 1 sel trnd 1 length X 1 3 一如以往 我们使用了可以进行交叉验证的完整版本 成本函数中的加权函数被选为无穷大 所有的加权函数 W R 0 1 其中 W r r r 满足 W 0 1 如表 3 1 所示的相应损 失函数 L R 和得分函数 r dL r dr 这种经过特别设计的加权函数类型是来处理极端 的异常值 结果显示在图 3 9 中 四权函数包含三个参数 在下面的参数设置 五表示残差工具 箱 疯狂的中位数绝对偏差和 IQR 为是跨阶层的范围 Huber weights 1 345MAD e Hampel weights b1 2 5 并且 b2 3 myriad weights 0 5iqr e model initlssvm X Y f RBF kernel L fold 10 10 fold CV model tunelssvm model 1e 3 1e5 0 01 3 rcrossvalidatelssvm L fold mae wmyriad model robustlssvm model plotlssvm model 精品文档 27欢迎下载 图 3 9 以一个具有扰动的 Sinc 数据内集进行实验 a 应用了标准的训练和调整技术参数 的选择 b 应用一个迭代重加权 LS SVM 的训练 无数的权重 加上一个强大的交叉验证评分 功能 提高了测试设备的性能 表 3 1 胡贝尔 汉普尔 逻辑斯蒂和无数 带参数的定义 0 权函数瓦 的相应 损失的 L 和得分函数 也分别给出 3 3 63 3 6 多输出回归多输出回归 多个输出的情况下一个数据可以分别对应不同的输出 其中之一可以让工具箱通过传递正确 的参数来完成 这一案例说明如何处理多重输出 load data in X Xt and Y where size Y is N x 3 精品文档 28欢迎下载 gam 1 sig2 1 alpha b trainlssvm X Y classification gam sig2 Yhs simlssvm X Y classification gam sig2 alpha b Xt 每路输出使用尺寸不同的内核参数 gam 1 sigs 1 2 1 5 alpha b trainlssvm X Y classification gam sigs Yhs simlssvm X Y classification gam sigs alpha b Xt 每个输出使用不同的正规化参数和尺寸的内核 kernels lin kernel RBF kernel RBF kernel kpars 0 2 2 gams 1 2 3 alpha b trainlssvm X Y classification gams kpars kernels Yhs simlssvm X Y classification gams kpars kernels alpha b Xt 调谐可以做到每个输出尺寸 tune the different parameters sigs gam tunelssvm X Y classification gam kpars kernels 3 3 73 3 7 一个时间序列的例子 圣达菲激光数据预测一个时间序列的例子 圣达菲激光数据预测 使用静态回归技术 建立一个前馈非线性预测模型 这个NARX模 型以过去的测量数据模型的输入 load time series in X and Xt lag 50 Xu windowize X 1 lag 1 精品文档 29欢迎下载 Xtra Xu 1 end lag 1 lag training set Ytra Xu 1 end lag end training set Xs X end lag 1 end 1 starting point for iterative prediction 基于前馈交叉验证设置仿真模型 利用feedforwardly训练 gam sig2 tunelssvm Xtra Ytra f RBF kernel 0 5 1500 4 600 crossvalidatelssvm 10 mae 用一个周期性方式完成下100点的预测 alpha b trainlssvm Xtra Ytra f gam sig2 RBF kernel predict next 100 points prediction predict Xtra Ytra f gam sig2 RBF kernel Xs 100 plot prediction Xt 表 3 10 为 Santa Fe 激光数据的显示结果 图 3 10 实线表示的圣达菲激光数据混乱 虚线显示了使用迭代预测与最佳超通过调整参数 得到 RBF 核的 LS SVM 3 3 83 3 8 固定大小的固定大小的 LSLS SVMSVM 固定大小的 LS SVM 的是基于两个想法 见 2 4 节 首先是利用了最小二乘支持向量机 精品文档 30欢迎下载 逼近尼斯特伦原始对偶的方法 见图 3 11 图 3 11 固定尺寸 LS SVM 的是解决大规模回归和分类方法 问题的一种方法 支持向量的数量是预先设定的 并且根据训练池中的数据选择支持向量机 在 估算与 Nystom 相似的特征函数 根据一个熵判据选择 LS SVM 的模型估计就位于其原始空间 第二个是选择活跃的支持向量 这里基于熵标准 第一步实施如下 X Y contains the dataset svX is a subset of X sig2 1 features AFEm svX RBF kernel sig2 X Cl3 gam optimal bay rr features Y 1 3 W b ridgeregress features Y gam optimal Yh features W b 最优值的内核参数和固定大小的 LS SVM 的性能 可通过一个简单的蒙特卡罗实验来 获得 对于不同的内核参数和能力 选择的支持向量的数目 对支持向量的随机子集的性 能进行了评价 实现的方法是由穷举搜索减到最小 如图 3 12b caps 10 20 50 100 200 sig2s 1 2 5 1 2 4 10 精品文档 31欢迎下载 nb 10 for i 1 length caps for j 1 length sig2s for t 1 nb sel randperm size X 1 svX X sel 1 caps i features AFEm svX RBF kernel sig2s j X Cl3 gam opt bay rr features Y 1 3 W b ridgeregress features Y gam opt Yh features W b performances t mse Y Yh end minimal performances i j mean performances end end 与内核参数和性能相对应的最好的参数就可以被搜索到 minp ic min minimal performances 1 minminp is min minp capacity caps ic sig2 sig2s is 下面的方法是根据二次 Renyi 熵优化选择的支持向量 load data X and Y capacity and the kernel parameter sig2 sv 1 capacity 精品文档 32欢迎下载 max c inf for i 1 size X 1 replace ceil rand capacity subset sv 1 replace 1 replace 1 end i crit kentropy X subset RBF kernel sig2 if max c