svm模式识别技术在机械故障诊断中的应用进展

第 29卷第 3期20 9年 6月桂 林 电 子 科 技 大 学 学 报JournalofGuilin University ofElectronicTechnologyVoI29。NO3Jun2009SVM 模式 识别技 术 及在 机械故 障诊 断 中的应用进展王 长林 ，陈 鸿 宝 ，林 玮 ，秦 启 茂 ，宋 宜 梅(1桂 林 电 子 科技 大 学 机 电 工 程 学 院 ，广 西 桂 林；2广 西右 江 矿务 局 ，广 西 田东)摘要 ：支持 向量机 (SuportVectorMachines，SVM)是一种基 于统计 学 习理 论的新型 机器学 习方 法 ，对小样本 决 策 具 有 较 好 的 学 习 推 广 性 。为 在 机 械 故 障 诊 断 中更 好 地 运 用 该 方 法 ，从 基 于 支 持 向量 机 理 论 的模 式 识 别 技 术 和 机 械 故 障 诊 断 中应 用 两 方 面 ，综 述 了 近 年 来 支 持 向 量 机 国 内 外 研 究 应 用 现 状 ，分 析 了 技 术 特 点 、存 在 问 题 、解 决 方 案 及 其 在 机 械 工 程 领 域 应 用 前 景 。关 键 词 ：支 持 向量 机 ；机 器 学 习 ；模 式 识 别 ；故 障 诊 断中 图 分 类 号 ：TH17文 献 标 识 码 ：A文 章 编 号 ：X(2009)03025604Pattern Recognition Based on SupportVectorM achine and Its A pplication in Fault D iagnosisW ANG ChangIin ，CH EN Hongbao ，LIN W ei。，Q ING Q im ao ，SONG Yim ei(1 SchoolofM echanicaland ElectricalEngineeringGuilin U niversityofElectronicTec hnology，Guilin ，ChinaI2GuangxiYouiangBureauofM ines，Tiandong ，China)Abstract：Supportvectormachine (SVM )isanew generalmachinelearningm ethod based on theStatisticalLearn ingTheoryItexhibitsgoodgeneralizationcharacteristicswhen faultsamplesarefewTherecentdevelopmentsof supportvector machinearereviewed and somenew progreses in faultdiagnosis areintroducedSome key tech niques，unsolved problem s，and theprospectofengineeringapplicationsare discussed indetail Key words：supportvectormachine；machinelearning；patern recognition；faultdiagnosis1 机 械 设 备 的故 障 诊 断 技 术机 械 设备 故 障诊 断 技 术 是 现 代 化 生 产 发 展 的 产 物 ，已成 为 保证 生产 系统 安 全 稳定 运 行 和提 高产 品 质 量 的重 要手 段和 关键 技 术 。故 障诊 断 技术 研 究 的关键 问 题 在 于信 号 获 取 、模 式分 类 及 判 别 决 策 ，而 故 障 的 模 式 分类 则 是故 障诊 断过 程 的核 心 所 在 。从本 质 上而 言 ，机械 设备 故 障诊 断 的过 程也 是 个故 障 模式 识 别 的 过 程 ，模 式 识 别 系 统 主要 包 括 4个 部 分 1，如 图 1所 示 。目前 ，人工 神 经 网络 智能 诊 断 技术 是 比较 常用 的 故 障模 式分 类 方法 之一 ，在故 障诊 断 领 域得 到 了较 多 的 研 究和应 用 。然 而 ，人工 神 经 网络 的算法 基 础为 传 统 统计 学理 论 ，具有 一 些 不可 克服 的缺 点和 不 足 ，最图 1 模 式 识 别 系统 的基 本 构 成 框 图 直接 的 问 题就 是 推 广泛 化能 力 不足 ，需 要 大量 的训 练 样本 ，并 且 存 在学 习 问题 。工 程 实 际 中的 机械 故 障 诊 断 问题 ，尤 其是 大 型 机 械 设 备 ，获 取 大 量 的典 型 故 障 样本 非 常 困难 。因此 ，在 机械 故 障诊 断 中 处理 的 一 般 是 小 样 本 问题 ，在 样 本 的数量 上 和质 量 上 都不 能 满 足收稿 日期 ：20081201基 金 项 目 ；国 家 自然 科 学 基 金 ()；广 西 自然 科 学 青 年 基金 () 作 者 简 介 ：王 长 林 (1983一 )，男 ，江 苏 盐 城 人 ，硕 士 研 究 生 ，主 要 研 究 方 向为 机 械 设 备 故 障 智 能 诊 断技 术 。Email：xiaowang6509 163corn第 3期王 长林 等 ：SVM 模 式 识 别 技 术 及 在 机 械 故 障 诊 断 中 的 应 用 进 展257像神 经 网络 等 现 有 的故 障诊 断 方 法对 学 习 样本 的 要 求 ，从而 限制 了这 些 理论 上很 优 秀的算 法 的实 际 应 用 效果 。因此 选 择 一种 具有 良好 的推 广 泛化 能 力 ，适 合 小样 本情 况 的 学 习机 器进 行机 械故 障诊 断 非 常关 键 。支持 向量 机 突 出优点 是推 广泛 化 能力 强 、适 合 于 小样 本 问题 求 解 ，目前 已经成 为机 械故 障诊 断 的 前沿 研究 方 向 。本 文 系统 地 阐述 了支 持 向量 机 的模 式识 别 技术 及在 机 械故 障 诊断 中的应 用现 状 。2 基 于 SVM 理 论 的模 式 识 别技 术 研 究 进 展早 在 1963年 Vapnik博 士 在 解 决 模 式 识 别 问 题 上提 出 的支持 向量 机方 法 ，是指 从训 练集 中选 择一 组 特 征子 集 ，使 得对 特 征子 集 的划 分等 价于 对 整个 数 据 集 的 划 分 ，这 组 特 征 子 集 被 称 为 支 持 向 量 (Support VectorSV)。1971年 ，Kimeldorf博士 提 出 了支 持 向量机 的一 个 重 要理 论 基础 一VC维 理 论 。1982年 ， Grace，Boser和 Vapnik博 士 等 人 进 一 步 提 出 了 具 有 划 时代 意义 的 结构 风 险 最小 化原 理 。其后 ，支持 向量 机 理 论 研 究停 滞 不前 ，直 到 1995年 ，Vapnik博 士 正 式 提 出统 计 学 习 理 论 ，用 完 整 的支 持 向量 机 分 类 器 ， 较好 地解 决 了 线性 不 可分 问题 ，为 有 限样本 情 况 下 的 统计 学 习 问题提 供 了一种 有效 的解 决途 径 ，祢 补 了 传 统 统 计 学 理 论 的 不 足 ，奠 定 了支 持 向 量 机 的 理 论 基 础 ，近 十几 年 来 国 内外 许 多 学者 对 支 持 向量 机 结 构 、 算法 进行 了 一 系列 的理 论 研究 。在传 统 的模 式 识别 技 术 中 ，模式 分类 的基 本方 法 是 利 用判 别 函数 来 划分 每 一个类 别 ，如 何选 择 有效 的 判 别 函数 形 式 ，以及 如 何在 识别 过程 中对判 别 函数 的 有 关 参 数进 行 修 正 ，有很 多 不 同的 解决 方 法 ，其 中支 持 向量 机方 法 是 一种 较 新 的分类 算法 。标 准 的 支持 向 量 机一 般解 决 的是 二 分类 问题 ，而 实 际需 要 解决 的一 般是 多类 问题 。 目前 ，利 用支 持 向量 机处 理 模式 识 别 中的多类 分 类 问题 是 当前 研 究的 热点 之一 。研 究者 们 已提 出的一 些 卓有 成 效 的多类 支 持 向量机 方 法 ，可 大 致 归纳为 两 大类 ：第一 大类是 以 W eston博 士4在 1998年 提 出的多 类算 法为 代 表 ，该算 法 是 在经典 支 持 向量 机理 论 的 基 础 上 ，重 新构 造 多值 分类 模型 ，通过 改 写 Vapnik博 士 的支持 向量机二 值分 类 中的优 化 目标 函数 实现 多类 分 类 。这类 算法选 择 的 目标 函数十分 复杂 ，实 现 困难 ，计 算复 杂度也 非常 高 。第 二大 类 引入 了组 合 的思 想 ，通 过组 合 多 个两 类 分类 器 实现 多 值分 类 器 的分 类 ，目前 此类 方 法 主要 有 以下 几类 算 法 ：(1)一 对 多算 法 (OneagainstRest，简称 1-ar)。一 对 多 算 法 5由 Vapnik博 士 提 出 ，其 基 本 思 想 是 针对 k类 问题 构造 k个 两类 分 类 器 ，用 一 个 两类 支 持 向 量机 分类 器将 每类 与其 他 所 有 类 区分 开 来 ，得到 k个 分类 函数 。在 对测 试 样本 进 行 分 类 时 ，采 用 “比较 法 ”， 将未 知样 本分 类 为具 有 最 大分 类 函 数值 的 那类 。(2)一对 一 算 法 (OneagainstOne，简 称 1-a一1)。 一 对 一 算 法 由 SKnerrE提 出 ，该 方 法 基 本 思 想是 在 每两 类 间 训 练 一个 分 类 器 ，因此 对 于 一 个 愚类 问题 ， 将 有k(五一 1)2个 分类 函数 。在对 测试 样 本进 行 分类 时 ，采用 “投 票 法 ”，最 后 得 票 最 多 的 类 别 既作 为 该 未 知 样本 的类 别 。(3)决 策导 向无 环 图算 法 (DecisionDirectedA cyclicGraphDDAG)。对 于 1-al算法 ，JohnPlatL7J 引入 了 图论 的 思 想 提 出 DDAG 算 法 ，在 训 练 阶 段 DDAG和 1-a一1算 法 投票 一样 ，也 要 构 造 出每两 类 间 的分类 面 ，即有 k(足一 1)2个分 类 器 。但 是 在分 类 阶 段 ，该方 法将 所用 分 类 器 构造 成 一 种两 向无环 图形 状 如 图2所 示 ，包 括k(惫一1)2个 节 点 和k个 “叶”。当对一 个 未 知样本 进 行 分类 时 ，首 先 从顶 层 的二 值分 类 器 开 始 ，根 据 顶 部 的 二 值 分 类 器 分 类 结 果 ，确 定 采 用 下 一 层 的左 节 点还 是 右节 点 的 二值 分类 器 继续 分类 ，直 到底 层 的某个 “叶 ”为止 ，该 “叶 ”所表 示 的类 别 即为 未 知样 本 的类别 。图 2 DDAGSVM 分 类 示 意 图以上多 类分 类 算 法 ，相 比较 而 言一 对 多算 法 易于 实 现 ，但 它 的推 广 误 差 无 界 ，任何 一 个 分类 器 的错 误 分类 都 将会 带来 分 类 的二 义 性 。一 对一 算 法 的速 度在 一 般 情 况 下均 优 于 一 对 多 算 法 ，在 增 量 学 习 中 ，这 一 差别 尤 为 明显 。 因此 ，现 有 的应 用 在模 式 识别 中 的多 值分 类 算法 一般 采 用 一对 一 算法 ，或在 一 对一 算 法和 一 对 多算 法 的基 础 上进 行 改 进 的一 些 算法 ，如 上 所 阐 述 的 JohnPlat 提 出 的决 策 导 向无 环 图 算法 6，虽 然 这 种 算法 的训 练 阶段 和 一 对 一算 法 一 样 ，但在 分类 阶 段 只 用 了 曼一1个 分类 器 ，速 度 优 于 一对 一算 法 。支持 向量 机 方 法 由于 其 出色 的学 习性 能 和 分 类 性 能 ，在很 多领 域 都 得到 了很 成 功 的应 用 。特 别是 在 模 式 识别 领域 ，这 是 支持 向量 机 一个 最 重要 也 是 最成 功 的应 用 之一 ，也是 支持 向量 机 二分 类 和 多分 类算 法258桂 林 电 子 科 技 大 学 学 报20 9年 6月的 直接 应 用 ，涵 盖 了 文本 自动 分 类 7、人 脸 检 测8、遥 感 图象 分析 9等 各个 方面 。其 中最 突 出的 应用 研 究是 贝 尔实 验 室 对 美 国 邮 政 手 写 体 字 库 的 实 验 10，结 果 表 明 ，用 支持 向量机 方法 得到 的 识别 结 果均 优 于 专家 系统 和 多层 神经 网络 。除 了在模 式识 别 领 域外 ，在数 据 挖 掘 En-n、金 融 时 间序 列预 测E13、非 线 性 系 统 建 摸 与 控 制 1等 领 域 ，支 持 向量 机 都 显 示 出 了 良好 的 性 能 ，这 些 研 究 表 明其 应 用 范 围是 非 常 广泛 的 ，是 一 项 很 有发 展 前途 的机 器学 习算法 。3 SVM 在 机 械 故 障 诊 断 中的 应 用 进 展机 械 故 障诊 断 的过 程是 一 个 故 障模 式 识 别 的过 程 ，因此 研 究适 合于 开展 机械 设 备故 障 状 态识 别 的识 别 理 论是 解 决 问题 的关键 之 一 。鉴于 机 械设 备 在 整个 国 民经 济 中所 处 的重 要地 位 以及 支 持 向量 机 针 对 小 样 本 情况 所 表现 出来 的优 良分类 性 能 ，已引起 了众 多 机 械 故 障诊 断领 域研 究人 员 的广 泛 关注 ，目前 国 内外 研 究 人员 都试 图在这 一领 域有 所 突 破 。Jack等 将 支持 向量 机应 用 于 滚 动 轴 承 的 状 态 检 测 1引，并 用遗 传 算法 优 化支 持 向量 机 的 参 数 ，取 得 比 较 好 的 推 广 能 力 1；彭 问 季 提 出 了 一 种 利 用 小 波 包 分析 提 取 水 电组 的振 动 故 障 特 征和 基 于支 持 向 量机 的 水 电 组 振 动 的 故 障 诊 断 方 法 1；王 凯 等 提 出 了一 种基 于支 持 向量机 的齿轮 故 障诊 断 方 法 ，采用 小 波变 换 对 齿 轮 的振 动信号 进 行处 理来 构 造特 征 量 ，在 小样 本 情 况 下 比神 经 网络获 得 更 高 的诊 断 精 度 】。；饶 泓 、 虞 国 全19采 用 了几 种 基于 支 持 向量 机 的径 向基 网络 故 障诊 断 方法 ，结 合 了支持 向量机 和 径 向 网络 两者 各 自的 优 点 ，解 决 了故 障 样 本 数 据 不 足 问题 ，缩 短 了训 练 时 间 ，并 取 得更 高的 准确 率 ；齐 保林 、李 凌 均 将支 持 向量 机 分类 算 法 用 于滚 动 轴 承 的 多 类 故 障 模 式 分 类 中 并与 人工 神 经 网络进 行 了对 比研 究 ，实 验 表 明在有 限样 本 条 件下 ，支持 向量机 算法 比人工 神 经 网络 具有 更 好 的 分 类 性 能 2叼；孙 刚 等 在 利 用 支 持 向量 机 进 行 模 式 分 类 时 ，提 出 了 根 据 分 类 权 值 来 进 行 特 征 的选 择 ，提 高 支 持 向量 机 分 类 器 的分 类 性 能 r ；官 理 等 在 处 理 多 分类 问 题上 提 出 了 结 合 导 向 无 环 图方 法 和 简 化 支 持 向量 机方 法 的 一种 快 速 支 持 向量 机多 类 分 类 方 法 ，减 少 了 支 持 向 量 的 数 量 并 加 快 了 分 类 的 速 度 2。；余 辉 等 针 对 支 持 向量 机 多类 分 类 方 法 中的 分 解重 构 法进 行 了深 入 分析 ，讨 论 了影 响 分类 性 能 的两 个关 键 因 素 ，并 通过 实验 验 证 其观 点 2。；张龙 等 针 对 旋转 机 械振 动 信号 存在 非平 稳 性 ，提 出一 种 基于 时 变 参 数 自回 归模 型 和支 持 向量 机 相结 合 的 旋 转 机 械 故 障诊 断方 法2；何 学 文 等 提 出 了一 种 基 于 小波 分 析和支 持 向量 机 相结 合 的 旋转 机械 故 障诊 断方 法 ，实 验 表 明该 方 法 可 以获 得 更高 的旋 转 机 械 故 障 诊 断 准 确 率2 ；牛 慧 峰 等 针 对 在液 压 泵故 障 诊 断 中故 障 样 本 难 以获得 的 问题 ，融合 人 工免 疫 系统 中 的实 值 否定 选 择算 法 和 支 持 向 量 机算 法 提 出 了一 种 混 合 的 故 障 诊 断方 法 2 ；吴 峰崎 等 针 对 转 子 在 升 降 速 运 行 时 的 故 障特 征数 据 样本 有 限 而制 约有 效智 能 诊断 的 问题 ，提 出 了 基 于 支 持 向 量 机 的 加 速 度 信 号 故 障 诊 断 方 法 2 ；毛荣 富等 将 后 验 概率 引入 到 故 障诊 断 中 ，提 出 了一 种 基于 后 验 概 率 的支 持 向量 机方 法 ，实 验 表 明 ， 该 方 法无 论 对 测 试 样 本 还是 对 训 练 样 本 都 有 更 高 的 诊 断准 确率 2引。这 些针 对 不 同机 械故 障 对象 的诊 断 研 究表 明 ，将 支持 向量机 应 用在 机 械故 障诊 断 模式 分 类方 面 ，其 性 能优 于许 多 已有 的方 法 。对 于小 样本 ，诊 断精 度 高 于 神经 网络 方 法 ；对 于 高 维 样 本 ，其 诊 断 速 度 比神 经 网 络快 。研 究表 明 ，机械 故 障诊 断技 术 发展 的 的瓶 颈 之一 是 故 障 样 本 的 缺 乏 ，而 不 仅仅 在于 诊 断方 法 本 身 ， 由此 可 见 支 持 向 量机 在 机 械 故 障诊 断 中 有很 好 的 应 用 前景 。遗 憾 的是 ，目前绝 大 多数 研 究还 是处 于 实验 室 阶段 ，应 该 在 相 当长 一段 时 间 内着重 支 持 向量 机 的 应 用 研 究 。4 SVM 的 特 点 及 存 在 的 问 题支 持 向量 机 是 在 统 计 学 习理 论 基 础 上 产 生 的 一 种新 型 的 以结 构 风 险最 小化 为 归纳 原则 ，寻 求 使经 验 风 险和 置信 范 围之 和 最 小的 学 习机器 。在解 决 小样 本 问题 的 同 时 ，又能 解决 人 工神 经 网络 算法 中的高 维 问 题 和 局 部极 值 问题 。支 持 向量 机算 法兼 顾 了经验 风 险 和推 广 能力 ，对 解 决 小样 本 的模式 分类 问题具 有 独 特 的优 势 。研 究 表 明 ，支 持 向量 机 比现有 的模 式识 别 方 法 表现 出更优 良的 分类 性 能 ，更 适 合于 机 械故 障 诊 断 这 种 小样 本情 况 下 的 实际工 程 问题 的 解决 。然而 ，作 为 一项 新 兴 的 尚在 发 展 中的技 术 ，支持 向量机 本 身 也 存 在着 一 些不 足 。随 着研 究 的深入 ，支 持 向量 机 算法 及 应用 必 将得 到 进 一步 的 完善 和发 展 。(1)针 对 具 体 实 际 问题 ，寻 找 快 速 训 练 、满 足 实 时要 求 、泛 化 能力 强 的 高效 算法 一直 是 今后 研 究 的方 向 ，对 于其 在 实际 工 程应 用 中有 着重 大 的意 义 。(2)在 实 际应 用 中 ，有 关支 持 向 量机 核 函 数 中 的 一 些 关 键 参 数 优 化 选 择 问题 依 然 没有 得 到 很 好 的解 决 。因此 ，确 定 出 合理 的 核参 数选取 准 则 ，使得支 持 向 量机 获得 更 好 的性 能 也是 一 值得 深入 研 究 的方 向 。(3)由于 支 持 向量 机 最 初 是 为 了解 决 模 式 识 别 中的 二分 类 问题 而 提 出 的 ，不 能 直接 用来 解决 多 值 分第 3期王 长 林 等 ：SVM 模 式 识 别 技 术 及 在 机 械 故 障 诊 断 中 的 应 用 进 展259类 问题 。因 此 有 必要研 究 更好 的多 类支 持 向量 机 ，得 到实 用 、方 便 、简 捷 的 机 械 多 故 障诊 断 方 法 也 是 今 后 值得研 究 的 一 个重 要方 向 。(4) 目前 像 人 工 神 经 网 络 等 其他 现 有 的学 习 算 法 的理 论 相 对 比较 成熟 ，应 用也 比较 广泛 。因此 ，将 支 持 向量 机 和 其他 已有 的 算法 思 想相 结 合 也是 支持 向 量 机 今后 研 究 的一个 方 向 。(5)目前 支持 向量 机主 要集 中在 自然 科 学 、工 程 运 用 和 医学 领 域 居 多 ，在 机械 设备 故 障诊 断领 域 应用 相 对少 得 多 ，其次 研 究成 果大 多还 处 于理论 阶段 。因 此 拓 宽支持 向量 机 的应 用领域 ，面 向机械设 备 故 障诊 断工 程 应用 ，开 发 出 实用 的产 品也 将是 下一 步 的研 究 重 点 。5 结 束 语基 于 支持 向 量 机 的模 式 识 别方 法 是 近 年 来 发 展 起来 的 一种 新 兴技 术 ，在理 论和 实 际应 用 中仍 然存 在 着一 些需 要 深 入研 究和 改进 的地 方 ，关 于它 的理 论 和 实 际应用 也 仍 在研 究之 中 。目前 支持 向量 机 在机 械 故 障诊 断模 式 识别 领 域 中 已取 得一 定进 展 ，对 于机 械 故 障诊 断模 式 分类 而 言具 有很 强 的现 实意 义 ，为机 械 故 障诊 断提 供 了一 种 新 的研 究方法 。参 考 文 献 ：1 RICHARDODPaternClasificationM2thed张 宏东 ，等 ， 译北 京：机械工业 出版社 ，20032 VLADIMIR NV统计学习理论M张学工 ，等译北 京 ；电子 工 业 出 版 社 ，20043 NELLO C，JOHN ST支 持 向量 机 导 论 M 李 国正 ，等 ，译 北 京 ：电子 工 业 出 版 社 ，20044 WESTON J，W AKTKINS C Multiclas SupportVectorM achinesJTechnicalReportCSDTR一9804RoyalHoloway，University ofLondon，Departm entofComputerScience，1998，215(9)：106510745 B0TT0U L，CoRTEsc，DENKER JSComparisonofclasitier methods： a case study in handwritten digit recognitioncProceedingsofthe12th IAPR international， 1994， 15(2)：65746 PLATT J c，CFISFIANININ，SHAW一TAYLOR J LargeMargin DAGsforM ulticlas ClassificationM MIT Press，2000：547-5537 LU C Y，YAN P F，ZHANG C SFacerecognitionusingsupportvector machinec ProceedingsofICNN98，Bejing，1998：652-6558 0SUNA E，FREUND R，GIROSIFTraining supportvector machines：AnapplicationtofacedetectionCProceedingsofCVPR97，Puerto Rico1997：52559 CORTES C，VAPNIK V NSupportvectornetworksJMa-chineLearning，1995，205(20)：27329710 BRADLEY PMathematicalProgrammingApproachestoMachineLearningandDateMiningDUniversityofWisconsin，199811 TOY FH，CAo L JDescendingsupportvectormachinesfor financialtimeseriesforecastingJNeuralProcessingLeters，2002，13(15)：179195123 廖 振 生 ，陈 光 喜 基 于 SVM 对 隐 写 分 析 RS算法 的 改 进 J桂 林 电子 科 技 大 学 学 报 ，2008，28(1)：515413 DREZET P M L。Harison R FSupportvectormachinesfor system identificationcUKACC InternationalConferenceon Control，Swansea，1998：68869214 GRETT0N A，DOUCER A ，HERBRICH R Supportvector regressionforblack-boxsystem identificationcProced- ingsofthellthIEEE SignalProcessing W orkshopon StatisticalSignalProcessing，Singapore。2001：341-34415 JACK LB，NAND A KSupportVectorMachineforDe tection and Characte