基于神经网络和主元分析的特征集生成方法.pdf

第4 5卷第 l 期 2 0 0 9 年1月 机械工程学报 J OURNAL OF MECHANI CAL ENGI NEERI NG V O1 4 5 N O 1 J a n 20 09 DoI 1 0 3 9 01 J M E 2 0 0 9 01 0 6 2 基于神经网络和主元分析的特征集生成方法术 李允公 张金萍 刘 杰 郭大猛 焦春旺 1 东北大学机械工程与 自动化学院沈阳 1 1 0 0 0 4 2 沈阳化工学院机械工程学院沈阳 1 1 0 1 4 2 摘要 能够实现线性可分并易分的特征集对模式分类具有重要意义 而特征计 算方法的有限性和吲定性往往 导致构建此类特 征集存在一定困难 为此提出一种基于神经网络和主元分析 P r i n c i p a l c o mp o n e n t a n a l y s i s P C A 的特征集构建方法 该方法利 用神经网络对已有特征集进行非线性映射生成新的特征集 继而利用 P C A方法对新特征集进行降维处理 在满足信息保留 率大于 8 5 的条件下只取第一主元方向投影数据 并判断线性可分和易分性 设计在第一主元方向上判断新特征集是否满足 线性可分和易分的判据算法和准则 给出利用不对称交叉遗传算法进行网络寻优的具体步骤 数值仿真和试验验证表明所提 出的方法性能稳定 分类准确 而且泛化能力较强 具有一定的工程应用价值 关键词 线性分类特征集神经网络 主元分析遗传算法故障诊断 中图分类号 T H1 1 3 T P 1 8 3 No v e l M e t h o d o f Ge n e r a t in g Fe a t u r e S e t Ba s e d o n t h e Ne u r a l Ne t wo r k a n d Pr in c ip a l Co mp o n e n t An a l y s is LI Yu n g o n g ZHANG J in p in g LI U J ie GUO Da me ng J I AO Ch u n wa ng 1 S c h o o l o f Me c h a n ic a l E n g in e e r i n g Au t o ma t io n No r t h e a s t e r n Un iv e r s it y S h e n y a n g 1 1 0 0 0 4 2 S c h o o l o f Me c h a n ic a l E n g in e e r i n g S h e n y a n g I n s t it u t e o f C h e mic a l T e c h n o l o g y S h e n y a n g 1 J 0 1 4 2 Ab s t r a c t Th e a tur e s e t wh ic h c a n ma k e t h e c l a s s ifi c a t io n l in e a r a n d s imp l e h a s imp o r t a n t me a n in g t o p a t t e r n c l a s s ifi c a t io n Bu t it is a l wa y s d iffi c u l t t o g e n e r a t e s u c h f e a t u r e s e t b e c a u s e o f t h e l imit a t io n a n d fi x it y o f t h e c a l c u l a t io n me t h o d s o f f e a t u r e s e t A n o v e l me t h o d g e n e r a t in g a b o v e me n t io n e d f e a t u r e s e t is p r o p o s e d wh ic h is b a s e d o n t h e n e u r a l n e t wo r k a n d p r in c ip a l c o mp o n e n t a n a l y s i s P C A I n t h i s me t h o d t h e n e u r a l n e t wo r k i s u s e d t o c a r r y o u t n o n l i n e a r ma p p i n g o f t h e e x is t i n g f e a tur e s e t t h e r e b y g e n e r a t in g a n e w a mr e s e t a n d t h e n P CA is u s e d t o r e d u c e t h e d ime n s io n o f t h e n e w f e a tur e s e t On fi r s t p r in c ip a l c o mp o n e n t d i r e c t io n if t h e in f o r ma t i o n r e s e r v a t i o n r a t e i s g r e a t e r t h a n 8 5 t h e p e r f o r ma n c e o f l i n e a r a n d s imp l e c l a s s i fic a t i o n o f t h e p r o j e c t io n d a t a wil l b e e v a l u a t e d Th e n t h e e v a l u a t io n me t h o d is d e s ig n e d a n d a t r a in in g a p p r o a c h o f n e u r a l n e t wo r k u s in g a n o v e l GA a l g o r it h m wh o s e c r o s s o v e r o p e r a t io n is a s y mme t r ic is p r o p o s e d T h e n u me r ic a l s imu l a t io n a n d e x p e r ime n t s s h o w t h a t t h e p e r f o r ma n c e o f t h e n o v e l me t h o d is s t a b l e t h e c l a s s ifi c a t io n is a c c u r a t e a n d t h e g e n e r a l iz a t io n c a p a b il it y is r e ma r k a b l e Ke y wo r d s L i n e a r c l a s s i fi c a t i o n F e a t u r e s e t Ne ura l n e t wo r k P r in c i p a l c o mp o n e n t a n a l y s is Ge n e t i c a l g o r i t h m F a u l t s d ia g n o s is 0 前言 在机械故障诊断 语音和图像识别等场合中 须从待识别对象的原始信息中提取各种特征构成特 征集以进行分类和识别 其中的关键问题是如何构 建可有效保证不同模式易分性的特征集 卜 理想情 国家自然科学基金资助项目 5 0 7 7 5 0 2 9 2 0 0 8 0 2 1 8 收到初稿 2 0 0 8 1 1 1 4 收到修改稿 况为线性可分 而 目前的国内外研究现状是 所 选取的特征多为已有 明确定义和计算方法的特征 如信号的方差 峭度和频谱特征值等 但基于这类 特征的模式分类往往是非线性的 从而增大 了分类 难度 使用不同的特征集进行模式分类的效果不 同 虽然可 以采用优化的办法构建最优特征集 j 但仍无法有效避免分类的非线性 而线性可分较非 线性可分具有诸多优点 因此 研究生成和构建能 够实现线性可分的特征集的方法对于诊断 辨识和 分类具有一定实际意义 学兔兔 w w w x u e t u t u c o m 李允公等 基于神经网络和主元分析的特征集生成方法 6 3 上述问题涉及到两方面研究 内容 即如何生成 特征集和如何判断新特征集的线性可分与易分性 特征和特征集的生成方法可 以有无数种 但 已有明 确定义的却少之又少 考虑到神经 网络可实现任意 的映 射 形 式 而 主 元 分 析 P r i n c i p a l c o mp o n e n t a n a ly s i s P C A I f 方法可以在低维空问 一维或二 维 直观表达特征集 且在线性可分时能够直接利用 P C A所得结果进行分类 因此 本文提出了一种神 经网络 P C A 的特征生成方法 即首先利用神经网 络对初始特征进行映射 继而利用 P C A对新特征集 进行降维 并在第一主元方 向上判断新特征集 的线 性可分与易分性 数值仿真和试验验证说明本文所 提出方法性能稳定 泛化能力较强 具有一定的实 际应用价值 1 P C A简介 P C Al l 是多元统计理论中一种十分成 熟的方 法 其 目的是在 维数据空间中确定 个正交矢量 在这些正交矢量方 向上 原数据间的相关性将被消 除 设一个 维样本集为 X 1 2 X k 式 中X i X li X 2 一 i l 2 k 即 为一 z k阶数据矩阵 则 P C A 实质为计算矩 阵 的协 方差矩阵的特征值和特征矢量问题 现假设 的各 行矢量 已作零均值处理 的协方差矩阵 c 为 c 日 1 对 c 进行正交分解可得 c 2 式 中 d i a g 2 1 f 1 2 为 c 的特征值 从 到 为降序排列 V 1 l i 1 2 为 对应的特征列矢量 称为第 i 个 主元方向 样本集 在前 m m0 8 5 2 特征集生成方法的提出 2 1 方法基本原理 基于 P C A和神经网络方法 本文提出一种线性 可分特征集的生成方法 方法的实现过程如图 1 所 示 其中神经网络的训练 目标为 维特征集在第一 主元方向上线性可分并易分 当神经网络输出的特 征集维数 1 时 方法蜕化为一般的神经 网络方 法 此时 P C A 不具有实际意义 但当U 1 时 使 用 P C A则可简化识别过程 且可降低网络训练的难 度 因此 图 1 所示方法具有一定的普遍意义 图 1 基于神经网络和 P C A特征集生成方法的实现过程 2 2 网络结构 经对多种网络结构的比较 确定网络结构如图 2所示 网络具有两个隐含层 节点数分别为 4和 3 输入层和输出层的节点数视具体应用场合而定 设 为 和U 激发函数使用 S型函数 输入层 0 隐含层 1 2 输 出层 3 图 2 神经网络的网络结构 任何特征均是基于原始信息得到的 但当原始 信息数据量过大时 必然会降低网络的训练效率 因此 本文以引言中所述的 已有明确定义 的若 干特征作为网络的输入 X 1 2 2 3 网络训练与收敛判据 当应用神经网络对不同对象进行分类时 通常 将输出数据设定为不同的 0 1组合 以对应不同对 象 但这种将输出设定为固定数值的办法对网络训 练方式的要求很高 为降低网络训练难度 提高方 法的柔性 本文方法只要求网络输出能够保证不同 对象 的线 性 可分 并易 分 即可 而 对输 出层 数据 Y i f 1 2 U 不设定具体的数值要求 设有 P个待分类对象 f 1 2 P 每个对 象有g 个样本 f 1 2 P j 1 2 q 每个样 本对应一个 维特征集 X 0 2 则特 征集 的个数为 PX q 将它们依次输入网络 得到 P q 个 输出 矢 量Y u 1 构 成矩阵 I J l 1 12 Y l g Y 2 1 Y 2 2 2 9 J p l Y p 2 J p g J 对矩阵J 做 P C A分析 设Y的协方差矩阵的最大特 征值对应的特征列矢量为 t 则在第一主元方向的 投影所得数据为 t T y l l l 2 l 2 l 2 2 2 q l 2 J 4 学兔兔 w w w x u e t u t u c o m 机械工程学报 第 4 5卷第 1 期 即第 f 类对象的第 个样本对应于第一主元方向上 的投影数据 因此可 以通过对矢量口中数据的处 理来判断由网络生成的特征集是否满足线性可分和 易分的要求 即不 同对象对应的数据点所在区域不 发生重叠 保证线性可分性 同类数据具有聚集性 不同类数据间存在显著的距离 保证易分性 为表征 以上两点 首先进行以下操作和计算 ma x o 1 2 t 2 i i 1 2 P 5 mi n a 口 l 2 P 6 1 A A i 1 2 P 7 由以上各式分别得到在第一主元方向上 同类数 据的最大值 最小值和中心点 继而构成一矩阵 8 根据 从小到大的顺序调整 的各行 得到新矩 阵 中的元素仍用 A表示 继而计算 以下 各值 以l一 4 o i 1 2 P 一 1 9 A i2 1 一 A o l f i 1 2 P 一 1 1 0 o l i l 2 P 一 1 1 1 1 e i 1 2 P 一 1 1 2 f i 1 2 P 一 1 1 3 f 一 i 1 2 P 1 4 1 i 1 2 P一 1 1 5 如对于 P 3 q 2的分类问题 各类投影区间的 最大值 最小值和中心点 以及 和 如 图 3所示 I t A A A A A 图3 一 个分类问题的图例说明 可见 从不 同方面描述 了投影点的分 布情况 其 中 表达 了各特征集是否线性可分 则反映了同类数据 的聚集性和不同类数据 间 的弥 散性 因此对 o 5 分 别 规 定 门 限值 因将使用遗传算法作为网络学习算法 引 入一变量 C O 综合表征 e l 是否小 大于各 自的门 限值 以此判断网络是否训练成功 将03的初始值设为 1 对于网络训练过程中得 到的一组第一主元方向投影数据 计算 调整 0 9 值的步骤如下 1 1给定初始值 2 i从1 至 P一1 若 5 2 则 0 9 H 一 否则 0 3 5 1令 0 03 P 6 i从1 至 P一1 若 则 0 9 H 否 则 03 H 7 令0 9 03 P 8 i从1至 P一1 若 则 03 H 否则 03 f 9 令缈 03 P 一 1 0 f从 1至 P一 1 若 o 5 f 则 0 9 H 否则 03 03 H 1 1 令 03 若 03 1 则可认为训 练成功 否则重新迭代 并设 0 3 U 1 需要说明的 是 每生成新的权值和阈值后 首先按照式 3 检验 信息保留率0 若0 0 8 5 则继续操作 否则返回 重新生成权阈值 以上步骤中 常数A 网络训练成功 后确定权值 阈值和第一主元方 向t 在实际应用 时 只须将待识别对象 的特征集作为网络输入 并 将网络输 出向第一主元方向投影 根据投影所得数 据的位置便可对待识别对象进行分类 2 4 网络学习方法 本文使用实数编码遗传算法 作为网络学 习算 法 算法中的位串由网络的权值和阈值构成 不限 定解空间边界 交叉操作使用不对称交叉l 6 设两 相互交叉的位串为 之 Vs t 一 1 6 式中各元素中次下标表示位 串序号 元素 表示 第 k层的第 i 个节点与第 k 1 层第 个节点间的权 值 元素 表示第 t 层第 个节点的阈值 同时 按常规办法 各节点的阈值转化为权值 这里不作 学兔兔 w w w x u e t u t u c o m 2009年1月李允公等 基于神经网络和主元分析的特征集生成方法 65 赘述 当对 彬和 进行交叉操作时 以蟛 和 鹾 为例 设新个体为甾 和 则 式 中y可称为幅值因子 r 锄 d 和 r and 为在 l 1 区间内按照均匀 分布随机抽取 的两个随机 数 经式f17 运算后 避免了常规交叉操作中的平 衡性 从而可免除独立的变异操作 在遗传算法的 选择和复制过程中 采用常规的赌轮法 但对最优 个体直接复制 在作者的前期研究中 o J 已经验证 了这种基于不对称交叉的遗传算法在计算速度 成 功率和抗早熟能力方面具有 一 定的优越性 特征集生成方法验证 3 1仿真分析 首先生成 以下四种仿真信号 f cos 抚f 0 7 z l f sinO f n 2 f x20 cos 2兀f 0 5 以3 f cos 0 4兀f 0 6 以 f z3 f cos 2兀f 0 5 行5 f cos 4兀f O 3cos 6珥f 0 3 胛6 f x4 f cos 2兀f 0 3 行7 f cos 67 cf 0 1sin 1眈f 月7 f 式中 咒1 f z 7 f 为高斯噪声 方差均为0 01 经 归 一 化处理后 选取特征集为 方差 绝对平均值 歪度 方均根值 首先检验根据以上四种特征能否对信号进行线 性分类 每个信号取10段 每段300个数据计算特 征 构成 一 4 40特征矩阵 对此矩阵进行PC A计 算后 在第 一 主元方向 所得结果如图4所示 可见 在第 一 主元方向上 只有第 一 个信号可被有效区分 其他三种信号的投影点则混淆在 一 起 无法根据投 影 点所处 区域进行信号分类 因此 直接使用上 述四种特征无法在第 一 主元方 向上实现信号的线性 分类 口 一 l 0 匈晦粼龆 0 2 一 3V 一 4 口 口皿口 口 口 0 590 6l0 630 650 67O 69O 710 73 第 一 主元方向 图4四种信号的特征在第 一 主元方 向的投影 利用本文提出的方法进行特征集的生成 设定 神经 网络的输入层和输出层节点数均为4 其他与 图2同 遗传算法的种群规模为100 交叉概率为 0 6 幅值因子 1 网络收敛判据算法中4 100 d 0 000 1 疋 3 蠡 反 1 5 匹 0 5 网 络训练成功后在第 一 主元方向上得到的投影点布局 如图5所示 由图5可见 经神经网络对原特征集 的映射 新特征集能够保证在第 一 主元方向上对四 种不同信号的线性分类 需要说明的是 本文方法 中神经网络的收敛点不是单 一 的 即每次训练成功 后投影点所处位置和布局情况均不尽相同 口 一 1 o 一 2 一 3V 一 4 丛Z斌 国 踊网 矽 皿 1 4 94 41 4 9481 4 9521 495 61 4 96 01 4 964 第 一 主元方向 图5网络训练成功后新特征在第 一 主元方向的投影 网络训练成功后 为验证方法 的泛化能力 对 四种信号各取10段训练时未用到的数据 分别计算 特征集 将各特征集依次输入网络再与f 相乘 得 到的40个投影点如图6所示 由图6可见 在不改 变各信号的信噪比的情况下 利用训练好的神经 网 络和PCA方法可实现线性可分特征集的生成 且识 别结果的可信度很高 口 一 1 0 2 一 3V 一 4 擞 蠲国 硒F 泐 姗 1 4944l4 94 814 95 21 4 95 61 4 96 01 4964 第 一 主元 方向 图6利用网络对各信号的分类结果 为进 一 步验证方法 的泛化能力 以四个仿真信 号中的屯 f 为例 在体 f 和心 f 不同方差水平下 进行识别 所得结果如图7所示 图7中 白色部 分为识别成功区域 可见 在区域1中能够保持较 高的识别精度 说明本文方法具有 一 定的克服噪声 影响的能力 b j j j 极 0 飞 图7不 同噪声方差情况下第 一 主元投影数值的投影图 乃 萎 舢 yy 十一 瞄蠖 搿 学兔兔 w w w x u e t u t u c o m 机械工程学报 第 4 5卷第 l 期 3 2 试验验证 使用一转子试验台分别进行转子的单点 多点 和整周碰摩试验 试验系统如图 8所示 其中 静 子内壁为锥形 可通过在轴 向上调整静予与转子的 相对位置和转子转速实现各种形式的碰摩试验 转 子振动使用电涡流位移传感器检测 静子外壁置一 压电式加速度计 检测静子振动信号 由于在作者 的前期工作f 7 j 中已说明利用静子振动信号更易于检 测碰摩故障 因此本文使用静子振动信号进行各种 碰摩的识别 电动 r q 电涡流位移传感器 速度计 b 圆盘静子处的左视图 图 8 转子碰摩试验模型 在转子转速为 2 9 4 k r mi n时分别进行上述三种 碰摩试验 每种碰摩各进行 1 0次试验 不同碰摩情 况下的静子振动信号幅值谱各取一个 如图 9所示 频率 f l l z a 单点碰摩 1 澧 频率 f Hz b 多点碰摩 0 3 0 0 6 0 0 9 0 0 频率 f H z c 整周碰摩 图 9 不 同碰摩时的静子振动信号 每次试验截取 6 0 0点数据 并作归一化处理 特征集仍选为 方差 绝对平均值 歪度 方均根值 对 做 P C A分析 在第一主元方 向所得投影如图 l 0所示 可见 原始特征集无法有效区分多点和整 周碰摩 因此 须按本文方法进行处理 口 单点碰摩 0 多点碰摩 整周碰摩 嘶 呵卫口 0 31 0 3 9 0 4 0 第 一 主元方向 阁 1 0 第一主元方向投影 图 按照本文方法 首先确定神经网络的输入层和 输出层节点数均为 4 遗传算法和收敛判据中的具 体参数与第 3 1 节相同 经 6 5步迭代后网络训练成 功 第一主元方向投影图如图 l 1 所示 由图 1 1可 见三种不同碰摩形式已可有效区分 口一 单点碰摩 0 多点碰摩 一 整周碰摩 如皿 盥 1 7l 44 1 71 5 2 1 7 1 6 0 I 7 1 6 8 1 7 1 7 6 第一主元方向 图 l 1 网络训练成功后在第一主元方向的投影图 继而 验证方法 的泛化能力 首先 重新调整 静子位置 以保证即使是 同一碰摩形式 转静子的 相对位置也与先前试验中的相对位置不完全相同 在此前提下 对各种碰摩重复 l 0次试验并计算得到 3 0个特征集 将各特征集依次输入网络 用 己确定 的t 与网络输出所得列矢量相乘 所得的 3 0个数 值如 图 1 2所示 将该图与图 1 1 相对照可见三种碰 摩均被准确的识别出来 口一 单点碰摩 0一 多点碰摩 一 整周碰摩 皿 T 皿 国 囝 1 7 1 44 1 7 1 5 2 1 71 6 0 1 71 6 8 l 71 7 6 第一主元方向 图 l 2 第一主元方向的投影图 4 结论 1 1选择能够实现线性可分的特征集对于模式 分类具有重要意义 但利用已知特征实现这一 目的 具有一定困难 2 利用神经 网络的任意非线性映射能力生成 新特征 利用 P C A作为降维工具可实现线性可分特 征集的生成 3 基于神经网络和 P C A的特征生成方法 只 使用第一主元方 向的投影坐标 即只使用一个数值 即可实现不同模式的识别 且泛化能力较强 4 所提出的方法操作简便 准确率较高 具 有一定的实际应用价值 L O 5 学兔兔 w w w x u e t u t u c o m 2 0 0 9年 1 月 李允公等 基于神经网络和主元分析的特征集生成方法 6 7 参考文献 1 李巍华 廖广兰 史铁林 核函数主元分析及其在齿轮 故障诊断中的应用 J I 机械工程学报 2 0 0 3 3 9 8 65 7O LI Weih ua LI AO Gua n gl a n SHI Tie l in Ke rn e l p r in c ip al co mp o n e n t a n a l y s is a n d it s a p p l ica t io n in g e a r f a u l t d i a g n o s i s J C h i n e s e J o u r n a l o f Me ch a n i ca l E n g in e e r in g 2 0 0 3 3 9 8 6 5 7 0 f 2 1 王新峰 邱静 刘冠军 基于灵敏度分析的支持矢量机 特征选择 J 机械工程学报 2 0 0 6 4 2 4 1 2 2 1 2 6 WA NG X in f e n g Q I U J i n g L I U G u a n j u n S e n s i t i v i t y a n a l y s i s b a s e d f a u l t f e a t u r e s e l e ct i o n f o r S VM J C h i n e s e J o u r n a l o f Me ch a n ica l E n g i n e e r i n g 2 0 0 6 4 2 4 1 2 2 1 2 6 3 潘明清 周晓军 吴瑞明 等 基于主元分析的支持向 量数据描述机械故障诊断 J 传感技术学报 2 0 0 6 1 9 1 1 2 8 1 3 1 P A N Mi n g q i n g Z HO U X ia o j u n WU R u i mi n g e t a 1 Re s e arch o f ma ch in e f a u l t d i a g n o s i s b a s e d o n P CA a n d S V DD J C h in e s e J o u r n a l o f S e n s o r s a n d Actua t o r s 2 0 0 6 1 9 1 1 2 8 1 3 1 4 S E R VI E C F AB R Y R P r i n ci p a l co m p o n e n t a n a l y s is a n d b l in d s o u r ce s e p ara t io n o f mo d u l a t e d s o u r ce s fo r e l e ct r o me ch a n ica l s y