（模式识别与智能系统专业论文）基于ica的振动信号识别研究.pdf

五邑大学硕士学位论文 摘要 当机械设备或大型建筑出现或将要出现某种故障和损伤时，其内部结构，外部 形状或运行状态必将会有异常的表现。对被监测对象表面的振动信号进行分析，控 制以及参数识别对于机械设备和建筑结构的诊断和维护工作有着重要的实际工程意 义。 机械设备的振动信号蕴含着丰富的设备运转信息，是判断故障的重要来源。但 振动信号往往不是单一的，并且在测取振动信号时受到传感器安装位置，还有故障 实际振动方向不确定性的影响，在测量信号中必然含有其它信号的干扰。另一方面， 由于故障的诱发振动可能会导致新的振动的产生。上述原因导致了目前设备的检测 与故障处理的准确性难以提高。独立分量分析为解决上述问题开辟了一条新的研究 途径。 本论文研究了独立分量分析在振动信号识别中的应用，主要工作如下： ( 1 ) 搜集、整理、总结了国内外独立分量分析方面的成果和进展，介绍了独立 分量分析的基本理论，并着重讨论了几种常用的独立分量分析算法及其特点。 ( 2 ) 通过研究基于峭度的快速定点算法，很好地分离了混合语音信号与振动信 号； ( 3 ) 对于实际采集信号中出现的超定问题，即观测信号的个数多于源信号个数 的情形，本文在奇异值分解的基础上，不仅很好地确定了信号源的个数，且很好地 解决了噪声问题。提出了基于矩阵联合对角化的预白化j a d e 算法，通过计算机实验 证实了该算法对盲信号具有较好的分离作用。 最后对全文的工作做了总结并对下一步的工作进行了展望。 关键词独立分量分析( i c a ) ；主成分分析( p c a ) ；盲源分离；奇异值分解 五邑大学硕士学位论文 a bs t r a c t w h e nt h em e c h a n i s ma n da r c h i t e c t u r eh a v es o m ef a i l u r e s ，t h ei n t e r i o rs t r u c t u r e ，e x t e r i o rs h a p e o rw o r kc o n d i t i o nw i l lh a v et h ea b n o r m a lr e p r e s e n t a t i o n i ti sp r a c t i c a l l yi m p o r t a n tf o rt h ed i a g n o s e a n dm a i n t e n a n c eo fm e c h a n i s ma n da r c h i t e c t u r et h a ti m p l e m e n ta n da b n o r m i t yd e t e c t i o no fa b n o r m a l v i b r a t o r ys i g n a l so b t a i n e df r o mt h es u r f a c eo ft h eo b j e c t s t h em e c h a n i c a ld e v i c ev i b r a t i o ns i g n a lc o n t a i n st h ep l e n t yo p e r a t i o no fe q u i p m e n ti n f o r m a t i o n i ti st h ei m p o r t a n to r i g i no fd i a g n o s i s b u tt h ev i b r a t i o ns i g n a li so f t e nn o ts i n g l e ，b e c a u s ei ti s i n f l u e n c e db yi n s t a l l a t i o np o s i t i o no fs e n s o ra n du n c e r t a i n t yo ft h eb r e a k d o w na c t u a lv i b r a t i o n d i r e c t i o nw h e nm e a s u r i n gt h ev i b r a t i o ns i g n a l s oo t h e rd i s t u r b a n c es i g n a l sa r ei n c l u d e di nt h e s u r v e ys i g n a li n e v i t a b l y o nt h eo t h e rh a n d ，t h en e wv i b r a t i o nc a nb ep r o d u c e dp o s s i b l yb e c a u s eo f t h ei n d u c t i o nv i b r a t i o no ft h eb r e a k d o w n t h ea b o v er e a s o nh a sc a u s e dt h ep r e s e n te q u i p m e n t e x a m i n a t i o na n dt h eb r e a k d o w n p r o c e s s i n ga c c u r a c yi m p r o v e dd i f f i c u l t y t h ei n d e p e n d e n t c o m p o n e n ta n a l y s i so p e n san e wr e s e a r c hw a yf o rs o l u t i o na b o v eq u e s t i o n i nt h i sp a p e r ，t h ea p p l i c a t i o no fi n d e p e n d e n tc o m p o n e n ta n a l y s i si nv i b r a t i o ns i g n a lp r o c e s s i n g h a sb e e ns t u d i e d t h ep a p e rc o n s i s t so ff o l l o w i n gp a r t s ： f i r s t ，t h ep a p e rr e v i e w ss y s t e m a t i c a l l yt h ep r e s e n tr e s e a r c hs i t u a t i o no fi n d e p e n d e n tc o m p o n e n t a n a l y s i si nt h ew o r l d t h eb a s i cp r i n c i p l e sa n dc o n c e p t so fi n d e p e n d e n tc o m p o n e n ta n a l y s i sa n ds o m e a l g o r i t h m sa r ei n t r o d u c e d s e c o n d ，t h ev i b r a t i o ns o u r c er e c o g n i t i o na p p l yaf u n c t i o nb a s e do nt h ef o u n d a t i o no ft h ef a s t i n d e p e n d e n tc o m p o n e n ta n a l y s i sa l g o r i t h m ，i ts e p a r a t e dt h em i x e dv o i c ea n dt h em i x e dv i b r a t i o n s o u r c ew e l l ； t h i r d ，a st o t h en u m b e ro ft h em i x e ds i g n a lm o r et h a nt h es o u r c e ，t h e s i n g u l a rv a l u e d e c o m p o s i t i o ni sa p p l i e d ，t h em e t h o ds o l v e dt h en u m b e ro ft h es o u r c ea n dt h en o i s e ；t h em a t r i x j o i n t - d i a g o n a l i z i n gp r e w h i t e n i n gj a d ea l g o r i t h mh a sb e e ni n t r o d u c e d ，a n dt h ep e r f o r m a n c eo ft h e a l g o r i t h mh a sb e e ni l l u s t r a t e db yc o m p u t a t i o ns i m u l a t i o ne x p e r i m e n t t h er e s u l td i s p l a yt h e p e r f o r m a n c eo f t h ea l g o r i t h mi sg o o d a tl a s t ，s u m m a r ys o m eq u e s t i o n sa n dt h en e x ts t e p so fd e v e l o p m e n td i r e c t i o nw h i c ht h i sp a p e r w o r ka n dn e e dt os o l v e 五邑大学硕士学位论文 k e y w o r d si n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ；p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ；b l i n d s o u r c es e p a r a t i o n ；s i n g u l a rv a l u ed e c o m p o s i t i o n i l 本人声明 我声明，本论文及其研究工作由本人在导师指导下独立完成，完成论文所用的 一切资料均已在参考文献中列出。 作者：骆鹿 签字：骆阮 2 0 0 8 年4 月2 0 日 五邑大学硕士学位论文 第一章绪论 1 1 课题背景及研究意义 振动是指物体或结构随时间变化相对其平衡位置所做的往复运动，是一种普遍 存在的自然现象。随着科学技术和工业技术的发展，设备也越来越大型化、精密化、 高速化。生产设备自身振动( 如机器运转) 和环境振动( 如车辆行驶) 对生产、生活环境 都带来有害影响，须加以限制。对于一些关键行业来说，设备的安全十分重要，而 一旦设备发生故障，造成的损失也难以估计。据统计，设备出现故障有将近6 0 是 由于振动造成的。为了保证设备的稳定运行，就须对其运行状态有清楚的了解，并 有针对性地制定维护方案。而对设备进行振动检测和信号处理，是一种简单易行且 十分有效的方法。 描述振动的信息称为振动信号，振动信号中蕴含丰富的信息，且物理意义清晰， 量值变化范围大，便于识别和决策，绝大多数故障都能从振动状态的异常得到反映。 研究力学系统在随机激励下的响应是振动力学的重要组成部分。力学系统的随机激 励响应是随机信号中的一个特殊集合。通常情况下实验测试得到的是振动加速度信 号，它是原始变量位移的二阶导数。首先，力学系统是一个有阻尼的多自由度的二 阶线性系统，对应于每个自由度都有一个谐振点，系统的随机相应可以看成是每个 自由度单独响应的线性叠加。其次，振动分析中往往关心的只是有限频带内的信号， 其余信号分量都被当作噪声处理，因此，系统振动又可以看成是有限自由度的二阶 线性系统。根据系统振动的性质研究振动信号的处理方法，对振动分析、控制以及 基于振动参数识别的系统诊断都具有重要意义。 但在实际中由于设备结构及运行环境的复杂性，所产生的振动信号也是比较复 杂的，尤其是在信号采集中广泛使用多测点、多传感器的采集方式，由此所得的信 号往往是由不同源产生的混合信号。另外，设备的结构振动和干扰噪声往往将与故 障有关的振动信号淹没，特别是早期的故障信号往往十分微弱，信噪比偏低，许多 故障的振动信号都具有比较强的非高斯型和非稳态性( 如轴承存在故障时将会导致 冲击和峭度增加) 。 五邑大学硕士学位论文 近些年发展起来的独立分量分析为解决上述问题提供了一条途径。独立分量分 析基于信号的高阶统计特性，将信号做某种线性分解，使其分解成统计独立分量。 独立分量分析的特点在于，对混合系统( 振动传播路径，通信信道等) 部分已知或完 全未知的条件下，可以对混合的源信号实现较好分离。在设备振动信号处理中引入 独立分量分析的方法，可有效增强故障信息，解决故障诊断中强噪声背景下早期故 障特征提取困难的问题。目前独立分量分析正在成为信号处理领域中一种极具潜力 的分析工具，越来越引起人们的研究兴趣，而且在其它领域也得到了广泛的应用。 1 2 独立分量分析的发展及趋势 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 技术最早是在1 9 8 0 s 由j h e r a u l t ，c j u t t e n 【3 6 j 和b a n t 提出。问题首先出现在神经生理学的领域。i c a 是一种建立在统计学和计算科学之上的技术，主要是用于揭示潜在或隐藏的随机变 量和信号。i c a l 4 ，7 j 为观测到的多维变量数据定义了一个一般的模型，在这个模型当 中，变量数据被认为是一些未知潜在变量的线形或非线形混合，而且混合系统也是 未知的。这些潜在的变量应具有非高斯性和相互独立性，它们被称为观测数据的独 立分量。 在独立性的衡量中，通常是通过衡量信号的非高斯性进行度量的，衡量非高斯 性的主要度量方法有 1 , 2 , 5 , 8 , 1 6 , 2 0 j ：峭度法，互信息，最大熵，负熵，最大似然方法等 等。峭度法对外围敏感，因此不稳定，但是通常用来作为超高斯性和亚高斯性的区 分尺度，互信息是衡量非高斯性的自然方法，但是涉及密度，而密度通常是未知的， 常需要对密度进行估计，因此也存在局限性。熵和负熵是我们度量非高斯性的一种 最常用的方法，由于定义式中也存在密度，因此有人提出近似的负熵估计，另外， 最大熵和互信息是相关联的，且有人导出最小互信息和最大负熵的等价性，最大似 然估计在一定的程度上也是和最大熵估计等价的一种估计方法。最大熵估计和最大 似然估计的不同之处，在于出发点的不同，最大似然估计利用已经获得的观测样本， 而且作为输出概率密度函数的估计。其相似之处，其分离矩阵的更新规则与i n f o m a x 算法的相同。实际应用中，我们常采用上面的方法之一，作为建立目标函数的基本 准则。 随着i c a 研究的日益蓬勃发展，国际上的学术交流也越来越频繁。自1 9 9 9 年起， 国际上分别举办了四次独立分量分析和盲源分离的国际专题会议。1 9 9 9 年1 月在法 2 五邑大学硕士学位论文 国召开了第一届i c a 国际研讨会，2 0 0 0 年6 月和1 2 月分别在芬兰的赫尔辛基和美 国召开了第二届、第三届i c a 国际会议，到会学者均超过1 0 0 人。可见对于i c a 领 域的研究，正在越来越受到人们的关注和重视。根据2 0 0 4 年9 月2 2 日至9 月2 4 日 于加拿大召开的关于i c a 的第五界会议，目前国外主要均对下面的一些方向进行研 究：( 1 ) i c a 的基本理论；( 2 ) 线性混合模型；( 3 ) 非线性混合模型的i c a 及其盲源分 离；( 4 ) 卷积模型；( 5 ) 在生物医学方面的应用；( 6 ) 语音处理方面的应用；( 7 ) 图像 处理方面的应用。国外的研究水平，就其整体而言，高于我国，但是技术水平还是不够 成熟。 1 3 振动信号研究动态 对于振动信号分析，目前国内外主要均对下面的一些方向进行研究： ( 1 ) 稳态或准稳态振动信号的处理方法：稳态振动信号是指频率、幅值和相位 不变的动态信号，主要的分析方法有离散频谱分析和校正理论、细化选带频谱分析、 高阶谱分析。对于频率、幅值和相位周期性变化的准稳态信号分析方法主要是解调 分析。 ( 2 ) 非平稳信号的瞬时统计特性随时间而变化，它包含着比稳态振动信号更丰 富的信息，这些信息可以反映更多系统特性。在工程振动信号中存在大量的非平稳 信号，例如桥梁等大型结构局部失稳、火箭的发射、旋转机械的升降速过程和机械 设备运行过程中的摩擦和裂纹等故障。 非平稳振动信号的处理方法：工程振动信号中非平稳信号处理方法大致有下面 五种：加h a n n i n g 窗转速跟踪分析，短时傅立叶变换，w i g n e r - v i l l e 分布、小波分 析和h il b e r t h u a n g 变换。 1 4 论文结构安排 本文主要研究了独立分量分析在振动信号处理中的应用。本文利用i c a 和力学 系统的线性性质，进行振动信号的独立元分解，将复杂振动信号分解为相互独立的 分量。本文的结构如下： 第一章绪论。介绍了课题研究背景及其意义，介绍了i c a 的发展史和振动信号 五邑大学硕士学位论文 的研究动态，最后介绍了本论文的结构安排。 第二章独立成分分析基本原理介绍。详细地叙述了几种基本的独立分量分析的 算法理论。 第三章基于峭度的快速定点算法的振动信号分离。针对线性混合的信号源，利 用基于峭度的快速定点算法，通过将其应用于不同混合信号源的场合，达到了比较 理想的分离效果； 第四章针对观测信号多于信号源个数的情形，利用奇异值分解原理进行信号源 个数的确定，对于信噪比够高与不够高的两种情形，将噪声看成一个信号源，很好 地抑制了噪声；提出了基于矩阵联合对角化的预白化j a d e 算法，并应用于盲信号分 离。 第五章对全文工作的归纳总结，并对下一步的工作进行了展望。 4 五邑大学硕士学位论文 丛一j 电 弟一草 独立分量分析的基本理论 2 1 独立分量分析的基本原理 2 1 1 盲源分离问题建模 假设在房间里有个人同时说话，有m 个麦克风同时拾取声音信号，如图2 - 1 所示。忽略声音传播的时间，则检测到的m 个信号每个都是个声信号的线性叠加。 令x = 图2 1 c 么问题示意图 x l2a l i s i + a 1 2 s 2 + + a i n s n r 22 a 2 1 $ 1 + g 2 2 5 2 + + a 2 u s u 盯2a m i s i + a m 2 s 2 + + 口肘s x l x 2 ： x n ，s 2 s l s 2 ： s m ，a2 a l i 口2 l ： a m l x = a s ，将上式写成矩阵形式： 能否在彳未知的情况下估计源信号s 呢? 这个问题就是所谓的“盲源分离 ( b l i n ds o u r c e ss e p a r a t i o n b s s ) ”问题。盲源分离( b 1 i n ds o u r c es e p a r a t i o n ， b s s ) 是指根据源信号的统计特性，仅由观测的混合信号恢复分离出未知原始源信号 的过程。显然，仅从上式所示关系不可能得到s 唯一的估计，因此，必须附加一定 5 五邑大学硕士学位论文 的条件。附加不同的条件，得到的估计方法不同。后面我们将看到，将s 的各个分 量之间统计独立，而由此得到的分析方法称之为“独立元分析( i c a ) 。 在i c a 中，称随机变量j l ，j 2 ，s 为个“独立分量( i n d e p e n d e n t c o m p o n e n t s ) ；称随机变量x 1x 2 ，嘞为观测信号。 2 1 2 独立分量分析的限定条件 ( 1 ) 独立元之间相互统计独立，即 p g 。，j ：，) = p 而g 。) p 屯g ：) p g m ) ( 2 ) 独立元必须是非高斯分布的。 根据中心极值定理可知，若每个独立元s i ) j ：，s 都是非高斯分布的，则每个 观测信号x 1 ) x ：，的分布将比任何独立元更加接近高斯分布。 ( 3 ) 混合矩阵彳为n n 方阵，即m = n 。 2 1 3ic a 中的含混因素 在式x = a s 所定义的i c a 模型中存在下面一些必然的含混因素或者不确定性。 ( 1 ) 无法确定独立分量的方差( 能量) 由于混合矩阵么和源信号s 都是未知的，x 可以是： 也可以是： x = 叩， l x = ( 毒q ) 因此无法确定得到的独立分量是s f 还是口f s f 。 ( 2 - 1 ) ( 2 - 2 ) ( 2 ) 无法确定独立分量的次序 同样由于混合矩阵彳和源信号s 都是未知的，x 可以是： x=as(2-3) 也可以是： 6 五邑大学硕士学位论文 x = a p 叫雕 ( 2 4 ) 尸是初等矩阵，所以p s 就是对s 进行了行变换，也就是说换了次序，而我们无 法确定得到的独立分量是s 还是雕，所以也就无法确定它的次序。 ( 3 ) 另外，还无法确定独立分量的符号，即无法确定s ，和一s 。 尽管i c a 存在以上这几个不确定性，但是能恢复出源信号最重要的信息信 号波形，在绝大多数问题中，这三个不确定性是可以接受的。 2 1 4ic a 的统计独立性 考虑两个标量值的随机变量y 。和y ：，定义独立的概念。基本上，如果知道y 。值 的信息，而不能给出任何y ：值的信息，就是说的变量y ，和y ：是独立的，反之亦然。 前面，我们注意到变量毛和j ：是这种情况，而混合变量x 。和x ：不是这样的。 学术上，独立可以由概率密度来定义。假设由厂。，y ：) 表示y 和y ：的联合概率 密度函数( p d f ) ，z ( y 。) 表示y 。的边缘概率密度函数，即当单独考虑y 其p d f ： z ( y 。) = 陟饥，y ：阿： y ：与其相似。为简单起见，假设变量具有零均值。定义m 和y ：相互独立，当且仅当 联合p d f 能够进行下面的因式分解： y ( y 。，y ：) = z ( y 。坡( y ：) 该定义可以扩展到m 个随机变量，这时，联合密度函数是m 项边缘概率密度函 数的乘积。 y ( y 。，y ：，y 。) = z ( y ，班：) 厶。) 该定义之所以能够被利用，源于独立随机变量的一个最重要的属性。即给定两 个函数啊。) 和：) ，通常有 e 池。弦：) ) = e h 。) i e h ：) 这说明了独立性比不相关性有更严格的约束条件，然而有一个情形，其独立性 与不相关性是等价的，那就是当y 。与y ：有共同的高斯分布。由于这个属性，独立分 量分析对于高斯变量不敏感，在后面将可以看到。 7 五邑大学硕士学位论文 2 2 主成分分析( p r in cip al c o m p o n e n ta n a iy sis 简称p c a ) 主成分分析在i c a 中主要起到两个方面的作用，一是作为i c a 处理前的预处理 过程；二是降维处理，当观测信号的个数多于信号源的个数时，通常采取的降维方 法即为p c a 降维，下面分别介绍p c a 在i c a 中的两个主要功能。 2 2 1 预处理 ( 1 )中心化 如果e 扛) = o ，那么会使以后的计算方便不少， 条件，所以需要对信号预先做以下处理： x - - x w m e x ) 而对独立分量有： 但是实际的信号并不满足这个 ( 2 - 5 ) e = 么- 1 e 扛) ( 2 6 ) 所以独立分量的均值也为零。混合矩阵彳在这一处理过程中不受影响。在估计出混 合矩阵和独立分量后可以加上彳一1 e 扛 恢复原来的均值。 ( 2 ) 白化 白化是指对于零均值的随机向量，比如说y = 陟。，y ：，y 。r ，它的分量之间不但 是不相关的，而且有： e 渺r ) = ， ( 2 7 ) 其中，是单位矩阵。实现对观测数据x 白化就是寻找一个矩阵y 变换x z = v x ( 2 - 8 ) 那么z 就是白化了的信号了。至于求矩阵y ，可以用对协方差矩阵进行特征值分解 的方法求解： e k r ) = e d e r ( 2 9 ) v = e d - y 2 e 7 ( 2 1 0 ) 其中e 是由e x x r ) 的特征向量构成的正交矩阵，d 是由e k r ) 的特征值构成的对 角矩阵，d = d i a g ( d l 一，以) 。 白化使混合矩阵变成一个新的混合矩阵： 8 五邑大学硕士学位论文 z = v a s = a s ( 2 一n ) 又由于： e k r ) = 彳e s r 扭r = 衙r = ， ( 2 1 2 ) 可以看出变换后的混合矩阵彳是正交矩阵，所以我们在估计混合矩阵的时候只需要 把目标限定在正交矩阵的范围内，这使得问题大大简化。 2 2 2p e a 降维的基本原理 主分量分析是以输入数据协方差矩阵的最大特征值以及相应的特征向量定义的 常规的统计信号处理方法。主分量分析广泛应用于信号处理、统计学与神经计算。 图2 2 所示例子是二维数据集的主成分分析。该斜线条表明了主成分分析的第 一个主分量方向，它给出了一个最优线性维数减少，从二维减少到一维。 图2 2 二维数据云状物主分量分析 主分量分析( 也称主成分分析) 法是一种多变量分析方法，亦称矩阵数据分析法。 它通过变量变换的方法，把相关的变量变为不相关的若干新变量。这给分析数据带 来很大的方便，因此在许多方面都有重要应用，如用于多元回归、多维时间序列分 析、多维谱分析等。变量个数越多，它的优越性越突出。 计算主分量的简单方法如下：设有而，x 。共刀个特征参数，有g 个样本数据 ( g = m ) ，对其归一化预处理： 驴掣 一 1 晶 铲i 备b 9 五邑大学硕士学位论文 式中：咿熹l ( 矿i ) 2 ，”一一 y 腩中i = 1 ，刀； k = l ，垅 r = 计算样本相关矩阵： 其中：吩= 击善y 肌 由特征方程：i r 一甜i = 0 即： 1 一a 吃l 。 ，2 。 l厶2 1 一t = 0 ( f ，歹= l ，刀) 求出刀个非负实根并按值从大到小进行排列： a t z 0 将丑代入下列方程组，求出特征向量口，( f = l ，) ，也称为主分量系数。 厶l厶2 1 h i i i | 口1 2 ；。艇 一州【口l 。 九 ， 轰2 私 1 0 五邑大学硕士学位论文 希望累计贡献率大于9 5 ，实际应用中还可以适当降低，如取8 0 左右。 当，= 2 时，主分量为五、z 2 ，可用二维空间表述，即平面坐标，此时主分量分析的 表现形式为： z l = g l l x l + x 2 + 口l = 五 琏i z 2 = 而+ 口2 2 x 2 + = 一 i = 1 当，= 3 时，主分量为z l 、z ：、z 3 ，可用三维空间表述，即立体三维坐标，依次类 推。 小结：p c a 的特点和优点 非监督性；线性分析；p c a 通过寻找变量最大的投影轴，判断有多少个独立变 量，并将相关量组合成新量，这可大大减少计算的复杂性，同时保证尽可能小地丢 失信息，即降维可以用以分解变量为几个独立分量；p c a 对样本要求不高，对数据 预处理，去掉一些不重要或无关量，在i c a 处理领域，对于观测信号等于源信号个 数的情况，p c a 体现的不是降维的作用，而是去均值和去相关。 2 2 3p c a 与ic a 的关系 联系： ( 1 ) 给定一组多维变量测量值，主元分析( p c a ) 就是要找到一组具有更小冗 余度和更好代表性的变量，其目的和i c a 是相联系的。两种方法都公式化一般对照 函数( 线性表达式) ，然后最大化该函数。 ( 2 ) 第二个联系是虽然说各自在高斯性与非高斯性的矛盾假设条件下，p e a 与i c a 二者都关联于因子分析。 不同点： ( 1 ) p e a 仅仅利用二阶统计量，而i e a 仅仅利用二阶统计量是做不到的，必须 利用高阶统计量。p e a 着重于降低数据维数，而i c a 可以降低、增加或不改变数据 维数。 ( 2 ) 在p c a 方面冗余度是用数据成分之间的相关性来衡量的，而在i c a 中，使 五邑大学硕士学位论文 用的则是条件更强的独立性，而且也不是特别强调要减少变量的个数。i c a 可以被 认为是主元分析( p c a ) 的扩展。有时在传统经典方法失效的情形下，i c a 可以有效 的找到和分离出潜在的因素和信息源，通过p c a 处理后的信号，是不相关的，而通 过i c a 处理后的信号是彼此独立的，独立一定不相关，而相关不一定独立，因而i c a 是一种更有效的技术。 2 3 基本ic a 方法理论 这节当中，我们将介绍独立分量分析( i c a ) 的几种不同的估计原理和算法。这 里，我们引出最优化目标函数与其算法用公式表述之间的差别。可以用下面的“方 程来表达这一点： i c a = 目标函数+ 优化算法( 2 - 1 3 ) 在明确公式化目标函数的情况下，我们可以利用经典的最优化方法，如( 随机) 梯度法、牛顿迭代法等。然而，在某些情形里，算法和估计原理可能是很难分开的。 i c a 方法的属性依赖于目标函数和优化算法【l 引。特别地， i c a 统计属性( 例如一致性、渐进方差与鲁棒性) 依赖于目标函数的选取， i c a 算法属性( 例如收敛速度、内存要求与数字稳定性) 依赖于优化算法。 在理想情况下，这两类属性是独立的，不同优化方法可以被用来优化单个目标函 数，单个优化方法可以被用来优化不同目标函数。然而在某些情形下，这种区分可 能并不是如此清楚。 2 3 1 极大似然估计的i c a 估计方法1 1 4 1 求解i c a 问题的任务是估计i c a 模型式x = a s 中的混合阵么和源信号s 。现在， 假设已求出解混矩阵b - - a ，则有 bx=bas=s(2-14) 由随机向量分布密度的变换规则，并考虑到源信号之间的统计独立性，有： | 只( x ) = i d e tb l p , c s ) = i d e t b l 兀p 西( 量) ( 2 1 5 ) j 互l 式中：( x ) 是混合向量的联合密度，只( s ) 是源向量的联合密度，只( ) 是源信 1 2 五邑大学硕士学位论文 号t 的密度。根据式( 2 1 4 ) ，记包为b 矩阵第行亍元素组成的向量，则有瓯= 包1x 代入 式( 2 一1 5 ) ，得： p x ( x ) = l d e t b i 兀只 r x ) ( 2 1 6 ) 在b = a 一1 的条件下，包7 x - - s ，式( 2 1 4 ) 是一个精确的等式。如果b a ，则 该式只是一个近似式，其近似程度与召矩阵有关。似然度记为三，把它作为b 的函 数，则可以用对数似然函数表示为： l o g l ( b ) = l o g p , , ( b , r x ( t ) ) + t l o g i d e t b i ( 2 1 7 ) 上式两端同除以丁，并用统计平均符号代替对自变量的平均( 实际计算时，仍对 按自变量f 的采样值取平均) ，则有： n1 下1 0 9 l ( b ) = e l o g 只( 饥7 x ) ) + l o g d e t b i ( 2 1 8 ) 当b = a 一1 时，i 丁1 。g 三( 召) 达到极大值。此时的b 就是极大点。为了搜索这个极 大点，将式( 2 - 1 8 ) 对b 求梯度，得： 掣： + e g ( b x ) x r ) ( 2 - 1 9 ) ta b j j 式中： g ( b x ) = 【g l ( 岛r x ) ，9 2 ( b 2 r x ) ，g ( “r x ) 】r ( 2 2 0 ) 酏) _ ( 1 0 9 ) = 鬻 ( 2 _ 2 1 ) 这里把g ，( s 。) 称为评价函数( s c o r ef u n c t i o n ) ，( 墨) 是( 毛) 的导数。于是，得 出梯度学习规则： a b 芘【b7 】q + e g ( b x ) x r ) ( 2 2 2 ) 以瞬时值代替期望值( 平均值) ，得到随机梯度学习规则，即b e l l s e j n o w s 算- 1 , 0 1 ： a b 叫b r 】。+ g ( b x ) x r ( 2 2 3 ) 用b r 曰乘式( 2 2 3 ) 右端，并记y = b x ，便得到自然( 相对) 梯度学习规则： = a b o o ( i + e g ( y ) y7 ) 毋 ( 2 2 4 ) 式中， 五邑大学硕士学位论文 则迭代公式为： g c y ) = 【g l ( m ) ，9 2 ( 耽) ，g | ( y | ) 】r y = 包r x ；y 2 = 6 2 7 x ；o o o , ：y - - _ br x ( 2 2 5 ) ( 2 - 2 6 ) 召o + 1 ) = b 0 ) + ( ，+ e k 涉r 归0 ) ( 2 2 7 ) 2 3 2 最小互信息原理的i c a 估计方法 根据信息论，互信息是各个随机变量之间相互独立性的一种自然量度。随机向量 y 的各个分量y ，之间的互信息为： i ( y l ，y 2 ，y | ) = 兀日( 咒) 一日( y ) ( 2 2 8 ) i = l 式中) 和日，) 分别是联合熵与边缘熵。 显然，当且仅当各个随机变量y ，之间相互独立的时候，有h ( y ) = h ( y ，) ，从 j - l 而互信息，( y l ，y 2 ，y ) = 0 ，否则，互信息总是大于零。 对于可逆线性变换y = b x 有密度关系： 驰) = 器 ( 2 _ 2 9 ) 因此有： 的卜她删一e l o g 尚) 3 。， = - e l o g 只( x ) + l o gid e t bi _ h ( x ) + l o gd e t bi 又依定义有： h ( y ，) = 一e l o g 己( 乃) ) ( 2 3 1 ) 式中： 少，= 匆1 x ( 2 3 2 ) 现在取源信号s ，的密度函数( 假设为已知) p $ i ( ) 作为只( ) ，即令： 只( y ，) = p ，( y ，) ( 2 3 3 ) 将式( 2 - 3 1 ) 一( 2 - 3 0 ) 代入式( 2 - 2 8 ) 得： 1 4 五邑大学硕士学位论文 ，( m ，y 2 ，少) = 一e l o g 置( 玩r x ) - l o g d e t b i - h ( x ) ( 2 3 4 ) f = l 由于( 2 - 3 4 ) 式中的最后一项与w 无关，则基于互信息的目标函数可以表示为： - ，( w ) = h 抚) - l o g d e t ( w 】 i = 1 ( 2 - 3 5 ) 则基于梯度法的权值迭代公式为： m + 1 ) = w g ) + 【，一矽( y 涉7 ) ( 2 3 6 ) 其啪) - - 锱一锱。 如果求式( 2 3 4 ) 对b 的梯度的负值，则将得到与式( 2 - 1 9 ) 右端完全相同的梯度 学习规则。从而可以进一步导出式( 2 2 2 ) 、( 2 2 3 ) 和式( 2 2 4 ) 。求解i c a 问题的极 大似然法以及最小互信息法，尽管目标函数不同，但最终导出的算法是相同的。 互信息与勋肋口旗一比i b l e ，【2 5 】收敛 理论上，根据我们的观点，互信息多单元情形大多数满足对照函数。利用微分 熵概念定义等式( 2 3 7 ) ，m ( 尺度) 个随机变量y ，i = 1 ，- ，m 之间的互信息定义如下： ，。，少：，y 。) = h ( y ，) 一日) ( 2 3 7 ) 式中日表示微分熵。互信息是变量之间独立性普遍的测量方法。互信息的值通 常是非负的，当且仅当变量都是统计独立时为零。因此互信息考虑到了整个变量的 独立结构。找到一种变换，使独立分量墨之间的互信息最小化就是一种估计i c a 模 型十分普遍的方法。对于将来的应用，注意到通过互信息属性，我们获得y = w x 的 逆线性变换： ，。，y ：，y 。) = 日，) - h ( x ) - l o g d e t l w l i ( 2 3 8 ) 互信息的使用也可以用k u l l b a c k l e i b l e r 收敛得到，两个概率密度函数石与以 的k u l l b a c k l e i b l e r 收敛定义式： 妣肚“帅。g 矧咖 ( 2 _ 3 9 ) 可以把k u l l b a c k l e i b l e r 收敛当作两个概率密度之间的一类距离，虽然并不是实 1 5 五邑大学硕士学位论文 际上的距离，因它不具对称性。现在，若式( 2 3 7 ) 中y ，是独立的，它们的联合概率 密度两个分解为等式( 2 - 3 7 ) 的独立性定义。因此估计y ，的独立性可看作是实数密度 函数( y ) z f 司的k u l l b a c k l e i b l e r 收敛，且因子分解密度函数 厂) = 石。坟：) 厶朋) 式中z ( ) 是y ，的边缘概率密度函数。实际上，该参量等同于y ，的互信息。 由互信息的定义公式： 如) = 机w ) j 伽) = p n 筹砂 ( 2 _ 4 。) 又根据熵的定义以及y = w x ，可得： h c o = h ( x ) + l o g d e t ( w ) i ( 2 41 ) 从而可得互信息的表达公式为： j m ) = h ，) - l o gd e t ( w - h ( x ) ( 2 4 2 ) 由于( 2 - 4 2 ) 式中的最后一项与w 无关，则基于互信息的目标函数可以表示为： ，m ) = 日，) - l o g d e t ( w ) i j = l ( 2 - 4 3 ) 则基于梯度法的权值迭代公式为： w g + 1 ) = w 0 ) + p 一痧涉r h g ) ( 2 4 4 ) 其哪) _ - 锱一裂。 砌肋口毋一l e i b l e r 收敛也和最小互信息1 1 9 1 与最大似然之间有着紧密的联系，实际 上，最大似然可以当作观察密度与因子分解密度之间k u l l b a c k l e i b l e r 距离。因此 这两种方法就是最小化观察密度与因子分解密度之间的k u l l b a c k l e i b l e r 距离；若 作为极大似然( 尬) 估计方法部分来精确估计密度，实际上两种因子分解渐进等价。 1 6 五邑大学硕士学位论文 2 3 3 非高斯最大化的i c a 估计方法 2 3 3 1 最不高斯的就是独立的 利用中心极限定理，在同样的情况下，独立的随机变量的线性叠加后比任何源 信号都更接近高斯分布。我们利用前面所讲的i c a 模型： x = a s ( 2 4 5 ) 可以通过找到混合信号的正确的线性叠加从而得到独立分量： s=a-1x(2-46) 所以我们需要考虑x 。的线性叠加，可以表示为y = b t x = b , x ，b 是一个待定的向 量，还可以表示为y = b t a s ，那么y 就是s 。的线性叠加，系数是67 a ，令q = a r b ， 那么我们有： y = b t x = q r s = g ，瓯 ( 2 4 7 ) f 如果b 是彳的逆矩阵中的某一行，那么b r x 就是独立分量中的一个，在这中情况下， g 只有一个元素为l ，其它都为零。 现在问题是如何利用中心极限定理来确定b 使得它是彳的逆矩阵的某一行，事 实上由于不知道彳，我们无法确定准确的b ，但是可以找到它的估计量得到一个很 好的近似。 我们可以改变系数g ，观察y = g 2s 的分布的变化，基本思想就是两个独立的随 机变量的叠加的分布比原信号更接近高斯分布。所以y = q r s 一般比s ，中的任何一个 都接近高斯分布，并且当g 只有一个元素g ，为非零的时候是最不高斯的，在这种情 况下就的得到s ；中的一个。 但是实际上我们不知道g 的值，也不需要知道，因为b r x = q r s ，我们可以改变b 的值并观察b r x 的分布。所以我们可以用向量b 来使b r x 的非高斯性达到最大，然 后就得到独立分量。n 维的g 向量可以得到2 刀个极大值，每个独立分量有两个，分 别对应s ，和一s ，。 五邑大学硕士学位论文 2 3 3 2 用负熵度量非高斯性 负熵是建立在熵的基础上的。概率密度函数为p 。( 7 7 ) 的随机变量y 的熵日定义 为： h ( y ) = 一p y ( r ) l o gp 。( y ) d r l ( 2 - 4 8 ) 一个随机变量，它越随机( 比如说越不可预见) ，那么它的熵就越大，根据信息 论的知识，在相同的方差的情况下，高斯随机变量比其它随机变量的熵都要大，这 就意味着熵可以作为非高斯性的一种度量。为了使得这个度量对于高斯变量为零， 并且总是非负的，经常使用熵的另一种形式一一负熵。随机变量y 的负熵定义为： j ( y ) = h ( y 蝴，) 一日( y ) ( 2 4 9 ) 这里y 一是一个与y 具有相同相关矩阵( 或协方差矩阵) 。 当互信息利用负熵表示时，可以看到定义的好处，给出 帅：，以一”；j ( y 小j 1l o g 黔 式中c y 是y 的协方差矩