独立成分分析ICA深圳大学

1、independent component analysis ica是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的方式的估计方式求解信号源。假想一下，在一个房 间里的不同位置放着两个麦克风，同时有两个人说话。两个麦克风能同时记录下两个时间信号，如果仅用这两个记录的信号来估计出原来的两个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会”问题 。由于主成分分析(pca)和奇异值分解(svd)是基于信号二 阶统计特性的分析方法，其目的用于去除图像各分量之间的相关

2、性，因而它们主要应用于图像数据的压缩；而ica 则是基于信号高阶统计特性的分析方法，经ica分解出的各信号分量之间是相互独立的。正是因为这一特点，使ica在信号处理领域受到了广泛的关注声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麦克风1麦克风2麦克风3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33a a为权重的

3、参数，在鸡尾酒舞会问题中为距离，x为两个话筒得到信号，s为两个表演者的声音。这两个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源）但ica是在不知道a和si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatxica的约束为了确保上边刚刚给出的基本的ica模型能被估计，我们必须要做出一定的假设和约束。1.独立成分被假定是统计独立的；2.

4、独立成分具有非高斯的分布；3.假定混合矩阵是方阵；1.独立成分被假定是统计独立的该假设是ica能够成立的前提。概念上理解：我们说随机变量y1，y2.yn独立，是指在ij时，有关yi的取值情况对于yj如何取值没有提供任何信息。技术角度上理解：联合概率密度等于各边缘概率密度的乘积。2.独立成分具有非高斯的分布 如果观测到的变量具有高斯分布，那么ica在本质上 是不可能实现的。原因：因为独立成分联合分布是高斯的，那么他们的联合概率密度为：p(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp（-|s|2/2）假定s经过混合矩阵a后，他们的联合概率密度仍然不变化，因此我们没有办

5、法在混合中的得到混合矩阵的信息。3. 假定混合矩阵是方阵 换句话说，就是独立成分的个数与观测到的混合量个数相同。根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程“盲”源信号不可观测混合系统的特性事先不可知盲源分离（blind source seperation）1、盲源分离与ica的概念盲源分离的目的是求得源信号的最佳估计。给定随机变量的一组观测（ x1(t)， x2(t)， x3(t) ）其中t是时间或者样本标号。假设他们有独立成分线性的混合而产生：式中，a是一个未知矩阵。在我们观测仅能观测到xi(t)的情况下，独立分量分析就要同时估计出矩阵a和si（t）。并且假设

6、观测到的独立成分xi(t)数目与si（t）数目相同。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx当盲源分离的各分量相互独立时，就成为独立分量分析公式1应用场景生物医学信号领域心电图(ecg)脑电图(eeg)信号分离听觉信号分析、功能磁共振图像(fmri)分析处理孕妇身上测到的心电信号，分别得到孕妇自己和胎儿的心电信号阵列信号处理领域应用场景在阵列传感器中，各传感器接收到混合信号，源信号和混合特性未知，是典型的盲分离应用问题。在移动通信阵列天线处理、海洋声纳探测等方面

7、的作用越来越重要声信号处理领域应用场景移动通信中，ica技术能够有效地消除噪声、抑制干扰、增强语音，提高通信质量；通过ica方法对车辆行驶时产生的声音信号进行分离，对车辆个数与行车方向进行估计，实现车辆的简单分类ica范例eeg 信号与假象分离 噪声条件下研究脑活动 监测多个脑活动过程ica范例fmriica component typessustained task-related(a)transientlytask-related(b)slowly-varying(c)quasi-periodic(d)abrupt headmovement(e)activatedsuppressedslo

8、w headmovement(f) fmri数据噪声大且复杂 ica辨识同时产生的血流动力学过程 不需要特定的实验相关先验知识3、数学基础 牛顿迭代法 熵 负熵牛顿迭代法法 牛顿法最初是用于求解方程f(x)=0的解。其解的过程：由初始值x(k)开始，用一阶导数f(x(k)=0计算新的估计值x(k+1)。 x(k+1)由f(x)在pk点的切线与x轴的交点来确定。因此：f(xk)=f(xk) xk-xk+1xk+1=xk-f(xk)f(xk)而式中的f(xk)可以看做是在初始点的导数，是可以很容易求出来的。例.用牛顿迭代法求方程的根:0133xx解:13)(3xxxf设33)(2xxf由牛顿迭代法

9、)()(1kkkkxfxfxx得取初值,5 .00 xx0 =0.5;x1 =0.3333333333x2 =0.3472222222x3 =0.3472963532x4 =0.3472963553331323kkkkxxxx迭代四次精度达10-8 1kx*x)(xfy kx熵 由信息论理论可知： 对于一个离散取值的随机变量x，他的熵定义为h：h(x)=-p(xi)log(p(xi) (i=1,2,.n) xi是x可能的取值。p是x取不同值的概率。 对于一个连续取值的随机变量x,他的熵定义为h(微分熵)随机变量越随机，越是难预测和非结构化，他的熵就越大。假设一个概率接近于1，其他的概率接近于0

10、。那么该随机变量就没有什么随机性，他的熵就更小。如果所有概率相等，那么它们都远离0和1，意味着它们的熵较大。负熵我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。 (fastica）-极大化非高斯性fastica算法，又称固定点(fixed-point)算法，是由芬兰赫尔辛基大学hyvrinen等人提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。fastica算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大负熵最大

11、的fastica算法。 独立分量分析（ica）的过程如下图所示：在信源中各分量相互独立的假设下，由观察值x通过解混系统把他们分离开来，使输出逼近。 等于球化白化原因：一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。白化白化操作：g+ w0te zw z221tew zwfastica实际上是一种寻找wtz（y= wtz ）的非高斯最大的不动点迭代方案。为了推导近似牛顿法，首先wtz的近似负熵的极大值通常在eg(wtz) 极值点处取得。根据拉格朗日条件， eg(wtz) 在约束 条件下的极值，是在那些使得下面拉格朗日乘子式的梯度为零的点处取得：正交系统221tew zw为拉格朗日乘子现在我们试图采用牛顿法来求解方程。用f表示上方程的左部分，求的其梯度为：为了简化矩阵求逆的过程需要对上式第一项进行近似。因为数据已经是球化