独立成分分析ICA深圳大学课件

Independentcomponentanalysis独立成分分析（ICA）ICA简介ICA是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的方式的估计方式求解信号源。独立成分分析（ICA）假想一下，在一个房间里的不同位置放着两个麦克风，同时有两个人说话。两个麦克风能同时记录下两个时间信号，如果仅用这两个记录的信号来估计出原来的两个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会”问题。由于主成分分析(PCA)和奇异值分解(SVD)是基于信号二阶统计特性的分析方法，其目的用于去除图像各分量之间的相关性，因而它们主要应用于图像数据的压缩；而ICA则是基于信号高阶统计特性的分析方法，经ICA分解出的各信号分量之间是相互独立的。正是因为这一特点，使ICA在信号处理领域受到了广泛的关注． a为权重的参数，在鸡尾酒舞会问题中为距离，x为两个话筒得到信号，s为两个表演者的声音。这两个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。 如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源） 但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。ICA的约束为了确保上边刚刚给出的基本的ICA模型能被估计，我们必须要做出一定的假设和约束。1.独立成分被假定是统计独立的；2.独立成分具有非高斯的分布；3.假定混合矩阵是方阵；1.独立成分被假定是统计独立的该假设是ICA能够成立的前提。概念上理解：我们说随机变量y1，y2..yn独立，是指在i≠j时，有关yi的取值情况对于yj如何取值没有提供任何信息。技术角度上理解：联合概率密度等于各边缘概率密度的乘积。3.假定混合矩阵是方阵换句话说，就是独立成分的个数与观测到的混合量个数相同。根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程“盲”源信号不可观测混合系统的特性事先不可知盲源分离（BlindSourceSeperation）1、盲源分离与ICA的概念盲源分离的目的是求得源信号的最佳估计。给定随机变量的一组观测（X1(t)，X2(t)，X3(t)）其中t是时间或者样本标号。假设他们有独立成分线性的混合而产生：式中，A是一个未知矩阵。在我们观测仅能观测到Xi(t)的情况下，独立分量分析就要同时估计出矩阵A和Si（t）。并且假设观测到的独立成分Xi(t)数目与Si（t）数目相同。当盲源分离的各分量相互独立时，就成为独立分量分析公式1阵列信号处理领域应用场景在阵列传感器中，各传感器接收到混合信号，源信号和混合特性未知，是典型的盲分离应用问题。在移动通信阵列天线处理、海洋声纳探测等方面的作用越来越重要声信号处理领域

应用场景移动通信中，ICA技术能够有效地消除噪声、抑制干扰、增强语音，提高通信质量；通过ICA方法对车辆行驶时产生的声音信号进行分离，对车辆个数与行车方向进行估计，实现车辆的简单分类ICA范例——EEG信号与假象分离噪声条件下研究脑活动监测多个脑活动过程3、数学基础牛顿迭代法熵负熵牛顿迭代法法

牛顿法最初是用于求解方程f(x)=0的解。其解的过程：由初始值x(k)开始，用一阶导数f’(x(k))=0计算新的估计值x(k+1)。x(k+1)由f(x)在Pk点的切线与x轴的交点来确定。因此：f’(xk)=f(xk)

Xk-xk+1Xk+1=xk-f(xk)f’(xk)而式中的f’(xk)可以看做是在初始点的导数，是可以很容易求出来的。例.用牛顿迭代法求方程的根:解:由牛顿迭代法x0=0.5;x1=0.3333333333x2=0.3472222222x3=0.3472963532x4=0.3472963553迭代四次精度达10-8

负熵我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。

(fastICA）-----极大化非高斯性FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvärinen等人提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。FastICA算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的FastICA算法。独立分量分析（ICA）的过程如下图所示：在信源中各分量相互独立的假设下，由观察值X通过解混系统把他们分离开来，使输出逼近。

fastICA实际上是一种寻找wTz（Y=wTz）的非高斯最大的不动点迭代方案。为了推导近似牛顿法，首先wTz的近似负熵的极大值通常在E{g(wTz)