独立分量分析(ICA)ppt课件

1、独立分量分析法,报告人：巫书航 导师：山秀明 苏威积,1,目录,目录 问题的提出 数学准备 独立分量法具体算法 总结与展望,2,目录,目录 问题的提出 一、时域雷达信号分选 二、信号与随机变量间的关系 三、独立分量分析法(ICA)的基本问题 四、独立分量分析法(ICA)的历史与应用 数学准备 独立分量法具体算法 总结与展望,3,问题的提出：1、时域雷达信号分选,一、时域雷达信号分选 数学模型：时间、幅度图像,4,问题的提出：2、信号与随机变量间的关系,二、信号与随机变量间的关系 问题：随机变量X在实际中的体现？ 答：独立重复试验，得到试验样本集Xi。 由这组数据样本点可以估计出随机变量的各阶矩

2、，近而估计出pdf等全部统计信息。,5,问题的提出：2、信号与随机变量间的关系,对一个信号X(t)： 独立重复试验 抽样ti， i=1,2, N 样本集 X(ti) 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩，以及谈论它的pdf，独立、相关等统计特性。 例如：,6,问题的提出：3、独立分量分析法的基本问题,假设源信号若干个统计上相互独立的信号组成的，它们在空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。,7,简化假设： 1、A是线

3、性系统，可用矩阵表示. (实际仿真时是随机阵) 2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵),问题的提出：3、独立分量分析法的基本问题,8,问题的提出：3、独立分量分析法的基本问题,9,问题的提出：3、独立分量分析法的基本问题,几点说明： 1、解出来的Y只要求各分量独立，因而解不是唯一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。确切地说，需要找到某种判断函数G，使Y个分量独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步骤不同，有不同的独立分量分析法。,10,问题的提出：4、独立分量分析法的历史与应用,历史：

4、是盲信号处理的一种，是90年代后期发展起来的 ICA是盲信号处理的一个组成部分，20世纪90年代后期(1986、1991)发展起来的一项新处理方法，最早是针对“鸡尾酒会问题”这一声学问题发展起来的 鸡尾酒会问题：从酒会的嘈杂的声音中，如何分辨出所关心的声音,11,问题的提出：4、独立分量分析法的历史与应用,应用： 信号处理 码分多址通信，雷达信号分选等 生物医学 心电图(胎儿)，脑电图等 图像处理 图像压缩，数字识别，图像融合等 其他 地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、机械、化学等各个学科,12,目录,目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识

5、 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望,13,预备知识：一、统计数学知识,1、特征函数 2、第二特征函数 各分量独立时：,14,预备知识：一、统计数学知识,3、矩 n阶矩： 4、累计量 n阶累计量：,15,预备知识：一、统计数学知识,当各分量独立时： 只有 中一个非零，其他皆为零时， 不为零。 即互累计量为零。 (可作为检验独立的一个判据),16,预备知识：二、信息论基本知识,1、熵 信号中平均所含有的信息量。随机信号 单变量： 多变量： 联合熵： 各分量独立时： 在协方差矩阵相同的概率密度函数中，高斯分布的熵最大。,17,预备知识：二、信息论

6、基本知识,2、Kullback-Leibler散度 两个概率密度函数间相似程度的度量。 概率密度函数：p(x),q(x) 单变量： 多变量： 特点：,18,预备知识：二、信息论基本知识,3、互信息 可见 ，当仅但当各分量独立时， 互信息是各分量独立程度的最直接的量度！,19,预备知识：二、信息论基本知识,4、负熵 任意概率密度函数p(x) pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分布的熵最大，所以负熵非负。 负熵用来度量p(x)的非高斯程度。 非高斯性另一种衡量方法：四阶累计量k4,峰度(kurtosis)，单变量。 |k4| 高斯信号

7、k4 =0 k4 0,超高斯 k4 0,亚高斯,20,预备知识：三、概率密度函数的展开,高阶统计量形式： 设x零均值，方差1（白化数据） Edgeworth展开 Gram-Charlier展开,缺点： 大值野点会引起较大误差,21,预备知识：三、概率密度函数的展开,非多项式函数的加权和形式： 文献提到，当 与标准高斯分布 相差不太大时， 可用若干个非多项式函数 的加权和来逼近： 需要满足以下条件： (1)、正交归一性 (2)、矩消失性,22,探查性投影追踪,为了使近似性能较好，F(y)除了上述性质外，最好能有以下性质： (1)、统计特性EF(y)不难求得 (2)、当y增大时，F(y)的增长速度

8、不能快于 ，以使EF(y)对野点不太敏感。 通常N取1或2。有以下函数形式可用：,23,预备知识：四、信号通过线性系统信息特征的变化,信号通过线性系统 熵关系： |B|=1，即系统正交归一时，熵不变 KL散度关系： |B|=1，即系统正交归一时，KL散度为0,24,预备知识：四、信号通过线性系统信息特征的变化,互信息关系： 负熵关系：,25,目录,目录 问题的提出 数学准备 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 总结与展望,26,目录：独立分量法具体算法,独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法,27,独立

9、分量法具体算法：一、主要步骤,独立分量分析： 对交叠信号X，求解混矩阵B，使Y=BX各分量尽量相互独立。独立判据函数G。 主要步骤： 预处理部分（简化计算） 核心算法部分,28,独立分量法具体算法：一、主要步骤,预处理部分： 1、对X零均值处理 2、球化分解（白化） 即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ=I 意义：消除原始各道数据间二阶相关，以后只需要考虑高阶矩量(因为独立时各阶互累积量为0)，使很多运算过程简化。 注意：各道数据间不相关，不一定独立，除非是高斯信号,29,独立分量法具体算法: 一、主要步骤主成分分析与球化,协方差矩阵： 特征值分解： U:特征向量矩阵，正交归一，每

10、一列称为一特征向量 :特征值对角矩阵， 可排序： 特征值代表分量功率大小。 P中各行正交，称为X的主分量，且可见各行能量从大到小排列 可以选择能量大的主分量代表X，此即为主成份分析的由来。,30,独立分量法具体算法: 一、主要步骤主成分分析与球化,取球化阵： 可见： 满足球化条件！,31,独立分量法具体算法：一、主要步骤,主要步骤： 预处理部分得到0均值，方差1数据Z 核心算法部分 寻求解混矩阵U，使Y=UZ，Y各道数据尽可能独立（独立判据函数G） 注意： (1)、由于Y独立，各行必正交。且通常取U保持Y各行方差为1，故U是正交变换。 (2)、所有算法预处理部分相同，以后我们都设输入的为球化数

11、据z，寻找正交矩阵U，使Y=Uz独立。 由于独立判据函数G的不同，以及步骤不同，有不同的独立分量分析法。,32,目录：独立分量法具体算法,独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法,33,独立分量法具体算法：二、各类ICA算法,二、各类ICA算法 1、批处理 2、自适应算法 3、探查性投影追踪,34,独立分量法具体算法：二、各类ICA算法,1、批处理算法： 指依据一批已经取得的数据X来进行处理，而不是随着数据的不断输入做递归式处理。 已有算法： 成对数据旋转法(Jacobi法)及极大峰度法(Maxkurt法) 特征矩阵的联合近似对角化法(JADE法) 四

12、阶盲辨识(FOBI) JADE法和Maxkurt法的混合,35,独立分量法具体算法：二、各类ICA算法,2、自适应算法： 根据数据陆续得到而逐步跟新处理器参数，使处理所得逐步趋近于期望结果，即各分量独立。 已有算法： 常规的随机梯度法 自然梯度与相对梯度 串行矩阵更新及其自适应算法 扩展的Infomax法 非线性PCA自适应法,36,独立分量法具体算法：二、各类ICA算法,3、探查性投影追踪 按照一定次序把各独立分量一个一个的逐次提取出来，每提取一个，就将该分量从原始数据中去掉，对剩下的部分提取下一个分量。 已有算法： 梯度算法 旋转因子乘积法 固定点算法(Fast ICA)最常用算法,37,

13、目录：独立分量法具体算法,独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法,38,独立分量法具体算法：三、Fast ICA算法,Fast ICA算法思路 属于探查性投影追踪 ICA目的 输入球化数据z，经过正交阵U处理，输出Y=Uz Fast ICA 1、输入球化数据z，经过正交阵某一行向量ui处理（投影），提取出某一独立分量yi. 2、将此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。,39,独立分量法具体算法：三、Fast ICA算法,Fast ICA具体做法 问题一：按什么次序提取? 问题三：如何按次序提取？ 问题三：如何除去已提取的分量？,

14、40,独立分量法具体算法：三、Fast ICA算法,Fast ICA具体做法 问题一、按什么次序提取?,41,独立分量法具体算法：三、Fast ICA算法,次序：“最独立” 实际：“投影后数据的pdf距离高斯分布最远” 理由： 类似中心极限定理，如果每个源分量si 是非高斯，且独立的，那么加权和yi将比各个si更接近高斯分布。 那么当vij中只有一个是1，其余为零，即yj=sk时，将距离高斯分布最远。 可以通过调节B使yi距离高斯分布最远，将最接近yj=sk的情况，从而加以提取。,42,独立分量法具体算法：三、Fast ICA算法,Fast ICA具体做法 问题一：按什么次序提取? 答：最独立

15、，投影后pdf距离高斯分布最远 问题一.1：如何度量距离高斯分布最远？,43,独立分量法具体算法：三、Fast ICA算法,非高斯程度的度量 负熵，是任意概率密度函数和具有同样方差的高斯型概率密度函数间的K-L散度。其值越大表示距离高斯分布越远。 直接计算需要估计pdf，为了方便计算，常将pdf展开，负熵相应的表示为以下两种形式。,44,独立分量法具体算法：三、Fast ICA算法,A、将负熵表示为高阶统计量函数（Gram-Charlier展开) 缺点：数据中的野点对估计效果影响较大，因而估计结果不够稳健 B、将负熵表示为非多项式函数的加权和(通常只取N=1),45,独立分量法具体算法：三、F

16、ast ICA算法,另一种角度： 独立性最直接判据，互信息： 当仅当独立时，互信息为零 负熵表示,46,独立分量法具体算法：三、Fast ICA算法,Fast ICA具体做法 问题一：按什么次序提取? 答：最独立，投影后pdf距离高斯分布最远 问题一.1：如何度量距离高斯分布最远？ 答：负熵表示，并将其展开 问题二：如何按次序提取？ 如何选择u使某一分量y距离高斯分布最远？,47,独立分量法具体算法：三、Fast ICA算法,固定点算法（牛顿迭代法） 例：要求f(x)=0的根，可写成x=g(x)的形式，用迭代法xk+1=g(xk)求。 如前所述，分离出yi的判据为yi负熵最大，此时： A、将负

17、熵表示为高阶统计量函数,48,独立分量法具体算法：三、Fast ICA算法,B、将负熵表示为非多项式函数的加权和(N=1),49,独立分量法具体算法：三、Fast ICA算法,50,独立分量法具体算法：三、Fast ICA算法,Fast ICA具体做法 问题一：按什么次序提取? 答：最独立，投影后pdf距离高斯分布最远 问题一.1：如何度量距离高斯分布最远？ 答：负熵表示，并将其展开 问题二：如何选择u使某一分量y距离高斯分布最远？ 答：根据负熵最大，用牛顿迭代法构造迭代式 问题三：如何除去已提取的分量？,51,独立分量法具体算法：三、Fast ICA算法,多个独立分量逐次提取 按上述步骤提取

18、出了一个独立分量，只需要将上述步骤重复若干次。为了防止提取出来的是同一个独立源，每次迭代可用Gram-Schmidt正交化，使新的分量与已经提取出来的分量正交。即若已经提取出p-1个独立分量yi，以及ui, 每次迭代求up时应加上正交化步骤： 如此，则可将所有独立分量提取出来,52,独立分量法具体算法：三、Fast ICA算法,Fast ICA具体做法 问题一：按什么次序提取? 答：最独立，投影后pdf距离高斯分布最远 问题一.1：如何度量距离高斯分布最远？ 答：负熵表示，并将其展开 问题二：如何选择u使某一分量y距离高斯分布最远？ 答：根据负熵最大，用牛顿迭代法构造迭代式 问题三：如何除去已提取的分量？ 答：Gram-Schmidt正交化,53,独立分量法具体算法：三、Fast ICA算法,仿真： 采用固定点算法B，N