独立分量分析课件

独立分量分析1盲信号处理导论2独立分量分析概述3基本概念4ICA的优化判据5ICA的优化算法盲信号处理导论（一）盲信号处理（BSP，BlindSignalProcessing）问题：当传输信道特性未知时，从一个传感器或转换器的输出信号分离或估计原信号的波形。注：不确定性是指被估计信号任意比例伸缩，排序和时滞。依然保留了原信号的波形，是可以被BSP

接收的，对于BSP不是最关键的。盲信号处理导论三个主要方向：＊盲信号分离与提取（BSS：BlindSignalSeparation）确定一个或几个具有特殊统计或性质的子分量，舍弃不感兴趣的信号或噪声。用二阶统计量可以完成。＊独立分量分析（ICA：IndependentComponentAnalysis)

得到相互独立的输出分量。在实际应用中应作一定的处理。用高阶统计量来进行分析。＊多通道盲解卷积和均衡（MBD）盲信号处理导论（三）应用：医学，语音增强，无线通信（1）生物医学处理：非侵入式评估人体器官不同生理变化。典型：胎儿心电图信号提取。测量方法：在母体腹部放置若干体表电极，测量电位差信号ECG：包括MECG，FECG。母体心电图信号=胎儿心电图信×N（N=1.5～100）自适应滤波；胎儿的心率与母体心率不同的，可看作是独立的。测量盲信号处理导论（2）声音提取：典型例子：“鸡尾酒会”的问题。人的大脑可以很快辨出或集中听某种需要关注声音。麦克风1麦克风2麦克风3的设计，声音识别，可以识别微弱声音信号。归结为

盲信号处理导论（3）数字通信系统：M1M0均衡器，滤波器。符合盲信号处理对多通道的要求，不需要有干扰信号的训练样本。独立分量分析概述（一）前提：一般假设S中各分量相互独立；零均值，且方差为1。以多导信号处理为基础，即：必须借助于一组把信源按不同比例组合起来的多通道信号同步观察。多导信号包括：主分量分析（PCA）；奇异值分解（SVD）。SXH独立分量分析概述（二）多导信号处理基础对于M通道的观察值（每通道N点采样数据）组成数据阵X其中是正交归一阵，是准对角阵，N

不失一般性；通常设

为奇异值。

M独立分量分析概述独立分量分析概述ICA的简单思路

ICA的任务明确为：在S，A均未知的情况下，求B，使Y=BX是

S的最优逼迫。基本原则:(1)非线性去相关。求B，使任意两输出yi,yj(i≠j)不相关;且经非线性变换g(yi),h(yi)也不相关（高阶统计量）。

(2)使输出尽可能非高斯化。Y的非高斯性的每个局部极大值都给了一个独立分量。SX=ASY=BX混合矩阵解混矩阵AB独立分量分析概述

对X求协方差阵（假设各导记录的均值皆为0），则有：

为特征值，上式是对Cx的主分量分解。分解出的分量按能量大小排序。如果原始数据的秩小于M，则某些奇异值，特征值将等于0。

SVD，PCA分解,保证分解出来的各分量不相关，不能保证分量相互独立。

ICA最早是针对“鸡尾酒会问题”，从酒会嘈杂人声中提取所关心对象的语音，针对CDMA把各用户码分解开来。独立分量分析概述（三）ICA最简单框图说明

ICA任务：S，A均未知，求B，使Y=BX是S的最优逼迫。分解基本原则：（1）非线性去相关。求B，使任意两输出yi,yj(i≠j)不相关；且经非线性变换g(yi),h(yj)也不相关（高阶统计量）。（2）使输出尽可能非高斯化,Y方差恒定，

Y的非高斯性的每一个局部极大值给出了一个独立分量。SY=BX混合矩阵解混矩阵X=ASBA独立分量分析概述（3）芬兰赫尔辛基工业大学神经网络研究中心

高阶统计量引入PCA，提出了立足于逐次提取独立分量的固定点算法（fixedpointalgorithm)

。fastICA:使提取信号非高斯性极大化。计算量小，收敛速度快。（4）法国学者：J.F.Cardoso.JADE算法批数据处理算法近年来引人注意的稀疏分量分析。

优化判据优化算法应用基本概念（与ICA相关）（一）n阶矩：一阶均值三阶偏斜度二阶均方四阶峰度

统计估计时，偏斜度，峰度是对标准化了的数据x(均值为0，方差为1）进行的。（二）n阶累计量：

第二特征函数特征函数

均值

方差

Taylor展开

（moment）（cumulant）单变量基本概念（与ICA相关）说明：

(1)对单变量高斯型信号，二阶以上的矩和累计量或为

0，或可由一，二阶推导，是冗余的，因此，高斯型随机变量可由一，二阶统计特征来完整描述。

(2)当pdf关于原点偶对称，m3=k3=0。

(3)k4>0超高斯,k4<0亚高斯,k4

常用于对非高斯，但对称的pdf分类。用︱k4︱大小作为衡量信号距离高斯型程度的度量。基本概念（与ICA相关）（四）熵：反映平均信息量。

（1）当随机变量取值一定范围时，其取值作均匀分布将具有最大熵值。（2）当随机变量的功率一定时，高斯分布具有最大熵值

（五）KL散度:描述的是两个概率密度函数间相似程度（kullback-leibler散度）单变量：多变量：

KL≥0；p(x)=q(x),KL=0.

反映了p(x),q(x)在某种意义下的距离。KL[p,q]≠KL[q,p]与距离对称性不同，不宜称为距离。重要应用：用来度量任意多变量概率密度函数中各分量相互独立程度。X代表矩阵干扰最佳形式基本概念（与ICA相关）（六）互信息：定义当p(X)为多变量[x1,x2,…xN]的联合pdf，p(xi)为各分量边际pdf.

称为互信息I（mutualinformation).

性质：（1）I(x)≥0，I(x)=0，x中各分量相互独立。可作为独立程度度量。（2）与信息熵的关系：

各分量信息熵的总和—联合熵（3）反映了每个分量携带另一分量信息的含量。def基本概念（与ICA相关）（七）负熵：任意pdfp(x)和具有相同协方差阵的高斯分布pG(x)的KL散度，作为该pdf非高斯程度的度量。负熵（negentropy)

单变量：多变量：性质：（1）J[p(x)]≥0，p(x)=pG(x)：当且仅当J[p(x)]=0代表高斯分布。

（2）

Cx是行列式互信息与负熵的关系。

独立分量分析的实质是优化，即在某一衡量独立性判据最有意义下寻求近似解。解是近似解，且排列次序上，幅度上允许不同ICA的优化判据步骤：两步法解混（1）球化：确定线性变换W使z(t)的各分量zi(t)的方差为1，且不相关（未必相互独立）ICA的优化判据（2）正交变换：yi的方差保持为1，且尽可能相互独立第一步已经满足独立性对二阶统计量的要求，因此第二步只考虑三阶以上的统计量ICA的优化判据∴最直接的判据：互信息I(y)由于，未知，需要对其估计，实际做法是将pdf变成高阶统计量的技术，或在输出端引入某种非线性环节，来自动引入高阶统计量一、统计独立性与互信息测度间的关系ICA的优化判据y中分量独立时互信息极小化判据判据：选择B，由x求达到极小判据的优点：y中各分量的排序和幅度比例变化具有不变性仍涉及pdf，需要用高阶统计量近似ICA的优化判据最简单的逼近思路输入信号的熵与B无关等效于极小表示为高阶统计量的组合若不等于1，则应除以二、信息极大化判据（Informax）ICA的优化判据By(t)x(t)y1(t)y2(t)yM(t)g1(*)g2(*)gM(*)r1(t)r2(t)rM(t)用非线性函数来代替高级统计量的估计由于是单调可逆，变换前后互信息具有不变性

接近信源的累计分布

判据：给定合适的后，使输出的总熵量极大，或极小，或极大ICA的优化判据

是接近信源的累积分布函数，单增，极小，极大可以用sigmoid，tanh等ICA的优化判据通过非线性环节送出去的信息量最大，最大由于非线性环节确定，y一定下，r也确定0∴极大，极小极大，极小，各分量互信息极小极大，，三、极大似然判据ICA的优化判据，定义最大为极大似然估计目标函数极大似然估计含义：选择A，使极大，B给定，y分量独立ICA中：x的对数极大似然函数在独立的条件下，可以证明ICA的优化判据使L(B)极大∴ICA的优化判据

与B无关，可见极大，意味着互信息极小ICA的优化判据四、高阶统计量独立性判据在多变量情况下，y中个分量相互独立时，全部累计量=0，y的维数高时，计算量大，不太实用ICA的优化判据五、判据近似逼近判据涉及pdfpdf未知pdf级数展开适当选取非线性函数简化，逼近如：Informax，逐分量引入使极大gi的选择，单增，之间，常用sigmod，tanh，等ICA的优化算法批处理法：JADE对一批已取得的数据进行优化自适应算法：对输入信号自适应处理逐次提取JointCumulantandCorrelationbasedsignalseperationwithapplicationtoEEGdataanalysisICA的优化算法一、逐次提取法投影跟踪1、思路：从“最独立的方向投影”实际工作中，以“投影后数据的pdf（概率密度函数）距离高斯分布最远”，将各独立分量逐个提取出来，每提取一个，把该分量从原始数据中剔除理由：∴对y中的某个元素有ICA的优化算法若si非高斯的，比yj更接近高斯分布当vij其中只有一个为1，其余为0，yj=sk，距离高斯分布最远最接近信源实际上，A未知，只能通过改变B中的元素，使yj的分布最非高斯ICA的优化算法度量非高斯程度--负熵当分布是高斯分布越大，说明离高斯变量越远ICA的优化算法2、方法：（1）负熵可以表示称高阶统计量的函数较小，偶对称结论：与独立分量间的关系：调节v使达到最大/极大，就能得到独立分量在一定约束条件下，的极值对应与权重矢量v中只有一个元素为1，其余皆为0的情况，此时y的独立分量为某一独立分量sICA的优化算法设有两个独立源，经混合阵A，B得∵∴由于s1，s2独立，有或由于s1，s2，y是零均值，方差为1§11.5ICA的优化算法任务：使极大为便于讨论，设上式极大发生在此时∴极大能得到独立分量s1，s2ICA的优化算法（2）为消除数据中的野点造成估计结果不够稳健的现象，可采用非多项式函数逼近概率密度函数

与标准高斯分布（方差为1，均值为0）相差不太大时，可用若干非多项式函数的加权和来逼近：满足：正交归一性矩消失性ICA的优化算法可以证明同时还可证明负熵极大∴只要选定合适的，求各的统计均值就可以近似估计得ICA的优化算法问题：如何选择①统计特性不难求②的增长速度不能快于对野点不敏感实验中，N常取1，2—和，奇函数，用来表示概率密度的非对称性；偶函数，表现原点左右的双峰性

正常数，是与同样方差的零均值高斯变量ICA的优化算法可用形式ICA的优化算法ICA的优化算法Z是一个分量相互正交，能量=1过程：输入x方差x，cov(x’)特征向量，特征值白化阵ICA的优化算法三、固定点算法由牛顿迭代中固定点映射而来，是一种递推算法求方程的根，可将写为，则称为固定点映射如