盲源分离之极大似然ICA算法

1、极大似然独立成分分析算法一、似然度极大似然估计可以解释为：采纳那些使观测向量具有最大概率的估计参数值。设Px(X)是对观测向量x的概率密度Px(x)的估计，源信号的概率密度函数为Ps(S)，根据线性变换下两个概率密度函数之间的关系，观测数据X的概率密度函数的估计Px(x)与源信号概率密度函数Ps(s)满足APx(X)二Ps(Ax)det A对于给定的模型，观测数据x的似然函数是模型参数A的函数，定义为L(A) = E|og2 Px(x)=(Px(x)log 2 Ps( Ax)dx - log 2 det A当模型参数为分离矩阵W=A，时，对数似然函数为1 I L(W)log2 ps(Wx(t)

2、? log2 detWT 7式中，T为独立同分布观测数据的样本数，最大化此似然函数就可获得关于参数W的最优估计。、Infomax 算法Infomax算法即为信息传输极大化算法。U1Wg2(). Un .gn()Xn图1 Infomax算法框图独立性判据由图1可知，Infomax算法是一种基于信息论的前向反馈自组织神经网络的 算法，其中x为多路观测信号向量，它是由n个独立源线性混合而成，网络输出 u =Wx是对真实源s的逼近。g()=©(),g2(),lgOT为可逆单调非线性函 数，非线性输出为y = (y!,y2,川,yn)T。独立性判据为最大信息传输准则，即通过 对分离矩阵W (神

3、经网络的连接权值矩阵)的调整寻找优化的W，使网络输出y 和输入x之间的互信息l(x;y)达到最大。由信息论可知l(x;y)= H(y)-H(y|x)式中，H(y)为网络联合输出熵；H(y|x)为输出的条件熵。若系统存在噪声N，即 y 二g(u) N 二 g(Wx) N，有 H(y |x) = H(N)，则上式可表示为l(x;y)二H(y)-H(N)于是，y和x之间的互信息I (x; y)最大等价于网络联合输出熵 H (y)最大(噪 声N与系统无关)。以网络输出的联合熵H(y)作为目标函数，由信息熵理论可知H (y) = H (yj H y) III H (yj -l (%, y2,Hl,yJ式

4、中，H (%)为非线性输出的边缘熵；1( %2,川，)为非线性输出之间的互 信息，其值总是非负的，只有当非线性输出yi之间彼此相互独立时， I(yi,y2,川,yn) =0。由互信息可知，单调可逆非线性映射对互信息没有影响，所 以I(y)取最小值0时，l(u)也同时达到最小值零，于是各成分间相互统计独立， ICA问题得以解决。此时H(yHH(Vi) H(Y2MII H(VnH-E：I n(Py(y)?式中，Py(y)为输出y的概率密度函数，因此最大化H(y)包含了最大化边缘 熵和最小化互信息两个内容。选择熵作为目标函数是因为熵是一个随机变量无序 性的度量及信息量大小(不确定信息的多少)的测度，

5、y的各成分统计独立性越高 则相应的y熵H(y)越大，所含信息也越多。可以证明，当非线性函数gi()为源的概率密度函数的积分累积分布函数时，边缘熵H(yJ最大。由于在系统中y =g(u) =g(Wx)，所以Py(y)冲J其中，J为分离矩阵W的雅克比行列式的绝对值，即汙1；：x2鋼2IIIJ 二 det1*1n a二(detW厂丄i 二 CUiIII得到H (y)=Eln J -Eln(px(x)由上式可知，当x已知时，H(y)的大小随e| n J卩而变，即随权值矩阵而变,将J代入上式并求梯度，可得.W H =cWcW-nInJAiWInW+iW吧誥'i对于式的第一项，将权值 W按行i展开

6、为w=：E WiAi，Ai为对应元素的i代数余子式，由于所以(W )TdetWIn W = =(W )cW式中，W“表示W的伴随矩阵。对于(1)式的第二项，可以将对数项展开，而对于某一个wi，展开项中只有一 个与其相关，令半（U） _ ,P（U）/WU _ 印（Uj/aiicP（Un）/£Un 1P（Ui）P（U） P（5）'' P（Un）显然，第二项与g()有关，这样得到分离矩阵调整算法公式为.：Wc (WT)J - (u)xTg()可以选择取值在0,1之间的单调递升函数，如 Sigmod函数和tanh函数等。考虑语音信号一般为超高斯信号，采用固定形式为函数的非线性

7、函数1y = g(u)j_u1 +e参数调节公式为T T.W (W )(1-2y)x (2)W(n 1) =W( n W；W( n)(3)式中，n为迭代次数；"为学习率(通常是一个小于1的正数)。Infomax算法 就按式(2)和(3)进行分离矩阵W的迭代求解，知道算法收敛。采用自然梯度(或相 对梯度)对式(2)进行化简，即在其右边乘以 WTW，于是式(2)化为W =(WT)， (1-2y)xTWTW 二 I (12y)uT W (4)由于WTW为正定矩阵，并不影响随机梯度下降算法的收敛，同时式(4)避免了矩阵的求逆过程，因而计算量明显降低，收敛速度加快。缺点：由于Sigmod函数的

8、微分所表示的概率分布函数是超高斯的(峰度为 正)，因此Infomax算法只适用于超高斯源信号的盲分离。三、扩展Infomax 算法实际观测信号通常是超高斯源和亚高斯源的混合信号，因此在传统Infomax算法基础上采用双概率模型，并在盲分离算法迭代过程中，根据分离结果的统 计特性变化，动态切换概率模型，最终实现概率模型与真实源信号概率分布类型 的统一，实现最佳的盲分离效果。图2所示为扩展Infomax算法的原理框图，其中 亚高斯概率密度模型 为P1（u） =pN（,2） N（-崇2）11（u-）21 （u）2exp 2exp r-22二22二图2扩展Infomax算法原理框图令a=/2，由式及双

9、曲正切函数的定义，可以得到(u)二.:p1(u)/ ；:uuPi(u)二2exp(au) -exp(_au) ua 1 = 2exp(au) +exp(_au) _ 口卩4tanh(u) crcr令"=1及二2 =1，则上式可以简化为:(u) = u _tanh(u)于是，分离矩阵的更新规则为二卩 tanh(u)uT -uuT W图2中的单峰超高斯概率密度模型 为2P2(u) =PG(u)sech (u)式中，Pg(u)二N(0,为具有零均值、单位方差的高斯密度函数;sech(u) =2(eu e)4同理，可计算出非线性函数(u)为：p(u)/p(u)二 u tanh(u)因此，分离矩阵的更新规则为W 氏 J -tanh(u)uT uuT |W引入n维对角矩阵K,称为概率密度切换矩阵，对角元素ki为峰度符号，取 值根据归一化峰度的符号变化来确定。根据峰度的定义，有心二 sgn(kurt(Ui)二 sgn(上绞匕 _3),仁 i 乞 nE(Ui)对于高斯信号，k匚=0 ；对于超高斯信号，k i 0 ；对于亚高斯信号，k 0 扩展Infomax算法的分离矩阵的更新规则为.：W ：卩一Ktanh(u)uT -uuT |W其中，超高斯信号：kj = 1;亚高斯信号