盲源分离问题综述

盲源分离问题综述 摘要 盲源分离 是从观测到的混合信号中恢复不可观测的源信号的问题 作为阵列信号 处理的一种新技术 近几年来受到广泛关注 本文主要阐述了盲源分离问题的数学模型 典型算法以及盲源分离的应用 并结合盲源分离问题的研究现状 分析了其未来的发展方 向 主题词 盲源分离 盲源分离的典型算法 1 引言 盲信号分离问题起源于人们对 鸡尾酒会 问题的研究 在某个聚会上 我们正在相互 交谈 同一时刻同一场景下其他人的交谈也在同时进行着 可能还有乐队的音乐伴奏 这 时整个会场上是一片嘈杂 但是非常奇妙的是 作为交谈对象的双方 我们能够在这混乱 的众多声音中很清晰的听到对方的话语 当然 如果我们偶尔走神 将精力放在乐队奏出 的音乐时 我们也同样可以听清楚音乐的主旋律 这种可以从由许多声音所构成的混合声 音中选取自己需要的声音而忽视其他声音的现象就是鸡尾酒会效应 如何在这种从观察到 的混合信号中分离出源信号的问题就是所谓的盲分离 Blind Signal Separation BSS 问题 有时也被称为盲源分离 Blind Source Separation 问题 1986 年 法国学者 Jeanny Herault 和 Christian Jutten 提出了递归神经网络模型和基于 Hebb 学习律的学习算法 以实 现两个独立源信号混合的分离 这一篇开创性论文的发表使盲源分离问题的研究有了实质 性的进展 随着数字信号处理理论和技术的发展以及相关学科的不断深入 大量有效的盲分 离算法不断被提出 使盲分离问题逐渐成为当今信息处理领域中最热门的研究课题之一 在 无线通信 图象处理 地震信号处理 阵列信号处理和生物医学信号处理等领域得到了广 泛的应用 2 盲源分离问题的数学模型 盲源分离是指在不知道源信号和信道传输参数的情况下 根据输入信号的统计特性 仅 由观测信号恢复出源信号各个独立成分的过程 盲源分离研究的信号模型主要有三种 线性 混合模型 卷积混合模型和非线性混合模型 2 1 线性混合模型 线性混合模型在神经网络 信号处理等研究中常常用到 其数学模型描述为 是一个随机的时间序列 用 m 个话筒表示接收到的混合信号 用 1 t 2 t t 来表示 它们有如下关系 1 t 2 t t 1 t 11 1 t 1 t t 1 1 t t 其中 是未知的混合系数 在线性瞬时混合中 一般假定 是未知的常数矩阵 盲源 分离需要解决的问题就是如何从接收到的观察信号中估计出源信号 和 1 t 2 t t 混合矩阵的过程 实际上式还应该存在一个干扰存项 如果考虑到噪声的存在 那么上式 可以推广到更一般的情况 即为 X t AS t n t X t 为接收到的 m 维随机向量 又称为观察向量 也是唯一可以 1 t 2 t t 利用的条件 S t 是 n 维独立的源信号组成的向量 又称为隐含 1 t 2 t t 向量 因为它们是未知的观察不到的向量 有时也称为独立分量 n t 为噪声向量 A 是 系数组成的混合矩阵 盲分离问题就是求得一个分离矩阵 W 通过 W 就可以仅从观察信号 X t 中恢复出源 信号 S t 设 y t 是源信号的估计矢量 则分离系统可由下式表示 Y t WX t 2 2 卷积混合模型 考虑到延迟和滤波的混迭信号的线性混合 这通常被称为卷积混合 其数学模型描述为 Y t 因为传输的延时以及接收系统频响的差异 瞬时混合系统盲分离算法一般不能够处理卷 积混合问题 一类很有研究前景的方法就是频域盲源分离算法 利用频域算法可以提高 BSS 方法的收敛速度和学习速度 另外时域卷积问题可以变换为频域相乘问题 2 3 非线性混合模型 非线性混合是一种研究最为广泛的模型 即将源信号线性混合后再通过一个非线性函数 得到观察信号 其数学模型描述为 Y t f Z t f AS t 求解时首先寻找一个非线性函数 g t 使得 g t 即非线性的校正阶段 然后同 1 线性瞬时混合的盲分离求解一样寻找一个分离矩阵从而求得源信号的近似 3 盲源分离问题的典型算法 3 1 H J 算法 Herault 和 Jutten 可能是最早对盲源分离问题进行研究的 他们引进了仿神经的算法 是一种逐步调整权重的神经网络 图一 H J 算法仿神经网络 由图可知 Y t X t WY t 即 Y t X t 算法的实质就是引入了信号 I W 1 的高阶统计信息 不过由于学习每一步过程中都要对矩阵 I W 求逆 导致运算量增加 H J 算法中非线形函数的选取具有随意性 在理论上没有给出令人满意的收敛性证明 但 是在实际应用中的收敛性相当不错 不过需要注意的是 H J 算法仅用于观察信号数目与源 信号数目相同的情况下 仍然具有一定的局限性 3 2 最大熵算法 从信息理论角度来考虑 盲信号分离问题就是一个以分离系统最大熵为准则 利用神 经网络或自适应算法 通过非线性函数来间接获得高阶累积量的过程 这种方法的思想就 是当神经元输出 Z 的各个分量 相互独立时 其熵最大 所以这种方法又称为最大熵算法 Bell 和 Sejnowski 的这种方法是将 Linskers 的信息传输最大化理论推广到非线性单元 来处理任意分布的输入信号 这一原理具体内容如下 假设信号通过 S 型函数传输时 如 果该 S 型函数的斜率部分与信号的高密部分保持一致时 则可以实现信息的最大化传输 由最大熵原理可以知道 当输出熵最大时 互熵也最大 即有最多的信息通过了可逆变换 从输入端传输到输出端 这时输入变量的概率密度函数和可逆变换 G 之间的关系由 Linsker 的最多信息原理 Infomax Principle 描述 当函数 G 的最陡部分与输入变量的最 陡概率部分向重合时 最大的信息从输入端传导了输出端 图二 最大熵算法网络结构示意图 对于最大熵算法所处理的最基本的问题就是要使得一个神经网络处理单元的输出 Y t 中包含的关于其输入 X t 的互信息最大 这个算法只能够分离出超高斯信号的混合 这个 限制的重要原因是在算法中使用了非线性函数 log 非线性函数是 log 就相当于强加一个先 验知识超高斯分布给源信号 3 3 最小互信息算法 最小互信息 Minimum Mutual Information MMI 的基本思想是选择神经网络的权值 矩阵 W 使得输出 Y 的各个分量之间的相关性最小化 这里的信号间的相互依赖关系可以 用 Y 的概率密度函数及其各个边缘概率密度函数的乘积间的 K L 散度来表示 在使用互信 息作为信号分离的代价函数时 对输出的各个分量无需使用非线性变换这种预处理手段 由随机梯度算法得到 其中为学习率 函数的选取与独立元的本身性质有关 函数的选取对于整个算 法的性能有很大的影响 如果知道了真正的概率密度函数 最好的选择就是使用它们 但 是实际中我们很难知道这些知识 只能够进行概率密度的自适应估计 所以对这个关键的 非线性函数进行研究 也是一个值得关注的问题 3 4 最大似然算法 最大似然估计 Maximum Likelihood Estimation MLE 是利用已经获得的观测样本来 估计样本的真实概率密度 具有诸如一致性 方差最小性以及全局最优性等很多优点 但 是最大似然估计需要知道关于输入信号概率分布函数的先验知识 这是很难满足的 所以 必须尽量避开它 最大似然估计首先是由 Girolami 和 Fyfe 于 1996 年提出用于盲分离问题 而 Pearlmutter 和 Parra 从最大似然估计推导出通用的 ICA 学习规则 目前 最大似然算 法是解决盲分离问题的一个非常普遍的方法 通过推导可以得到标准化的最大似然函数 L dx 1 2 H 由此式我们可以发现最大似然函数是由 Kullback Leibler 散度和熵值得到的 而第二项的 熵不依赖于参数 相当于一个常数项 Cardoso 将上式转化为一个盲源分离问题 为 x 的概率分布函数 混合信号由 X AS 给出 为所要求的未知的混合矩阵 参数集 是一组可逆的 N N 的矩阵 这样由上式可以得到最大似然估计的代价函数就变成 3 5 独立分量分析算法 ICA 信号经过变换后 使不同信号分量之间的相关性最小化 并尽可能相互统计独立 目前 已经有很多有效的在线 ICA 算法 如自然梯度算法 EASI 算法 广义 ICA 算法 灵活 ICA 算法和迭代求逆 ICA 算法等 这些算法都可归类为最小均方算法 LMS 但 LMS 型算法存在 收敛速度和稳态性能之间的矛盾 一般有如下几种典型的独立分量分析算法 1 快速定点算法 FastICA FastICA 算法基于非高斯性最大化原理 使用固定点迭代理论寻找X 的非高斯性最大 值 该算法采用牛顿迭代算法 对观测变量 X 的大量采样点进行批处理 每次从观测信号中 分离出一个独立分量 是一种快速的寻优迭代算法 FastICA 算法适用于任何非高斯信号 具有良好的收敛性 二次收敛 同时不需要选择学习步长 但该算法只能以批处理的方式 进行 不适合实时应用的需要 而且随着信号源个数的增加 算法性能会明显变差 算法的梯 度公式如下 W diag diag E g y W 式中 1 E g E g 2 自然梯度算法 由于分离矩阵的变化空间是黎曼空间 而自然梯度W 是随机梯度在黎 曼空间的扩展 所以自然梯度更真实地反映了最速下降方向 同时由于右乘正定矩阵消去了 矩阵求逆运算 因此自然梯度算法在收敛速度和稳定性方面都较随机梯度有所改善 梯度公 式如下 W I g y W 式中 为学习步长 3 等变化自适应算法 EASI EASI 算法用相对梯度代替一般的随机梯度进行优化计算 是一种将白化过程和去 除高阶相关过程同时进行的一种具有等变化性的算法 但是 EASI 算法需要选取学习率参数 且 其选取是否合适直接影响算法的收敛性能 且其对于超高斯信号的收敛速度没有递归最小二 乘 RLS 算法快 其梯度公式如下 W I y g y y y W 自然梯度算法 EASI 算法和迭代求逆算法都具有等变化性 但只适合于亚高斯或超高 斯信号单独存在的情况 在亚高斯和超高斯信号同时存在时 可以使用广义 ICA 算法和灵活 ICA 算法等自适应算法 但它们的计算比较复杂 3 6 非线性 PCA 算法 主分量分析 PCA 是以输入数据协方差矩阵的最大特征值以及相应的特征向量定义的常 规的统计信号处理方法 标准的 PCA 方法仅仅用到了输入数据的二阶统计量 输出数据之 间满足互不相关 将高阶统计量引入标准的 PCA 方法中就称为非线性 PCA Nonlinear PCA NLPCA 方法 利用非线性 PCA 可以完成对输入信号的盲分离 高阶统计量是以隐含的方 式引入计算的 算法采用自适应迭代的方法 易于工程实现 非线性 PCA 有两个优点 一 是输入 输出间的映射是非线性的 而标准 PCA 只能够实现线性映射 二是非线性 PCA 在 处理输入数据时 考虑了高阶统计量 而不仅仅是其二阶统计量 这个特性对于盲信号处 理是特别有用的 非线性 PCA 的代价函数为 J W E V W g V 2 这里的权值 W 是 m m 的矩阵 g 是对矢量的非线性函数 在非线性准则里 g 通 常是一些奇函数 如亚高斯信号 g t tanh t 超高斯信号 g t 等 3 3 7 非线性混合盲分离算法 在非线性混合模型中 盲信号分离算法的分离目标是获取逆线性混合矩阵 非线性盲分 离的研究主要有以下几类方法 1 自组织映射 SOM 法 该算法不考虑非线性混合的具体形式 但其网络复杂性会随着 源信号数目的增多呈指数增长 且在分离连续源信号时存在严重的插值误差 2 感知器模型法 1992 年 Burel 首先提出用一个两层感知器和基于 BP 思想的无监督 训练算法 通过梯度下降算法最小化互信息量准则 得到一种可用于非线性混合信号的盲分 离算法 1998 年 Yang 和 Amari 利用两层感知器网络结构 通过最大熵和最小互信息作为 测量独立的代价函数 提出了 BP 网络训练算法 当合理选择非线性函数时 该算法可以分离 出一些特定非线性混合的源信号 3 径向基函数网络法 2001 年 Tan 等人提出了使用径向基函数 RBF 神经网络逼近非 线性混叠的逆映射 实现盲信号分离 4 后非线性混合盲分离方法 1997 年 Taleb 和 Jutten 首先提出了后非线性混合模型 同时指出这类模型具有可分离性 并针对这类模型提出了一种非线性混合盲分离算法 Solazzi 和 Uncini 也针对后非线性混合模型 基于信息量最大化准则 利用自适应样条函数 提出了样条神经网络后非线性盲分离算法 利用多个独立同分布信号的线性组合仍服从高 斯分布的特性 先将观测信号变成高斯信号 然后用瞬时线性混合的算法分离提取源信号 这 种算法省去了求逆的过程 5 贝叶斯集合学习算法 该算法采用多层感知器神经元网络 MLP 能够对非线性静态 和动态过程实现盲分离 6 基于遗传算法的盲分离方法 该算法基于非线性混合模型 X t Af HS t 式中 A 和 H 为线性 瞬时结构的混合矩阵 利用遗传算法使信号非线性混合度最小化 然后对去除非线性后的数据进行线性分离 从而实现盲分离 与传统的梯度算法相比 基于 遗传算法的盲分离方法有着更快的收敛速度和稳定性 能够在全局范围内寻找最优解 4 盲源分离的应用 4 1 语音信号处理 Bell 和 Sejnoski 于 1995 年提出了最大熵算法 并且给出了语音信号分离的试验 证 实了该方法的可行性和有效性 Lee 和 Bell 将基于自然梯度的信息最大传输盲源分离算法 进行盲反卷积 并用于真实环境的语音信号分离 试验证实分离后 可以提高语音识别率 4 2 生物医学信号处理 由于生理信号常常是由若干独立成分的加权 例如 诱发脑电总是被自发脑电所淹没 且常常伴随有心电 眼动 头皮肌电等干扰 用独立分量分析技术来分解 所得到的结果 更具有生理意义 并有利于去除干扰等 4 3 金融数据分析 Back 和 Weigend 于 1998 年利用独立分量分析对日本三年中每天的股票的 portfolio 进行分析 假设得到的多维时间序列 例如每天股票的 returns 是反映了一个系统 股票 市场 的一些统计独立的时间序列相互作用的结果 并同 PCA 获得的结果进行比较 结果 显示 应用 ICA 分解得到的独立成分能够对股票的价格完好的重建 因此 ICA 是 PCA 的一 种有效的补充工具 它允许数据的基本结构能更轻易的观察得到 4 4 在阵列信号处理以及在移动通信中的应用 一个未知的有限的带宽信道的频率响应经常会带来码间干扰 Inter symbol Interference ISI 当输入未知时 要消除这种干扰 得到信道的传输函数 就必须要进行 盲 处理 在移动通信中 盲 处理显得格外重要 在移动通信中 由于时变多径衰落 会产生很严重的码间干扰 为了得到正确的实时的信息流 就必须对信道的时变特性进行 辨识和均衡 虽然有很多技术 如码分多址访问 Code Division Multiple Access CDMA 等的发展和应用使得信道的容量增大 但是由于进行辨识与均衡的部分所占的比例仍然很 可观 如果我们不使用训练序列 而采用盲信道辨识 从接收信号直接估计信道的特征 就会大大节省信道容量 提高信道容量的利用率 利用盲分离技术可以成功的实现多用户 信号的分离