独立成分分析ICA历史.ppt

IndependentComponentAnalysis ICA 鸡尾酒会 假想一下 在一个房间里的不同位置放着两个麦克风 同时有两个人说话 两个麦克风能同时记录下两个时间信号 如果仅用这两个记录的信号来估计出原来的两个语音信号 那将是一件非常有意义的事情 鸡尾酒会效应是指人的一种听力选择能力 在这种情况下 注意力集中在某一个人的谈话之中而忽略背景中其他的对话或噪音 该效应揭示了人类听觉系统中令人惊奇的能力 使我们可以在噪声中谈话 可用特瑞斯曼的注意衰减理论来解释 听觉注意现象 当人的听觉注意集中于某一事物时 意识将一些无关声音刺激排除在外 而无意识却监察外界的刺激 一旦一些特殊的刺激与己有关 就能立即引起注意的现象 因常见于酒会上而得名 如在各种声音嘈杂的鸡尾酒会上 有音乐声 谈话声 脚步声 酒杯餐具的碰撞声等 当某人的注意集中于欣赏音乐或别人的谈话 对周围的嘈杂声音充耳不闻时 若在另一处有人提到他的名字 他会立即有所反应 或者朝说话人望去 或者注意说话人下面说的话等 该效应实际上是听觉系统的一种适应能力 对熟悉事物的迅速再认被称为鸡尾酒会现象 也就是 我们站在一个挤满了人的屋子里 周围可能有十个 二十个人在说话 可我们却能挑选出我们想听的对话 换句话说 我们的大脑对其它对话都进行了某种程度的判断 然后决定堵住不听 什么是ICA IndependentComponentAnalysis 即独立成分分析法 最初是用来解决 鸡尾酒会 问题 基本的ICA是指从多个源信号的线性混合信号中分离出源信号的技术 它是伴随着盲信源问题而发展起来的 故又称 盲分离 由于主成分分析 PCA 和奇异值分解 SVD 是基于信号二阶统计特性的分析方法 其目的用于去除图像各分量之间的相关性 因而它们主要应用于图像数据的压缩 而ICA则是基于信号高阶统计特性的分析方法 经ICA分解出的各信号分量之间是相互独立的 正是因为这一特点 使ICA在信号处理领域受到了广泛的关注 随着近年来在ICA方面研究兴趣的增加 使它在许多领域也有了非常有趣的应用 直观感受 这里需要使用一个隐藏的统计变量模型 x As式中的统计模型称为独立成分分析 或者ICA模型 它表示被观察到的数据是如何由独立成分混合而产生的 独立成分是隐藏的变量 意味着它不能直接被观察到 而且混合矩阵也被假设为未知的 所有能观察到的仅仅只是随机向量x 必须估计出A和s 而且必须在尽量少的假设条件下完成它 该方法出现最初的目的是 将观察到的数据进行某种线性分解 使其分解成统计独立的成分 最早提出ICA概念的是Jutten和Herault 当时他们对ICA给出了一种相当简单的描述 认为ICA是从线性混合信号里恢复出一些基本的源信号的方法 发展历史 1991年 Jutten和Herault提出了基于神经网络的算法 采用了结构相对简单的带有反馈机制的神经网络 但这种算法收敛性不够理想 发展历史 1992年 Linker提出了基于信息论的无监督学习算法 使神经网络的输入和输出之间的互信息量最大化 这种方法与冗余减少原理有密切联系 发展历史 1994年 Comon首次提出ICA概念 证明了在源信号矢量的各个分量相互统计独立 并且各个源信号中服从高斯分布的源不多于一个时 变换矩阵W可以分解成一个满秩对角矩阵和一个排列矩阵的积 发展历史 1995年 Bell和Sejnowski年提出了基于信息论框架的盲分离方法 用于盲分离和混合源的解卷积 之后 Cardoso和Laheld在此基础上进一步改进 为避免矩阵求逆 提出相对梯度算法 这是一种运用神经网络处理器的自适应方法 发展历史 但是 上述几种算法的实现都是有条件限制的 例如 假设信号源无噪声 形成混合信号时无时间延迟 线性混合 系统的通道数大于或等于源的数目 等等 1999年 Att