（信息与通信工程专业论文）独立分量分析技术的研究与实现.pdf

r es e a r c ha n d i m p l e m e n t a t i o no f i n d e p e n d e n tc o m p o n e n ta n a l y s i s at h e s i ss u b m i t t e dt o s o u t h e a s tu n i v e r s i t y f o rt h ea c a d e m i cd e g r e eo fm a s t e ro f e n g i n e e r i n g b y j i a n gr u s u p e r v i s e db y p r o f e s s o rh u a i - - q u n s c h o o lo fi n f o r m a t i o ns c i e n c ea n d e n g i n e e r i n g s o u t h e a s tu n i v e r s i t y j a n u a r y2 0 1 0 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明 并表示了谢意。 研究生签名：毖互变日期：型五口 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：差玺谴 导师签名： 摘要 摘要 独立分量分析( i c a ) 是盲分离技术中的一个分支，由于它可以在对源信号和混合系 统的先验知识知之甚少的情况下，仅从观测到的混合信号中，利用独立性假设，恢复出源 信号，因此在语音分离、无线通信及信息隐藏等多个领域中有着广泛的应用。 语音盲分离是独立分量分析技术一个重要的应用，同时也是难度很大的一个部分。经 典的“鸡尾酒会”问题诠释了语音盲分离的任务，即从一个实际未知环境所观测到的混合 语音里提取出各个说话人独立的语音。围绕着这个问题，全文的工作与研究如下： ( 1 ) 针对早期的瞬时混合模型，分析了目前比较成熟的三类分离算法，这包括：自 适应的信息最大化法，固定点中的f a s t l c a 法以及批处理中的特征矩阵联合近 似对角化法。然后，通过评价标准对三种算法的性能进行了比较，并阐明了三 种算法的优缺点。 ( 2 ) 对简单的瞬时模型进行扩展，提出时变混合系统的概念，并给出分段求解混合 矩阵的方法；紧接着，罗列了分段处理时可能遇到的各种新问题，并一一给出 解决方案。 ( 3 ) 对于实际环境中的卷积混合语音模型，本文采用了将时域混合数据通过短时傅 里叶变换转换到频域解决的方法，这将导致排序和幅度不确定性问题。对此， 本文首先简述了现行的两种方案：频谱分裂及波达方向估计( d o a ) 。对于这 两种方案，通过论文给出的评价标准，描述了其性能参数。在进行对比之后， 分析了两种方案的优缺点：频谱分裂法普适性更强，因为其原理基于频率间相 干性：而d o a 方法的鲁棒性更好，但是其混合模型必需满足麦克风阵列的假 设。 ( 4 ) 在两种现行方案的基础之上，提出了一种改进型的d o a 方法，并通过仿真证 明了其性能的优越性。 关键词：独立分量分析语音盲分离瞬时混合卷积混合 a b s t r a c t a b s t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i si sab r a n c ho fb l i n ds o u r c es e p a r a t i o nt e c h n o l o g y b e c a u s ei tc a nr e c o n s t r u c tt h eo r i g i n a ls i g n a l sf r o mt h eo b s e r v e dm i x e ds i g n a l sw i t h o u t p r o f i c i e n t p r i o rk n o w l e d g eo fm i x i n gs y s t e ma n ds o u r c es i g n a l sb a s e do nt h ei n d e p e n d e n t h y p o t h e s i s ，i t i s r e g a r d e d a sau s e f u lt o o li nt h ef i e l d so fa u d i os e p a r a t i o n ，w i r e l e s s c o m m u n i c a t i o n ，i n f o r m a t i o nh i d i n ga n ds oo n s p e e c hs e p a r a t i o ni sa ni m p o r t a n ta p p l i c a t i o no fi c aw h i c hi sf u l lo fd i f f i c u l t i e sa n d c h a l l e n g e s t h ec l a s s i c a lc o c k t a i lp r o b l e mh a sv i s u a l i z e dt h et a s ko fb b sw h i c hi st oo b t a i nt h e i n d e p e n d e n tv o i c eo fe a c hp e r s o nf r o mt h eo b s e r v e dm i x e ds p e e c hi nu n k n o w nc i r c u m s t a n c e t h e r e f o r e ，t h i sp a p e ri st r y i n gt os o l v ei ta n do r g a n i z e da sf o l l o w s ： ( 1 )a tt h eb e g i n n i n go fb b s ，t h em i xs y s t e mw a so n l yc o n s i d e r e dt ob ei n s t a n t a n e o u s m o d e l t h u s ，o u rp a p e rs t a r t sf r o mi ta n dp r o p o s e ss o m ec o n v e n t i o n a la l g o r i t h m s w h i c hi n c l u d e ss e l f - a d a p t i v ei n f o r m a t i o nm a x i m i z a t i o n ，f a s t l c aa n dj a d e t h e n , w ec o m p a r ea l lo ft h e mb ys o m es t a n d a r d sa n da n a l y s i st h ea d v a n t a g e sa n d d i s a d v a n t a g e so f e a c ho ft h e m ( 2 ) m o r e o v e r , w ep r e s e n tt h ec o n c e p to ft i m ev a r i a n ts y s t e mt oe x t e n dt h es i m p l e m o d e la n dt r yt oc o p ew i t hi tb yd i v i d i n gt h es p e e c hd a t ai n t os e g m e n t s m e a n w h i l e ， w eg e tt h es e p a r a t i o nm a t r i xi ne a c hs e g m e n t h o w e v e r , t h i sm e t h o dr e s u l t si n m a n yn e wp r o b l e m ，w em a n a g ea l lo ft h e mo n eb y o n e ( 3 )f o rt h ec o n v o l u t i v em i x t u r ei nr e a le n v i r o n m e n t t h i sp a p e rh a sp r e s e n t e dam e t h o d w h i c hc o n v e r t st h et i m e d o m a i ns i g n a l si n t of r e q u e n c y d o m a i nt i m e - s e r i e ss i g n a l s w i t hs h o r t - t i m ef o u r i e rt r a n s f o r m ( s t f t ) i tl e a d st op e r m u t a t i o na n ds c a l i n g i n d e t e r m i n a c y s o ，w ed i s c u st w ob a s i ca p p r o a c h e s ：s p e c t r u ms p l i ta n dd i r e c t i o no f a r r i v a l st od e a lw i t hi t t h e n ，w eu s eo u ro w ns t a n d a r dt oc o m p a r ea n dd e s c r i b et h e c h a r a c t e r so ft h e m f i n a l l y , w ec o n c l u d et h a tt h ef o r m e ro n ec a nw o r ki nm o s t s i t u a t i o n sb e c a u s eo ft h ef r e q u e n c yr e l a t i o nm e t h o d su s e di ni t w h e r e a st h el a t t e r o n ea r em o r er o b u s ti fa n d o n l yi ft h em i xs y s t e mm e e tt h ea r r a yp r o c e s s i n gt h e o r y ( 4 ) e v e n t u a l l y , w eg i v ean e wm e t h o dc a l l e di m p r o v e dd o a b a s e do nt h et w oa t u a l w a y s e x p e r i m e n t a lr e s u l t ss h o wt h a to u rm e t h o dp r o v i d e dab e t t e rp e r f o r m a n c e o v e rt h e m k e yw o r d s ：i c as p e e c hb b s i n s t a n t a n e o u sm i x t u r ec o n v o l u t i v em i x t u r e n 目录 i z l 冰 摘要l a b s t r a c t i i 目j j 乏i i i 第1 章绪论l 1 1 课题的研究背景和意义1 1 2 独立分量分析技术的发展现状2 1 3 论文结构3 第2 章数学基础知识5 2 1 概率与统计特征5 2 1 1 有关概率的复习5 2 1 2 特征函数6 2 1 3 高阶统计量7 2 1 4 联合累计量的一些性质8 2 2 信息论知识9 2 2 1 熵9 2 2 2k ul ib a c k - l e ；bie r 散度n 2 2 3 互信息1 1 2 2 4 负熵1 2 第3 章独立分量分析理论。1 5 3 1 独立分量分析的系统模型嘲15 3 2 独立分量分析的假设条件16 3 3 独立分量分析的独立性判据【6 刀1 6 3 3 1 互信息最小判据【8 】1 7 3 3 2 负熵极大判据【6 j 1 7 3 4 独立分量分析的算法18 3 4 1 批处理18 3 4 2 自适应算法18 3 4 3 逐次提取法19 第4 章瞬时混合模型与分离方法2 l 4 1 瞬时混合模型分离方法21 4 1 1 信息极大法【1 4 1 s 】2 l 4 1 2 固定点的f a s tic a 2 8 4 1 3 其它的瞬时混合分离方法3 5 4 2 瞬时混合模型的扩展3 9 4 2 1 扩展模型中的时变混合矩阵。4 0 4 2 2 扩展模型的不确定性4 3 第5 章卷积混合模型与分离方法4 7 5 1 频域盲分离理论4 7 5 1 1 频域盲分离模型。4 7 5 1 2 短时傅里叶变换4 9 5 1 3 复数域ic a 2 2 1 4 9 5 1 4p e r m u t a tio na n ds e al in g 2 3 】【2 4 】5 0 i i i 目录 5 2 解决排列模糊和幅度模糊的方法5 1 5 2 1 频谱分裂 2 5 1 。5l 5 2 2 波达方向估计5 7 5 2 3d o a 改进算法6 2 5 3 综合对比与分析6 8 第6 章总结与展望7 7 参考文献7 9 至5 【谢8l 攻读硕士期间发表论文与其他科研成果8 3 i v 第l 章绪论 1 1 课题的研究背景和意义 第1 章绪论 2 0 世纪6 0 年代，随着计算机技术的发展及快速傅里叶变换技术的出现，数字信号处 理很快在通信、雷达、声纳探测等领域得到了广泛应用。过去十几年。在工程实践的巨大 推动下，数字信号处理的研究对象从平稳高斯信号、因果最小相位系统发展到非平稳非高 斯信号、时变系统和非因果、非最小相位系统，同时出现了一系列新的信号处理方法，如 用高阶统计信息理论分析、研究非高斯信号。辨别非最小相位系统；用时频分析和小波变 换处理非平稳信号；用多维信号处理( m d s p ) 技术对数字图像和阵列信号进行处理：用神 经网络进行自适应信号处理：用过采样技术对系统进行盲辨识等。这些新的信号处理方法 逐渐成为现在信号处理研究的热点和前沿课题。 近十年来，由于全世界范围内经济的l i 速发展，人类改造大自然步伐的不断加快，造 成人类对能源的需求及依赖不断增大，能源供不应求的矛盾也随之出现，人类必须在那些 原来因为太困难而放弃的区域中寻找能源，因此，面临的地质勘探问题就越来越困难，这 也对信号处理学科提出了更高的要求。另一方面，由于数字移动通信行业的迅猛发展，从 而出现了一些新的研究课题，如在移动通信中，由于发射端所发出的原始信号未知，通信 信号也在不断的变化之中，因此，如何仅由接收信号去回复原始信号。就显得尤为重要。 当地质勘探与数字移动通信两大行业都迫切需要一种新的数字信号处理方法来解决在各自 领域中所面临的棘手问题时，盲信号处理作为数字信号处理的一种新的研究方向就应运而 生了。 在盲信号处理中又有一类很重要的问题叫做盲源分离( b 1 i n ds o u r c es e p a r a t i o n ， b s s ) 是指在不知道源信号和传输通道的参数的情况下，根据输入源信号的统计特性，仅由 观测信号恢复出源信号各个独立成分的过程。现在指的盲源分离通常是对观测到的源信号 的线性瞬时混叠信号进行分离。在考虑到时间延迟的情况下，观测到的信号应该是源信号 和通道的卷积，对卷积混叠信号进行盲分离通常称为盲反卷积( b 1 i n dd e v o l u t i o n ，b d ) 。 盲源分离和盲反卷积方法的研究在语音、通信、生物医学工程和地震探测等各个领域中都 具有非常重要的理论价值和实际意义。盲源分离可以在已知很少甚至没有源信号和信道信 息的情况下，通过对接收到的混合信号分析得到源信号的各种信息。 信号处理 盲信号处理 fp c a ( 主分量分析) 盲分离 i li c a ( 独立分量分析) 图1 1 信号处理与i c a 关系 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a i y s i s ) 或者独立分量分析是现在盲源分 离最重要的方法，是由法国人在上世纪8 0 年代研究神经生理学时提出的，属于较新的而 东南大学硕士学位论文 且十分活跃的研究领域，随着研究的加深，人们发现i c a 可以揭示表面现象后的一些本质 组成因素，i c a 已经被应用于在很多领域。比如生物医学中的脑电波检测中，可以得到各 个脑区的信号：金融数据分析中，可以寻找潜在因素，和内在推动机制；在通信中可以用 于多用户检测；在信号处理中，可以进行音频分离。在文本文档分析、电机监控、地震监 视、反射消除、核磁共振谱分析等领域中都有涉及。i c a 是一种很好的方法，可以衍生出 很多技术应用，实现和完善其都有很大的意义。 i c a 在语音分析与处理中有着非常广泛的应用，主要表现在以下方面： ( 1 ) 语音编码：特别在混叠语音信号进行编码方面： ( 2 ) 混叠语音信号盲分离及其基频检测：传统的单通道处理方法几乎是无能为力 的，混叠语音信号可以看作是多路语音信号的线性组合，而每一路语音信号是 均可视为独立分量，这正好符合i c a 的假设，故可用i c a 方法将多路语音信 号分离出来； ( 3 ) 语音增强与消噪：语音在传输的过程中，不可避免地会受到周围噪音的干扰， 这些干扰最终接受到的语音并非纯净语音，而是携噪语音，影响语音质量。语 音中的噪声一般为加性噪声，而且噪声的产生独立于语音的产生。如果将语音 和噪声分别看成由独立的信号源产生，然后线性地叠加成携噪语音，则完全可 以应用线性l c a 分离语音和噪声，从而达到语音增强的目的； ( 4 ) 语音识别：利用独立分量分析进行音位识别等方面也有成功应用的报道。 本课题研究对象为语音数据，并重点介绍了独立分量分析技术在语音域的应用。文章通过 对不同建模下语音混合信号的处理，详细阐述了独立分量分析技术，以及其实现的盲分离效果 和性能参数。 1 2 独立分量分析技术的发展现状 目前，i c a 3 】在国外发展得比较快，主要的研究机构研究学者有：美国s a l ki n s t i t u t e s 神 经计算实验室( c o m p u t a t i o n a ln e u r o b i o l o g yl a b ) 的s e j n o w s k i 与b e l l ，日本的a m a r i 和c i c h o w s k ，芬兰赫尔辛基理工大学的h y v a r i n e n 和o j a ，法国学者c o m o n 与c a r d o s o 。 近几年的声学、语音和信号处理、神经网络大会( i e e ei n t c o n f a c o u s t ，s p e e c h ，s i g n a l ， p r o c e s s i n g i c a s s p ) 上。每次都有盲信号处理和独立分量分析方面的专题，一些权威的 刊物( p r o c i e e e 、i e e et r a n s o nb i o m e d i c a le n g i n e e r i n g 、i e e et r a n s o ns i g n a l p r o c e s s i n g 、n e u r o c o m p u t i n g 等) 相继出版了有关专辑，在国外很多有关独立分量分析 和盲信号处理方面的专著也陆续出版，在神经网络、模式识别和信号处理的方面的书籍中 也包含了有关的章节介绍。 目前独立分量分析的研究工作大致可分为两大类： i c a 的基本理论和算法的研究，算法的研究主要分为三类： ( 1 )基于批运算的一些方法，比如m a x k u r t 法、j a d e 法、f o b i 法等等。m a x k u r t 法主要分为两步，先把观察数据球化，在对球化后的数据作正交变换，来 优化独立性的判据。但是因为计算比较繁琐，效果不是很好。所以较少应 用。j a d e 法引入了多变量数据的四维累计量矩阵，并对其作特征分解， 算法得到了简化，结果的稳定性略有提高。f o b i 法实质上是加权协方差 法，只是其权重是由待处理信号的二阶统计特征决定的。 ( 2 ) 自适应算法，计算比较简单，但收敛速度较慢。实用的方法包括基于随机 梯度的信息极大( i n f o r m a x ) 法，互信息极小( m m i ) 法，极小互信息法是一 种严格的i c a 方法。还有基于自然梯度法的串行的自适应算法，扩展 i n f o r m a x 法，和非线性p c a 自适应算法等等。在这类方法中需要注意的 2 第l 章绪论 是，自然梯度或者相对梯度是自适应i c a 中的一项重要发展，由它引出的 i c a 矩阵更新算法。其优点既可以加速收敛，又可免掉矩阵求逆。 ( 3 )批处理和自适应都是一次性将所有的独立成分分离出来，与之不同的是独 立分量的逐次提取，俗称剥皮法。在这类算法中，比较经典的是固定点 i c a 算法( f i x e d p o i n ti c a ) 。因为其收敛较快，又叫做快速 i c a ( f a s t i c a ) ，由芬兰学者a a p oh y v a r i n e n 提出。固定点迭代原来是一 种数值算法，可以通过收敛的迭代求根，把这种求根的方法用于i c a 迭代， 。加快了收敛的速度，使得它比自适应算法适应甚至批处理具有更快的收敛 速度。学者先后提出了，基于四节累计量的i c a 固定点算法和基于负熵的 i c a 固定点算法。因为负熵作为高斯性度量的效果优于累计量，所以采h j 负熵的f a s t i c a 比采用四节累计量的f a s t i c a 应用更广。根据这一算法的 特点，人们将其较好的应用于独立信号的分离技术，如脑磁图中伪迹去除， 混合声音分离，通信信号分离等多个领域。 i c a 的实际应用方面：它在语音信号处理( 分离、增强与消噪、特征转换、语音 识别、说话人识别) 、数字图像处理( 人脸识别、虹膜识别、数字水印、增强与 消噪、编码、压缩) 。 针对语音盲分离，i c a 的研究又分为两部分，即时域i c a 和频域i c a 。分别针对不同 的语音混合模型，这会在第四和第五章详细介绍。 1 3 论文结构 本文主要研究独立分量分析技术，并将该技术应用到语音域，对混合语音进行处理， 实现盲分离。文章重点选取了两种情形下，不同的线性混合语音模型，详细阐述了与之对 应的i c a 的技术，以及算法性能。全文的主要内容如下： 第一章主要介绍了研究的目的和意义，并讨论了相关领域的背景与现行技术，最后阐 述了行文结构。 第二章主要介绍了独立分量分析技术的数学基础知识，主要包括了概率论与统计学以 及信息论方面的知识。 第三章重点阐述了独立分量分析理论体系，提出了i c a 的假设条件和系统模型。另外， 由于独立分量分析本质上是个优化问题，因此，本章讨论了优化( 独立性) 的判据。 第四章开始将i c a 运用到实际问题上，首先列举了最简单通用的瞬时混合模型，对于 这种模型的混合语音。提出对应的盲分离算法，并对各种算法的性能进行比较。最后将此 模型进行扩展，并给出分析结果。 第五章将混合语音建模成卷积混合模型，这种建模更符合实际环境中的语音，分离的 难度也更大。本章详细阐述了盲分离的方案，并给出了仿真数据。对于卷积混合模型，本 文采用的方法，首先需将i c a 算法扩展到复数域，其次，i c a 仅仅是卷积盲分离过程中的 第一步，对接下来的步骤也会一一涉猎。 第六章对全文进行了总结，对尚能进一步完善的技术进行了分析。 3 照 东南大学硕士学位论文 4 第2 章数学摹础知识 2 1 概率与统计特征 第2 章数学基础知识h 1 独立分量分析涉及的基础知识较宽。它不但像统计信号处理一样，需要概率论、随机 过程以及线性代数的知识，而且还经常涉及信息论。因此，作为进一步讨论的准备在这 一章里将从以下几方面把所需知识简单总结一下： ( 1 ) 概率论与统计特征本章叙述只是复习性质，并把特征函数和高阶统计量的有 关只是予以加强。 ( 2 ) 信息论的有关知识介绍一些主要名词术语的含义及性质。 2 1 1 有关概率的复习 由于一些内容业已熟知，因此不再重复其定义，只把对连续随机变量的一些主要关系 列举如下： ( 1 ) 累积分布函数f ( x ) 它是一个单调的升函数，其值由。到1 。由于是单调函数， 所以必定具有一对一的可逆性。多维情况下，令元= 而，西，x m ，则 记作f ( 元) 。 ( 2 ) 概率密度函数( 本文中简记作n f ) p ( x ) ，是f ( 工) 对x 的导数。 单变量： p ( x ) = _ d f ( x ) ( 2 1 1 ) d x 多变量， p ( 元) = 掣 ( 2 - 1 - 2 ) o x 也称“联合p d f 。此式是纯量函数f 对矢量变量孑的微分，它们是非负函数。 ( 3 ) 边际p d f , p ( x j ) p ( ) = p ( 元) 麻7 ( 2 - 1 3 ) 其中威表示赤中不包括墨，例如，二维情况下有： p ( x 1 ) = 护( 两，x 2 ) 嘿 ( 2 1 - 4 ) p ( x 1 ) = 护( 而，恐) 电 ( 2 1 5 ) ( 4 ) 联合p d f 与边际n f 间的关系以二维情况为例，有： p ( ，吃) = p ( ) p ( 吃l ) = p ( 吃) p ( ti 吃) ( 2 1 - 6 ) 后一个因子称为条件p d f o ( 5 ) i 中各分量独立时联合p d f 的特点 5 东南大学硕士学位论文 m p ) = 兀p ( x i ) i = 1 ( 6 ) 联合p d f 的链形规则 ( 2 1 7 ) p ( 贾) = 兀mp ( 鼍i 葺一l ，x o 2 1 - 8 i = 1 例如对三维情况有： p ( x 1 ，x 2 ，屯) = p ( ) p ( 也i ) p ( 屯i 吃，1 ) 2 - 1 - 9 ( 7 )函数的p d f 设y = f ( x ) 是单调函数，则有： 对单变量： 砂) = 陋一( 州阱陋厂- l ( y ) 制 协l - lo ) 对多变量： 妒) = 妒f b 蚓= 妒= - l ( y 0 】惺l 沼1 1 1 ) 式中i 雾i 、i 罢i 是夕= 厂c i ，的相应的j a c o b t 阵的行列式 2 1 2 特征函数 特征函数的定义如下： 对单变量( 也就是一维) 情况： ( 国) = f p ( x ) e j 。 x d x = e e j c a x 】 ( 2 - 1 - 1 2 ) 对多变量( 也就是多维) 情况： 设 舅= 西，x 2 ，x m 2 ，面= q ，哆，】7 则： ( 动= p ( 元) e - 面k 威= 研面乇】( 2 - 1 - 1 3 ) 由定义可见特征函数是以p ( 元) 为p d fx f f e j 西j 求得的均值：它可以理解成p ( j ) 的反 演傅氏变换。 对矽( 面) 取对数称为“第二特征函数妒( 面) ”， 对单变量情况有：缈( ) = l o g b ( c o ) 对多变量情况有：伊( 历) = l o g ( 面) 用l a p l a c e 算子j 代替国。则以上各式改写成： 6 第2 章数学基础知识 矽o ) = j p ( x ) e 跗d x 船) = p ) e i 乇威 式中 覃= b ，嘎，f 驴( s ) = l o g 矽( s ) 矽 ) = l o g 矽( i ) 当元中各分量互相独立时，有： m 矽( i ) = n ( 墨) i = l 因此： ( 2 1 1 4 ) ( 2 1 1 5 ) ( 2 1 1 6 ) ( 2 一1 1 7 ) ( 2 1 1 8 ) 矽p ) = 矽 ) ( 2 11 9 ) 2 1 3 高阶统计量 一阶和二阶统计特性( 如均值、均方、方差、相关函数、谱密度函数等) 是工作中最 常遇到的统计特征，大家已经比较熟悉，所以不再介绍。本节着重介绍矩( m o m e n t ) 和“累计量”( c u m u l a n t ) 。 1 单变量情况 n 阶矩的定义如下； ：d 幽n 矽( 。s ) i 鲫= p n p ( x ) d x = e ( x h ) ( 2 - 1 - 2 0 ) 一阶矩：m i = e ( 石) 称为均值。 二阶矩：m 2 = e 2 ) 称为均方5 三阶矩：，= e 3 ) 称为偏斜度( s k e w n e s s ) 四阶矩：m 4 = e ( x 4 ) 称为峰g ( k u r t o s i s ) 需要注意的是：做统计估计时，偏斜度和峰度是对标准化了的数据x ( 均值为0 ，方 差为1 ) 进行的。 单变量情况时，n 阶$ t - l 1 的定义是： 吒= 掣a t n l 一 刀o j = u 可以证明此式在矩与累计量之间存在表2 1 所示关系。由表可见，对1 3 阶而言，当 信号均值为零时矩与累计量相等。 7 东南大学硕士学位论文 表2 1 一维情况下，矩和累计量间的关系 阶关系式 当均值- 2 0 时 次 1 勾= e ( x ) = 幺= 0 l 2 k e = e ( x 2 ) 一e 2 ( z ) = 聊2 一朋1 2 k 2 = e ( x 2 ) = 3 码= e ( ) 一3 e ( x 2 ) e ( x ) + 2 e 3 ( x )k 3 = e ( x 3 ) = = 鸭一3 + 2 3 4 k 4 = e ( x 4 ) 一3 e 2 ( x 2 ) 一4 e ( x 3 ) e ( 功k 4 = e ( x 4 ) 一3 e 2 0 2 ) + 1 2 e ( x 2 ) e 2 一6 = 一3 2 = m 4 3 m 2 2 4 + 1 2 一2 6 4 2 多变量情况 骀矩 m n l , n 2 ，n m2 鼎c 3 s n mk 1 = s 2 吣m ：。 ， 务l ，西一，b 一喀却 联合累计量 f a n 缈p ) i = l ：一l 一川m 神，盘：2 , , 6 q s n m m 。s l = s 2 5 一卸 其r g n = n l + n z + + 。 实际工作中常遇到的是维数m = 阶次n 的情况。这时为了简化表示，采用符号c u m 来 表示累计量。例如： c u m ( x i ，x ，) ，j 2 1 或2 概括了m = 2 ，n 2 2 时联合累计量k 2 0 ，k l ，k 0 2 的3 种组 合。 2 1 4 联合累计量的一些性质 本节列举联合累计量的一些主要性质。叙述主要结合四阶情况进行，但有关结论均可 推广到更高阶情况。 1 当x 一中各分量互相独立时，互累计量必定等于0 。 2 比例性 c u m ( c o l x t ，x 2 ，x 3 ，q ) = c o l c 0 2 c 0 3 0 4 c u m ( x i ，x 3 ，) ( 2 - 1 - 2 1 ) 当各x 互相独立时，显然有： 8 第2 章数学基础知识 c u m ( c o l x l ，哆屯，哆屯，c 0 4 x 4 ) = 4q 4 ( 鼍) i = 1 3 可加性 ( 2 1 2 2 ) c u m ( x 1 口+ ，吃，x 3 ，x 4 ) = c u m ( x l n ，x 2 ，x 3 ，x 4 ) + c u , n ( x 1 6 ，x 2 ，x 3 ，x 4 ) ( 2 - 1 - 2 3 ) 由此可以引申出： 设两组信号艺= 【l ，x 2 ，x 3 ，x 4 】，毛= 【l ，吃2 ，吃3 ，4 】互相独立，则有 c 扰朋吒+ 五) = c u m ( x a ) + c u m ( i b ) 4 设y 由多信源贾= x l ，x 2 ，毛，】线性组合而成： 4 y = e c o i x f i = l ( 2 1 2 4 ) 则有 心( y ) = 4 4 4 4q q 纨q c “聊q ，x ，吨，) ( 2 - 1 - 2 5 )。 i = 1 = 1 k = l l = 1 。 o 这只是上述比例性与可加性的结合。当各分量互相独立时，( 2 1 2 5 ) 变成： 心 ) = 4 哆4 k “) ( 2 - l - 2 6 ) 5 对称性 c u m ( x l ，x 2 ，x 3 ，) 之值与五- 的排列次序无关。 2 2 信息论知识 信息论最初是针对通讯理论中两个基本问题而提出的，即：“数据压缩率的上限是多少” 和“信息传送率的上限是多少”? 并且通过引入“熵”和“互信息”等概念来寻求答案。 在i c a 问题中我们的主要着眼点不在这类问题，而在诸如：“一组信号互相独立时，在信 息含量上将表现出什么特点? ”、“当信号通过一个线性或非线性系统时，它的输入、输出 之间的信息量有什么关系? ”这类问题上。为此，首先要解决信号的信息含量如何度量、 信号之间互相独立的程度又如何度量等问题。下面通过介绍信息论中某些常用名词术语的 含义和相互关系加以说明。 2 2 1 熵 1 基本定义 熵( e n t r o p y ) 是信号中所含有的平均信息量。首先从离散情况入手介绍。从一个离散 型随机变量的取值石= 五中能得到的信息量随先验概率增加而减少，而随后验概率增加而 增加。因此采用下述定义为其信息量的度量： 1 0 9 0 = t 的后验概率厶= t 的先验概率) 当没有噪声或干扰时，后验概率兰l ，因此信源输出x = 五所具有的信息量为： 东南大学硕士学位论文 1 蚀( 1 鼻) = - l o g c 式中乞是x 2 t 的先验概率( 即尸 = ) 的简记) 。如果此信源共输出n 次，贝, l j x 2 t 出 现的次数将等于p ，因此n 次输出含有的总信息量是： l 一嵋l o g p l， 如果此离散信号的输出共有k 个不同取值，则n 次输出的总信息量是上式对f = 1 k 的总 和： 总信息量= 一，乞1 0 9 弓 因此，每次输出的平均信息量为： h = 学一争啷 协2 舢 称为该信源的熵。其单位视对数函数1 0 9 的底数而定。当以2 为底时上式的单位为比特( b i t ) ， 当以e 为底时单位为奈特( n a t ) ，而当以1 0 为底时单位为哈特( h a t ) 。注意：由于之值 在o 1 之间， 1 1 七l o g p 是负数，但h 为正值。日随e 加大而单调减小。也就是说某一 取值的先验概率愈大，其信息含量愈小。当尸= 1 时( 即完全确定时) ，其信息含- j = o 。 引, n x 取值连续的情况。如果其概率密度函数为p ( x ) ，则该信源的熵是： h = 一i e ( x ) l o g p ( x ) d x ( 2 - 2 - 2 ) 2 联合熵( j o i n te n t r o p y ) 与条件熵( c o n d i t i o n a le n t r o p y ) 进一步把上述概念引申到一组信源组成的多变量情况。令贾= 1 ，电，】代表个 信源组成的矢量。p ( 工) 是其联合概率密度函数。则有： 联合熵：h ( 元) = 日( ，屯，x n ) = - i p ( 2 ) l o g p ( $ ) d 2 = 一研l 。g p ) 】 ( 2 - 2 - 3 ) 例如，对双变量j = 【，x 2 t 黼： h ( 元) = 日( ，x 2 ) = 一j j p ( 而，x 2 ) l o g p ( x l ，) d x , 条件熵：是条件概率函数的对数的均值，仍以元= ，吃 的双变量情况为例： 日( i 吃) = 一e 1 0 9 p ( x 1i x 2 ) = 一g p ( x , ，x o l o g p ( x li 吃) 咄畋( 2 - 2 - 4 ) 根据以e 定义不难推导出熵的一蝼件质： 1 0 第2 章数学基础知识 1 ) 当碧= 【，吃，h 】中各成分互相独立时，有： r - 、：v n 阿r r 、 2 ( 2 - 2 - 5 ) 日( 元) = 日( 而) f = l 即各分量独立时联合熵是各分量熵的总和。 ( 2 ) 条件熵的链形规则： 日 ) = 二n 日“f - i ，) 2 - 2 - 6 式中元= x 1 ，x 2 ，x n 】 2 2 2k u ii b a c k l e i b l 6 1 散度 k u l l b a c k - l e i b l e r 散度也叫k l 熵，它是两个概率密度函数间相似程度的度量。其定义 如下： 设p ( x ) 、g ( 工) 是随机变量x 的两种概率密度函数，则两者间k l 散度是： 舰懒删( 力l o g 器d x ( 2 - 2 - 7 ) 碰 p ( x ) ，g ( 工) 】有时也简记作舰 p ，们。 推广到多变量情况，有： k l p ( n 】- f 删。g 器灰 ( 2 - 2 8 ) 2 2 3 互信息 在i c a 问题中k l 散度的重要应用是用来度量任意多变量概率密度函数中各分量相互 独立的程度。令p 为多变量元= ，吃，h 】的联合p d f p ( t ) ( f = l ) 是其 n 各分量的边际p d f 当各分量互相独立时p ( 冤) = l - ip ( ) ：一般情况下两者不相等。 i = i 取此二p d f 的k l 散度： 矗 p ) ，矗p ) 】_ 膨) l 。g 前趔k 2 。2 。9 持1 兀p “) 称为互信息(