信息论傅祖芸

1、信息论傅祖芸 第六章第六章 波形信源和波形信道波形信源和波形信道 第一节 波形信源的统计特性和离散化 第二节 连续信源和信源的信息测度 第三节 具有最大熵的连续信源 第四节 连续信道和波形信道的分类 第五节 连续信道和波形信道的信息传输率 第六节 连续信道和波形信道的信道容量 第七节 连续信道编码定理 信息论傅祖芸 第一节第一节 波形信源的统计特性和离散化波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消 息。例如语音信号、电视信号。这样的信源成为随机波形 信源，其输出消息可以用随机过程x(t)来表示。 随机过程x(t)可以看成由一族时间函数 组成 称为样本函数。每个样

2、本函数是随机过程的一个实现。 ( ) i x t （1）随机波形信源中消息数是无限的。 （2）随机波形信源可用有限维概率密度函数族以及与各维 函数概率密度函数有关的统计量来描述。 信息论傅祖芸 第一节第一节 波形信源的统计特性和离散化波形信源的统计特性和离散化 就统计特性的区别来说，随机过程大致可分为平稳随机平稳随机 过程过程和非平稳过程非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不 随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函 数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过

3、程的样本 函数x(t)有无限多个，因此，取样后瞬间 的样本值是 一个随机变量。 2 n t F () 2 n x F 2 n n t F 信息论傅祖芸 第一节第一节 波形信源的统计特性和离散化波形信源的统计特性和离散化 这样，通过取样，随即过程就成为可数的无限维的 随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为 2FT个有限维的随机序列。取样之后还要对取值的离散 化。取样加量化才使随机过程变换成时间的取值都是离 散的随机序列。量化必然带来量化噪声，引起信息损失。 12 222 (,.,.) i FFF XXXX 随机过程描述输出消息的信源称为随机波形信源随机波形信源。 用连续随机

4、变量描述输出消息的信源称为连续信源连续信源。 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 连续信源的差熵连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信 源的输出是取值连续的单个随机变量。可用变量的概率密度， 变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为 ( )( ) ( ),( ) XY dF xdF y pxp x dxdy 1 11 ( )( ) x X F xP Xxpx dx | (|),(|) X YY X pxypyx 2 111111 (

5、)(,) XY px yFxyxy 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 它们之间的关系为 基本连续信源的数学模型为 其中R是全实数集。 | ()( )(|)()(|) XYXY XYX Y pxypx pyxpy pxy ( )1 ( ) R R Xp x dx p x 并且 信息论傅祖芸 连续信源 的差熵 连续信源 的信息熵 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 ()() log () nii i H Xp xp x () log ()() log iii ii p xp xp x 这样的话： 0 ()lim

6、()lim( ) log ( ) nii n i H XH Xp xp x 0 ( )log( )limlog b a p xp x 舍弃无穷大的第二项，可得： ()( )log ( ) b a H Xp xp x 定义连续信源的熵连续信源的熵为： 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 同理可以定义两个连续变量X、Y的联合熵和条件熵 ()()log () R h XYp xyp xy dxdy ( |)( ) ( | )log ( | ) R hY Xp x p y xp y x dxdy (| )( ) ( | )log ( | ) R h X

7、 Yp x p y xp x y dxdy 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 连续信源的差熵只具有熵的部分含义和性质 （1）可加性 并当且仅当X与Y统计独立时 所以可得 （2）凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的型凸函数，对于某一 概率密度函数可以得到差熵的最大。 （3）差熵可为负值 ()()(|)( )(|)h XYh Xh YXh Yh XY (|)()(|)( )h XYh Xh YXh Y或 ()()( )h XYh Xh Y 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 波

8、形信源的差熵波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 x(t)和 y(t)可以通过取样，分解成取值连续的无穷平稳随机序列 来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。 12 ()()( ) log( ) N R h Xh X XXp xp x dx 12 ()()() log() N R h Yh Y YYp yp y dy 11 (|)(|)()log( | ) NN RR h Y Xh YYXXp xyp y x dxdy 11 (|)(|)()log( |) NN RR h X Yh XXYYp xyp x y dxdy 波形信源的差熵: ( )lim() N

9、h x th X 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 当对于限频F/限时T的平稳随机过程，它可以近似地 用有限维N=2FT平稳随机矢量表示。这样，一个频带和时 间都为有限的连续时间过程就转化为有限维时间离散的平 稳随机序列了。 和离散变量中一样， 易于证明: 且当随机序列中各变量统计独立时等式成立。 1212131212 ( )()()(|)(|)(|) NN h Xh XXh Xh XXh XX Xh XX XX 1212 ()()()()() NN h Xh X XXh Xh Xh X 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测

10、度波形信源和波形信源的信息测度 两种特殊连续信源的差熵两种特殊连续信源的差熵 1.均匀分布连续信源的熵值 12 () N XX XX 一维连续随机变量X在a,b区间内均匀分布时，这基本连 续信源的熵为 N维连续平稳信源，若其输出N维矢量 其分量分别在 的区域内均匀分布， N维连续平稳信源的差熵为 ()log()h Xba 12 , NN abab 11 ()log()() NN iii ii h Xbah X 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 无记忆连续平稳信源和无记忆离散平稳信源一样，差熵 也满足 限频、限时均匀分布的波形信源的熵为 在波形

11、信源中常采用单位时间内信源的差熵熵率。 均匀分布的波形信源的熵率为 ()2log()h XFTba 12 1 ()()() N Ni i h Xh X XXh X ()2log() t h XFba 信息论傅祖芸 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 连续信源的熵为: 可见，正态分布的连续信源的熵与数学期望m无关，只与其 方差 有关。 2 2 2 1() ( )logexp() 2 2 xm p xdx 22 11 log2loglog 2 22 ee 2 ()() log()h Xp xp x dx 2.高斯信源的熵值 基本高斯信源是指信源输出是一维随机变量

12、X的概率密 度分布是正态分布，即 2 2 2 1() ( )exp() 2 2 xm p x 信息论傅祖芸 高斯噪声信源的熵 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 如果N维连续平稳信源输出的N维连续随机矢量 是正态分布则称此信源为N维高斯信源。维高斯信源。 其差熵为： 当各变量之间统计独立，则C为对角线矩阵，并有 所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随 机变量的差熵为 12 () N XX XX 1 ()log(2) 2 N hXeC 2 1 N i i C 1 ()() N i i h Xh X 当均值m=0时，X的方差 就等于信源输出的平均

13、功率P： 2 1 ()lo g 2 2 hXe P 信息论傅祖芸 第三节第三节 具有最大熵的连续信源具有最大熵的连续信源 通常我们最感兴趣的是两种情况：一种是信源的输出值 受限；一种是信源的输出平均功率受限。 峰值功率受限条件下信源的最大值峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限为，它等价于信源输 出的连续随机变量X的取值幅度受限，限于a,b内取值。在 约束条件 下信源的最大相对熵。 定理定理6.1 若信源输出的幅度被限定在a,b区域内，则当输出信 号的概率密度是均匀分布时信源具有最大熵。其值等 于log(b-a)。若当N维随机矢量取值受限时，也只有随 机分量统计独立并均

14、匀分布时具有最大熵。 ()1 a b px dx 信息论傅祖芸 第三节第三节 具有最大熵的连续信源具有最大熵的连续信源 平均功率受限条件下信源的最大值平均功率受限条件下信源的最大值 定理定理6.2 若一个连续信源输出信号的平均功率被限定为P， 则其输出信号幅度的概率密度分布是高斯分布时， 信源有最大熵，其值为 。 对于N维连续平稳信源来说，若其输出的N维随机序列的协 方差矩阵C被限定，则N维随机为正态分布时信源的熵最大， N维高斯信源的熵最大，其值为 。 这一结论说明，当连续信源输出信号的平均功率受限 时，只有信号的统计特性与高斯统计特性一样时，才会有 最大的熵值。 1 log 2 2 eP

15、1 loglog2 22 N CeP 信息论傅祖芸 第三节第三节 具有最大熵的连续信源具有最大熵的连续信源 对于N维平稳信源也可用类似证明方法，证得当其输出的N 维协方差矩阵C受限时，N维高斯信源的熵最大，最大值 为 。 随机序列 中各分量之间不相关，又 ，则可证得N维随机序列得各分量彼此统计独 立，并各自达到正态分布时熵最大，也就是N维无记忆高 斯信源的熵最大，最大值为 。 如果序列中各分量的均值为零，而平均功率为 ， 则得N维无记忆高斯信源得熵最大，最大值为 1 log(2) 2 N eC 12.N XX XX 2 iii 222 12 1 log(2)(.) 2 N N e i P 12

16、 1 log(2) (.) 2 N N ePPP 信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 波形信道：信道的输入和输出都是随机过程x(t)和y(t)。 连续信道：用连续随机变量来描述信道的输入和输出的消息。 取样 主要研究：噪声 系统外噪声 系统内噪声 热噪声 散粒噪声 信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 按噪声统计特性分类按噪声统计特性分类 1.高斯信道 信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过 程，其瞬时值的概率密度函数服从高斯分布（即正态分 布）。 一维概率密度函数为 常见的是二维高斯随机变量。 2

17、2 2 1() ( )exp() 2 2 x m p x 信息论傅祖芸 信道中的噪声是白噪声。白噪声也是平稳遍历的随机过 程。它的功率谱密度均匀分布于整个频率区间 功率谱密度为一常数 其瞬时值的概率密度函数可以是任意的。此处白噪声的功 率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来 定义，则功率谱为 ，常称为单边谱密度。而 称为双 边谱密度，单位为瓦/赫(W/Hz)。显然。白噪声的相关函数 是 函数： () 0 () 2 n N P () 0 N 0/2 N 00 ( )( )( ) 22 nn NN PR 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 2.白噪声信道

18、信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 3.高斯白噪声信道 具有高斯分布的白噪声称为高斯白噪声。一般情况把既 服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。 关于低频限带高斯白噪声有一个很重要的性质，即低频限带 高斯白噪声经过取样函数取值后可分解成N（2FT）个统计 独立的高斯随机变量（方差为 ，均值也为零）。 低频限带高斯白噪声可以看成是无限带宽的高斯白噪声 通过一个理想低通滤波器后所得。如果理想低通滤波器其带 宽为F赫兹，那么它的传递函数的频率响应为 0 /2N 122 ( ) 0 FF K 其他 信息论傅祖芸 第四节第四节 连续信道和波形信道

19、的分类连续信道和波形信道的分类 考虑双边谱密度，低频限带高斯白噪声的功率谱密度为 其自相关函数 由功率谱密度可知在时间间隔 的两个样本点之间的相 关函数等于零， 所以各样本值之间不相关。有因为随即变量是高斯概率 密度分布的，所以随机变量之间统计独立。 0 /222 ( )( )( ) 0 nn NFF PPK 其 他 0 1sin(2) ( )( ) 22 j nn F RPedN F F 1 2F 信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 4.有色噪声信道 除白噪声以外的噪声称为有色噪声。信道的噪声是 有色噪声称此信道为有色噪声信道。 信息论傅祖芸 按噪声

20、对信号的功能分类按噪声对信号的功能分类 1.乘性信道 信道中噪声对信号的干扰作用表现为是与信号相乘的关系， 则信道称为乘性信道，噪声称为乘性干扰。 在实际无线电通信系统中常会遇到乘性干扰。 2.加性信道 信道中噪声对信号的干扰作用表现为与信号相加的关系， 则此信号称为加性信道，此噪声称为加性噪声。 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 ( ) ( ) ( )y tx tn t ( ) ( ) ( )y tx tn t 信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 连续信道的分类连续信道的分类 我们研究波形信道，就是要研究波形信道的信息传

21、输 问题。一方面为了便于研究，另一方面因为实际波形信道 的频率总是受限的,所以在有限观察时间T内，能满足限频F， 限时T的条件。因此，根据时间取样定理把波形信道的输入 x(t)和输出y(t)的平稳随机过程信号离散化成N(=2FN) 个时间离散，取值连续的平稳随即序列 : 和 这样，波形信道就转化 成多维连续信道。 12N XX XX 1 2N YYYY 信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 若多维连续信道的传递概率密度函数满足 则称此信道为连续无记忆信道。若连续信道在任 一时刻输出的变量只与对应时刻的输入变量有关，与 以前时刻的输入，输出变量无关，也与以

22、后的输入变 量无关，则此信道为无记忆连续信道。 连续信道任何时刻的输出变量与其他任何时刻的 输入，输出变量都有关。则此信道称为连续有记忆信 道。 1 ( | )(|) N ii i p y xp yx 信息论傅祖芸 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 基本连续信道就是输入和输出都是单个连续型随机变量 的信道，基本连续信道就是单符号连续信道，其输入是连续 型随机变量X，X取值于a,b或实数域R；输出也是连续性随 机变量Y，取值于 或实数域R；信道的传递概率密度函 数为p(y|x)，并满足 因此，可用 来描述单符号连续信道。 根据噪声的统计特性和作用，多维连续信道和单符

23、号连 续信道同样有加性信道，乘性信道和高斯信道等之区分。 对于加性信道，信道的传递概率密度函数就等于噪声的 概率密度函数。这也进一步说明了信道的传递概率是由于噪 声所引起的。 (|)1 R p yx dy ,(|),Xp y xY ,a b 信息论傅祖芸 噪声n 输入Y输入X 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 因此，在加性信道中，条件熵为 根据坐标变换得 所以 结论说明了条件熵 是由于信道中噪声引起的，它完 全等于噪声信源的熵，所以称为噪声熵。 以后主要讨论的是加性信道，噪声源主要是高斯白噪声高斯白噪声。 ( )( | )log ( | )p x dxp y xp

24、 y x dy R h(X|Y)=- p(xy)log(y|x)dxdy (|)( )( ) log( )( )h YXp x dxp np n dnh n dxdydxdn (|)h YX 信道 + 信息论傅祖芸 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 单符号连续信道的平均互信息单符号连续信道的平均互信息 单符号连续信道的数学模型为 输入信源X为 输出信源Y为 而信道的传递概率密度函数为 ( )1 ( )( ) R XR p x dx p xp x 并且 ( )1 ( )( ) R YR p y dy p yp y 并且 (|)1 R p yx dy 信息

25、论傅祖芸 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 对于连续信道的平均互信息来说，关系式和离散信道下平均 互信息的关系式完全类似，而且保留了离散信道平均互信息 的含义和性质，只是表达式中用连续信源的差熵代替了离散 信源的熵。 单符号连续信道的信息传输率 （比特/自由度） (;)()(|) ()(|) ( )(|) ()( )() nnn I X YH XH XY h Xh X Y h Yh YX h Xh Yh XY (;)RI X Y 平均互信息为： 信息论傅祖芸 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 多维连续信道的平均

26、互信息多维连续信道的平均互信息 多维连续信道的数学模型是X，p(y|x)，Y，其传递概 率密度函数为： 多维连续信道的平均互信息为： 1 (|)(|) N ii i p y xp yx (; )()(|) ()(|) ( )(|) ()( )() nnn I X YH XH XY h Xh X Y h Yh Y X h Xh Yh XY 信息论傅祖芸 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 根据随机矢量X和Y的差熵和条件差熵的表达式可得： 以上表达式与离散信道下平均互信息的完全类，只是表达式 中概率分布函数用概率密度函数来替代，求和号用积分号来 替代。因此，

27、离散扩展信道中平均互信息的性质在多维连续 信道中仍成立。 ( | )( | ) ( ; )()log()log ( )( ) () ()log ( ) ( ) xyxy xy p x yp y x I X Yp xydxdyp xydxdy p xp y p xy p xydxdy p x p y 信息论傅祖芸 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 多维连续信道的信息传输率 （比特/N自由度） 平均每个自由度的信息传输率 （比特/自由度） 波形信道的信息传输率波形信道的信息传输率 波形信道输入是平稳随机过程x(t)，输出也是平稳随 机过程y(t)。一般情况

28、，对于波形信道来说，都是研究其 单位时间内的信息传输率 1 ( ; ) N RI X Y N (;)RI X Y t R 1 lim(;)( t T RIXY T 比 特 / 秒 ） 信息论傅祖芸 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 1.非负性 2.对称性（交互性） 因为 当X和Y统计独立时即p(x|y)=p(x),I(X;Y)=I(Y;X)=0 就不可能从一个随机变量获得关于另一个随机变量的 信息。 3.凸状性 连续变量之间的平均互信息是输入连续变量X和概率密 度函数p(x)的型凸函数；平均互信息又是连续信道 传递概率密度函数p(y|x)的U型凸函数。

29、 (;)0I X Y ()()(; )( ;)p xyp yxI X YI Y X所以 连续信道平均互信息的特性连续信道平均互信息的特性 信息论傅祖芸 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 和离散信道一样，对于固定的连续信道和波形信道都 有一个最大的信息传输率，称为信道容量。它也是信道 可靠传输的最大信息传输率。对于不同的连续信道和波 形信道，它们存在的噪声形式不同，信道的带宽以及信 号的各种限制不同，所以具有不同的信道容量。 ( )( ) max (; )max ( )(|)( p xp x CI X Yh Yh Y X比特/N自由度） 一般的多维连续信道多

30、维连续信道的信道容量为: ( )( ) 11 maxlim( ; ) maxlim ( )( |)(/ t TTp xp x CI X Yh Yh Y X TT 比特 秒） 一般的波形信道波形信道的信道容量为: 信息论傅祖芸 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 一般多维加性连续信道多维加性连续信道的信道容量为: ( ) max ()( )(/) p x Ch Xh nN比特自由度 加性信道的信道容量取决于噪声的统计特性和输入随机矢 量所受的限制条件。一般的实际信道中，无论输入信号和 噪声的平均功率或能量总是有限的。 () () 1 m ax lim()()

31、1 m axlim()()(/ t Tpx Tpx Ch Yh n T h Yh n T 比 特秒 ） 一般加性波形信道加性波形信道的信道容量为: 信息论傅祖芸 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 单符号高斯加性信道单符号高斯加性信道 单符号高斯加性信道的输入和输出都是取值连续的一维 随机变量，而加入信道的噪声是加性高斯噪声。 设信道迭加的噪声n是均值为零，方差为 的一维高 斯噪声，噪声信源的熵为 高斯加性信道的信道容量 平均功率受限高斯信道的信道容量 只有当信道的输入信号是均值为零，平均功率为高斯分 布的随机变量时，信息传输率才能达到最大值。 2 ( )l

32、og 2h ne 2 ( ) max ( )log2 p x Ch Ye 1 log(1) 2 s n P C P 2 信息论傅祖芸 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 单符号非高斯加性信道单符号非高斯加性信道 信道的输入和输出都是取值连续的一维随机变量X和Y。 信道的噪声Z时均值为零，平均功率为Pn的加性噪声。而 且输入信号X的平均功率受限为Ps。这时噪声是非高斯噪 声。 当且仅当噪声为高斯加性时，等号才成立。 多维无记忆高斯加性连续信道多维无记忆高斯加性连续信道 信道输入随机序列 ，输出随机序列 11 log()log() 22 snsn nn PPPP

33、 C PP 12.N XX XX 12 . N YY YY 信息论傅祖芸 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 因为是加性信道，所以有Y=X+n，其中 是均值为 零的高斯噪声。 当且仅当输入随机矢量X中各分量统计独立，并且均值为零， 方差为不同的高斯变量时才能达到此信道容量。 高斯白噪声加性波形信道高斯白噪声加性波形信道 信道的输入和输出信号是随机过程x(t)和y(t)，而加入 信道的噪声是加性高斯白噪声n(t)（其均值为零，功率 谱密度为 ，输出信号满足y(t)=x(t)+n(t) 12.N nn nn ( ) 1 1 max (; )(1)/ 2 i i N s p x i n P CI X YN P （比特自由度） 0 2N 信息论傅祖芸 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 波形信道可以分解成N维统计独立得随机序列，每个分量 均值为0，方差为 2 00 /2/