信息论 总复习_new

1、1 1 概论概论 2 2 信源及信息熵信源及信息熵 3 3 信源编码信源编码 4 4 信道及信道容量信道及信道容量 5 5 信道编码信道编码 6 6 信息率失真函数信息率失真函数 7 7 考试情况考试情况 l信息与消息和信号的区别信息与消息和信号的区别 消息消息：是指包含有信息的语言、文字和图像：是指包含有信息的语言、文字和图像 等，可表达客观物质运动和主观思维活动的等，可表达客观物质运动和主观思维活动的 状态。状态。 信号信号：把消息变换成适合信道传输的物理量：把消息变换成适合信道传输的物理量 ，这种物理量称为信号（如电信号、光信号，这种物理量称为信号（如电信号、光信号 、声音信号等）。、声

2、音信号等）。 信息信息是事物是事物运动状态运动状态和和状态改变状态改变的方式。的方式。 l信息信息 信息是事物运动状态和状态改变的方式。信息是事物运动状态和状态改变的方式。 l研究信息论的目的：研究信息论的目的：它的主要目的是提高信息系它的主要目的是提高信息系 统的可靠性、有效性和安全性以便达到系统最优统的可靠性、有效性和安全性以便达到系统最优 化。化。 l在通信系统中形式上传输的是消息，但实质上传在通信系统中形式上传输的是消息，但实质上传 输的是信息。消息只是表达信息的工具，载荷信输的是信息。消息只是表达信息的工具，载荷信 息的客体。息的客体。 编码器编码器信宿信宿信道信道 消息消息 干扰干

3、扰 消息消息 通信系统模型通信系统模型 信源信源 信号信号 解码器解码器 信号信号+干扰干扰 噪声源噪声源 l信息论的研究对象信息论的研究对象: :通信系统模型通信系统模型. . 信源信源 信道信道 加密加密 信源信源 信道信道 解密解密 通信系统的基本任务要求通信系统的基本任务要求 可靠可靠: : 要使信源发出的消息经过传输后，尽可能准确地、要使信源发出的消息经过传输后，尽可能准确地、 不失真或限定失真地再现在接收端不失真或限定失真地再现在接收端 有效有效: : 用尽可能短的时间和尽可能少的设备来传输最大的用尽可能短的时间和尽可能少的设备来传输最大的 消息消息 l单符号离散信源单符号离散信源

4、 l自信息量自信息量 用概率测度定义信息量，设离散信源用概率测度定义信息量，设离散信源 X X，其，其 概率空间为概率空间为 如果知道事件如果知道事件 x xi i 已发生，则该事件所含有的 已发生，则该事件所含有的 自信息定义为自信息定义为 )(log )( 1 log)( i i i xp xp xI )(,),(),( , )( 21 21 n n xpxpxp xxx XP X， l联合自信息量联合自信息量 l当当 X X 和和 Y Y 相互独立时，相互独立时， p(xp(xi iy yj j)=p(x)=p(xi i)p(y)p(yj j) ) )(log )( 1 log)( ji

5、 ji ji yxp yxp yxI )()()( jiji yIxIyxI l条件自信息量：条件自信息量：已知已知y yj j 的条件下的条件下x xi i 仍然存仍然存 在的不确定度。在的不确定度。 l自信息量、条件自信息量和联合自信息量之自信息量、条件自信息量和联合自信息量之 间的关系间的关系 )|(log )|( 1 log)|( ji ji ji yxp yxp yxI )|()( )|()( 1 log)( iji iji ji xyIxI xypxp yxI l互信息量：互信息量：y yj j 对 对 x xi i 的互信息量定义为的后 的互信息量定义为的后 验概率与先验概率比值

6、的对数。验概率与先验概率比值的对数。 )|()();( )( )|( log);( jiiij i ji ji yxIxIxyI xp yxp yxI l两个不确定度之差是不确定度被消除的部分两个不确定度之差是不确定度被消除的部分 ，即等于自信息量减去条件自信息量。，即等于自信息量减去条件自信息量。 0);( ji yxI l平均信息量平均信息量信源熵：信源熵：自信息的数学期望。也称为自信息的数学期望。也称为 信源的信息熵信源的信息熵/ /信源熵信源熵/ /熵。熵。 l信息熵的意义：信息熵的意义：信源的信息熵信源的信息熵 H H 是从是从整个整个信源的信源的 统计特性来考虑的。它是从统计特性来

7、考虑的。它是从平均意义平均意义上来表征信源上来表征信源 的的总体特性总体特性的。对于某特定的信源，其信息熵是唯的。对于某特定的信源，其信息熵是唯 一的。不同的信源因统计特性不同，其熵也不同。一的。不同的信源因统计特性不同，其熵也不同。 n i ii i xpxp xp EXH 1 )(log)( )( 1 log)( l条件熵：条件熵：是在联合符号集合是在联合符号集合 XY XY 上的条件自信息上的条件自信息 的数学期望。的数学期望。 n i m j ij jiij xyp yxpxyIEXYH 11 )|( 1 log)()|()|( l联合熵联合熵 H(XY)H(XY)：表示输入随机变量表

8、示输入随机变量 X X，经信道，经信道 传输到达信宿，输出随机变量传输到达信宿，输出随机变量 Y Y。即收、发双。即收、发双 方通信后，整个系统仍然存在的不确定度。方通信后，整个系统仍然存在的不确定度。 n i m j ji jiji yxp yxpyxIEXYH 11 )( 1 log)()()( l信道疑义度信道疑义度H(X|Y)H(X|Y)：表示信宿在收到表示信宿在收到 Y Y 后，信后，信 源源 X X 仍然存在仍然存在的不确定度。是通过有噪信道传输的不确定度。是通过有噪信道传输 后引起的信息量的损失，故也可称为损失熵。后引起的信息量的损失，故也可称为损失熵。 l噪声熵噪声熵H(Y|X

9、)H(Y|X)：表示在已知表示在已知 X X 的条件下，对于的条件下，对于 符号集符号集 Y Y 尚存在的不确定性，这完全是由于信道尚存在的不确定性，这完全是由于信道 中噪声引起的。中噪声引起的。唯一确定信道噪声所需要的平均信唯一确定信道噪声所需要的平均信 息量。息量。 l平均互信息量定义：平均互信息量定义：互信息量互信息量 I(xI(xi i;y;yj j) ) 在联合概在联合概 率空间率空间 P(XY) P(XY) 中的统计平均值。中的统计平均值。 l从一个事件获得另一个事件的平均互信息需要消除从一个事件获得另一个事件的平均互信息需要消除 不确定度，一旦消除了不确定度，就获得了信息。不确定

10、度，一旦消除了不确定度，就获得了信息。 n i m j i ji jiji xp yxp yxpyxIEYXI 11 )( )|( log)();();( 熵熵H(X)H(X)H(X)=H(X|Y)H(X)=H(X|Y) H(X)=H(X|Y)+I(X;Y)H(X)=H(X|Y)+I(X;Y) X Y X Y 条件熵条件熵H(X|Y)H(X|Y)H(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY)-H(Y) =H(X)-I(X;Y) =H(X)-I(X;Y) X Y X Y 联合熵联合熵H(XY)=H(YX)H(XY)=H(YX)H(XY)=H(X)+H(Y|X)H(XY)=H(X)+H

11、(Y|X) =H(X|Y)+H(Y|X)+I(X;Y)=H(X|Y)+H(Y|X)+I(X;Y) X Y X Y 平均互信平均互信 息息 I(X;Y)=I(Y;X)I(X;Y)=I(Y;X) I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y) =H(X)+H(Y)-H(X,Y) =H(X)+H(Y)-H(X,Y) X Y X Y 平均互信息和熵的关系平均互信息和熵的关系 数据处理定理（信息不增原理）数据处理定理（信息不增原理） 当消息通过多级处理器时当消息通过多级处理器时, ,随着处理器数目的增多随着处理器数目的增多, , 输入消息和输出消息之间的平均互信息量趋于变小。输

12、入消息和输出消息之间的平均互信息量趋于变小。 信息不增信息不增 I(X;Z) I(X;f(Z)=I(X;Y) H(X|Z) H(X|f(Z)=H(X|Y) l最大离散熵定理最大离散熵定理 ( (极值性极值性) ) ：离散无记忆信源输离散无记忆信源输 出出 n n 个不同的信息符号，当且仅当个不同的信息符号，当且仅当各个符号出各个符号出 现概率相等现概率相等时时 ( (即即p(xp(xi i)=1/n)=1/n) )，熵最大。，熵最大。 Hp(xHp(x1 1),p(x),p(x2 2),p(x),p(xn n)logn)logn l二进制信源的熵函数二进制信源的熵函数 H(p) H(p) 为为

13、 )1log()1 (log)(pppppH lBSCBSC信道的平均互信息量信道的平均互信息量 l 设二进制对称信道的输入概率空间为设二进制对称信道的输入概率空间为 ppXP X10 )( )()()|()();(qHqpqpHXYHYHYXI l连续信源的熵连续信源的熵为为 R c dxxpxpXH)(log)()( 定义的熵在形式上和离散信源相似。连续信源熵并不是实定义的熵在形式上和离散信源相似。连续信源熵并不是实 际信源输出的信息量际信源输出的信息量(绝对熵绝对熵)； Hc(X) 也称为相对熵也称为相对熵 b a b a i i n i ii n n n duupduupup upup

14、upXH )(loglim)(log)( log)(lim)(log)(lim)(lim 0 连续信源的连续信源的信息量为无限大信息量为无限大； Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信已不能代表信源的平均不确定度，也不能代表连续信 源输出的信息量。源输出的信息量。 限峰值的最大熵定理限峰值的最大熵定理: :若信源的若信源的N N维随机变量的维随机变量的取值在取值在 一定的范围之内一定的范围之内，则在有限的定义域内，则在有限的定义域内，均匀分布均匀分布 的连续信源具有最大熵。的连续信源具有最大熵。 限平均功率的最大熵定理：限平均功率的最大熵定理：若信源输出信号的若信源输出信号

15、的平均功平均功 率率P P或方差受限或方差受限，则其输出信号幅度的概率密度函数，则其输出信号幅度的概率密度函数 为为高斯分布高斯分布时，信源具有最大熵值。时，信源具有最大熵值。 限均值的最大连续熵定理：限均值的最大连续熵定理：若连续信源若连续信源X X输出非负信号输出非负信号 的的均值受限均值受限，则其输出信号幅度呈，则其输出信号幅度呈指数分布指数分布时，连时，连 续信源续信源X X具有最大熵值。具有最大熵值。 离散信源的无失真编码实质上是一种统计匹配离散信源的无失真编码实质上是一种统计匹配 编码。信息论指出信源中的统计多余度主要决定于编码。信息论指出信源中的统计多余度主要决定于 以下两个主要

16、因素：以下两个主要因素： 一是消息一是消息概率分布的非均匀性概率分布的非均匀性，另一个是，另一个是消息消息 间的相关性间的相关性。对无记忆信源主要决定于概率分布的。对无记忆信源主要决定于概率分布的 非均匀性，但是，对于有记忆信源，两者都起作用非均匀性，但是，对于有记忆信源，两者都起作用 ，且后者相关性更加重要。，且后者相关性更加重要。 Def. Def. 对于给定的信源和编码速率对于给定的信源和编码速率R R及及 任意任意00，若存在，若存在L L0 0、( ( ) )、D(D( ) )，使当码长，使当码长 LLLL0 0时，时，P Pe e H(U)RH(U)，则，则R R是是可达可达的；若

17、的；若RH(U)R00，若有一种编，若有一种编 码速率为码速率为R R 的码，在的码，在N N足够大时，能使足够大时，能使p pe e ，就，就 称称R R 是是可达可达的。的。 定理定理( (ShannonShannon信道编码定理信道编码定理) )，给定容量为，给定容量为C C的离散的离散 无记忆信道无记忆信道XX，p(x|y)p(x|y)，YY，若编码速率，若编码速率RCRH(U)RH(U) ( (信源熵信源熵) )时，最优的信源编、译码存在；反时，最优的信源编、译码存在；反 之，当之，当RH(U)RR(D)RR(D)（信息（信息 率失真函数）时，最优的信源编、译码存在；反之，率失真函数）时，最优的信源编、译码存在；反之， 当当RR(D)RR(D)时，最优信源编、译码不存在，称它为时，最优信源编、译码不存在，称它为 ShannonShannon编码第三定理编码第三定理。 2 2）信道编码定理信道编码定理：在均方误差意义下，实现通信系：在均方误差意