理学3信息论PPT课件

1、12021-11-15 西北大学信息学院内容3.1 信道数学模型和分类信道数学模型和分类3.3 离散单个符号信道及其容量离散单个符号信道及其容量3.4 离散序列信道及其容量离散序列信道及其容量3.5 信源于信道的匹配信源于信道的匹配第三章信道与信道容量结束3.2 平均互信息平均互信息第1页/共103页重点重点22021-11-15 西北大学信息学院 信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。第2页/共103页32021-11-15 西北大学信息学院3.

2、1 3.1 信道数学模型和分类信道数学模型和分类信道分类信道分类 信道数学模型信道数学模型第3页/共103页42021-11-15 西北大学信息学院信道信道 信道信道：信息传输的通道 在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律, 通信技术必须研究信号在这些信道中传输时的特性 信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信 道输入量X(随机过程)输出量Y(随机过程)p(Y|X)第4页/共103页5 根据信道用户的多少：根据信道用户的多少：根据输入端和输出端

3、的关联：根据输入端和输出端的关联： 单用户信道：单用户信道：只有一个输入端和一个输出端。只有一个输入端和一个输出端。 多用户信道：多用户信道：至少有一端有两个以上的用户，双向通信。至少有一端有两个以上的用户，双向通信。 无反馈信道：无反馈信道：输出端信号对输入端信号无影响、无作用。输出端信号对输入端信号无影响、无作用。 有反馈信道：有反馈信道：输出端信号会影响输入端信号变化。输出端信号会影响输入端信号变化。根据输入输出随机变量个数的多少： 单符号信道：单符号信道：输入和输出端都只用一个随机变量表示。输入和输出端都只用一个随机变量表示。 多符号信道：多符号信道：输入和输出端用随机变量序列输入和输

4、出端用随机变量序列/ /随机矢量表示。随机矢量表示。信道分类第5页/共103页6根据信道参数与时间的关系：根据信道参数与时间的关系： 固定参数信道：固定参数信道：信道的统计特性不随时间变化而变化。信道的统计特性不随时间变化而变化。 时变参数信道：时变参数信道：信道的统计特性随时间变化而变化。信道的统计特性随时间变化而变化。根据信道输入和输出的关系：根据信道输入和输出的关系： 离散信道：离散信道：输入、输出随机变量都取离散值。输入、输出随机变量都取离散值。 连续信道：连续信道：输入、输出随机变量都取连续值。输入、输出随机变量都取连续值。 半离散半连续信道：半离散半连续信道：输入变量取离散值而输出

5、变量取连续值，输入变量取离散值而输出变量取连续值，或反之。或反之。 波形信道波形信道信道分类第6页/共103页7根据信道上有无干扰关系：根据信道上有无记忆关系：无记忆信道：无记忆信道：输出仅与当前输入有关，而与过去输入无关输出仅与当前输入有关，而与过去输入无关的信道。的信道。有记忆信道：有记忆信道：信道输出不仅与当前输入有关，还与过去输信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。入和（或）过去输出有关。有干扰信道：有干扰信道：存在干扰或噪声或两者都有的信道。实际存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。信道一般都是有干扰信道。无干扰信道：无干扰信道：不存在干

6、扰或噪声，或干扰和噪声可忽略不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。干扰信道。以下我们只研究无反馈、固定参数的单用户离散信道。信道分类信道分类第7页/共103页82021-11-15 西北大学信息学院信道分类信道分类 按输入输出信号之间的关系是否是确定关系: 无干扰信道：无干扰信道： 输入/输出符号之间有确定的一一对应关系 有干扰信道：有干扰信道： 输入/输出之间关系是一种统计依存的关系 输入/输出的统计关系： 离散无记忆信道： 用条件概率矩阵来描述。 离散有记忆信道： 可像有记忆信源中那样引

7、入状态的概念。第8页/共103页92021-11-15 西北大学信息学院无干扰无干扰(无噪声无噪声)信道信道 无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y 转移概率:)f()f(pXYXYXY, 0, 1)|(第9页/共103页102021-11-15 西北大学信息学院 有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:)|()|()|()|(2211LLxypxypxyppXYv有干扰无记忆信道可分为: 二进制离散信道 离散无记忆信道 离散输入、连续输出信道 波形信道第10页/共103页112021-11-

8、15 西北大学信息学院 有干扰有记忆信道 一般情况都是如此，例如实际得数字信道中，当信道特性不理想，存在码间干扰时，输入信号不但与当前得输入信号有关，还和以前的输入信号有关。第11页/共103页12单符号离散信道的数学模型 设输入设输入X Xa1 an 输出输出 Y Yb1 bm 信道转移概率信道转移概率/ /信道传递概率信道传递概率：条件概率：条件概率p p(b(bj j / /a ai i) )。 其信道模型如图所示。其信道模型如图所示。1122(|)jirsababP baab信道参数信道参数第12页/共103页13P=b1b2bma1p(b1/a1) p(b2/a1)p(bm/a1)a

9、2p(b1/a2) p(b2/a2)p(bm/a2)anp(b1/an) p(b2/an)p(bm/an)条件概率p(bj/ai)表示成矩阵形式：第13页/共103页14例1 二元对称信道（BSC） X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;010 111Ppppp 0 1-p 0 pp 1 1-p 1第14页/共103页15例2 二元删除信道(BEC)X=0,1； Y=0,2,1。 0 p 0 1-q1-p1 q 12021010101Pppqq第15页/共103页16由此可见，一般单符号离散信道的传递概率可以用矩阵表示由此可见，一般单

10、符号离散信道的传递概率可以用矩阵表示:111212122212.ssrrrsppppppPppp1211121121222212.sssrrrsrbbbpppaPpppapppa(/)jiijP bap第16页/共103页172021-11-153.2平均互信息平均互信息 设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合有扰信道干扰源信源X信宿Y)()()(2121nnxpxpxpxxxPX)()()(2121mmypypypyyyPY第17页/共103页182021-11-15互信息互信息 如果信道是如果信道是无噪无噪的的,当信源发出消息当信源发出消

11、息xi后后,信宿必能准确无误地收到该消息信宿必能准确无误地收到该消息,彻底消除对彻底消除对xi的不确定度的不确定度,所获得的信息量就是所获得的信息量就是xi的不确定度的不确定度I(xi),即即xi本本身含有的全部信息。身含有的全部信息。 一般而言一般而言,信道中总是存在着噪声和干扰信道中总是存在着噪声和干扰,信源发出消息信源发出消息xi,通过信道后信宿通过信道后信宿只可能收到由于干扰作用引起的某种变型只可能收到由于干扰作用引起的某种变型yj 。 信宿收到信宿收到yj 后推测信源发出后推测信源发出xi的概率的概率p(xi|yj)称为称为后验概率后验概率。 信源发出消息信源发出消息xi的概率的概率

12、p(xi) 称为称为先验概率先验概率。第18页/共103页192021-11-15互信息互信息v互信息v 定义为 xi的后验概率与先验概率比值的对数)()|(log);(2ijijixpyxpyxIv 互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。)()|(log)()()(log)()|(log);(jijjijiijijiypxypypxpyxpxpyxpyxI)|()()|()();(ijjjiijixyIyIyxIxIyxI第19页/共103页n 互信息量的三种不同表达互信息量的三种不同表达式式观察者站在输出端观察者站在输出端l自信息量：自信息量：对对yj一无

13、所知的情况下一无所知的情况下xi存在的不确定度；存在的不确定度；l条件自信息量：条件自信息量：已知已知yj 的条件下的条件下xi 仍然存在的不确定度；仍然存在的不确定度；l互信息量：互信息量：两个不确定度之差是不确定度被消除的部分，两个不确定度之差是不确定度被消除的部分， 即等于自信息量减去条件自信息量。即等于自信息量减去条件自信息量。观察者站在输入端观察者站在输入端观察者得知输入端发出观察者得知输入端发出xi前、后对输出端出现前、后对输出端出现yj的的不确定度的不确定度的差。差。)/()(loglog);()/(12)(12jiiyxpxpjiyxIxIyxIjii)/()(loglog);

14、()/(12)(12ijjxypypijxyIyIxyIijj第20页/共103页信息论与编码第二章信源与信源熵观察者站在通信系统总体立场上观察者站在通信系统总体立场上l通信前：输入随机变量通信前：输入随机变量X和输出随机变量和输出随机变量Y之间没有任何关联关系，之间没有任何关联关系，即即X，Y统计独立：统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度先验不确定度l通信后：输入随机变量通信后：输入随机变量X和输出随机变量和输出随机变量Y之间由信道的统计特性之间由信道的统计特性相联系，其联合概率密度：相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(

15、yj)p(xi / yj) 后验不确定度后验不确定度l通信后的互信息量，等于前后不确定度的差通信后的互信息量，等于前后不确定度的差l这三种表达式实际上是等效的，在实际应用中可根据具体情况选这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。用一种较为方便的表达式。)()(12log)(jiypxpjiyxI)(12 log)(jiyxpjiyxI)()()()()(loglog);( )(12)()(12jijijijiyxpypxpjiyxIyIxIyxIyxIyxIjiji第21页/共103页互信息的性质互信息的性质 对称性对称性 相互独立时的相互独立时的X和和

16、Y 互信息量可为正值或负值互信息量可为正值或负值第22页/共103页n 对称性对称性I(xi;yj)=I(yj; xi) 互信息量的对称性表明：互信息量的对称性表明：l两个随机事件的可能结果两个随机事件的可能结果xi和和yj之间的统计约束程度；之间的统计约束程度；l从从yj得到的关于得到的关于xi的信息量的信息量I(xi;yj)与从与从xi得到的关于得到的关于yj的信息量的信息量I(yj; xi)是一样的，只是观察的角度不同而已。是一样的，只是观察的角度不同而已。第23页/共103页n 相互独立时的相互独立时的X和和Y这时这时 p(xi yj)=p(xi)p(yj)互信息量为互信息量为表明表明

17、xi和和yj之间不存在统计约束关系，从之间不存在统计约束关系，从yj得不到关于的得不到关于的xi任何信息，反之亦然。任何信息，反之亦然。), 2 , 1, 2 , 1(0loglog);()(12)()(12mjniyxIjijiyxpypxpji第24页/共103页n 互信息量可为正值或负值互信息量可为正值或负值 当后验概率大于先验概率时，互信息量为正。当后验概率大于先验概率时，互信息量为正。 当后验概率小于先验概率时，互信息量为负。当后验概率小于先验概率时，互信息量为负。 说明收信者未收到说明收信者未收到yj以前，对消息以前，对消息xi的是否出现的猜测难疑程度的是否出现的猜测难疑程度较小，

18、但由于噪声的存在，接收到消息较小，但由于噪声的存在，接收到消息yj后对后对xi是否出现的猜测是否出现的猜测的难疑程度增加了，也就是收信者接收到消息的难疑程度增加了，也就是收信者接收到消息yj后对后对xi出现的不出现的不确定性反而增加，所以获得的信息量为负值。确定性反而增加，所以获得的信息量为负值。 当后验概率与先验概率相等时，互信息量为零。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件这就是两个随机事件相互独立的情况。相互独立的情况。第25页/共103页262021-11-15 例3某地二月份天气 构成的信源为：8/ 18/ 14/ 12/ 1)(雪雨阴晴xpXbitxIxIbi

19、txIbitxI3)()(,2)(,121log)(43221v 若得知“今天不是晴天”,把这句话作为收到的消息y1v 当收到y1后,各种天气发生的概率变成后验概率了v p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4 v 求得自信息量分别为 第26页/共103页计算计算y1与各种天气之间的互信息量与各种天气之间的互信息量对天气对天气x1，不必再考虑，不必再考虑对天气对天气x2，对天气对天气x3,对天气对天气x4结果表明从结果表明从y1分别得到了各分别得到了各1比特的信息量；比特的信息量；或者说或者说y1 使使x2，x

20、3，x4的不确定度各减少量的不确定度各减少量1比特。比特。)( 1loglog);(8/14/12)()/(213313比特xpyxpyxI)( 1loglog);(4/12/12)()/(212212比特xpyxpyxI)( 1loglog);(8/14/12)()/(214414比特xpyxpyxI第27页/共103页282021-11-15 西北大学信息学院.( / )(; )()log( )X YP x yI X YP xyP y第28页/共103页29信道疑义度信道疑义度11(/)(/)log(/)rjijiijH X bP abp ab这是收到这是收到a ai i后关于后关于X X

21、的的后验熵后验熵，表示收到，表示收到b bj j后关于输入符号后关于输入符号的信息测度。的信息测度。1()()log()iXiH XP ap a 这是关于这是关于X X的的先验熵先验熵，表示收到输出前关于，表示收到输出前关于X X的不确定性度量。的不确定性度量。第29页/共103页30 这个条件熵称为这个条件熵称为信道疑义度信道疑义度，表示输出端在收到一个符表示输出端在收到一个符号后，对输入符号尚存的不确定性号后，对输入符号尚存的不确定性，这是由信道干扰造成的，这是由信道干扰造成的，如果没有干扰，如果没有干扰，H(X/Y)=0H(X/Y)=0。 一般情况下一般情况下H(X/Y)H(X/Y)小于

22、小于H(X)H(X)，说明经过信道传输，总能，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。消除一些信源的不确定性，从而获得一些信息。,1(/)(/)()log( / )jX YH X YE H X bP xyP x y将后验熵对随机变量Y求数学期望第30页/共103页312021-11-15平均互信息平均互信息v平均互信息定义 信息= 先验不确定性后验不确定性 = 不确定性减少的量)|()();(YXHXHYXIv Y未知,X 的不确定度为H(X)v Y已知,X 的不确定度变为H(X |Y)第31页/共103页2021-11-15平均互信息平均互信息 通信系统中,若发端的符

23、号为X ,收端的符号为Y 如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y) = 0 一般情况： H(X |Y) H(X),即了解Y后对X的不确定度的将减少 通过信道传输消除了一些不确定性,获得了一定的信息。)();(0XHYXI第32页/共103页332021-11-15平均互信息平均互信息);()()|(log)()()()(log)()()|(log)();(XYIypxypyxpypxpyxpyxpxpyxpyxpYXIijiijjiijijijijijijijiv平均互信息的另一种定义方法： 第33页/共103页342021-11-15 例假设一条电线上串联了8个

24、灯泡x1, x2，x8如图，这8个灯泡损坏的概率相等p(xi) = 1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。 未测量前,8个灯泡都有可能损坏,它们损坏的先验概率: p(xi)=1/8 这时存在的不确定性：bitxpxIii38log)(1log)(2第34页/共103页352021-11-15 第1次测量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4 尚存在的不确定性 所获得的信息量就是测量前后不确定性减少的量, 第1次测量获得的信息量：bityxpyxIii24log)|(1log)|(2bityxIxIyxIiiji123)|()(

25、);(第35页/共103页362021-11-15 第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1/2 尚存在的不确定性： 第2次测量获得的信息量：bityzxpyzxIii12log)|(1log)|(2 第3次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于零。 第3次测量获得的信息量：bityzxIyxIii112)|()|(bityzxIi1010)|(第36页/共103页372021-11-15信源消息 x1 x2x3x4x5x6x7x8先验概率 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8后验概率第1次

26、测量y1/4 1/4 1/4 1/4第2次测量z1/2 1/2第3次测量w1bitxpyxpyxI14/12/1log)()|(log);(22222bitxpyzxpyzxI28/12/1log)()|(log);(22222bitxpyzwxpyzwxI38/11log)()|(log);(22222要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量 第37页/共103页382021-11-15 方法2：逐个检查 第1次: x1坏,获得信息量=3bit,可能性较小1/8； x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit 获得信息量=3

27、-2.8073=0.1927bit,可能性较大7/8 第1次所获得的平均信息量:543. 01927. 0873811184184 “对半开” 第1次所获得的平均信息量: 第38页/共103页392021-11-15互信息量互信息量 在有3个变量的情况下,符号xi与符号yj , zk之间的互信息量定义为)|;();()|()|(log)()|(log)|()()|()|(log)()|(log);(jkijijikjiijijiikjijiikjikjiyzxIyxIyxpzyxpxpyxpyxpxpzyxpyxpxpzyxpzyxI)|;();();(kjikikjizyxIzxIzyxI同

28、理第39页/共103页402021-11-15条件互信息条件互信息 我们定义在已知事件zk的条件下,接收到yj后获得关于某事件xi的条件互信息)|()|()|(log)|()|(log)|()|(log)|;(kjkikjikjkijkikjikjizypzxpzyxpzypzxypzxpzyxpzyxI第40页/共103页412021-11-15平均互信息与各类熵的关系平均互信息与各类熵的关系 )()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI 熵只是平均不确定性的描述; 不确定性的消除(两熵之差)才等于接收端所获得的信息量。 获得的信息量不应该和不确定性混为一谈

29、 )()()()|()()|()()(YHXHXYHYXHYHXYHXHXYH第41页/共103页422021-11-15维拉图维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYH第42页/共103页432021-11-15条件熵条件熵 H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声

30、熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。第43页/共103页442021-11-15 若信道是无噪一一对应信道,信道传递概率： )(1)(0)|(xfyxfyxyp)(1)(0)|()()|()()()()|(xfyxfyxypxpxypxpypxypyxp计算得:0)|(; 0)|(XYHYXH)()();(YHXHYXI)()();(YHXHYXI第44页/共103页452021-11-15 若信道输入端X与输出端Y完全统计独立 )()|()()|(xpyxpypxyp则:)

31、()|();()|(YHXYHXHYXH0);(YXI)|()(YXHXH)|()(XYHYH第45页/共103页平均互信息量的性质平均互信息量的性质 对称性对称性 非负性非负性 极值性极值性 凸函数性凸函数性 数据处理定理数据处理定理第46页/共103页 对称性对称性I(X;Y)= I(Y;X) 证明：证明：根据互信息量的对称性根据互信息量的对称性I(xi;yj)= I(yj;xi) 结论：结论：由由Y提取到的关于提取到的关于X的信息量与从的信息量与从X中提取到的关于中提取到的关于Y的信息量是一样的。的信息量是一样的。I(X;Y)和和 I(Y;X)只是观察者的立只是观察者的立足点不同。足点不

32、同。);();()();()();(1111XYIxyIyxpyxIyxpYXIijnimjjijinimjji第47页/共103页自然对数性质：自然对数性质：lnxx-1，x0，当且仅当，当且仅当x=1时取等号。时取等号。 第48页/共103页 非负性非负性I(X;Y)00log)()()(log)()()(log1)(log)();(loglnlog0, 1lnlog)();(log)();(21111211112)()()(11)()()(21122)()()(211)()()(211eyxpypxpeyxpypxpeyxpyxpYXIexxxxxyxpYXIyxpYXInimjjimj

33、jniinimjjinimjjiyxpypxpnimjjiyxpypxpnimjjiyxpypxpnimjjiypxpyxpnimjjijijijijijijijiji注意根据著名不等式证明：第49页/共103页即即 I(X;Y)0当且仅当当且仅当X和和Y相互独立，即相互独立，即p(xiyj)= p(xi) p(yj)I(X;Y)=0式中式中结论：结论： 平均互信息量不是从两个具体消息出发，而是从随机平均互信息量不是从两个具体消息出发，而是从随机变量变量X和和Y的整体角度出发，并在平均意义上观察问的整体角度出发，并在平均意义上观察问题，所以题，所以平均互信息量不会出现负值。 或者说从一个事件提

34、取关于另一个事件的信息，最坏或者说从一个事件提取关于另一个事件的信息，最坏的情况是的情况是0，不会由于知道了一个事件，反而使另一，不会由于知道了一个事件，反而使另一个事件的不确定度增加。个事件的不确定度增加。nimjjimjjniiyxpypxp1111)(, 1)(, 1)(第50页/共103页 极值性极值性I(X;Y)H(X) I(Y;X)H(Y)证明：证明：由于由于 I(X;Y)=H(X)- H(X/Y)0， I(Y;X)=H(Y)- H(Y/X)0, H(Y/X)0， H(X/Y)0, 所以所以 I(X;Y)H(X)，I(Y;X)H(Y) 从一个事件提取关于另一个事件的信息量，至多是另

35、一从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信个事件的熵那么多，不会超过另一个事件自身所含的信息量。息量。 当当X和和Y是一一对应关系时：是一一对应关系时：I(X;Y)=H(X)，这时，这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表的信息，从平均意义上来说，代表信源的信息量可全部信源的信息量可全部通过信道通过信道。 当当X和和Y相互独立时：相互独立时：H(X/Y) =H(X)， I(Y;X)=0。从一从一个事件不能得到另一个事件的任何信息，这等效于个事件不能得到另一

36、个事件的任何信息，这等效于信道信道中断中断的情况。的情况。第51页/共103页 凸函数性凸函数性 平均互信息量的数学特性平均互信息量的数学特性 平均互信息量平均互信息量I(X;Y)是输入信源概率分布是输入信源概率分布p(xi)的上凸的上凸函数函数 平均互信息量平均互信息量I(X;Y)是输入转移概率分布是输入转移概率分布p(yj /xi)的下的下凸函数凸函数第52页/共103页平均互信息量的数学特性平均互信息量的数学特性532021-11-15 西北大学信息学院)()()/()(log)/()(log)();(1111)/()()/(211)()/(21jnijiniijinimjxypxpxy

37、pijinimjypxypjiypyxpxypxpxypxpyxpYXIniijiijjij其中 平均互信息量是p(xi)和p(yj /xi)的函数， 即I(X;Y)=f p(xi), p(yj /xi)； 若固定信道，调整信源， 则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f p(xi)； 若固定信源，调整信道， 则平均互信息量I(X;Y)是p(yj /xi)的函数，即I(X;Y)=f p (yj /xi)。第53页/共103页n I(X;Y)是是 p(xi)的上凸函数的上凸函数上凸函数：上凸函数：同一信源集合同一信源集合x1,x2,xn，对应两个不同的概率，对应两个不同的

38、概率分布分布p1(xi)和和p2(xi)(i=1,2, ,n)，若有小于，若有小于1的正数的正数01，使不等式使不等式 fp1(xi)+(1-)p2(xi)fp1(xi)+(1-)fp2(xi) 成立，则称函数成立，则称函数f为为p(xi)的上凸函数。如果式中仅有大的上凸函数。如果式中仅有大于号成立，则称于号成立，则称f为严格的上凸函数。为严格的上凸函数。n I(X;Y)是是 p(yj/xi)的下凸函数的下凸函数下凸函数：Ip1(yj /xi)+(1-)p2(yj /xi)Ip1(yj /xi)+(1-)Ip2(yj /xi)第54页/共103页552021-11-15 西北大学信息学院ppX

39、PX110)(第55页/共103页562021-11-15 西北大学信息学院)()loglog()()/(log)/()()/(212221212qHqqqqxpxypxypxpXYHiiijijiji)()()/()();()()(log)()(log)()() 1()()0()()/()()(22211qHqpqpHXYHYHYXIqpqpHpqpqpqpqqpqpqpqpYHpqpqYPypqpqpYPypxypxpypijniij平均互信息量所以求得由第56页/共103页结论结论1：当当q不变不变/固定信道特性固定信道特性时，可得时，可得I(X;Y)随输入概率分布随输入概率分布p变化的

40、曲线，如图所示；变化的曲线，如图所示；二进制对称信道特性固定后，输入呈等概率分布时，二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。平均而言在接收端可获得最大信息量。第57页/共103页结论结论2：当当固定信源特性固定信源特性p时，时，I(X;Y)就是信道特性就是信道特性q的函数，如的函数，如图所示；图所示；当二进制对称信道特性当二进制对称信道特性q=/q=1/2时，信道输出端获得信时，信道输出端获得信息量最小，即等于息量最小，即等于0。说明信源的全部信息信息都损失。说明信源的全部信息信息都损失在信道中了。这是一种在信道中了。这是一种最差最差的信道。的信道。第5

41、8页/共103页59作业作业 P134 3.1 P135 3.3第59页/共103页602021-11-15 西北大学信息学院3.33.3离散单个符号信道及其容量离散单个符号信道及其容量 3.3.1 3.3.2 3.3.3 3.3.4 第60页/共103页61信道容量C C：在信道中最大的信息传输速率，单位是比特/ /信道符号。单位时间的信道容量CtCt：若信道平均传输一个符号需要t t秒钟，则单位时间的信道容量为： CtCt实际是信道的最大信息传输速率。信息传输率：信息传输率：R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) bit/R=I(X,Y)=H(X)-H(X/Y)=

42、H(Y)-H(Y/X) bit/符号符号由定理由定理3.13.1可知，可知，对于每一个确定信道，都有一个信源分布，使得信息传对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值输率达到最大值，我们把这个，我们把这个最大值最大值称为该信道的称为该信道的信道容量信道容量。()()max (,)max()(/)P XP XCI X YH XH XY()()11max (,)max()(/)PXPXCI X YHXHXYtt信道容量第61页/共103页62uC C和和CtCt都是求平均互信息都是求平均互信息I I( (X X; ;Y Y) )的条件极大值问题，当输入的条件极大值问题，当输入信

43、源概率分布信源概率分布p p( (xixi) )调整好以后，调整好以后， C C和和CtCt已与已与p p( (xixi) )无关，而仅无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；仅是信道转移概率的函数，只与信道统计特性有关；它是信道它是信道的特征参数，反应的是信道的最大的信息传输能力。的特征参数，反应的是信道的最大的信息传输能力。u信道容量是完全信道容量是完全描述信道特性描述信道特性的参量；的参量；u信道容量是信道信道容量是信道能够传送的最大信息量能够传送的最大信息量。结结 论论对于对于二元对称信道二元对称信道，由图可以看出信道容量等于，由图可以看出信道容量等于 1-H(P)1-

44、H(P)第62页/共103页632021-11-15 西北大学信息学院 无干扰离散信道无干扰离散信道 设信道的输入XA=a1 an,输出YB=b1 bm 无噪无损信道 输入和输出符号之间有确定的一一对应关系) 3 , 2 , 1, (10)|()|(jijijibapabpjiijX100010001Pa1 Y b1a2 b2a3 b3 111第63页/共103页642021-11-15 西北大学信息学院无干扰离散信道无干扰离散信道 无噪无损信道X0001001001001000Pa1 b1 Ya2 b2an-1 bn-1an bn11第64页/共103页652021-11-15 西北大学信息

45、学院无干扰离散信道无干扰离散信道 无噪无损信道 由)|(log),()|(ijijjixypyxpXYH)|(log),()|(jiijjiyxpyxpYXHv 计算得：v噪声熵H(Y|X) = 0 损失熵H(X|Y) = 0)()(),(YHXHYXInYXICiap2)(log);(max第65页/共103页662021-11-15 西北大学信息学院无干扰离散信道无干扰离散信道 无噪有损信道 多个输入变成一个输出(nm)X1010010101Pa1 Ya2 b1a3a4 b2a51111101)|(01)|(或或jijibapabp输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系

46、。第66页/共103页672021-11-15 西北大学信息学院无干扰离散信道无干扰离散信道 无噪有损信道 多个输入变成一个输出(nm)v噪声熵H(Y|X) 0 v损失熵H(X|Y) 0)()(),(XHYHYXI)(max);(max)(YHYXICiap01)|(01)|(或或jijibapabp信道中接收到符号Y后不能完全消除对X的不确定性,信息有损失。但输出端Y的平均不确定性因噪声熵等于零而没有增加。第67页/共103页682021-11-15 西北大学信息学院无干扰离散信道无干扰离散信道 有噪无损信道 一个输入对应多个输出(nm)X b1 Ya1 b2 b3a2 b4 b51/31/

47、31/31/43/43/1)|(3/1)|(3/1)|(131211abpabpabpv 计算得1)|(1)|(1)|(312111bapbapbap1)|(1)|(5242bapbapv 同理111003331300044P v 由第68页/共103页692021-11-15 西北大学信息学院无干扰离散信道无干扰离散信道 有噪无损信道 一个输入对应多个输出(nm)v 接收到符号Y后,对发送的X符号是完全确定的。v噪声熵H(Y|X) 0 损失熵H(X|Y) = 0)()(),(YHXHYXI)(max);(max)(XHYXICiap第69页/共103页702021-11-15 西北大学信息学

48、院无干扰离散信道无干扰离散信道 无噪无损信道nYHXHYXICiap2)(log)(max)(max);(maxv 无噪有损信道mYHYXICiap2)(log)(max);(maxv 有噪无损信道nXHYXICiap2)(log)(max);(max第70页/共103页712021-11-15 西北大学信息学院对称对称DMC信道信道 对称离散信道： 对称性: 每一行都是由同一集p1, p2,pm 的诸元素不同排列组成输入对称 每一列都是由集q1, q2,qn的诸元素不同排列组成输出对称2131616121313161213131616161613131PP满足对称性,所对应的信道是对称离散信

49、道。第71页/共103页722021-11-15 西北大学信息学院对称对称DMC信道信道 信道矩阵 7 . 02 . 01 . 01 . 02 . 07 . 03161316161613131PPv不具有对称性,因而所对应的信道不是对称离散信道。 第72页/共103页732021-11-15 西北大学信息学院对称对称DMC信道信道 若输入符号和输出符号个数相同,都等于n,且信道矩阵为pnpnpnppnpnpnppP111111111v此信道称为强对称信道 (均匀信道) 信道矩阵中各列之和也等于1 第73页/共103页742021-11-15 西北大学信息学院对称对称DMC信道信道 对称离散信道

50、的平均互信息为)|()()|()(),(XYHYHYXHXHYXIniaYHabpabpabpabpapXYHiijjijijijiji, 2 , 1)|()|(log)|()|(log)|()()|(),()|()|(21mipppHaYHXYH第74页/共103页752021-11-15 西北大学信息学院对称对称DMC信道信道 对称DMC信道的容量： v 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm 和输出符号集的个数m有关。ijmjijmppmpppHmC121loglog),(logv强对称信道的信道容量： )1,1,1 (log2npnp

51、pHnC第75页/共103页762021-11-15 西北大学信息学院 设二进制对称信道的输入概率空间 信道矩阵：10PXppppppppP11ppabpapbpppabpapbpiiiiii)|()() 1()|()() 0(110100BSC信道容量信道容量第76页/共103页772021-11-15 西北大学信息学院)(loglog)|(log)|()|(log)|()()|(pHppppabpabpabpabpapXYHijjijijijiji)(1)()()|()();(pHpHppHXYHYHYXI)(1log)(1log)()(ppHppppppppYH第77页/共103页782

52、021-11-15 西北大学信息学院pC)(1pHCv 当固定信源的概率分布时,I (X,Y) 是p的 下凸函数。0)21,21(1HC信道无噪声v 当p = 0, C =10 = 1bit = H(X)v 当p =1/2, 信道强噪声BSC信道容量信道容量v BSC信道容量第78页/共103页792021-11-15 西北大学信息学院信道容量信道容量 定理： 给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。v 定理：v 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。v 信道容量是完全描述信道特性的参量,是信道能够传输的最大信息

53、量。niijijijijijijabpapbpbpabpabpapYXI1)|()()()()|(log)|()();(第79页/共103页802021-11-15 西北大学信息学院)(1 pHrCstv 当信源输入符号的速率为rs(符/秒),信道容量BSC信道容量信道容量v 实际信息传输速率Rt为 )|()(YXHXHrRstv 进入信道输入端的信息速率 )(XHrDsin第80页/共103页812021-11-15 西北大学信息学院串联信道串联信道 例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:ppppPP1121X00ZY111-p1-p1-ppv 串联信道的转

54、移矩阵为:222221)1 ()1 (2)1 (2)1 (1111ppppppppppppppppPPP1-pp第81页/共103页822021-11-15 西北大学信息学院串联信道串联信道X00ZY11 求得:)1 (21);()(1);(ppHZXIpHYXIv 在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。pp1-p1-p1-p1-p第82页/共103页832021-11-15 西北大学信息学院串联信道串联信道 由信息不增原理信道2信道m信道1);();();()(WXIZXIYXIXH);(max)2 , 1 (ZX

55、IC);(max) 3 , 2 , 1 (WXICv 可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ第83页/共103页842021-11-15 西北大学信息学院准对称准对称DMC信道信道 准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。 616131313161613131613161616131311Pv 它们满定对称性,所以P1所对应的信道为准对称信道。 第84页/共103页852021-11-15 西北大学信息学院准对称信道的信道容量准对称信道的信道容

56、量 准对称信道1 . 01 . 07 . 02 . 02 . 07 . 07 . 02 . 01 . 01 . 02 . 07 . 02P),(log21mpppHmCv准对称信道容量第85页/共103页862021-11-15 西北大学信息学院准对称信道的信道容量准对称信道的信道容量 v 当输入分布为等概率时：rkkkmMNpppHnC121log),(log 其中n是输入符号集的个数,(p1, p2,pm)为准对称信道矩阵中的行元素。v 设矩阵可划分成r个互不相交的子集。 Nk是第k个子矩阵Pk中行元素之和, Mk是第k个子矩阵Pk中列元素之和。 ), 2 , 1()|()|(rkabpM

57、abpNiijkjijk第86页/共103页872021-11-15 西北大学信息学院 例：设信道传递矩阵为 8181214181814121P214141211P818181812P信道符号）（比特/061. 0811. 075. 11)41log4143log43()81,81,41,21(2loglog),(log121HMNpppHnCrkkkmv 计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4v 将它分成 第87页/共103页882021-11-15 西北大学信息学院一般一般DMC信道信道 定理： 一般离散信道的平均互信息I(X;Y)达到极大值的充分和

58、必要条件是输入概率p(ai)必须满足: I (ai;Y) = C 对于所有ai其p(ai)0 I (ai;Y) C 对于所有ai其p(ai) = 0v 上式说明： 当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息,只是概率为0的除外。第88页/共103页89可以利用该定理对一些特殊信道求得它的信道容量例：输入符号集为:0,1,210112201P假设P(0)=P(2)=1/2，P(1)=0，则：1(0)21(1)2P yP y第89页/共103页9021( /0)(0, )( /0)loglog2( )yP yIYP yP y21

59、(/ 2)(2,)(/ 2)loglog2( )yP yIYP yP y21(/1)(1,)(/1)log0(1)yP yIYP yP所以：log2 1C 第90页/共103页91对于一般信道的求解方法，就是求解方程组11(/)log(/)(/)log()ssjijijijjjP baP baP baP bC移项得：11(/)log()(/)log(/)ssjijjijijjP baCP bP baP ba令log()jjCP b则11(/)(/)log(/)ssjijjijijjP baP baP ba若r=s，此方程有解，可以解出s各未知数 ，再根据j()2jCjP b得121jsCj从而1log2jsjC第91页/共103页92例：1110244010000101110442P可列方程组：12423134111111111logloglog24422444400111111