叶中行信息论课件第五章

1、叶中行信息论课件第五章1 叶中行信息论课件第五章 无失真信源编码和有噪信道编码表明：只要信道的信息传 输速率小于信道容量，总能找到一种编码方法，使得在该信道 上的信息传输的差错概率任意小；反之，若信道的信息传输速 率大于信道容量，则不可能使信息传输差错概率任意小 但是，无失真的编码并非总是必要的： 例如在传送语音信号时，由于人耳接受的带宽和分辨率是 有限的，从而可以把频谱范围从20Hz8kHz的语音信号去掉低 端和高端的频率，视为带宽只有从300Hz3400Hz的信号；这 样，即使传输的语音信号有一些失真，人耳还是可以分辨或感 觉出来，已满足语音信号传输的要求 2 叶中行信息论课件第五章 在允

2、许一定程度失真的条件下，能够把信源 信息压缩到什么程度，即最少最少需要多少比特 数才能描述信源，是本章将要讨论的问题 3 叶中行信息论课件第五章 5.1 限失真信源编码模型和率失真函限失真信源编码模型和率失真函 数数 一、失真测度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大 所以信息传输率与信源编码所引起的失真(或误差)是 有关的 4 叶中行信息论课件第五章 1.定义 信源编码器输入X x1, x2, , xi , , xn 输出（复制）X x1, x2, , xj , , xn 若xi = xj 则无失真 若xi xj 则有失真 定义 含义 衡量用

3、x代替 x所引起的失真程度 5 0 ( , ) 0 xx d x x xx 通常较小的d代表较小的失真，d0 表示没有失真 单符号失真度单符号失真度！ 叶中行信息论课件第五章 若信源变量X有n个符号，接收变量X有n个符号，则 d(x,x )就有nn个,它可以排列成矩阵形式，即： 6 它为失真矩阵失真矩阵D 11121 21222 12 ( ,)( ,).( ,) (,)(,).(,) :.: (,)(,).(,) n n nnnn d x xd x xd x x d x xd x xd x x D d xxd xxd xx 叶中行信息论课件第五章 例例1 离散对称信源信源变量离散对称信源信源变

4、量xx1,x2,xn ， 接收变量接收变量X x 1,x 2,x 。定义单个符 。定义单个符 号失真度：号失真度： 这种失真称为汉明失真汉明失真矩阵对角线上的元素为零， 即： 7 0 ( ,) 1 ii ii ii xx d x x xx 01.1 10.1 :.: 11.0 n n D 对二元对称信源(n2)，信源X0,1，接收变量X 0,1在汉明失真定义下，失真矩阵为： 01 10 D 叶中行信息论课件第五章 例例 对称信源信源变量对称信源信源变量1,2, ， ， 接收变量接收变量 1, 2, 。失真度定义 。失真度定义 为：为： 若信源符号代表信源输出信号的幅度值，这就是一种以方差 表示

5、的失真度。它意味着幅度差值大的要比幅度差值小的所引起 的失真更为严重，严重程度用平方来表示。 当 3时， 0,1,2，0,1,2 ，则失真矩阵为： 8 2 ( , )()d x xxx 014 101 410 D 上述例子说明了具体失真度的定义一般情况下根据实际 信源的失真，可以定义不同的失真和误差的度量另外还可 以按其他标准，如引起的损失、风险、主观感觉上的差别大 小等来定义失真度d(,) 叶中行信息论课件第五章 须强调: 假设是信源，是信宿，那么两者之 间必有信道：转移概率p(|) 实际这里指的是原始的未失真信源，而是指 失真以后的信源 有时又把p(|)称为试验信道的转移概率，如 图所示：

6、 9 原始信源原始信源失真信源失真信源试验信道试验信道 信道信道 p(|) 叶中行信息论课件第五章 二、二、 平均失真测度平均失真测度 10 信源和信宿都是随机变量，故单个符号失真度d(,) 也是随机变量显然，规定了单个符号失真度后，传输一个 符号引起的平均失真，即信源平均失真度： 在离散情况下，信源x1,x2,xn ，其概率分布P(x) P(x1),P(x2),P(xn) ，信宿X X 1, X 2, X n 若已知试验信道的传递概率为P(x|x)时，则平均失真度为： ( , ) (,)DE d x xE d X X () ( , )( ) ( | ) ( , ) x XXXx X DP x

7、x d x xP x P x x d x x 叶中行信息论课件第五章 若平均失真度D不大于我们所允许的失真D，即： D D 称此为保真度准则保真度准则（定义） 11 信源固定(给定P(x)，单个符号失真度固定时(给定 d(x,x) ，选择不同试验信道，相当于不同的编码方法，所得 的平均失真度是不同的。 有些试验信道满足D D，而有些试验信道DD. 凡满足保真度准则-平均失真度D D的试验信通称为- D失真许可的试验信道 平均失真是对给定信源分布平均失真是对给定信源分布,在给定转移概率分布的信道在给定转移概率分布的信道 中传输时的失真的总体量度中传输时的失真的总体量度 叶中行信息论课件第五章 说

8、明 是在平均意义上，对系统失真的总体描述 是信源统计特性p(x)的函数 是信道统计特性p(x / x)的函数 是规定失真度 d(x, x)的函数 若保持p(x)、d(x, x)不变， 则平均失真度就是信道特性p(x / x)的函数 研究：在满足保真度准则前提下，求信息率 最小值 12 叶中行信息论课件第五章 三、信息率失真函数的定义三、信息率失真函数的定义 1. 率失真函数问题产生率失真函数问题产生? 对于信息容量为对于信息容量为C的信道传输信息传输率为的信道传输信息传输率为R的信源的信源 时，如果时，如果RC，就必须对信源压缩，使其压缩后信息，就必须对信源压缩，使其压缩后信息 传输率传输率R

9、小于信道容量小于信道容量C，但同时要保证压缩所引人的，但同时要保证压缩所引人的 失真不超过预先规定的限度失真不超过预先规定的限度信息压缩问题就是对于信息压缩问题就是对于 给定的信源，在满足平均失真给定的信源，在满足平均失真 的前提下，使信息率尽可能小。的前提下，使信息率尽可能小。 13 DD 叶中行信息论课件第五章 三、信息率失真函数的定义三、信息率失真函数的定义 14 信源给定，且又具体定义了失真函数以后，总希望在满足 一定失真的情况下，使信源传输给收信者的信息传输率R尽可 能地小即在满足保真度准则下，寻找信源必须传输给收信者 的信息率R的下限值-这个下限值与D有关 从接收端来看，就是在满足

10、保真度准则下，寻找再现信源 消息所必须获得的最低平均信息量 而接收端获得的平均信息量可用平均互信息I(X;X)来表示 ，这就变成了在满足保真度准则的条件下，寻找平均互信息在满足保真度准则的条件下，寻找平均互信息 I(X;X)的最小值的最小值 叶中行信息论课件第五章15 由于平均互信息I(U;V)是P(x / x)的凹函数，所以极小值存 在这个最小值就是在D D的条件下，信源必须传输的最小 平均信息量即： ( / ): ()(;) min P x x D D R DI X X R(D)-信息率失真函数或简称率失真函数率失真函数。 单位是奈特信源符号 或 比特信源符号 叶中行信息论课件第五章 率失

11、真函数与信道容量的比较 16 信道容量信道容量C率失真函数率失真函数R(D) 数学上 固定 p(x/x),改变p(x), 求得I(X;X)最大值 固定p(x),改变p(x/xi), 求得I(X;X)最小值 概念上 (反映) 固定信道，改变信源， 使信息率最大 （信道传输能力） 固定信源，改变信道， 使信息率最小 （信源可压缩程度） 通信上 使传输信息量最大， Pe0信道编码 用尽可能少的码符号 传送信源编码 ()DD 叶中行信息论课件第五章 四、信息率失真函数的性质四、信息率失真函数的性质 17 允许失真度D的下限可以是零，即不允许任何失真的情况. 1、 R(D)的定义域 R(D)的定义域为

12、且： minmax 0DDD min ( )min ( , ) y x Dp xd x y max min( ) ( , ) y x Dp x d x y 当失真矩阵中每行至少一 个零元 叶中行信息论课件第五章18 叶中行信息论课件第五章19 123 ,a a a min D max D 123 213 321 d 123 ()min(1,2,3)()min(2,1,3)()min(3,2,1)p ap ap a min ( )min( , ) y x Dp xd x y ( ,) ij d a b(|)1 ji p ba min D 100 ( | )010 001 p y x 叶中行信息论

13、课件第五章20 max123 123 123 min( )( , )min() 1() 2() 3 , () 2() 1() 2 , () 3() 3() 1 y x Dp x d x yp ap ap a p ap ap a p ap ap a 2 ()1p b 13 ( )()0p bp b max D 010 ( | )010 010 p y x 叶中行信息论课件第五章 4.1.3 率失真函数率失真函数R(D)性质性质(续续) 计算 例离散二元信源 ，求Dmax 解 21 max max 1 1 min min( ) ( ,) ( ) ( ,) j j n n iij j i jiij

14、i DD Dp x d x x Dp x d x x 01 1 2 ( ), 103 3 p x D 1 max2 2 122 01 1 333 1213 10 333 j D DD D 叶中行信息论课件第五章22 2、 R(D)是关于平均失真度D的（下）凸函数 设 为任意两个平均失真， ，则有： 12 ,D D 01a 1212 (1)()(1) ()R aDa DaR Da R D 3 、 R(D) 是 区间上的连续和严格单调递减函数 由信息率失真函数的下凸性可知， R(D)在 上连续；又由R(D) 函数的非增性且不为常数知， R(D)是区间 上的严格单调递减函 数。 minmax (,)

15、DD minmax (,)DD minmax (,)DD 叶中行信息论课件第五章 R(D)的值域 R(D)min= 0 R(D)max = R(0)，D = 0即无失真传输 熵保持编码 (1) 对离散信源、无噪信道，R(D)max=H(X) (2) 对连续信源，R(D)maxH 23 当且仅当D不小于Dmax 叶中行信息论课件第五章24 信息率失真函数的一般形状 叶中行信息论课件第五章25 已知信源的概率分布P(X)和失真函数d(x,x)，就可求得信源的R(D)函数；原则 上它与信道容量一样，即在有约束条件下求极小值的问题 也就是适当选取试验信道P(x|x)使平均互信息最小化： 其约束条件为：

16、 ( | )0P x x ( / )1 x X P x x ( ) ( | ) ( , ) x X x X DP x P x x d x xD 1 ( | ) (,)( ) ( | )log ( ) ( | ) r x X x X i P x x I X XP x P x x P x P x x 叶中行信息论课件第五章 一、一、 信息率失真函数的参量表述信息率失真函数的参量表述 26 叶中行信息论课件第五章27 但是，如果要求得到明显的解析表达式，则比较困难，通常但是，如果要求得到明显的解析表达式，则比较困难，通常 只能用参量形式来表达即便如此，除简单情况外，实际计只能用参量形式来表达即便如此

17、，除简单情况外，实际计 算仍然是相当困难的尤其是第三个约束条件，它是求解算仍然是相当困难的尤其是第三个约束条件，它是求解 R(D)函数最主要的障碍函数最主要的障碍 因为应用拉格朗日乘子法解得的一个或某几个因为应用拉格朗日乘子法解得的一个或某几个P(x|x)很可能很可能 是负的在这情况下，必须假设某些是负的在这情况下，必须假设某些P(x|x) =0，然后重新，然后重新 计算，这就使得计算复杂化了计算，这就使得计算复杂化了 目前，可采用收敛的迭代算法在电子计算机上求解目前，可采用收敛的迭代算法在电子计算机上求解R(D)函函 数数 下面介绍用拉格朗日乘子法求解下面介绍用拉格朗日乘子法求解R(D)函数

18、，并用函数，并用作为参量作为参量 来表述率失真函数来表述率失真函数R(D)和失真函数和失真函数D()： 叶中行信息论课件第五章28 由式由式(1)知，当信源的概率分布知，当信源的概率分布P(x)固定，平均互信息仅仅固定，平均互信息仅仅 是试验信道是试验信道P(x|x)的函数的函数 . 若先不考虑式若先不考虑式(2)的约束，约束条件式的约束，约束条件式(3)包含包含n个等式，取个等式，取 拉格朗日乘子拉格朗日乘子分别与之对应；并取拉氏乘子分别与之对应；并取拉氏乘子 与式与式(4)对对 应应. 由此构成辅助函数：由此构成辅助函数： (;)( | )(5) x JI X XP x xD ( | )0

19、P x x ( | )1 x X P x x ( ) ( | ) ( , ) x X x X DP x P x x d x xD 1 ( | ) (,)( ) ( | )log ( ) ( ) | ) (1 r x X x X i P x x I X XP x P x x P x P x x 叶中行信息论课件第五章29 求极值，就是求辅助函数一阶导数等于零的方程组的解求极值，就是求辅助函数一阶导数等于零的方程组的解. 即求： ( | )0 ( | 0, ) whenP x xlet J P x x 所以原则上只需求解式所以原则上只需求解式(6)、(3)和和(4)的方程组，即可求出的方程组，即可

20、求出 I(U;V)在约束条件下的极小值在约束条件下的极小值 ( | ) ( ) log( , )( )0 ( ( |( ) ) 6 JP x x P xd x xx P x xP x ( )( )log( )xP xx 令代入（6）得到 叶中行信息论课件第五章30 ( , ) ( | )( ) ( )(*) d x x P x xP xx e 对对x求和，得求和，得 1( , ) ( )( )(*) d x x x xP x e ( , ) ( , ) ( ) ( | ) ( ) d x x d x x x P x e P x x P x e 将（将（*）代入（）代入（*）得到）得到 乘乘P(

21、x),对对x求和，最后同除以求和，最后同除以P(x)得到得到 叶中行信息论课件第五章31 ( , ) ( , ) ( ) 1 ( ) d x x d x x x x p x e q x e |,()0P xwxhen ( , ) ( , ) ( ) 1 ( ) d x x d x x x x p x e q x e 解方程组可以求得解方程组可以求得P(x). 从而，代入（从而，代入（*）式求出）式求出(x),(x),从而将其代入从而将其代入 （*）式得到）式得到P(x|x). 叶中行信息论课件第五章32 由式由式(1)知，当信源的概率分布知，当信源的概率分布P(x)固定，平均互信息仅仅固定，平

22、均互信息仅仅 是试验信道是试验信道P(x|x)的函数。的函数。 若先不考虑式若先不考虑式(2)的约束，约束条件式的约束，约束条件式(3)包含包含n个等式，取个等式，取 拉格朗日乘子拉格朗日乘子分别与之对应；并取拉氏乘子分别与之对应；并取拉氏乘子 与式与式(4)对对 应应. 由此构成辅助函数：由此构成辅助函数： (;)( | )(5) x JI X XP x xD ( | )0P x x ( | )1 x X P x x ( ) ( | ) ( , ) x X x X DP x P x x d x xD 1 ( | ) (,)( ) ( | )log ( ) ( ) | ) (1 r x X x

23、 X i P x x I X XP x P x x P x P x x 叶中行信息论课件第五章33 得到率失真函数和平均失真函数：得到率失真函数和平均失真函数： ( , ) ( , ) ( )( ) ( ) ( ) ( , ) d x x x xXX DP x P xx d x x e ( )( )( )log( ) x X RDP xx 叶中行信息论课件第五章34 注：这时所得的结果是以注：这时所得的结果是以为参量的表达式，而为参量的表达式，而 不是显式表达式，因而所得到的不是显式表达式，因而所得到的R(D)的表达式也是以的表达式也是以 为参量的表达式为参量的表达式 参量参量对应的限制条件为

24、式对应的限制条件为式(4)，它与允许的失真度，它与允许的失真度 D有关，所以以有关，所以以为参量就相当于以为参量就相当于以D为参量为参量 叶中行信息论课件第五章 例题 设信源 ，相应的概率分布为 35 汉明失真求此信源 的 ，并给出其率失真分布 解：解：利用式子式子计算 ( )x 范例展示范例展示 (0)(1)0.4, (2)0.2ppp 0, ( , ) 1, xx D x x xx ()R D 叶中行信息论课件第五章36 ( , ) ( | )( ) ( )(*) d x x P x xP xx e 对x求和，得 1( , ) ( )( )(*) d x x x xP x e ( , )

25、( , ) ( ) ( | ) ( ) d x x d x x x P x e P x x P x e 将（*）代入（*）得到 乘P(X),对x求和，最后同除以P(x)得到 两端同乘P(x)，对x求和： ( , ) ( ) ( )1 d x x x X x P x e 叶中行信息论课件第五章37 解得： 1 0.4 (0),0.4 (1),0.2 (2)(1)(1,1,1) 1 ee ee ee 55 (0)(1),(2) 2(12)12ee 利用结果（*），可得 叶中行信息论课件第五章38 ( , ) ( | )( ) ( )(*) d x x P x xP xx e 对x求和，得 1( ,

26、 ) (*)( )*() d x x x xP x e ( , ) ( , ) ( ) ( | ) ( ) d x x d x x x P x e P x x P x e 将（*）代入（*）得到 乘P(X),对x求和，最后同除以P(x)得到 叶中行信息论课件第五章39 解得： 1 0.4 (0),0.4 (1),0.2 (2)(1)(1,1,1) 1 ee ee ee 55 (0)(1),(2) 2(12)12ee 利用结果（*），可得 21 3 (0)(1), (2) 5(1)5(1) ee qqq ee 1 0.4 (0),0.4 (1),0.2 (2)1(1,1,1) 1 ee ee e

27、e 叶中行信息论课件第五章 将上述结果代入式子中，得 40 叶中行信息论课件第五章41 得到率失真函数和平均失真函数： ( , ) ( , ) ( )( ) ( ) ( ) ( , ) d x x x xXX DP x P xx d x x e ( )( )( )log( ) x X RDP xx 叶中行信息论课件第五章 将上述结果代入式子中，得 42 由于取负值，所以 1e .又要满足 解得 (2)0q 而.所以，当时，必有 (2)0q 因此分两个区间计算率失真函数. 1） 5(1) ()ln2 0.4ln0.2ln5(1) 2(1)2 DD R DDD D ln5(0.8)ln2()DH

28、D 2 ( )ln 122(1) eD D eD 0.4D max 0.60.4D0.4D 00.4(2)0)Dq 叶中行信息论课件第五章 2） 43 利用结果（*），可得 111 1 1 1 ,0(1)(0),(1),(2) 2 2 1 ee ee ee 21 (0)(1),(2) 1 ee 12110.2 ( )2 0.40.2 2 121 e Dee eee 0.2 ln 1 D D 1 0.40.6(2)0)(0)(1) 2 Dqqq 叶中行信息论课件第五章 计算得：计算得： 44 综上所述，得 ln5(0.8)ln2()00.4 () (1)ln(1)(0.2)ln(0.2)0.8l

29、n0.40.40.6 DH DD R D DDDdD ()2 0.4ln(0)0.2ln(2)R DD (1)ln(1)(0.2)ln(0.2)0.8ln0.4DDDD 叶中行信息论课件第五章 二、二进对称信源的率失真函数二、二进对称信源的率失真函数 45 它的率失真函数： 对应的率失真分布： , ( ), ( , ),SX P x d x xX 0, 0,1 , (1), (0)1,( , ) 1, xx XXpp pp D x y xx max ( )( )0 ( ) 0 H pH DDp R D pDD 0 1 () 1 DD Q DD 叶中行信息论课件第五章 三、三、r元等概分布对称信

30、源的率失真函数元等概分布对称信源的率失真函数 46 对应的率失真分布： 1 loglog(1)()01 () 1 0 1 rDrH DD r R D D r 0 1() , ( |( ( | ) 1 ) ( D xx p xQp x x xx D x r 叶中行信息论课件第五章 习题：一个四元对称信道 接收符号为 其失真矩阵为 求信源的R(D)函数 47 0123 1111 ( ) 4444 X P x 0,1,2,3Y 0111 1011 1101 1110 D 叶中行信息论课件第五章 因为是四元对称信道，又是等概率分布，所 以根据四元离散对称信源可得 48 3 log4log3()0 4

31、() 3 0 4 DH DD D D R 叶中行信息论课件第五章49 定理定理 (限失真信源编码定理，香农第三极限定理限失真信源编码定理，香农第三极限定理) 设R(D)为一离散无记忆信源的率失真函数，并且有有限的失真测度D对于 任意 ，以及任意长的码长n，一定存在一种信源编码C，其码 字个数为 使编码后码的平均失真度 0, 0D () 2n R DM DD 叶中行信息论课件第五章50 定理的含义是：只要码长n足够长，总可以找到一种信源编 码，使编码后的信息传输率略大于(直至无限逼近)率失真函数 R(D)，而码的平均失真度不大于给定的允许失真度，即： DD 由于R(D)为给定D前提下信源编码可能

32、达到的下限， 所以香农第三定理即说明了： 达到此下限的最佳信源编码是存在的 叶中行信息论课件第五章51 实际的信源编码(无失真编码或先限失真编码后无失真编 码)的最终目标是尽量接近最佳编码，使编码信息传输率接近 最大值log r，而同时又保证译码后能无失真地恢复信源的全 部信息量H(X)或限失真条件下的必要信息量R(D) 编码后信息传输率的提高使每个编码符号能携带尽可能 多的信息量， -使得传输同样多的信源总信息量所需的码符号数大大 减少； -使信道容量C不变的前提下使传输时间大大缩短，从 而提高了通信的效率 叶中行信息论课件第五章52 香农第三定理仍然只是个存在性定理，至于最佳编码方法 如何

33、寻找，定理中并没有给出，因此有关理论的实际应用有待 于进一步研究 如何计算符合实际信源的信息率失真函数R(D)? 如何寻找最佳编码方法才能达到信息压缩的极限值R(D)? 这是该定理在实际应用中存在的两大问题，它们的彻底解 决还有赖于继续的努力 尽管如此，香农第三定理毕竟对最佳限失真信源编码方法 的存在给出了肯定的回答，它为今后人们在该领域的不断深入 探索提供了坚定的信心 叶中行信息论课件第五章 香农信息论 三个基本概念信源熵、信道容量、率失 真函数，都是临界值 三个极限定理无失真信源编码定理、限失真 信源编码定理、信道编码定理，都是存在性定理 53 叶中行信息论课件第五章 平均损失和信息价值平

34、均损失和信息价值 香农信息论的信息量客观 信息量的重要性因人而异主观 把平均失真理解为平均损失，便可衡量价值; 一、例某厂 生产：合格品x1，p(x1 废 品x2，p(x2 检验：合格品y1，合格品报废损失1元 废 品y2，废品出厂损失100元 建模型 检验不正确引起的损失信道传输失真 54 信息量相同，但价信息量相同，但价 值不同值不同 12 01 , ( )0.990.011000 i xx p x X D 信源信道 X (生产)(检验) Y 叶中行信息论课件第五章 平均损失和信息价值平均损失和信息价值 1. 产品未经检验全部出厂 p(y1/x1) = p(y1/x2) = 1 p(y2/

35、x1) = p(y2/x2) = 0 结论产品未经检验全部出厂引起损失1元 55 信源信道 X (生产)(检验) Y 10 10 ij P 22 11 111112112 212212222 ()(/) (,) ()(/) (,)(/) (,) ()(/) (,)(/) (,) 0.9910010.01 1 100001 ijiij ij Dp xp yx d xy p xp yx d xyp yx d xy p xp yxd xyp yxd xy 叶中行信息论课件第五章 平均损失和信息价值平均损失和信息价值 2. 产品未经检验全部报废 p(y1/x1) = p(y1/x2) = 0 p(y2

36、/x1) = p(y2/x2) = 1 结论 产品未经检验全部报废引起损失元 出厂一个废品比报废99个合格品的损失大 根据Dmax定义， Dmax 若允许损失为元，则无需检验，把产品报废即可 56 信源信道 X (生产)(检验) Y 01 01 ij P 0.99001 10.01 0100100.99D 叶中行信息论课件第五章 平均损失和信息价值平均损失和信息价值 3. 检验完全正确 p(y1/x1) = p(y2/x2) = 1 p(y2/x1) = p(y1/x2) = 0 结论 为达无错检验，需要信息量 信息量避免了元的损失 每bit价值 元/bit 57 信源信道 X (生产)(检验

37、) Y 10 01 ij P 0.9910010.01 0100100D 22 (0)()0.99log 0.990.01log 0.010.081bit/RH X信道符号 叶中行信息论课件第五章 平均损失和信息价值平均损失和信息价值 4. 检验有一定误差(设错判概率为0.1) p(y1/x1) = p(y2/x2) = 0.9 p(y2/x1) = p(y1/x2 结论1 比最大损失元)减少了元， 原因是检验获得了信息量I(X;Y) 58 0.90.1 0.1 0.9 ij P 0.99 0.9 00.1 1 0.01 0.1 1000.9 00.199D p(x1) 0.99 p(x2) 0.01 p(y1) p(y2) 0. 9 0. 9 0.1 0.1 叶中行信息论课件第五章 平均损失和信息价值平均损失和