离散信源的无失真编码PPT学习教案

1、会计学1 离散信源的无失真编码离散信源的无失真编码 2 第1页/共26页 3 第2页/共26页 4 第3页/共26页 5 第4页/共26页 6 第5页/共26页 7 Yk=(Y1Y2Yk) XL=(X1X2XL) 第6页/共26页 8 )(log loglog loglog 2 log)(: 22 22 2 XHm L k nm L k nLmk nXHdef 其中：其中：H(X)H(X)为原始信源的单符号熵为原始信源的单符号熵 Lk nm Yk=(Y1Y2Yk) XL=(X1X2XL) 第7页/共26页 9 n码字的最小长度为： )(log , 0 XHm L k 则 令 nXH m XH

2、Lk 2 2 log)(, log )( 其中 )(log , 0 XHm L k 则 令 第8页/共26页 10 L=1,n=8 k=?,m=2 m XH Lk 2 log )( 3 2log 8log 1 2 2 k k 得得 所以码组为：所以码组为： 1117 1106 1015 1004 0113 0102 0011 0000 第9页/共26页 11 m XH Lk 2 1 log )( k1=?,m=10 L=1,n=10000 第10页/共26页 12 4 10000log1 10log 10000log 1 log )( 1 101 2 2 1 2 1 最小 k k k m XH

3、 Lk 即每个汉字至少要用即每个汉字至少要用4 4位十进制数表示位十进制数表示 第11页/共26页 13 4 3 . 310log10log1 log min2 222 2 k k nLk m L=1,n=10 k2=?,m=2 k1=4,m=10 L=1,n=10000 第12页/共26页 14 011101101010011011010948 110011100101101011010022 21 21 ，国 ，中 编码器编码器 编码器编码器 即即 个二进制符号个汉字符号20541 21 kk k1=4,m=10 L=1,n=10000 k2=5,m=2 第13页/共26页 15 bit/

4、bit/符号符号 L mk R 2 log )( log2 XH L mk L mk 2 log )(XHR 则 第14页/共26页 16 消息长度 息量每条消息编成的码字信 度原始信源每条的消息长 每个码元的信息量码组长度 L mK R 2 log bit/bit/符号符号 进制码组的一个长为mk 的信源消息一条长为L 信源编码器信源编码器 第15页/共26页 17 码长表示变长编码后的平均其中k L mk R, log2 bit/bit/符号符号 长度条消息对应的实际编码：第 条消息出现的概率：第 ：信源发的消息总数 消息码元具体地： ik ip n kpK i i L n i ii L

5、/ 1 L mk R 2 log 第16页/共26页 18 bit/bit/符号符号 R XH)( 1 )( 1 )( )( R XH R XH XHR 或即 第17页/共26页 19 组携带的信息量编码后每消息对应的码 信息量次扩展信源消息携带的编码前每条 的信息量编码后信源每符号携带 携带的信息量编码前信源平均每符号 L mK XLH R XH 2 log )( )( 第18页/共26页 20 nXH m XH Lk 2 2 log)(, log )( 其中 )(log , 0 XHm L k 则 令 第19页/共26页 21 1 log )( log )( 22 m XLH K m XL

6、H ii pHi m Hi k m Hi 2 22 log1 loglog 其中 n i n i ii n i ii n i ii n i k qpqpppm i 11111 1,loglog1其中， 信源每条消息信源每条消息 包含的信息量包含的信息量 信源第信源第i i条消息包条消息包 含含 的信息量的信息量 第20页/共26页 22 1 log )( log )( 22 m XH K m XH 1 log )( log )( 22 m XLH K m XLH 因因 为为 第21页/共26页 23 )(XH L K CR CRXH)( )log( 2 m L K R ) )( ( R XH

7、第22页/共26页 24 %8181. 0 11, 21 log /81. 0)(log)()( )( 2 2 1 代入得 ，易知： 符号 其中： RkmL L mk R bitxpxpXH R XH i ii 因为是单符号消息，一因为是单符号消息，一 个符号表示一条消息，个符号表示一条消息， 所以所以L=1L=1 因为编成的码字是二进因为编成的码字是二进 制的，所以制的，所以m=2m=2 因为编成的码字长度都因为编成的码字长度都 是是1 1，所以平均码长，所以平均码长k=1k=1 第23页/共26页 25 %96 84. 0 81. 0)( /84. 0 2 68. 1 68. 1 16/9)()()( 16/3)()()( 16/3)()()( 16/1)()()( 2 2, 2 log)( 22224 12123 21212 11111 4 1 2 R XH bitRk xpxpxxpq xpxpxxpq xpxpxxpq xpxpxxpq kqk k RmL L mk R R XH i ii 代入 符号码元代入得 令 而：易知： 而 说