信息论与编码讲义第十八讲

1、2022-2-211第五章：第五章：信道编码定理（一）5.1 离散信道编码问题离散信道编码问题5.23 离散信道编码定理离散信道编码定理2022-2-2125.2 离散信道编码定理离散信道编码定理首先需要说明，上述离散信道编码的编码速率（信息率R ）本来是设备所确定的。当信源每秒产生ns个字母，信道编码所使用的设备每秒产生nc个字母，则设备所确定的编码速率就是R = ns/nc。其次，实际编码速率（实际信息率L/N ）必须不小于设备所确定的编码速率：L/N R。于是对离散信道编码有了以下两条相互矛盾的要求：（1）实际编码速率L/N 尽可能小以便使正确译码（正确接收）的概率尽可能接近1。（2）实

2、际编码速率不小于设备所确定的编码速率L/N R。2022-2-2135.2 离散信道编码定理离散信道编码定理设信源序列经过信源编码后变成了如下的序列X-2X-1X0X1X2。设各随机变量独立同分布。记H(X)为X0的熵，C为信道容量。如果设备所确定的编码速率RC/H(X)，则不能够同时满足这两条要求。（如果设备所确定的编码速率R=C/H(X)，则情况如何？很复杂，属于边界情况，没有简单整齐的结论。 ）2022-2-2145.2 离散信道编码定理离散信道编码定理定理5.2.1 ，Fano不等式。上面定义的U和V空间中的事件满足下述不等式：log1bbpMH pH U V2022-2-2155.2

3、 离散信道编码定理离散信道编码定理定理5.2.2令 是信息序列 和译码判决序列 的联合集，令 。则LLUV12,Luu uu12,Lvv vv1,llmu vUaa1log1LLbbpMH pH UVL11LbellppL2022-2-2165.2 离散信道编码定理离散信道编码定理定理5.2.3（编码逆定理）设离散平稳源的字母表有M个字母，且熵为 ，每 秒产生一个字母。令离散无记忆信道的容量为 ，每 秒送出一个信道符号。若长为L的信息序列被编成长为 的码子，则误码率 满足（5.2.8）式，当 时 为非零值。 limLLHUHUssCscNL bp 0scHUCbp2022-2-217定义5.3

4、.1令X、Y是两个概率空间， ， 。若序列对 和 满足：1.是 典型序列，即对任意小的正数 ，存在 使2.是 典型序列，即对任意小的正数 ，存在 使3.是 典型序列，即对任意小的正数 ，存在 使1,NNxxxX1,NNyyyYyx 1log pxHXNxNyN1log pyHYN1log pxyHXYNxyN就称序列对 和 是联合联合 典型序列典型序列xy2022-2-218定义5.3.2 长 的 典型序列集定义为式中的 是 中的任意子集。N 12,lxxx 1212,121,:log ,llxxxlTNxxxp sH SNSXXX S 12,lXXX 12,lxxxTN2022-2-2195.2 离散信道编码定理离散信道编码定理定义5.3.3对给定离散无记忆信道和任意 ，若有一种编码速率为的 码，在 足够大时，能使 ，就称 是可达的可达的。0NepR2022-2-21105.2 离散信道编码定理离散信道编码定理定理5.3.1（Shannon信道编码定理）给定容量为 的离散无记忆信道 ，若编码速率 ，则 是可达的。C,X p x yYRCR2022-2-21115. 3 离散信道编码定理离散信道编码定理定理定理5.3.1(p122) （Shannon信道编码定理）如果设备所确定的编码速率RC/H(X)，则对任