第5章_信源—信道编码定理

第5章信道信源编码定理,通用通信系统,其中：编码器包括信源编码和信道编码两个部分；译码器包括信道译码和信源译码两个部分；信道为有噪信道。,信道编码给定信道输入符号集AX；给定信道输出符号集AY；对每个输入符号x，存在一个非负实数b(x)，为传输x的代价。定义n阶容量代价函数：,信道的容量代价函数：,信道编码定理（香农第二定理）：,一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。,信源编码,给定信源符号集AU；信宿符号集AV；失真测度d(u,v)；K阶率失真函数：,信源的率失真函数：,信源编码定理（香农第三定理）,香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题：,1、符合实际信源的R(D)函数的计算相当困难。,1）需要对实际信源的统计特性有确切的描述,2）需要对符合主客观实际的失真给予正确的描述,3）即使满足了前两条，R(D)的计算也比较困难,2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。,例：,要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即,可以设想这样一种信源编码：,信源信道匹配,当信源与信道相连接时，其信息传输率并未达到最大.希望能使信息传输率越大越好，能达到或尽可能接近于信道容量,信息传输率接近于信道容量只有在信源取最佳分布时才能实现。由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。,信道剩余度定义为：,信道剩余度=,相对信道剩余度=,表示信道的信道容量和实际传信率之差。,相对信道剩余度可以用来衡量信道利用率的高低。,在无损信道中，信道容量Clogr(r是信道输入符号数)。而I(X;Y)H(X)，因而：无损信道的相对剩余度=,上式说明提高无损信道信息传输率就等于减少信源的剩余度。对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。引入问题：在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配。,例某离散无记忆信源,通过一个无噪无损二元离散信道进行传输。对二元离散信道的信道容量为：C1(比特信道符号)对本信源的信息熵为H(X)1.937(比特信源符号)要使信源在此二元信道中传输，必须对X进行二元编码：,因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。,对于码,(比特信道符号),信道信源编码定理,从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表达信源，尽可能减少编码后信源的数据的剩余率，然后针对信道，对信源编码后的数据独立的进行信道编码，适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰。,定理7.3（信息传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足R(D)C,则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。,定理7.4离散无记忆信源的S的信息率失真