信源—信道编码定理.ppt

第5章信道 信源编码定理 通用通信系统 其中 编码器包括信源编码和信道编码两个部分 译码器包括信道译码和信源译码两个部分 信道为有噪信道 信道编码给定信道输入符号集AX 给定信道输出符号集AY 对每个输入符号x 存在一个非负实数b x 为传输x的代价 定义n阶容量 代价函数 信道的容量 代价函数 信道编码定理 香农第二定理 一般来说 抗干扰能与信息传输率二者相互矛盾 然而编码定理已从理论上证明 至少存在某种最佳的编码能够解决上述矛盾 做到既可靠又有效地传输信息 信源虽然多种多样 但无论是哪种类型的信源 信源符号之间总存在相关性和分布的不均匀性 使得信源存在冗余度 信源编码的目的就是要减少冗余 提高编码效率 信源编码 给定信源符号集AU 信宿符号集AV 失真测度d u v K阶率失真函数 信源的率失真函数 信源编码定理 香农第三定理 香农第三定理是一个存在定理 至于如何寻找这种最佳编码方法并没有给出 在实际应用中 存在一下两方面的问题 1 符合实际信源的R D 函数的计算相当困难 1 需要对实际信源的统计特性有确切的描述 2 需要对符合主客观实际的失真给予正确的描述 3 即使满足了前两条 R D 的计算也比较困难 2 即使求得很好的R D 函数 还需要研究采取何种编码方法才能达到极限值R D 例 要对此信源进行无失真编码 每个信源符号必须用一个二元符号来表示 信源的信息输出率为R H 1 若允许失真存在 并定义失真函数为汉明失真 即 可以设想这样一种信源编码 信源 信道匹配 当信源与信道相连接时 其信息传输率并未达到最大 希望能使信息传输率越大越好 能达到或尽可能接近于信道容量 信息传输率接近于信道容量只有在信源取最佳分布时才能实现 由此可见 当信道确定后 信道的信息传输率与信源分布是密切相关的 当达到信道容量时 我们称信源与信道达到匹配 否则认为信道有剩余 信道剩余度定义为 信道剩余度 相对信道剩余度 表示信道的信道容量和实际传信率之差 相对信道剩余度可以用来衡量信道利用率的高低 在无损信道中 信道容量C logr r是信道输入符号数 而I X Y H X 因而 无损信道的相对剩余度 上式说明提高无损信道信息传输率就等于减少信源的剩余度 对于无损信道 可以通过信源编码 减少信源的剩余度 使信息传输率达到信道容量 引入问题 在一般通信系统中 如何将信源发出的消息 符号 转换成适合信道传输的符号 信号 从而达到信源与信道的匹配 例 某离散无记忆信源 通过一个无噪无损二元离散信道进行传输 对二元离散信道的信道容量为 C 1 比特 信道符号 对本信源的信息熵为H X 1 937 比特 信源符号 要使信源在此二元信道中传输 必须对X进行二元编码 因此 必须通过合适的信源编码 使信道的信息传输率接近或等于信道容量 对于码 比特 信道符号 信道 信源编码定理 从香农第一 第二定理可以看出 要做到有效和可靠的传输信息 我们可以将通信系统设计成两部分的组合 即信源编码和信道编码两部分 首先通过信源编码 用尽可能少的信道符号来表达信源 尽可能减少编码后信源的数据的剩余率 然后针对信道 对信源编码后的数据独立的进行信道编码 适当增加一些剩余度 使能纠正和克服信道中引起的错误和干扰 定理7 3 信息 传输定理 离散无记忆信源的S的信息率失真函数为R D 离散无记忆信道的信道容量C 若满足R D C 则信源输出的信源序列能在此信道输出端重现 其失真小于等于D 定理7 4离散无记忆信源的S的信息率失