信息论-离散信道及其信道容量课件

1、信源编码器信道译码器信宿信息传输系统示意图信道是重要的信息传输通道。研究信道就是研究它能够传输的最大信息量。离散信道及其信道容量信道的数学模型及分类平均互信息*与平均条件互信息信道容量*及其一般计算方法独立并联信道及其信道容量信源与信道的匹配1. 信道的数学模型及分类信道的分类用户数两端（单用户）信道多端（多用户）信道输入与输出的关系无反馈信道有反馈信道与时间的关系固定参数信道时变参数信道输入、输出信号的特点离散信道、连续信道、半离散或半连续信道、波形信道离散信道的数学模型信道三种信道：1. 无干扰（无噪）信道2. 有干扰无记忆信道3. 有干扰有记忆信道无记忆信道的充要条件单符号离散信道的数学

2、模型信道的传递概率（转移概率）且满足二元对称信道(BSC)用矩阵来表示且满足离散信道传递矩阵接收到输出符号后，输入符号的平均不确定性为信道疑义度2. 平均互信息及平均条件互信息平均互信息对于单个事件互信息与输入、输出信号熵的关系维拉图损失熵噪声熵平均条件互信息信道1信道2已知z的条件下，接收到y后获得关于x的条件互信息已知y,z的条件下，总共获得关于x的互信息同样求统计平均，可得例题四个等概率分布的消息 被送入一个二元无记忆对称信道进行传送。通过编码使 而BSC信道如图所示。试问输入是 和输出第一个符号是0的互信息是多少？如果知道第二个符号也是0，这时带来多少附加信息量？输入是 和输出符号是0

3、的互信息所以比特第二个符号是0带来的附加信息量是而因为信道是无记忆信道所以比特例题设信源通过一干扰信道，接收符号为信道传递概率如图所示，求信源 中事件 和 分别含有的自信息。2）收到消息 后，获得的关于 的信息量。3）信源 和 信源 的信息熵。4）信道疑义度 和噪声熵 。5）收到信息 后获得的平均互信息。1) 事件 含有的自信息比特事件 含有的自信息比特2) 互信息公式 所以可得则比特比特比特比特3 信源 与 的信息熵比特/符号比特/符号4 信道疑义度而可得比特/符号比特/符号噪声熵5 收到信息 后获得的平均互信息比特/符号平均互信息的特性1 平均互信息的非负性2 平均互信息的极值性3 平均互

4、信息的交互性（对称性）4 平均互信息的凸状性a.平均互信息是输入信源的概率分布的 型凸函数b.平均互信息是信道传递概率分布的 型凸函数3.3 信道容量及其计算方法信道容量就是信道的最大信息传输率（平均每个符号所能传送的信息量）物理意义：信道传输的最大信息量，只与信道的统计特性有关。对应的输入概率分布称为最佳输入分布。离散无噪、无损信道的的信道容量对于无噪无损信道互信息信道容量对于有噪无损信道信道容量对于无噪有损信道信道容量互信息互信息损失熵噪声熵对称离散信道的信道容量对称离散信道：信道矩阵中每一行都是由同一 集的诸元素的不同排列组成，并且每一列也都是由 集的诸元素不同排列组成，即信道矩阵中每一

5、行是另一行的置换，以及每一列是另一列的置换。信道容量对于对称离散信道，当输入符号 达到等概率分布时，则输出符号 也一定是等概率分布，所以例题某对称离散信道的信道矩阵为其信道容量为比特/符号准对称信道的信道容量若信道矩阵 的列可以划分成若干个互不相交的子集 ，即由 为列组成的矩阵 是对称矩阵，则称信道矩阵 所对应的信道为准对称信道。信道容量其中为子矩阵的个数例题设信道传递矩阵为可计算得信道容量为一般离散信道的信道容量一般离散信道的平均互信息 达到极大值（即等于信道容量）的充要条件是输入概率分布 满足对所有 其对所有 其就是所求的信道容量。其中设离散信道如图所示。输入符号集为 。输出符号集为 。信道矩阵为试求信道的信道容量。例题假设输入概率分布为因此信道容量比特/符号离散无记忆扩展信道及其信道容量对于离散无记忆信道，输入符号集输出符号集信道矩阵为则此信道的离散无记忆扩展信道可以表示为满足所以离散无记忆扩展信道的信道容量当信源也是无记忆时信道1信道2信道3N个独立并联信道的联合概率联合平均互信息信道容量独立并联信道及其信道容量串联信道的互信息和数据处理定理信道1信道2对于串联信道，每一级输出矢量只取决于它的输入，而与更前面的输入无关，则有串联信道的信道容量为信源与信道的匹配信道剩余度信道相对剩余度小结信道的分