信息论与编码-第3章PPT课件.ppt

第3章信道与信道容量,3.1信道分类和表示参数 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配,3.1 信道分类和表示参数,信道研究的主要内容 信道中的干扰（噪声）使信道输入与输出之间不是固定的函数关系，而是统计依赖关系 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、波形信道,3.1 信道分类和表示参数,信道参数,信道种类 1）无干扰（无噪声）信道 2）有干扰无记忆信道 3）有干扰有记忆信道,3.1 信道分类和表示参数,（1）二进制对称信道（bsc-binary symmetric channel） 输入和输出的符号个数都为2，即 转移概率为,3.1 信道分类和表示参数,（2）离散无记忆信道（dmc-discrete memoryless channel),转移概率矩阵 p=p(bj/ai)=pij, 显然,3.1 信道分类和表示参数,（3）离散输入、连续输出信道离散时间无记忆信道 离散输入 连续输出 传递概率为一组条件概率密度函数 典型信道为加性高斯白噪声（awgn)信道 传递概率为,3.1 信道分类和表示参数,（4）波形信道 信道输入和输出都是随机过程；实际模拟通信系统，都是波形信道 波形信道频带和观察时间总是受限的，因此可离散化成l个时间离散、取值连续的平稳随机序列 和 信道转移概率密度函数为,3.1 信道分类和表示参数,信道容量的定义 考察平均互信息量i(x;y)，平均来说，每传送一个信道符号时，流经信道的有用信息量 i(x;y) = h(x) h(x/y) h(x) 由定义式之一 其中 也就是说， i(x;y) 是二元函数：p(xi)的上凸函数 p(yj/xi)的下凸函数,3.1 信道分类和表示参数,信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 r=i(x;y)=h(x)h(x/y) 比特/符号 rt=i(x;y)/t 比特/秒 信道容量（channel capacity）定义 比特/符号（bits/symbol或bits/channel use）,3.1 信道分类和表示参数,信道容量的含义 给定信道时，对应各种输入概率分布求取的 最大互信息(每信道符号) 给定信道时，理论上能传输的最大(有用)信息量 所有说：信道容量只与信道本身的统计特性有关，而与信道输入端的信源概率分布无关,3.2 离散单个符号信道及其容量,无干扰离散信道的信道容量,m=n, yi=xi, h(y/x)=0, i(x;y)=h(x)=h(y),mn, h(y/x)=0, h(x/y)0,mn, h(x/y)=0, h(y/x)0,3.2 离散单个符号信道及其容量,无噪无损信道：x、y一一对应 无噪有损信道：多个输入变成一个输出 有噪无损信道：一个输入对应多个输出,3.2 离散单个符号信道及其容量,对称dmc信道定义 输入对称 如果转移概率矩阵p的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵p的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的dmc信道 输入、输出都对称的信道矩阵所对应的信道称为对称dmc信道,3.2 离散单个符号信道及其容量,对称dmc信道例子,3.2 离散单个符号信道及其容量,输入对称信道转移概率矩阵中每行元素都相同 则条件熵 信道容量,3.2 离散单个符号信道及其容量,设信源（信道输入）为等概分布，再由于转移概率矩阵是列对称，则信道输出的概率为 即信道输出符号也为等概分布，因此对称dmc信道的信道容量为 其中,3.2 离散单个符号信道及其容量,例3.1 (p.52) 求下面信道矩阵所描述的对称dmc信道的信道容量 解：,3.2 离散单个符号信道及其容量,例3.2 (p.53) 求右面信道矩阵所描述的对称dmc信道的信道容量 解：,信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例,3.2 离散单个符号信道及其容量,对于n=2的强对称dmc信道二进制对称信道 (bsc)的信道容量,c=1-h(),bsc信道的信道容量曲线,3.2 离散单个符号信道及其容量,串联信道,由信息不增性 则,串联信道,3.2 离散单个符号信道及其容量,例3.3 (p.54) 设有两个离散bsc信道串接，求信道容量 解：两个bsc信道的转移矩阵如下,3.2 离散单个符号信道及其容量,互信息 信道容量,3.2 离散单个符号信道及其容量,准对称dmc信道 如果转移概率矩阵p是输入对称而输出不对称，即转移概率矩阵p的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称dmc信道,3.2 离散单个符号信道及其容量,准对称dmc信道容量 对于准对称dmc信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量,3.2 离散单个符号信道及其容量,例3.4 (p.53) 求右面信道矩阵所描述的准对称dmc信道的信道容量,解：信道的输入符号有两个，可设 p(a1)，p(a2)1信道的输出符号有三个，用b1、b2、b3表示 由 可得,3.2 离散单个符号信道及其容量,平均互信息为 由 可解得， 代回得,3.2 离散单个符号信道及其容量,一般dmc信道 1972年由r.blahut和a.arimoto分别独立提出的一种算法，现在称为blahut-arimoto算法：输入符号概率集p(ai)必须满足的充分必要条件是 i(ai;y) = c 对于所有满足p(ai ) 0条件的i i(ai;y) c 对于所有满足p(ai ) = 0条件的i 上式说明：当信道平均互信息达到信道容量时，输入符号概率集 p(ai) 中每一个符号 ai 对输出端 y 提供相同的互信息，只是概率为零的符号除外,3.3 离散序列信道及其容量,离散序列信道,3.3 离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,进一步信道是平稳的,3.3 离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,如果信道无记忆,如果输入矢量 x 中的各个分量相互独立,当信道平稳时cl=lcl，一般情况下，i(x;y) lcl,3.3 离散序列信道及其容量,扩展信道 如果对离散单符号信道进行l次扩展，就形成了l次离散无记忆序列信道 例3.5 (p.59) bsc的二次扩展信道,x00,01,10,11，y00,01,10,11，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2,00,10,11,01,00,01,10,11,3.3 离散序列信道及其容量,扩展信道,1,1,1,1,若p0.1，则c220.9381.062比特/序列,3.3 离散序列信道及其容量,独立并联信道 序列的转移概率p(y1y2yl/x1x2xl)=p(y1/x1)p(y2/x2)p(yl/xl),1,1,1,1,x1 p(y1/x1) y1 x2 p(y2/x2) y2 xl p(yl/xl) yl,3.4 连续信道及其容量,3.4.1 连续单符号加性信道,x (xr) p(y/x) y (yr),连续单符号信道,n pn(n)n(0, 2),平均互信息为 i(x;y)hc(x)hc(x/y) hc(y)hc(y/x) hc(x)hc(y)hc(xy) 信道容量,噪声是均值为零、方差为2的加性高斯噪声,3.4 连续信道及其容量,3.4.1 连续单符号加性信道,py(y)n(0,p)，pn(n)n(0, 2)，y=x+n，所以px(x)n(0,s),c1/2 log(1+snr),信道输入x是均值为零、方差为s的高斯分布随机变量时，信息传输率达到最大值,实际系统中，噪声不一定是正太分布，但若是加性的，可以求出信道容量的上下界,3.4 连续信道及其容量,3.4.2 多维无记忆加性连续信道,信道输入随机序列xx1x2xl，输出随机序列yy1y2yl，加性信道有y=x+n，其中n=n1n2nl 是均值为零的高斯噪声,3.4 连续信道及其容量,连续单符号多维无记忆高斯加性信道就可等价成l个独立的并联高斯加性信道,比特/l维自由度,因此当且仅当输入随机矢量x中各分量统计独立，且是均值为零、方差为pl的高斯变量时，才能达到此信道容量,3.4 连续信道及其容量,讨论,（1）各单元时刻噪声均值为零、方差相同时,（2）各单元时刻噪声均值为零、方差不同，总平均功率受限,3.4 连续信道及其容量,讨论,各个时刻的信道输出功率相等设为常数,3.4 连续信道及其容量,3.4.3 限时限频限功率加性高斯白噪声信道,波形信道中，在限时 tb、限频 fm 条件下可转化成多维连续信道 平均互信息为,3.4 连续信道及其容量,3.4.3 限时限频限功率加性高斯白噪声信道,信道容量为 限频(w)高斯白噪声过程可分解 l2wtb 维统计独立的随机序列 其中：,3.4 连续信道及其容量,香农公式,信道的容量 单位时间的信道容量,3.4 连续信道及其容量,讨论,带宽w一定时，信噪比snr与信道容量ct成对数关系,3.4 连续信道及其容量,讨论,当输入信号功率ps一定，增加信道带宽，可以增加容量,ln(1+x) x,ps/n0ln 2-1.6db，即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6db （香农限）,3.4 连续信道及其容量,讨论,ct一定时，带宽w增大，信噪比snr可降低，即两者是可以互换的,3.5 信源与信道的匹配,符号匹配：信源输出的符号必须是信道能够传送的符号实现信息传输的必要条件 信息匹配：一般情况下，信源输出符号的概率分布使信息传输率 r=i(x;y) 并未达到最大值，即传输速