信息论与编码离散信道

信息论与编码离散信道第一页，共九十九页，编辑于2023年，星期五2023/5/241引言信道是通信系统的重要部分,其任务是以信号方式传输信息和存储信息.研究信道就是研究信道中能够传送或存储的最大信息量,即信道容量问题.首先讨论离散信道的统计特性和数学模型,然后定量地研究信道传输的平均互信息及其性质,并导出信道容量及其计算方法.只研究一个输入和一个输出端的信道,即单用户信道;以无记忆、无反馈、固定参数的离散信道为重点.第二页，共九十九页，编辑于2023年，星期五2023/5/2423.1信源的数学模型及分类实际的通信系统中,信道的种类很多,包含的设备也各式各样.有线:明线、电缆、波导、光缆无线:长波、中波、短波、超短波、光波信息论不研究信号在这些信道中传输的物理过程;信号在信道中传输或存储过程所遵循的不同物理规律.信息论将各种不同的物理信道抽象成统一的数学模型,只研究信息的传输和存储问题.第三页，共九十九页，编辑于2023年，星期五2023/5/2433.1信源的数学模型及分类从信息传输的角度来考虑,信道可以分成以下几种分类:1、根据信道的用户多少;2、根据输入和输出信号的特点;3、根据信道的统计特性(条件概率);∵噪声和干扰使信号通过信道传输后产生错误和失真.∴信道输入和输出信号是统计依赖关系,而一般不是确定的函数关系.第四页，共九十九页，编辑于2023年，星期五2023/5/2441、根据信道的用户多少,信道可分:两端(单用户)信道:它是只有一个输入端和一个输出端的单向通信的信道.多端(多用户)信道:它是在输入端或输出端中至少有一端有二个以上的用户,并且还可以双向通信的信道。实际通信系统,如计算机通信、卫星通信、广播通信、移动通信等.第五页，共九十九页，编辑于2023年，星期五2023/5/2452、根据输入和输出信号的特点,信道可分为:离散信道:输入、输出变量的取值都是离散的.连续信道:输入、输出变量的取值都是连续的.半离散或半连续信道:输入变量是离散的且输出变量是连续的,或者相反.第六页，共九十九页，编辑于2023年，星期五2023/5/2462、根据输入和输出信号的特点,信道可分为:波形信道:输入和输出的随机变量取值都是连续的,且随时间连续变化,可用随机过程来描述.实际信道的是带宽受限的,所以输入、输出信号可分解成时间离散的随机序列。随机序列中随机变量的取值可以是可数的离散值,也可是不可数的连续值.因此,波形信道可分解成离散信道、连续信道和半离散或半连续信道来研究。第七页，共九十九页，编辑于2023年，星期五2023/5/2473、根据信道输入端和输出端的关联,可以分为:无反馈信道.信道输出端无信号反馈到输入端,即输出端信号对输入端信号无影响、无作用.反馈信道.信道输出端的信号反馈到输入端,对输入端的信号起作用,影响输入端信号发生变化.第八页，共九十九页，编辑于2023年，星期五2023/5/2484、根据信道的参数(统计特性)与时间的关系,信道又可以分为:固定参数信道.信道的参数(统计特性)不随时间变化而改变.时变参数信道.信道的参数(统计特性)随时间变化而改变.第九页，共九十九页，编辑于2023年，星期五2023/5/249离散信道离散信道的数学模型一般如图3.1所示.信号用随机矢量表示.输入信号X=(X1,…,Xi,…,XN),输出信号Y=(Y1,…,Yi,…,YN),其中i=1,…,N表示时间或空间的离散值.随机变量Xi和Yi分别取值于符号集A=(a1,…,ar)和B=(b1,…,bs),其中r不一定等于s.条件概率p(y|x)描述了输入和输出信号之间的统计依赖关系,反映了信道的统计特性.第十页，共九十九页，编辑于2023年，星期五2023/5/24103、根据信道统计特性,离散信道可分成三种情况:(1)无干扰（无噪）信道.信道中没有随机干扰或者干扰很小,输出信号Y与输入信号X有确定的对应关系.即y=f(x),且第十一页，共九十九页，编辑于2023年，星期五2023/5/2411(2)有干扰无记忆信道.实际信道中常有干扰(噪声),输出与输入之间无确定关系。信道输入和输出之间的条件概率服从一般的概率分布。输出符号统计依赖于对应时刻的输入符号,而与非对应时刻的输入和输出符号无关,则称无记忆信道.其条件概率满足

对任意N值和任意x、y的取值，上式成立。第十二页，共九十九页，编辑于2023年，星期五2023/5/2412(3)有干扰有记忆信道。这是更一般的情况,既有干扰(噪声)又有记忆.实际信道往往是这种类型.例如码字干扰就是由于信道滤波使频率特性不理想造成的.有记忆信道:输出符号不但与对应时刻的输入符号有关,还与以前时刻输入及输出符号有关,其信道条件概率p(y|x)不再满足式(3.2)。第十三页，共九十九页，编辑于2023年，星期五2023/5/2413(3)有干扰有记忆信道。处理这类有记忆信道时最直观的方法是把记忆较强的N个符号当作一个矢量符号来处理,而各矢量符号之间认为是无记忆的,转化成无记忆信道的问题.另一种方法是把p(y|x)看成马尔可夫链的形式,把信道的输入和输出序列看成为信道的状态.那么,信道的统计特性可用p(ynsn|xnsn-1)来描述.第十四页，共九十九页，编辑于2023年，星期五2023/5/2414单符号离散无记忆信道单符号离散信道的条件概率(也称传递概率或转移概率)为p(y|x)=p(y=bj|x=ai)=p(bj|ai)i=1,2,…,rj=1,2,…,s信道干扰使输入x在传输中发生错误,可用传递概率p(bj|ai)来描述干扰影响的大小.信道的干扰(噪声)使当信道输入为x=ai,输出y是哪一个符号无法确定.但信道输出一定是b1,b2,…,bs中的一个.即有第十五页，共九十九页，编辑于2023年，星期五2023/5/2415单符号离散无记忆信道因此,单符号离散信道可以用e[X,p(y|x),Y]三者加以描述.也可用图来描述,如图3.2所示。第十六页，共九十九页，编辑于2023年，星期五2023/5/2416[例3.1]二元对称信道，简记为BSC(BinarySymmetricChannel)。一种重要的特殊信道,其传递概率p(b1|a1)=p(0|0)=1-pp(b2|a2)=p(1|1)=1-pp(b1|a2)=p(0|1)=pp(b2|a1)=p(1|0)=p且满足其可用传递矩阵来表示,如第十七页，共九十九页，编辑于2023年，星期五2023/5/2417[例3.2]二元删除信道，简记为BEC(BinaryEliminateChannel)。其传递概率如图3.4所示,传递矩阵为并满足式(3.4).第十八页，共九十九页，编辑于2023年，星期五2023/5/2418这种信道实际是存在的.假如一个实际信道,输入0和1用两个正、负方波信号表示,如图3.5(a)所示.信道输出送入译码器的将是受干扰后的方波信号R(t),如图3.5(b)所示.第十九页，共九十九页，编辑于2023年，星期五2023/5/2419用积分器I=∫R(t)dt来判别发送信号.如果I是正的,且大于某一电平,判别为“0”;若I是负的,且小于某一电平,判别是“1”;而若I的绝对值很小,不能作出判断,就认为是特殊符号“2”;信道干扰不是很严重的话,1→0和0→1的可能性要比0→2和1→2的可能性小得多,所以假设p(y=1|x=0)=p(y=0|x=1)=0是较合理的.第二十页，共九十九页，编辑于2023年，星期五2023/5/2420一般离散单符号信道的传递概率可用矩阵形式表示,即为了表述方便,令p(bj|ai)=pij,即第二十一页，共九十九页，编辑于2023年，星期五2023/5/2421且满足该矩阵完全描述了信道的统计特性,有些概率是信道干扰引起的错误概率,其他是信道正确传输的.所以该矩阵又称为信道矩阵.第二十二页，共九十九页，编辑于2023年，星期五2023/5/2422下面推导一般离散信道的一些概率关系。(1)输入符号概率已知,p(x=ai)=p(ai),i=1,2,…,r,且输入和输出符号联合概率为p(x=ai,y=bj)=p(ai,bj).则有p(bj|ai)=p(ai,bj)/p(ai)p(ai|bj)=p(ai,bj)/p(bj)前向概率p(bj|ai):也称传递概率,即发送为ai,通过信道传输接收到为bj的概率.它是由信道噪声引起的,描述了信道噪声的特性.后向概率p(ai|bj):已知信道输出端接收到符号为bj但发送的输入符号为ai的概率.先验概率p(ai):收到输出符号以前,输入符号的概率;后验概率p(ai|bj):收到输出符号以后,输入符号的概率.第二十三页，共九十九页，编辑于2023年，星期五2023/5/2423(2)根据联合概率可得输出符号的概率

也可写成矩阵形式，即第二十四页，共九十九页，编辑于2023年，星期五2023/5/2424(3)根据贝叶斯定律可得后验概率

可得上式说明,在信道输出端接收到任一符号bj一定是输入符号a1,a2,…,ar中的某一个送入信道.第二十五页，共九十九页，编辑于2023年，星期五2023/5/2425第三章离散信道3.1信道的数学模型及分类3.2信道疑义度及平均互信息3.3平均互信息的特性3.4离散无记忆的扩展信道3.5信道容量及其迭代算法3.6信源与信道的匹配第二十六页，共九十九页，编辑于2023年，星期五2023/5/24263.2.1信道疑义度一、先验熵H(X)：在接收到输出Y以前，关于输入变量X的先验不确定性的度量。根据熵的概念，可计算出信道输入信源X的熵如果信道无干扰(噪声),输出Y与输入X一一对应，那么，接收到传送的符号Y后就消除了对发送符号X的先验不确定性。第二十七页，共九十九页，编辑于2023年，星期五2023/5/24273.2.1信道疑义度二、后验熵H(X|bj)一般信道有干扰(噪声)存在,接收到输出Y后对发送的符号X仍有不确定性。怎样度量接收到Y后关于X的不确定性呢？接收到输出y=bj后,其先验概率p(x)变成后验概率p(x|bj),其先验熵H(X)变成了后验熵H(X|bj)为

接收到输出为bj后关于输入X的信息测度(不确定性).第二十八页，共九十九页，编辑于2023年，星期五2023/5/24283.2.1信道疑义度三、信道疑义度后验熵是随输出y变化的随机量,对输出Y求期望,得条件熵为

这个条件熵称为信道疑义度.表示输出端收到输出Y的全部符号后,对于输入X尚存在的平均不确定性(疑义).第二十九页，共九十九页，编辑于2023年，星期五2023/5/24293.2.1信道疑义度三、信道疑义度对X尚存的不确定性是信道干扰(噪声)引起.如果是一一对应信道,收到输出Y后,对X的不确定性完全消除,则H(X|Y)=0。由于H(X|Y)<H(X),这说明收到变量Y的所有符号,总能消除一些关于输入端X的不确定性，从而获得了一些信息。第三十页，共九十九页，编辑于2023年，星期五2023/5/24303.2.2平均互信息根据上述可知:收到输出Y后关于输入X的平均不确定性H(X)变成了条件熵H(X|Y).信道传输消除了一些不确定性,获得了一定的信息.I(X;Y)=H(X)-H(X|Y)I(X;Y)称为X和Y的平均互信息.它代表收到输出Y后平均每个符号获得的关于X的信息量。:从定义可进一步理解熵只是平均不确定性的描述,而熵差(不确定性的消除)才等于接收端所获得信息量.因此,信息量不应该与不确定性混为一谈.第三十一页，共九十九页，编辑于2023年，星期五2023/5/24313.2.2平均互信息平均互信息I(X;Y)是绪论中提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果.因此给出互信息I(x;y)的表达式以示区别.即第三十二页，共九十九页，编辑于2023年，星期五2023/5/24323.2.2平均互信息互信息I(x;y)可取正值,也可取负值.如果互信息I(x;y)取负值,说明由于噪声的存在,收到消息y后,反而使收信者对消息x是否出现的猜测难度增加了.获得的信息量为负值。但在下一节，将证明平均互信息I(X;Y)永远不会取负值。第三十三页，共九十九页，编辑于2023年，星期五2023/5/24333.2.3平均互信息与各类熵的关系从Y中获得关于X的平均互信息I(X;Y),等于1)接收到输出Y的前、后,关于X的平均不确定性的消除,即I(X;Y)=H(X)-H(X|Y)2)发X的前、后,关于Y的平均不确定性的消除,即I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)第三十四页，共九十九页，编辑于2023年，星期五2023/5/24343.2.3平均互信息与各类熵的关系H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)=H(X|Y)+I(X;Y)+H(Y|X)第三十五页，共九十九页，编辑于2023年，星期五2023/5/24353.2.3平均互信息与各类熵的关系H(X|Y)是信道疑义度,表示信源X通过有噪信道传输后引起的信息量损失,故也称为损失熵.H(Y|X)表示已知输入X,对输出Y尚存在的不确定性(疑义),这是由信道中噪声引起的,故称噪声熵,或散布度,反映了信道中噪声源的不确定性.图中可看出I(X;Y)与I(Y;X)的交互性.可见,“互信息”的命名是恰当的.H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)第三十六页，共九十九页，编辑于2023年，星期五2023/5/24363.2.3条件平均互信息一、推广到三个概率空间互信息I(x;y)是求两个概率空间中事件之间的互信息.可将这概念推广到三个概率空间中求事件之间的互信息.设三个离散概率空间X,Y,Z;x∈X,y∈Y,z∈Z,且有概率关系式:第三十七页，共九十九页，编辑于2023年，星期五2023/5/24373.2.3条件平均互信息一、推广到三个概率空间 这三个概率空间可看作为两个串接系统1和系统2的输入和输出空间,如图3.6(a)所示.也可考虑为如图3.6(b),(c)所示,将X作为系统1的输入空间,而Y和Z作为系统1的输出空间,其中Y,Z可为并行输出或按时间前后的串行输出。第三十八页，共九十九页，编辑于2023年，星期五2023/5/2438二、条件互信息在已知z的条件下,接收到y获得关于事件x的条件互信息

与互信息的区别:其先验概率和后验概率都是在某一特定条件下的取值.第三十九页，共九十九页，编辑于2023年，星期五2023/5/2439三、平均条件互信息将条件互信息I(x;y|z)在概率空间XYZ中求统计平均,得平均条件互信息:第四十页，共九十九页，编辑于2023年，星期五2023/5/2440四、互信息从互信息的定义得出,当已知y,z后,总共获得关于x的互信息

这个关系式表明:yz联合给出关于x的互信息量等于y给出关于x的互信息量与y已知条件下z给出关于x的互信息量之和.第四十一页，共九十九页，编辑于2023年，星期五2023/5/2441五、平均互信息将互信息I(x;yz)在概率空间XYZ中求统计平均,得平均互信息:第四十二页，共九十九页，编辑于2023年，星期五2023/5/2442六、关系式I(X;Y|Z)=H(X|Z)-H(X|YZ)I(X;YZ)=I(X;Y)+I(X;Z|Y)(3.29)式(3.29)表明,联合变量YZ和变量X之间的平均互信息,等于变量X和Y的平均互信息加上在变量Y已知条件下变量X和Z的平均互信息.上述定义和关系式易于推广到任意有限维空间的情况.特别是在多用户信息论中这些关系式十分有用。第四十三页，共九十九页，编辑于2023年，星期五2023/5/2443[例3.3]四个等概率分布的消息M1,M2,M3和M4被送入一个二元无记忆对称信道(BSC)进行传送.通过编码使M1=00,M2=01,M3=10和M4=11.而BSC信道如右图所示.试问,输入是M1和输出符号是0的互信息是多少?如果知道第二个符号也是0,这是带来多少附加信息量?第四十四页，共九十九页，编辑于2023年，星期五2023/5/2444解:(1)根据题意知p(M1)=p(M2)=p(M3)=p(M4)=1/4,而p(0|M1)=p(0|0)=1-p.所以,输入M1和第一个输出符号0的联合概率为根据信源的概率分布，输出第一个符号为0的概率为根据互信息的定义，可得第四十五页，共九十九页，编辑于2023年，星期五2023/5/2445(2)若输出符号为00，可得根据信道是无记忆的，有同理，可得由式(3.25)可知,当已知第一个符号为0,第二个也是0带来关于M1的附加信息第四十六页，共九十九页，编辑于2023年，星期五2023/5/2446第三章离散信道3.1信道的数学模型及分类3.2信道疑义度及平均互信息3.3平均互信息的特性3.4离散无记忆的扩展信道3.5信道容量及其迭代算法3.6信源与信道的匹配第四十七页，共九十九页，编辑于2023年，星期五2023/5/24473.3平均互信息的特性(1)平均互信息的非负性.即I(X;Y)≥0.当X和Y统计独立时,等式成立.证明:根据平均互信息的定义,因为logx是严格∩型凸函数,直接应用詹森不等式得第四十八页，共九十九页，编辑于2023年，星期五2023/5/24483.3平均互信息的特性(1)平均互信息的非负性.即I(X;Y)≥0.这个性质说明:1)平均互信息量不会是负值.从平均的角度来看,信道传输总能消除一些不确定性,接收到一定的信息.2)在统计独立信道(信道输入和输出是统计独立)中,接收不到任何信息.因为传输的信息全部损失在信道中,以致没有任何信息传输到终端,但也不会失去已知的信息.第四十九页，共九十九页，编辑于2023年，星期五2023/5/2449(2)平均互信息的极值性.即0≤I(X;Y)≤H(X)因为信道疑义度H(X|Y)总大于零,所以平均互信息I(X;Y)总是小于熵H(X).只有当信道中传输信息无损失时,即H(X|Y)=0,接收到Y后获得关于X的信息量才等于符号集X中平均每符号所含有的信息量.一般情况下,平均互信息I(X;Y)必在零和H(X)之间.第五十页，共九十九页，编辑于2023年，星期五2023/5/2450(3)平均互信息的交互性(对称性).即I(X;Y)=I(Y;X)这个性质说明:1)当X和Y统计独立时(即H(X|Y)=H(X)),就不可能从一个随机变量获得关于另一个随机变量的信息,所以I(X;Y)=I(Y;X)=0;2)当信道输入X和输出Y一一对应时,即H(X|Y)=0,从一个变量就可以充分获得关于另一个变量的信息,即I(X;Y)=I(Y;X)=H(X)=H(Y).第五十一页，共九十九页，编辑于2023年，星期五2023/5/2451(4)平均互信息的凸函数性.平均互信息I(X;Y)只是信源输入X的概率分布p(x)和信道传递概率p(y|x)的函数,因此对于不同信源和不同信道得到的平均互信息是不同的.第五十二页，共九十九页，编辑于2023年，星期五2023/5/2452定理3.1I(X;Y)是信源输入概率分布p(x)的∩型凸函数.定理3.2I(X;Y)是信道传递概率p(y|x)的∪型凸函数.定理3.1意味着,当固定某信道时,一定存在有一种信源(某一种概率分布p(x)),使输出端获得的平均信息量为最大(因为∩型凸函数存在极大值).定理3.2说明:当信源(概率空间)固定后,存在一种最差的信道,此信道的干扰(噪声)最大,而输出端获得的信息量最小.第五十三页，共九十九页，编辑于2023年，星期五2023/5/2453[证明3.1]根据∩型凸函数的定义来证明.首先固定信道,即信道的转移概率p(y|x)是固定的.那么平均互信息I(X;Y)将只是p(x)的函数,简写成I[p(x)].现给定输入信源X两种概率分布p1(x)和p2(x),其联合概率为p1(xy)=p1(x)p(y|x)和p2(xy)=p2(x)p(y|x),而信道输出的平均互信息分别为I[p1(x)]和I[p2(x)].令p(x)=θp1(x)+(1-θ)p2(x),其中0<θ<1,其联合概率分布为p(xy)=p(x)p(y|x)=θp1(x)p(y|x)+(1-θ)p2(x)p(y|x)=θp1(xy)+(1-θ)p2(xy),

相应的平均互信息为I[p(x)].第五十四页，共九十九页，编辑于2023年，星期五2023/5/2454因为f=logx是∩型凸函数,根据詹森不等式可得第五十五页，共九十九页，编辑于2023年，星期五2023/5/2455因为0<θ<1,可得即I(X;Y)是输入信源的概率分布p(x)的∩型凸函数.第五十六页，共九十九页，编辑于2023年，星期五2023/5/2456[例3.4](续例3.1)设二元对称信道的输入概率空间和信道特性如图3.3所示.计算得平均互信息

其中,H(p)是[0,1]区域上的熵函数.第五十七页，共九十九页，编辑于2023年，星期五2023/5/2457根据可得 p(y=0)=w(1-p)+(1-w)p p(y=1)=wp+(1-w)(1-p)那么,

其中,H(w,p)也是[0,1]区域上的熵函数.第五十八页，共九十九页，编辑于2023年，星期五2023/5/2458当信道固定即固定p时,可得I(X

;Y)是w的∩型凸函数,其曲线如图3.9.从图中可知,当二元对称信道的信道矩阵固定后,若输入变量X的概率分布不同,在接收端平均每个符号获得的信息量就不同.只有当输入变量X是等概率分布,在信道接收端平均每个符号才获得最大的信息量.第五十九页，共九十九页，编辑于2023年，星期五2023/5/2459当固定信源的概率分布w时,即得I(X

;Y)是p的∪型凸函数,其曲线如图3.10.从图中可知,当二元信源固定后,存在一种二元对称信道(即p=1/2),使在信道输出端获得的信息量最小,即等于零.也就是说,信道的信息全部损失在信道中.这是一种最差的信道(其噪声为最大).第六十页，共九十九页，编辑于2023年，星期五2023/5/2460例例4.2.2一个信源以相等的概率及1000码元/秒的速率把"0"和"1"码送入有噪信道,由于信道中噪声的影响.发送为"0"接收为"1"的概率为1/16,而发送为"1"接收为"0"的概率为1/32,求信源熵、条件熵和平均互信息.解：根据题意,令输入符号a0=0,a1=1,输出符号b0=0,b1=1,可以首先求出信源熵,即第六十一页，共九十九页，编辑于2023年，星期五2023/5/2461由题可知,信道的转移概率矩阵为可得条件概率和联合概率分别为第六十二页，共九十九页，编辑于2023年，星期五2023/5/2462根据条件概率和联合概率可得条件熵为根据信源熵和条件熵可得平均互信息为I(X

;Y)=H(X)-H(X|Y)=1-0.27=0.73比特/符号第六十三页，共九十九页，编辑于2023年，星期五2023/5/2463第三章离散信道3.1信道的数学模型及分类3.2信道疑义度及平均互信息3.3平均互信息的特性3.4离散无记忆的扩展信道3.5信道容量及其迭代算法3.6信源与信道的匹配第六十四页，共九十九页，编辑于2023年，星期五2023/5/2464离散无记忆的N次扩展信道1、信道模型第六十五页，共九十九页，编辑于2023年，星期五2023/5/2465离散无记忆的N次扩展信道2、转移概率矩阵第六十六页，共九十九页，编辑于2023年，星期五2023/5/2466[例3.5]求例3.1中二元无记忆信道的二次扩展信道输入符号集A2=[00,01,10,11],输出符号集B2=[00,01,10,11];转移概率为转移概率矩阵为第六十七页，共九十九页，编辑于2023年，星期五2023/5/2467N次扩展信道的平均互信息N次扩展信道的平均互信息为定理3.3

如果信道是无记忆的(信源有记忆),即

等式成立条件:信源也无记忆.定理3.4

如果信源是无记忆的(信道有记忆),即

等式成立条件:信道也无记忆.第六十八页，共九十九页，编辑于2023年，星期五2023/5/2468定理3.3证明？？？？第六十九页，共九十九页，编辑于2023年，星期五2023/5/2469定理3.3说明:信源的有记忆性降低了信源的熵H(XN);[∵I(X;Y)=H(XN)-H(XN|YN)]有记忆信源:信源先后发出的符号是互相依赖的定理3.4说明:信道的有记忆性降低了条件熵H(XN|YN);有记忆信道:输出符号不但与对应时刻的输入符号有关,还与以前时刻输入及输出符号有关第七十页，共九十九页，编辑于2023年，星期五2023/5/2470无记忆的N次扩展信道的平均互信息若信源和信道都是无记忆的,即定理3.3和3.4同时成立,那么等式成立,即

若同时满足:1)Xi取自同一概率空间(相同符号集及概率分布);2)相同的信道(信道转移概率矩阵)则有:第七十一页，共九十九页，编辑于2023年，星期五2023/5/2471无记忆的N次扩展信道的平均互信息对于无扰一一对应(无噪)信道(H(X|Y)=0),接收到的平均互信息就是输入信源的熵,定理3.3同时说明

第七十二页，共九十九页，编辑于2023年，星期五2023/5/2472第三章离散信道3.1信道的数学模型及分类3.2信道疑义度及平均互信息3.3平均互信息的特性3.4离散无记忆的扩展信道3.5信道容量及特殊信道的容量计算3.6信源与信道的匹配第七十三页，共九十九页，编辑于2023年，星期五2023/5/2473信道的信息传输率R信道研究的目的:讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R.信道的信息传输率R就是平均互信息,这是因为平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量.因此R=I(X;Y)=H(X)-H(X|Y)比特/符号第七十四页，共九十九页，编辑于2023年，星期五2023/5/2474信道容量C定义:最大的信息传输率,即

其相应的输入概率分布称为最佳输入分布.这是因为在信道固定时,I(X;Y)是输入变量X的概率分布p(x)的∩型凸函数(见定理3.1).可知:信道容量C与信源概率分布无关,它只是信道传输概率的函数,只与信道统计特性有关.所以,信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量.第七十五页，共九十九页，编辑于2023年，星期五2023/5/2475单位时间内的R和C有时关心的是信道在单位时间内平均传输的信息量.信息传输速率Rt:信道每秒钟传输的信息量(若平均传输一个符号需要t秒),即同理,可得单位时间内平均传输的最大信息量第七十六页，共九十九页，编辑于2023年，星期五2023/5/24763.5.1离散无噪信道从数学上说,信道容量计算就是对互信息I(X;Y)求极大值的问题.对于一般信道,信道容量的计算相当复杂.下面仅讨论某些特殊类型的信道容量计算问题.第七十七页，共九十九页，编辑于2023年，星期五2023/5/24771、无噪无损信道

输入和输出符号之间有确定的一一对应关系,即信道矩阵是单位矩阵H(X|Y)=0,H(Y|X)=0I(X;Y)=H(X)=H(Y)第七十八页，共九十九页，编辑于2023年，星期五2023/5/24782、有噪无损信道输入符号通过传输变成若干输出符号,虽然不是一一对应关系,但这些输出符号仍可分成互不相交的一些集合.p(a1|bj)=1,j=1,2p(a2|bj)=1,j=3,4,5p(a3|bj)=1,j=6H(X|Y)=0,H(Y|X)≠0I(X;Y)=H(X)<H(Y)第七十九页，共九十九页，编辑于2023年，星期五2023/5/24793、无噪有损信道前向概率p(y|x)等于0或1,即输出Y是输入X的确定函数;但不是一一对应,而是多一对应关系.因而,后向概率p(x|y)不等于0或1.H(X|Y)≠0,H(Y|X)=0.I(X;Y)=H(Y)<H(X)第八十页，共九十九页，编辑于2023年，星期五2023/5/2480平均互信息与损失熵、噪声熵、信源熵的关系

无噪无损有噪无损无噪有损损失熵H(X|Y)=0=0≠0噪声熵H(Y|X)=0≠0=0平均互信息I(X;Y)=H(X)=H(Y)=H(X)<H(Y)=H(Y)<H(X)第八十一页，共九十九页，编辑于2023年，星期五2023/5/2481无损及无噪信道容量1、对于无损信道,其信息传输率R是输入信源X输出每个符号携带的信息量,即信源熵H(X),所以

式中输入信源X有r个符号,等概分布时H(X)最大.2、对于无噪信道,信道容量为

其中输出信源Y有s个符号,等概分布时H(Y)最大.而且一定能找到一种输入分布使输出符号Y达到等概分布.第八十二页，共九十九页，编辑于2023年，星期五2023/5/2482第八十三页，共九十九页，编辑于2023年，星期五2023/5/24833.5.2对称离散信道对称性:1)信道矩阵中每一行都是由{p1’,p2’,…,ps’}集的诸元素不同排列组成,2)每一列也都是由{q1’,q2’,…,qr’}集的诸元素不同排列组成.当r=s,{pi’}集和{qi’}集相同;若r<s,{qi’}集应是{pi’}集的子集.√×第八十四页，共九十九页，编辑于2023年，星期五2023/5/2484均匀信道(或强对称信道)对称离散信道的一类特例输入和输出符号个数相同,等于r总的错误概率为p,对称地平均分配给r-1个输出符号信道矩阵中各列之和也等于1二元对称信道就是r=2的均匀信道第八十五页，共九十九页，编辑于2023年，星期五2023/5/2485对称离散信道的平均互信息

其中

为常数,这是因为H(Y|X=x)是固定X=x时对Y求和,与x无关.由于信道和熵的对称性,H(Y|X=x)仅与{p1’,p2’,…,ps’}取值有关,与顺序无关.

因此可得第八十六页，共九十九页，编辑于2023年，星期五2023/5/2486对称离散信道的容量即求一种输入分布p(x)使H(Y)取最大值的问题了。现已知输出Y的符号集共有s个符号，则H(Y)≤logs;H(Y)达到最大值条件:只有当p(y)=1/s(等概分布).对称离散信道下p(y)等概分布条件:输入是等概分布.第八十七页，共九十九页，编辑于2023年，星期五2023/5/24873.5.3一般离散信道信道容量的定义:在固定信道的条件下,对所有可能的输入概率分布p(x)求平均互信息的条件(概率和归“1”)极大值.极值性存在条件:I(X;Y)是输入概率分布p(x)(即r个变量{p(a1),…,p(ar)})的多元∩型凸函数,所以极大值一定存在.第八十八页，共九十九页，编辑于2023年，星期五2023/5/24883.5.3一般离散信道求条件极值方法:拉格朗日乘子法.

引进一个新函数 其中λ为拉格朗日乘子(待