研究生《数据通信及应用》第七部分 信道容量和信道编码.ppt

信道容量和信道编码,信道容量随机选择的码基于截止速率的通信系统设计,2,W仅随k的增加而线性增加,用M=2k个信号波形，每个波形传递k比特信息。，可借助正交的信号波形使差错概率任意小。,回顾,带宽W=Mf随k增加而指数增加。信道带宽利用率太低!,编码波形（由二进制或非二进制序列产生的信号波形）,在功率受限系统(R/W1)中都具有优越性能。,M元调制产生的信号波形,信道容量和信道编码,3,信源和输入变换器,信源编码器,信道,信源译码器,数字调制器,信道编码器,解调器检测器,信道译码器,输出信号,输出变换器,插入冗余,克服信道噪声和干扰的影响编码过程；码率：k/n,进入通信信道的接口将每个二进制数字映射为两个可能的波形之一或采用M=2q个可能的波形，一次传送q比特数据块。,将受信道损伤的波形简化成一个标量或一个矢量,可以把检测器判决过程看作是一种量化形式；Q=2：二进制量化，判决传送的比特是0还是1（硬判决）M进制信号的量化：Q=M硬判决；QM软判决；Q=不作量化,回顾数字通信系统的模型,信道模型和信道容量,4,最简单的信道模型，应用于M=2，检测器采用硬判决的情况。把调制、解调、检测看成信道的一个部分,信道模型和信道容量,四种信道模型,1.二进制对称信道BSC,合成信道,一组可能输入和可能输出之间关系的条件概率:,信道模型和信道容量,离散二进制输出,离散二进制输入,5,2.离散无记忆信道DMC,输入X、输出Y的联合概率：,i=0,1,Q-1j=0,1,q-1,无记忆条件,条件概率P(yi|xj)可以表示成矩阵形式P=pij，称为信道的转移概率矩阵。,信道模型和信道容量,输入q元符号,输出Q元符号,更广义的离散输入、离散输出信道；,合成信道的输入输出特性（无记忆信道和调制时）,用qQ个条件概率描述：,6,3.离散输入、连续输出信道,调制器输入信号为离散字符，检测器的输出未经量化。,一组条件概率密度函数：P(y|X=xk)k=0,1,q-1,例：AGWN信道：,信道为无记忆的条件为：,信道模型和信道容量,连续输出Y,离散输入X,G：零均值，方差为2的高斯随机变量,7,4.波形信道,把调制器和解调器从物理信道中分离出来单独研究。,将x(t)、y(t)和n(t)展开成一个正交函数的完备集：,完备正交系：,波形信道被简化成一个等效的离散时间信道！,处理：,利用展开式中的系数描述信道特征：,信道模型和信道容量,输出也是波形,输入是波形,8,几种信道模型小结,信道模型和信道容量,选用何种信道模型完全取决于研究的目的；当设计和分析离散信道编、译码器的性能时可以将调制、解调器归并为复合信道的一部分；当设计和分析数字调制、解调器的性能时可采用波形信道模型。,9,信道容量,考虑一个DMC信道：输入字符集：,输出字符集：,转移概率集合：,由事件Y=yi的发生而提供的关于X=xj的互信息：,假如传输的信号是xj，接收到的信号是yi,输出Y为输入X提供的平均互信息：,由信道特征决定,对于一组输入符号概率p(xj)，I(X,Y)的最大值仅仅取决于由条件概率P(yi|xj)决定的DMC信道的特性！,信道模型和信道容量,10,I(X,Y)的最大值称为信道容量,其中:,如果以s秒输入一个符号，则信道容量为：C/s,C的单位：比特/符号；奈特/符号,单位：bit/s；奈特/秒,信道模型和信道容量,11,例：BSC信道,转移概率：,BSC信道容量：,H(p)：二进熵函数,p是SNR的单调函数，所以C也是SNR的单调函数,当输入概率,时，平均互信息最大。,例：离散时间的AWGN无记忆信道,离散输入,连续输出,信道容量：,信道模型和信道容量,12,当P(X=A)=P(X=-A)=1/2时，平均互信息I(X,Y)最大。,信道容量：,特例，二进制输入时，离散时间的AWGN无记忆信道：,注意：当比值增大时，C从0到1比特/符号单调增大,归纳：,选择等概的输入符号能使平均互信息最大。,因此，只要令输入符号等概，就可以得出信道容量；,如何分配输入概率才能使平均互信息最大，目前还没有一个通用的解法；,但只要信道转移概率矩阵对称，就可以使I(X,Y)最大化。,信道模型和信道容量,但等概条件下不一定能从信道容量公式得到解；,13,例：受加性高斯白噪声干扰的带限波形信道（求AWGN信道容量）,Y=X+G,用抽样值（或级数展开系数）yi,xi,ni来表征,yi=xi+ni,序列XN=x1,x2,xN，YN=y1,y2,yN的平均互信息:,其中:,假设xi是统计独立,均值为零的高斯随机变量,其PDF为:,信道模型和信道容量,（N=2wT）,14,AWGN信道容量:,假设对发送信号x(t)的平均功率加以限制,单位时间的信道容量：,Shannon信道容量公式,（AWGN信道在带限及平均功率受限的输入条件下）,信道模型和信道容量,（N=2wT）,15,讨论:,如果带宽固定，波形信道的容量随传输信号功率的增加而增加。,如果Pav固定，容量随带宽w的增加而增加。,注意:,，信道容量趋于一个渐近值:,容量随SNR的增加而单调增加。,对带宽归一化后的信道容量曲线,信道模型和信道容量,结论：信噪比和带宽可以互换！,16,讨论:,将C/w表示成信噪比的函数:,C的单位：bit/sPav：平均功率,由于:,C/w时，b/N0呈指数增加,信道模型和信道容量,17,信道模型、信道容量小结,离散输入、离散输出信道（特例：DSC）离散输入、连续输出、无记忆加性高斯白噪声信道波形信道及信道容量,信道带宽受限信号受加性高斯噪声损伤发送机平均功率受限,约束条件：,信道容量：,噪声编码定理：只要传输速率RC,不可能有任何一种编码能使差错概率趋近于零。,信道模型和信道容量,信道容量公式的意义:,为在噪声信道中可靠通信确定传输速率的上限值。,18,当速率且时，正交波形集能达到信道容量的边界。,只要，若使差错概率就可以任意小。,只要，对于正交信号，通过增加波形数M可以使差错概率PM任意小。,以正交信号获取信道容量,回顾：,在无限带宽的AWGN信道上，M元正交信号PM的边界值:,（推导从略）,信道模型和信道容量,C：无限带宽AWGN信道容量R：比特率,19,称为无限带宽AWGN信道的信道可靠性函数。,其中：,在M较大时，可靠性函数E(R)决定了数字信号在无限带宽AWGN信道传输时，差错概率呈指数变化。,将前面的式子表示为：,信道模型和信道容量,20,注意：,该差距是寻找更有效的信号波形的源动力,采用编码的波形能可观地减小这个差距！,信道模型和信道容量,RR，当T时，F0,随机选择编码,n维空间,超立方体总共有2n=2DT个顶点,可行性：,选出具有最小距离的M个信号波形是可能的,最小距离随T而增大，从而使Pe0,假设：,进入编码器的信息速率为Rbit/s，每次编码k比特：k=RT共需要M=2k=2RT种编码波形信号,Figure7.2-1Anensembleofcommunicationsystems.EachsystememploysadifferentsetofMsignalsfromthesetofpossiblechoices.,随机选择编码,25,随机地选,如何选？,第m个码(sim)被随机选中的概率：,假设与该码对应的条件差错概率为：,随机选择编码,有种不同的选法！,每一种选择都构成一种码。,假设M个编码波形是随机地从2nM个候选码集中选取的。,2nM个候选码集中,选取M个,随机地,在整个码集上的平均差错概率：,26,而有些码的选择会小于,计算的上边界，令T时，那么也必有：,如果计算出的上边界，该边界对于的码照样成立。,“平均差错概率”的含义,意味着：,讨论,随机选择编码,有些码的选择会大于,启示：,计算的上边界：,考虑k比特消息：,求出该k比特的差错概率，然后将条件差错概率在整个码集上的平均：,K比特消息xk用sim码传送时的条件差错概率,(sim),(sil),这些码对应于:,27,结果：,为了简化，定义:截止速率,注意：,截止速率R0是SNR（c/N0）的单调函数。,随机选择编码,对所有的k比特信息序列求平均,28,当码率小于截止速率RcR0，码长n时，由于n时，可以任意小，因此，在2nm个码集里一定存在若干个码，它们的差错概率不大于,2.由,其中：,随机选择编码,结论：,好码必定存在！,D=n/T,码率,结论:,只要信息速率RDR0，当T时，,1.由：,下面讨论信息速率、码速率、信噪比与截止速率对性能的影响,29,随机选择编码,3.从每比特信噪比的角度来看平均差错率,结论：,每个信号波形的能量：,其中：,当信号维数足够大时，M元二进码的Pe与M元正交信号的Pe相当。,参数0作为Rcb函数曲线,注意：,0：与截止速率R0有关的SNR,30,4.信号维数参数D的讨论D=n/T,D与传输信号所需的信道带宽成正比,抽样定理（维数定理）：,随机选择编码,Figure7.2-5Cutoffrateforequallyspacedq-levelamplitudemodulationwithequalprobabilities=1/qFromPrinciplesofCommunicationEngineering,byJ.M.WozencraftandI.M.Jacobs,1965byJohnWileyandSons,Inc.Reprintedwithpermissionofthepublisher.,基于M元多幅度信号的随机编码,32,截止速率与AWGN信道容量C的比较,考虑到：,定义：,AWGN信道容量:,归一化信道容量,随机选择编码,表示截止速率R0的上边界，经推导：（推导从略）,33,讨论：Cn是传输速率R/D的最终上限，必有：R0*M软判决；Q=不作量化,回顾,本小节内容：,主要讨论运行于截止速率R0（或RQ）时，对通信系统的性能要求。,基于截止速率的通信,假设信道模型：,转移概率：P(i/j),q种输入符号：0,1,q-1，各输入符号发生概率pj,Q种输出符号：0,1,Q-1，Qq,j=0,1,q-1；i=0,1,Q-1,36,对于离散无记忆信道：,j=0,1,RQQ电平量化器的截止速率,一般性结论：,如：二进制AWGN信道,基于截止速率的通信,抽样瞬间相关器的输出：,无量化软判决时：,由RQ,令Q,未量化（软判决）译码器的截止速率R0,第1个求和号改为积分,转移概率P(i|j)取决于信道噪声特性、量化等因素。,37,例：比较AWGN信道中当接收机将输出量化成Q=2,4,8电平时，二进制PSK输出信号的性能,假设：量化器电平设置在,：待选择的量化器步长；b：量化器的比特数,选择的策略：,选择h，使运行于码率R0上所要求的每比特SNRb最小.,基于截止速率的通信,考虑b=1（硬判决译码），b=2,b=3,相当于Q=2,4,8电平量化,Q电平量化,未量化软判决译码,直接利用前面的结论：,1.不同量化步长、不同量化电平数设置对系统性能的影响,38,采用步长h=1，2比特量化（Q=4）的软判决译码，与硬判决译码（1比特）相比，可以获得1.4dB的增益；采用步长h=0.5，3比特量化（Q=8）时，又可增添0.4dB增益；用3比特量化器，获得的结果与未量化软判决译码极限值之差在0.2以内。,基于截止速率的通信,AWGN信道、二进制PSK调制、码率R=R0或R=RQ时，量化对编码的通信系统性能的影响：,0,39,硬判决译码（Q=2）时,二元PSK经过AWGN信道，差错概率：,2.二进制信号（q=2）硬、软判决译码时截止速率与SNR的关系,令R2=Rc（即运行于截止速率下），代入p；,满足上述方程的b就是运行速率等于截止速率R2时所要求的最小SNR。,软判决译码（Q=）时,在截止速率公式中，令R0=Rc，得到：,R0=Rc,满足上式的b就是运行速率等于截止速率R0时所要求的最小SNR。,基于截止速率的通信,40,R0（软判决译码）,R2（硬判决译码）,比较,结论：对于任意给出的Rc值，硬判决和软判决译码每比特所需SNR的差值，在AWGN中约为2dB左右。,二进制信号情况下，软、硬判决译码的比较：,其中每比特相应的信噪比：,基于截止速率的通信,码率与SNR的关系,41,3.非二进制码与M元信号（M=q）结合的情况：,M输入、M输出（未量化）的信道的截止速率为：,假设M个信号正交，统计独立，则：,与发送信号对应的匹配滤波器输出的PDF,代入上式、化简得,M元输入、M元矢量输出、未量化信道截止速率：,基于截止速率的通信,M个匹配滤波器的输出直接作为检测器输出y=y1,y2,yM,42,对于M元正交信号的相干检测：,接收的每波形能量；Rw信息速率，单位：比特/波形b=b/N0每比特SNR,其中：,基于截止速率的通信,讨论：,(1)M=2正交信号时：,比双极性信号的截止速率差3dB,（2）M元正交信号，当以截止速率运行时：令Rw=R0：,注意：对于M的任何取值，曲线饱和于R0=log2M处。,43,（3）M的极限情况,比特/波形,结论：以速率