《信道编码定理》PPT课件

第六章：信道编码定理,信息论研究编码的主要内容,回答如下问题:为什么要编码?什么样的码是好码?不能回答的问题:怎样进行编码?怎样进行译码?,信息论研究编码的方法,将问题分而治之有效性：认为可靠性已满足可靠性：认为有效性已满足将信源与信道编码分别研究信源编码：解决有效性问题信道编码：解决可靠性问题,编码,信源,信源编码,信道编码,信道,信宿,有效性、可靠性问题分别解决,信息流,H(X),I(X;Y),可以获得的信息量,所得信息能否可靠地确定信道输入？,信息传输的有效性指标,给定特性的信道最大可达的信息传输率信道传输信息的能力度量,信道噪声,实际通信中人们对传输要求什么？,传输信息无差错传输要可靠,传输信息量大传输要有效,传输的信息是否无误？,可靠性？,6.1:问题引出与定理描述,提出的与信道传输可靠性有关的问题：如何能使信息传输后发生的错误最少？错误概率与那些因素有关？有无办法控制？能控制到什么程度？无误传输可达的最大信息率是多少？,信道编码定理,具体信道编码技术,错误概率与译码准则、编码方法1,错误概率与译码规则错误概率Pe与什么有关？信道的统计特性译码规则译码规则的选择依据最大后验概率准则理想最大似然准则实用最小距离准则实用,编码,信道传输,错误概率与译码准则、编码方法2,调制,广义的信道编码,已解决有效性表示问题,C,A,B,2,1,3,消息集合,编码集合,C,A,B,2,1,4,3,5,P,A2,P,A1,P,A3,P,A4,P,A5,发送波形集合,接收波形集合,错误概率与译码准则、编码方法3信道译码,An,1,2,4,3,w4,w3,w1,w2,x,x,x,An是接收空间w1,w2是发送的码字围绕每个码字有一个译码域i如果接收的码字在i中，就认为发送的是码字wi发生错误,正确译码,不知如何译码,译码错误,有时接收码字会被映射到错误的i，进而被译成错误的wi,一般,An中存在一些不属于任何i的区域,错误概率与译码准则、编码方法4,问题：在输入和信道特性给定的条件下，差错概率将取决于接收矢量空间按什么样的划分准则进行划分划分接收矢量空间的准则译码器的译码准则,译码准则一：最小错误概率准则（最大后验概率准则）特点：优点：理想缺点：1、后验概率不易得到2、后验概率依赖于输入分布,错误概率与译码准则、编码方法5,错误概率与译码准则、编码方法6,译码准则二：最大似然译码准则最大后验概率译码准则Y)，只是很小的一部分故：当X的数目2NI(X;Y)时，可使Pe0给出一种译码方法：译码时，取与接收矢量联合典型的码字作为输出，这种译码方法可以保证得到很低的误码率。,6.3:信道编码定理的证明及其物理意义,6.3:信道编码定理的证明及其物理意义,物理意义：通过编码可以实现有噪信道上可靠的信息传输有噪信道可靠传输的信息率的上界是信道容量C在码长及发送信息速率一定时，可以通过增大信道容量，使错误概率减小在信道容量及发送信息速率一定时，可以通过增加码长，使错误概率下降,随机编码方法：对每一个消息m,(m=0,1,M-1),编码为xm=(xm1xm2xmN)其中：xmi(i=1,2,N)是按照输入字母的概率随机选取，从而得到全部M=2NR个码字，组成码矢量C（x0 x2.xM-1)随机编码方法产生某一特定码矢量的概率P(C)是：,6.3:信道编码定理的证明及其物理意义,6.3:信道编码定理的证明及其物理意义,所有码的总数,有了这样的码集以后，香农不是去计算某一特定好码的性能，而是设法计算这些码的平均性能。,码字数只占全部可能序列的一小部分。,设码元数为r，则所有可能产生的码的总数为：例，,证明设信道容量所对应的信道输入符号的最佳分布为p(x)，以此概率分布为基准，按照随机编码方法编码得到码矢量C。假设输入消息是等概率分布的，第i个码字出错的概率为pe|i，则码矢量C的译码平均错误概率为,其中，pi为码矢量中第i个码字对应的概率。则在码矢量集合C上对pe(C)求数学期望，得到平均错误概率为,对于随机编码方法，不同的输入消息符号所产生对应码字的方法是相同的，所以在码矢量集合上进行平均后得到的码错误数学期望,与i的取值无关，为表示方便起见，令,将其代入平均错误概率表示式，并考虑到M=2NR，于是得到,为了计算，设y表示发送码字ci时信道输出端接收的序列，令事件Ei表示ci与接收序列y构成的联合典型序列，于是有,同时令事件E1c表示发送第一个码字与接收序列不构成联合典型序列，即,根据联合典型序列的译码方法，当y不与码字c1构成联合典型序列，或者是与c1以外的其他码字构成联合典型序列时，错误译码就出现了，因此,其中，表示事件和。根据概率论可知,由于接收序列y对应于输入码字c1，与其他码字之间相互独立，因此根据联合渐近等同分割定理的性质(1)、(3)，即p(E1c)和p(Ei)2nI(X；Y)3，得到,由于随机编码是按照信道输入的最佳分布p(x)进行的，因此有C=I(X；Y)，在上述证明最后一步用到该公式。,如果RC3，则当n足够大时，有,于是得到,PE2,所以，在码字足够长时，随机编码码集合中的平均错误译码概率PE2，在这些码中，至少有一个码的平均错误译码概率不大于2。令=2，即证明了该定理。,信道编码定理证明的几点说明特点：香农只是证明了码的存在性，未给出构造方法实现困难随机编码所得的码集很大，通过搜索得到好码的方法实际上很难实现；即使找到，码字也是毫无结构的，只能采用查表译码方法，当N很大时，码表的存储量也很难接受香农采取的证明方法评价：不很严格，不是最优，但便于理论分析随机编码方法在后来严格的证明中一直被采用,6.3:信道编码定理的证明及其物理意义,无失真信源编码定理的物理意义（2）,无失真信源编码定理（香农第一定理）又称为无噪信道编码定理无噪时，I(X;Y)=H(X)C=maxI(X;Y),信道输入为最佳分布时达到。以对称信道为例，此时ClogMK为平均码长，R=H(X)/K第一定理：KH(X)/logMRlogMRC将无失真编码过程看成经过一个信道，只有满足KH(X)/logM，才能满足第二定理的无误传输条件RC，即编码过程是无失真的。,香农理论极限：RC；存在编译码方法使Pe0给定Pe；存在编译码方法使RC,1.59dB,6.4:信道编码的性能界限,-3,-2,-1,0,1,2,3,4,5,6,7,8,9,10,11,12,10,-6,10,-5,10,-4,10,-3,10,-2,10,-1,误,码,率,p,b,信噪比E,b,/N,0,(dB),s,h,a,n,n,o,限,仅,