【《分布式信源编码理论概述》2200字】

分布式信源编码理论概述1.1分布式信源编码基本原理分布式信源编码最早是在1973年由Slepian和Wolf提出的,所谓分布式信源编码，其本质是在对多个信源独立编码时,利用信源之间的相关性来去除冗余,使编码信息得到最大限度精简。分布式信源编码的理论基础即为所谓的Slepian-Wolf和Wyner-Ziv信息理论。为了最大限度的压缩编码信息,要求多个相关信源序列进行独立编码,同时进行联合解码时应充分利用它们的相关性,这样做的关键目的是将原来应在编码端进行的运算转移到解码端,大幅度降低编码的复杂度。早在1973年,D.Slepian和J.K.Wolf对相关信源的独立编码和联合编码在无损压缩时同样有效这一理论进行了证明,至此使分布式信源编码有了坚实的理论基础。在这之后，A.Wyner和J.Ziv构思出了联合高斯信源的有损编码方案,并进行了证明，同时还给出了率失真函数。1.1.1Slepian-Wolf编码Slepian-Wolf编码适用于信源为离散信号的分布式信源编码,在这个模型中，包括两个相关的离散信源X与Y。假设Y采用定长信源编码，则信息率为H(Y)，即为信源熵。定长信源编码定理可叙述为：一组平稳的无记忆序列Z1Z2…ZL，其中包括L个符号，每个符号的熵为H(Z)，就可以用K个符号W1W2…WK对这组序列进行定长编码，其中每个符号有M种取值可能，则对于任意取值的εKLlog该式说明：在其他条件不变的情况下，若增大L，则KLlog2如果两个信源在编码端能够相互通信，则将其进行无损压缩的信息率直接就是H(X|Y)。但如果这两个信源是独立编码的，则只有在译码端X才能与Y通信，Slepian和Wolf他们两位学者证明了信源编码器的联合编码信息率的极限仍为H(X|Y)。根据Slepian-Wolf编码定理，可以得到该情况下的无损压缩编码信息率区域，将其表示为:RX≥RY≥RX+RY下面的图2-1也可以表示无损压缩编码信息率区域，将坐标图与Slepian-Wolf编码定理相结合，可以根据图来判断X与Y两信源的关系。由A,B两点可以确定一条直线，联合编码信息率l=RX+RY这条直线的图像如果能落在实线右边的区域内，就表示RX+RY≥H(X,Y)，这就证明信源X,Y可以在译码端被无损恢复。AACBH(X)H(X,Y)H(X|Y)H(Y|X)H(Y)RH(X,Y)RSlepian-Wolf编码的无损区域图2-1两信源的Slepian-Wolf编码信息率区域就图中A点来说，这一点处信源Y的编码信息率为H(Y)，信源X的编码信息率为H(X|Y)，Y可以由译码器直接解出。而X则不能直接解码得到，必须要先求出信息Y，再根据X与Y之间的关系才能进行译码。互换信源X和Y的地位，就是B点所表示的编码情况。A点和B点表示非对称编码，通过控制X与Y各自的编码信息率就可以得到A,B两点之间连线上的点，若两者的编码信息率相等，实现的即是表示对称编码的C点。1.1.2Wyner-Ziv编码Slepian-Wolf编码并不是万能的，在实际情况中，连续信源的压缩问题往往需要另外考虑，其实对信源的无损压缩并不用要求如此严格，编码过程中损失一些信息在某些情况下也并无大碍。同时，有损信源编码也并非毫无优点，它与无损信源编码相比，可以用更低的信息率来传递相同的信息，大大提高了信息传递的效率。1976年，Wyner和Ziv将Slepian-Wolf编码理论进一步发展，提出适用于信源为连续信号的分布式信源编码,专门考虑了连续信源的有损压缩问题，这便是经典的Wyner-Ziv编码理论。Wyner-Ziv编码系统如图2-2所示，假设图中的X、Y为两个相关的无记忆连续信源，在进行非对称编码时，Y不应该视为是单个的信源，其实际上是作为参考信息，帮助X在译码端进行译码：XX信源X参考信息Y有损信源编码器联合译码器图2-2Wyner-Ziv编码系统Wyner-Ziv编码研究的是有损压缩问题，需要引入率失真来判断编码的优劣。Wyner-Ziv编码需要解决如何求出对信源X压缩所需的信息率下限这一问题，而这个条件是在信源信息X与译码得到的信息X'之间的平均失真度满足E[d(X,X')]≤D的约束下（D为是已设定好的失真度值），换句话说就是求出在该模型中率失真函数R'(D)能达到的下限。如果两个信源在编译码端都能相互通信，RX|Y(D)为有损压缩X的率失真函数,Wyner和Ziv认为：相比于联合编码，在编码端独立编码时，如果要求达到相同的失真率，率失真函数需满足式:R'(D)≥RX|Y(D)，同时独立编码的效率也并没有下降。当且仅当两个信源是高斯无记忆信源，失真函数为D(X,X')=1.2利用伴随式进行分布式信源编码Pradhan和Ramchandran首次提出了一种利用伴随式进行分布式信源编码(DistributedSourceCodingUsingSyndromes,DISCUS)的方法，实际上有很多编码方案都是以DISCUS算法为原型，继而拓展。基于伴随式方式的编译码结构见图2-3。在编码器中主要进行的是求伴随式的过程，但是结构中的译码器译码算法与原来相比稍有不同，由于伴随式过程的产生和边信息Y的参与使原来的译码算法不再适用于现在的结构。信源X编码器理想信道联合译码器X'信源X编码器理想信道联合译码器X边信息Y边信息Y图2-3基于伴随式的DSC结构基于伴随式的分布式信源编码，一个最大特征就是该方法利用了划分陪集的原理。假设码长均为n的两个信源X、Y，其码字分别为X={x1，x2，…，xn}和Y={y1，y2，…，yn}。设任意线性分组码(n,k)，其校验矩阵H的大小为m*n，其中m=n-k。在编码器中，将信源码字X乘以矩阵H就是其伴随式S，即s=XHT，s={s1，s2，…，sm}。该伴随式S码长为m，则有2译码时需要将信源Y作为边信息来辅助译码。图中省略了Y经过信源编码以及通过理想信道传输的过程，Y能