信道容量和信息率失真函数的比较.doc

信道的定义是广义的，可以指一段线路，也可以包含了设备的复杂系统。若信道的输入为X=(X1,X2，.，Xi，.)，输出为Y=(Y1,Y2，.，Yi，.)，通常定义条件概率p(Y|X)来描述信道输入输出之间的依赖关系。将信道中每个符号所能传送的信息量定义为信道的信息传输率R，即R=I(X,Y)=H(X)-H(X|Y)。定义信道中传输率R的最大值为信道容量：C=maxI(X,Y)信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。 信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。通信信道，发端 X，收端 Y。从信息传输的角度看，通过信道传输了 I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。 I该值与两个概率有关， p(x),p(y|x)，特定信道转移概率一定，那么在所有 p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。在实际问题中，信号有一定得失真是可以容忍的。但是当失真大于某一个限度时，信息质量就会有严重损伤。要规定失真限度，必须有一个定量的失真测度。为此，可以引入失真函数。信源X经过有失真的信源编码器输出Y，将这样的编码器看作存在干扰的假象信道，Y作为接收端信号。信源编码器的目的是使所需的信息传输率R尽量小，但R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真的条件下，选择一种编码使时，信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。而信息率R其实就是互信息I(X,Y)。可知，当信源的分布概率已知时，互信息I是关于转移概率p(yj|xi)的型凸函数，存在极小值。因此定义率失真函数R(D)：对于离散无记忆信源，R(D)可以写成： 信息容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；儿信息率失真函数则是为了解决通信的有效性问题