信道与信道容量

1、http:/ |X)。严格地说，信道总是存在干扰的。严格地说，信道总是存在干扰的。只有理想情况下，信道才无干扰。从只有理想情况下，信道才无干扰。从互信息角度看，这时通过信道的互信互信息角度看，这时通过信道的互信息即信宿所收到的信息就是信源所输息即信宿所收到的信息就是信源所输出的信息。信道中所通过的最大信息出的信息。信道中所通过的最大信息量即信源所输出的最大熵。量即信源所输出的最大熵。问题可归结为求问题可归结为求M(T)，根据符号间有，根据符号间有无约束可以分别加以讨论。无约束可以分别加以讨论。考虑符号间有固定约束情况。考虑符号间有固定约束情况。对于输入单个消息的信道，可表示见对于输入单个消息的

2、信道，可表示见图图3-3-1。图3-3-1 离散、单消息信道离散强对称信道见图离散强对称信道见图3-3-2。图图3-3-2 离散强对称信道离散强对称信道进一步分析上述强对称信道后，进一步分析上述强对称信道后，我们发现它具有下列两项重要特征。我们发现它具有下列两项重要特征。 其输入消息与输出消息相等，其输入消息与输出消息相等，均为均为n个，即个，即m=n。且信道中总的误。且信道中总的误差概率差概率Pe,它将它将平均分配给平均分配给(n-1)个个传输的错误。传输的错误。 信道转移概率矩阵中的每信道转移概率矩阵中的每 一一行都是第一行的重排列，即信道对输行都是第一行的重排列，即信道对输入是对称的；每

3、一列都是第一列的重入是对称的；每一列都是第一列的重排列，即信道对输出也是对称的。排列，即信道对输出也是对称的。条件条件就对称而言，比条件就对称而言，比条件更更加本质，更加重要。若放弃条件加本质，更加重要。若放弃条件，保留条件保留条件，我们就可以得到一般性，我们就可以得到一般性的对称信道。的对称信道。下面，假如我们再将条件放下面，假如我们再将条件放松一些，比如信道的输出集合可以松一些，比如信道的输出集合可以划分为若干个不相等的且具有对称划分为若干个不相等的且具有对称信道性质的子集合。信道性质的子集合。若信道的转移矩阵若信道的转移矩阵P的逆矩阵的逆矩阵P-1存存在，这类信道称为具有可逆矩阵的信道。

4、在，这类信道称为具有可逆矩阵的信道。对于这类信道在理论上其信道容量是可对于这类信道在理论上其信道容量是可以用求极值的方式得到的。以用求极值的方式得到的。这类信道由于要求信道转移矩阵这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具的逆存在，它必然要求信道输入输出具有相同数量的元素。即有相同数量的元素。即nm,P为方阵，为方阵，且为正则方阵。且为正则方阵。前面，我们讨论了一些特殊情况下离前面，我们讨论了一些特殊情况下离散单消息信道的信道容量计算的问题。下散单消息信道的信道容量计算的问题。下面，将讨论一般情况下离散单消息信道的面，将讨论一般情况下离散单消息信道的信道容量的计算机迭代算法

5、。信道容量的计算机迭代算法。由信道容量定义，求信道容由信道容量定义，求信道容量实际上就是求互信息量实际上就是求互信息I(X，Y)的的极大值。而引用迭代法求互信息的极大值。而引用迭代法求互信息的极值的关键在于寻求两个互为因果极值的关键在于寻求两个互为因果关系的自变量来表达互信息，以便关系的自变量来表达互信息，以便进行循环迭代运算。进行循环迭代运算。定理定理3-5-2：满足限频：满足限频(F)、限时、限时(T)条条件的广义平稳随机过程信源件的广义平稳随机过程信源U(t,)，当它，当它通过一个限功率通过一个限功率(P)的白色高斯信道时，其的白色高斯信道时，其容量值为：容量值为：C=FTlog(1+S

6、/2)若若T=1,即单位时间的容量为：即单位时间的容量为：C=Flog(1+S/2)这就是著名的仙农公式。这就是著名的仙农公式。(1) 用频带换取信噪比，它是现代扩频用频带换取信噪比，它是现代扩频通信的基本原理。通信的基本原理。其目的是为了提高通信系统的可靠性。其目的是为了提高通信系统的可靠性。(2) 用信噪比换频带，它是多进制多电用信噪比换频带，它是多进制多电平多维星座调制通信方式的基本原理。平多维星座调制通信方式的基本原理。这里，正好与这里，正好与(1)中相反，往往在优质中相反，往往在优质信道中，信噪比有富裕，而使用的频带紧信道中，信噪比有富裕，而使用的频带紧张，这时可以采用与张，这时可以

7、采用与(1)中相反的措施，用中相反的措施，用信噪比换频带。信噪比换频带。(3) 用时间换取信噪比，它是弱信号累用时间换取信噪比，它是弱信号累积接收的基本原理。积接收的基本原理。在深空通信中，往往利用这一原理传在深空通信中，往往利用这一原理传送图片。它是利用信号与干扰统计特性上送图片。它是利用信号与干扰统计特性上的差异来实现的。的差异来实现的。(4) 用时间换取频带。用时间换取频带。在一些特殊需要的情况下，比如可以在一些特殊需要的情况下，比如可以采用频带很窄的电话线路，传送准活动的采用频带很窄的电话线路，传送准活动的图像，像拉洋片式的，就是基于这一原理。图像，像拉洋片式的，就是基于这一原理。上面

8、，我们研究了平稳无记忆连续上面，我们研究了平稳无记忆连续信息序列信道，这节将进一步研究非平信息序列信道，这节将进一步研究非平稳的无记忆连续消息序列信道。这时，稳的无记忆连续消息序列信道。这时，K维序列中的每一维的信号与噪声分量，维序列中的每一维的信号与噪声分量，虽然满足统计无关的无记忆特性，但是虽然满足统计无关的无记忆特性，但是不满足平稳性。不满足平稳性。结论结论：只有当输出序列中：只有当输出序列中各分量相等时，才能保证序列各分量相等时，才能保证序列输入信道达到最大的容量值。输入信道达到最大的容量值。这就是著名的注水定理离散表这就是著名的注水定理离散表达形式（见图达形式（见图3-5-3）。）。

9、图3-5-3 离散式注水定理示意图前面所研究的信道均指单个用前面所研究的信道均指单个用户输入与输出的单用户信道。它又户输入与输出的单用户信道。它又可以划分为两类：一类为单用户信可以划分为两类：一类为单用户信源的单用户信道，另一类为多用户源的单用户信道，另一类为多用户信源的单用户信道。信源的单用户信道。频带正交复用频带正交复用(FDM)、时间正交复用、时间正交复用(TDM)、波形正交复用、波形正交复用(WDM)。所谓正交复用，即要求设计一组信号，所谓正交复用，即要求设计一组信号，使它既能在发送端不重叠的合并，又能在使它既能在发送端不重叠的合并，又能在接收端不互相干扰的分开。接收端不互相干扰的分开

10、。多址信道多址信道(见图见图3-7-3)，是指地面有多，是指地面有多个地面站输送入卫星转发器，而转发器将个地面站输送入卫星转发器，而转发器将n路合并后再输出送回地面站，目前利用通路合并后再输出送回地面站，目前利用通信卫星进行的卫星通信属于此类。信卫星进行的卫星通信属于此类。图3-7-3 多址信道广播信道广播信道(见图见图3-7-4)它是指单个输入它是指单个输入多个输出的信道，中央以及各地广播电台、多个输出的信道，中央以及各地广播电台、电视台均属于这类信道。电视台均属于这类信道。图3-7-4 广播信道随机接入信道随机接入信道(见图见图3-7-5)是由多个输是由多个输入和多个输出所组成随机接入信道

11、。应该入和多个输出所组成随机接入信道。应该说说n个用户之间在理论上可以不通过中转的个用户之间在理论上可以不通过中转的基站即可相互通信，但是由于实际因素的基站即可相互通信，但是由于实际因素的影响，必须通过中转的基站才能建立可靠影响，必须通过中转的基站才能建立可靠通信。实际上在计算机数据通信中的局域通信。实际上在计算机数据通信中的局域网、广域网也可看作这类信道。网、广域网也可看作这类信道。图3-7-5 随机接入信道让我们从最简单的二址信道入手。图让我们从最简单的二址信道入手。图3-7-6为二址通信系统。为二址通信系统。图3-7-6 二址通信系统在传送在传送U1时，令时，令U2(X2)给定，使给定，

12、使R1C1；在传送；在传送U2时，令时，令U1(X1)给定，给定，使使R2C2；则平均每个消息；则平均每个消息(符号符号)的总的总信息率为：信息率为：R1+R2C1+(1)C2结论：对于连续二址的正态信道，性结论：对于连续二址的正态信道，性能比离散二址好，且有能比离散二址好，且有3个点个点C1、C2、A达达到了二址信道的容量界限。但是，根据对到了二址信道的容量界限。但是，根据对一维的时频分多址的分析，无论是离散还一维的时频分多址的分析，无论是离散还是连续，它们都不是最好的多址划分方式。是连续，它们都不是最好的多址划分方式。因此它们大多数情况下都达不到二址容量因此它们大多数情况下都达不到二址容量

13、界限。然而，建立在二维划分基础上的码界限。然而，建立在二维划分基础上的码分，由于不受一维的非此即彼的传送约束，分，由于不受一维的非此即彼的传送约束，两路可同时传送，按理其性能要优于传统两路可同时传送，按理其性能要优于传统一维划分的时频分。但是否能达到二址容一维划分的时频分。但是否能达到二址容量限以及如何达到都是一个值得进一步研量限以及如何达到都是一个值得进一步研究的课题。究的课题。或者给定转移概率的联合概率：或者给定转移概率的联合概率：P(Y1Y2 | X)。假设编码器是一一对应的，。假设编码器是一一对应的，也就是以确定的函数也就是以确定的函数X(U1；U2)来编码。来编码。当当U1已知时，已

14、知时，X中的信息决定于中的信息决定于U2，当，当U2已知时，已知时，X中的信息决定于中的信息决定于U1，而一般情，而一般情况下，况下，X决定于决定于U1、U2。实际上，当给定实际上，当给定P(y1x)、P(y2x)后后求这个外凸包是很困难的。且至今尚未有求这个外凸包是很困难的。且至今尚未有确切的方法。这里，问题是它不像在多址确切的方法。这里，问题是它不像在多址接入信道那样可以运用求极值的方法进行接入信道那样可以运用求极值的方法进行计算。在那里，改变计算。在那里，改变p(X1)和和p(X2)可以求得可以求得极值，且它已由编码定理所证明。而这里极值，且它已由编码定理所证明。而这里则没有相类似的结论。则没有相类似的结论。值得惊奇的是编码器值得惊奇的是编码器I在并不知道在并不知道U2的情况下，却能在的情况下，却能在C1小于小于H(X)时还能编出时还能编出码来，并做到无差错的传送至接收端。码来，并做到无差错的传送至接收端。在三信道的方案中，我们利用公信息在三信道的方案中，我们利用公信息传送传送W，而信道，而信道I与信道与信道II分别为分别为U1、U2专用。因此，只要满足：专用。因此，只要满足：C1R1H(U1 | W)C2R2H