第4章离散信道

第4章离散信道4.1离散信道的数学模型4.2信道的分类4.3离散无记忆信道4.4信道的组合4.5信道容量

本章小结4.1离散信道的数学模型信道数学模型由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y|x)描述信道特性。而输入和输出又有各自的统计特性，分别用和表示。为什么要研究信道？因为信道上存在干扰！【例4-1，P50】在一个非常安静的教室里，老师说“这个袋子里装有4个苹果”，学生听到后，能够非常肯定地判断老师说的就是“这个袋子里装有4个苹果”；在一个非常嘈杂的教室里，老师说“这个袋子里装有4个苹果”，有的学生听成“这个袋子里装有4个苹果”；有的学生听成“这个袋子里装有10个苹果”；学生都不能肯定自己听到的是对的；若将老师说的作为信道输入，学生听的是信道输出，前者是无干扰（无噪声）信道，后者是有干扰（有噪声）信道。4.2信道的分类根据传输媒质（狭义信道）分

有线信道：明线、对称电缆、同轴电缆及光缆等。

无线信道：地波传播、短波电离层反射、超短波或微波视距中继、人造卫星中继以及各种散射信道等。根据统计特性恒参信道：信道的统计特性不随时间变化。如明线、对称电缆、同轴电缆、光缆、卫星中继信道一般被视为恒参信道。随参信道：信道的统计特性随时间发生变化。大多数的信道都是随参信道，统计特性随着环境、温度、湿度而变化。如短波电离层反射信道、对流层散射信道等。根据输入输出符号的时间特性离散信道：又称数字信道。该类信道中输入空间、输出空间均为离散时间集合，集合中事件的数量是有限的，或者无限的，随机变量取值都是离散的。如GSM。连续信道：又称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的，或者不可数的。

如：有线电视、广播。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。如手机与固话之间的信道。根据输入输出个数两端信道（单用户信道）：电话多元接入信道：信道的复用广播信道：广播两端信道输入输出多元接入信道广播信道输入端输入端输入端输入端输出端输出端输出端输出端输出端输入端多元接入信道的例子【例4-2，P51】第二代或者第三代移动通信都属于多元接入信道，这是因为多个用户发送的消息经过编码之后，是通过一个信道传输的，即采用信道复用技术；两者复用方法不同：第二代移动通信系统采用时分复用技术；第三代移动通信系统采用码分复用技术。根据记忆特性无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。根据出现差错的概率：

随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现。如：高斯白噪声信道。

突发差错信道：信道中噪声或干扰对传输码元的影响具有关联性，相互之间不独立，使码元错误成串出现。如：衰落信道、码间干扰信道。移动通信的信道、光盘存储属于该类信道。几种特殊信道无噪无损信道：输入集和输出集之间存在一一对应的关系。有噪无损信道：有噪无损信道的一个输入符号可能对应多个输入符号，而一个输出符号只对应一个输入符号。无噪有损信道：无噪有损信道的一个输入符号只对应一个输入符号，而一个输出符号可能对应多个输入符号。无用信道：输入与输出相互独立，没有任何关系。4.3离散无记忆信道4.3.1离散信道的数学模型4.3.2信道疑义度和噪声熵4.3.3信道的平均互信息及含义单符号离散无记忆信道单符号信道：信道的输入符号之间、输出符号之间都不存在关联性；信道的分析可简化为对单个符号的信道分析，此时输入、输出可以看做是单符号的。单符号离散无记忆信道：信道的输入、输出随机变量又都是离散的。数学模型设离散信道的输入变量为X，输出变量为Y，对应的概率空间分别为

输入符号集合的元素个数为r，输出符号集合的元素个数为s。4.3.1离散无记忆信道的数学模型信道转移概率离散无记忆信道中，当前的输出yj仅与当前的输入xi有关，与过去的输入无关，即yj出现的概率仅与xi有关，即一组条件概率：叫作信道转移概率。其中含义：表示输入符号是xi时，输出符号是yj的概率。即：通过信道传输，xi转移为yj的概率。信道转移矩阵（信道矩阵）输入有r个符号：输出有s个符号：所有r×s个条件概率构成一个矩阵：

该矩阵称为：信道转移矩阵或者信道矩阵

说明信道矩阵可以简记为其中：由于信道中存在干扰或者噪声，信道输入符号与输出符号之间并不是一一对应关系，不能使用确定性函数描述输入、输出之间的关系。故信道的分析用统计方法。输入，由于传输的过程中出现错误，用条件转移概率

可以表示输出为yj

的各种可能性。假设串口通信的误码率为4%，即A发送“0”而B接收到“1”的概率是0.04，A发送“1”而B接收到“0”的概率也是0.04，可以得到该信道的信道转移矩阵；此信道称为二元（进制）对称信道（BSC）【例4-3，P53】二元对称信道（简称为BSC（BinarySymmetricChannel））二元：输入和输出符号集均为{0,1}，即r=s=2。对称：1变成0和0变成1的概率相等。p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=pBSC的信道矩阵：注：这种信道的输出符号仅与对应时刻输入符号有关,与以前输入无关，故称此信道是无记忆信道。4.3.2信道疑义度和噪声熵【例4-1（续），P50】1、信道疑义度在嘈杂的环境中，学生对老师讲的话有“疑义”，如何衡量这种疑义的大小呢？【定义4-1】

称信道输入空间X对输出空间Y的条件熵为信道疑义度。信道疑义度含义：收到全部输出符号Y以后，对输入符号X尚存在的平均不确定性。这种不确定性是由信道干扰引起的。对有噪无损信道：H(X|Y)=0（例4-4给出）。H(X|Y)≤H(X)：收到输出符号Y以后，总能消除一些对X的不确定性，获得一些信息。2、噪声熵【定义4-2】

称信道输出空间Y对输入空间X的条件熵为噪声熵。噪声熵含义：与信道疑义度一样，源于噪声干扰。从不同角度衡量了噪声干扰对信息传输的影响。对无噪有损信道：H(Y|X)=0（例4-4给出）。H(Y|X)≤H(Y)。【例4-4，P54】考虑4.2节介绍的三种特殊信道的“信道疑义度”和“噪声熵”。

信道疑义度和噪声熵例子11、无噪无损信道：由于观察到输出之后，对信道输入不存在不确定性，因此信道疑义度H(X|Y)=0。由于输入符号肯定能被正确传输，因此噪声熵H(Y|X)=02、有噪无损信道：由于观察到输出之后，对信道输入不存在不确定性，因此信道疑义度H(X|Y)=0。由于输入符号经过传输之后有多种情况出现，因此噪声熵H(Y|X)≠03、无噪有损信道：由于观察到输出之后，对信道的输入存在不确定性，因此信道疑义度H(X|Y)≠0。由于输入符号肯定能被正确传输，因此噪声熵H(Y|X)=0【例4-5，P54】接例4-3，假设串口0和1的分布为等概分布，信道矩阵为：信道疑义度和噪声熵例子2试计算该信道的信道疑义度和噪声熵。解：根据已知条件有各种概率计算则联合概率分布为Y的分布为PX︱Y为因此，信道疑义度为噪声熵为4.3.3信道的平均互信息及含义【定义4-3】原始信源熵与信道疑义度之差称为平均互信息。I(X;Y)=H(X)-H(X|Y)传递过去的信息量=原有信息量-未传递过去的信息量。平均互信息的公式化表示：可见平均互信息是信源分布、信道参数的函数。疑义度和噪声熵说明含义接收到信道的输出符号集Y之后，平均每个符号获得的关于信道输入符号集X的信息量，即通过信道传送过去的信息量。平均互信息的性质：（回顾）非负性；互易性（对称性）：I(X;Y)=I(Y;X)极值性：I(X;Y)≤H(X);I(X;Y)≤H(Y);凸函数性（下面给出两个定理）凸函数两个定理【定理4-1】

对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。固定信道：信道传递概率p(y|x)不变信源信道证明两个定理【定理4-2】

对于固定的信源分布，平均互信息I(X;Y)是信道传递概率p(y|x)的下凸函数。固定信源：信源概率分布p(x)不变信源信道证明平均互信息的例子【例4-6，P57】

一个二元对称信道，信道输入（信源）和信道矩阵如下：试计算该信道的互信息量，并说明它是信源的上凸函数、信道的下凸函数。非矩阵解法解：

联合概率分布为Y的分布为因此，互信息量为固定信道p固定从0到1变化固定信源固定p从0到1变化对固定信道，即p为一个固定常数，而信源变化，即ω从0到1变化时，平均互信息I(X:Y)的图形如图所示，从途中可以看出，平均互信息是信源的上凸函数；对固定信源，即ω为一个固定常数，而信道变化，即p从0到1变化时，平均互信息I(X:Y)的图形如图所示，从途中可以看出，平均互信息是信道的下凸函数；非矩阵解法4.4信道的组合信道的组合实际中常常遇到两个或多个信道组合在一起使用组合方式并行：积信道串行：级联信道例如：Internet例如：GSM本节重点介绍级联信道（串联信道）级联信道模型：信道1的传递概率记为p(y|x)；信道2的传递概率记为p(z|xy)。信道Ip(y|x)信道IIp(z|xy)XYZ级联信道（串联信道）【引理4-1】级联信道中，平均互信息满足以下关系I(XY;Z)≥I(Y;Z)I(XY;Z)≥I(X;Z)等号成立的充要条件是，对所有的x,y,z有证明等号成立的条件是，说明级联信道输出Z仅依赖于Y，而与前面的X无关；这意味着X,Y,Z构成一个马尔可夫链。说明【定理4-3】若随机变量X,Y,Z构成一个马尔可夫链，即则有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)定理4-3叫做数据处理定理；它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。即信息只能来自信源，不会来自信道。证明说明【例4-7，P60】

两个离散二元对称信道串联，第一个信道输入为：两个信道的信道矩阵相同，均为如果X,Y,Z构成一个马尔可夫链，试比较单个信道和串联信道的平均互信息。级联信道例1解：根据例4-6，可以得到单个信道的平均互信息为：一个马尔可夫链，则串联信道总的信道矩阵为根据平均互信息定义，可以算出串联信道平均互信息：

I(X;Z)=1-H(2p(1-p))从图中能够看出I(X;Z)≤I(X;Y)

即：单个信道的平均互信息大于串联信道的平均互信息。级联信道例1【例4-8，P60】一个串联信道如图所示。X,Y,Z构成马尔可夫链，求总的信道矩阵：解：由图可知：信道I和信道II的信道矩阵分别为级联信道例2X,Y,Z构成一个马尔可夫链，则因此，串联信道的等效信道如图所示：级联信道例24.5信道容量4.5.1信息传输率4.5.2信道容量的定义及含义4.5.3三种特殊信道的信道容量4.5.4对称信道的信道容量4.5.5一般信道的容量4.5.6信源和信道的匹配在信息传输过程中，信道每传递一个符号所能携带（载荷）的平均信息量称为信道的信息传输率，记作R。单位：比特/符号：若平均传输一个符号需要t秒，而每一个符号传送的信息量为I(X;Y)，则信道每秒传输的信息量为

单位：比特/秒(bps)通常将Rt称为信息传输速率，或者传输速率。4.5.1信息传输率信息传输速率例【例4-9，P61】几种常见无线通信系统的传输速率。红外通信115Kbps~4Mbps无线局域网蓝牙1～2MbpsHomeRF1.6～10Mbps802.11b11Mbps802.11g54Mbps802.11a54～108Mbps移动通信2G9.6～19.2Kbps3G144Kbps～2.4Mbps微波通信150Mbps通信卫星1GMbps4.5.2信道容量的定义及含义【定义4-4】

信道容量定义为平均互信息的最大值：单位是比特/符号。对于固定的信道，平均互信息I(X:Y)的是信源的上凸函数；因此对于给定的信道，总存在一种信源分布，使平均互信息I(X:Y)达到最大值。即：传输每一个符号平均获得的信息量最大；这个最大的信息传输率称为该信道的信道容量。信道容量说明：由定理4.2.1知，I(X;Y)是p(x)的上凸函数，称使I(X;Y)取最大值的p(x)为最佳输入分布。信道容量表示信道传送信息的最大能力。由I(X;Y)的定义式可知，I(X;Y)是由信道特性p(y|x)和信源特性p(x)共同决定的，但是容量C已对所有可能的p(x)取最大值，因此

容量C仅与信道特性p(y|x)有关，也就是说，容量C是信道的固有特性，与信源无关。信道容量的例子例4-6已计算平均互信息当信源等概分布，即ω=1/2时，I(X;Y)取最大值：【例4-10，P62】接例4-6，计算二元对称信道的信道容量。解：二元对称信道容量曲线说明：信道容量C仅为信道错误传递概率的函数；错误传递概率p不同，二元对称信道容量不同当p=1/2时，是一种最坏的信道，C=0，信息全部损失在信道中了；当p=0或1时，C=1是，信道能够无失真传递信源信息；4.5.3三种特殊信道的信道容量三种特殊信道无噪无损信道有噪无损信道无噪有损信道假设信道输入有r个符号：输出有s个符号：无噪无损信道输出与输入是一一对应关系，即信道矩阵为单位矩阵。因此信道疑义度H(X|Y)=0，噪声熵H(Y|X)=0。则I(X;Y)=H(X)-H(X|Y)=H(X)=H(Y)-H(Y|X)=H(Y)因此信道容量其中：r=s最佳输入分布为等概分布。r=s=4有噪无损信道一个输入对应多个互不相交的输出，即信道矩阵的每一列只有一个非零元素。由于知道输出之后，必然能够确定其对应的输入是什么，因此信道疑义度H(X|Y)=0。则I(X;Y)=H(X)-H(X|Y)=H(X)因此信道容量r=3s=6无噪有损信道一个输出对应多个互不相交的输入，即信道矩阵的每一行只有一个“1”，其余元素均为0。由于知道输出之后，必然能够确定其对应的输入是什么，因此噪声熵H(Y|X)=0。则I(X;Y)=H(Y)-H(Y|X)=H(Y)因此信道容量r=6s=34.5.4对称信道的信道容量【定义4-5】

信道矩阵的每一行都是其他行的不同排列，则称此类信道为输入对称信道。离散信道由信道矩阵描述；信道矩阵具有不同的特性，信道将有不同的特性；有一类特殊的离散信道，信道矩阵具有很强的对称性。【定义4-6】

信道矩阵的每一列都是其他列的不同排列，则称此类信道为输出对称信道。【定义4-7】

若一个离散无记忆信道，既是输入对称信道，又是输出对称信道，这类信道称为对称信道。对称信道的例子【例4-11，P63】给出4个信道矩阵，判断它们属于何种类型的信道。解：P1中两行都是由1/3和1/6构成，输入对称信道；P2中两列都是由0.4、0.6和0.5构成，输出对称信道。P3中两行都是由1/3和1/6构成，且两列都是由1/3和1/6构成，对称信道；P4中行和列都是由1/2、1/3和1/6构成，对称信道。对称信道的容量为了给出对称信道的信道容量和最佳输入分布，先给出一个引理。【引理4-2】对于对称信道，当输入分布为等概分布时，输出分布也为等概分布。证明【定理4-4】

若一个离散对称信道有r个输入符号，s个输出符号，则当输入为等概分布时，达到信道容量C，且C=logs-H(p1p2…ps)

式中，p1

p2…ps为信道矩阵中的任一行。说明：使输出为等概分布时，达到信道容量；求离散信道的最佳输入分布，实质上是求一种输入分布p(x)，使输出熵H(Y)达到最大；当输出符号等概分布时，输出熵H(Y)达到最大；由引理4-2可知，当输入分布为等概分布时，输出也为等概分布。因此对称信道的最佳输入分布是等概分布。证明对称信道容量的例子1【例4-12，P65】接例4-3，在串口通信中，信道矩阵为求该信道的信道容量。解：信道矩阵中行和列都是由0.96和0.04构成，对称信道。信道容量为：

C=logs-H(p1p2…ps

)=log2-H(0.96,0.04)=0.7577比特/符号对称信道容量的例子2【例

，增】

这是一个对称信道最佳输入为：信道容量为：C=logs-H(p1

p2…ps)=log3-H(1/2,1/3,1/6)

比特/符号4.5.5一般信道的容量对于一般的离散无记忆信道而言，信道容量的计算比较复杂，可以用迭代算法实现。迭代步骤如下：取初始分布p(0)(x)。根据公式（4-21）计算P(k)(xi|yj)。根据公式（4-22）计算p(k+1)(xi)。根据公式（4-23）计算C(k+1)。若|C(k+1)−

C(k)|<δ，则转向步骤7。令k=k+1，转向步骤2。输出p(k+1)(xi)和C(k+1)。4.5.6信源和信道的匹配信源与信道达到匹配的含义：信源处于最佳输入分布，使得信息传输率R达到了信道容量C。但通常情况下，让信源处于最佳输入分布并不容易，此时信道有剩余：信道剩余度=C-I(X;Y)信源编码的目的就是通过编码，改变原始信源的统计特性，使得信道剩余度尽可能小。原始信源信道不匹配原始信源信道信源编码基本匹配本章小结信道可以从不同的角度分类。从输入和输出符号的时间特性分，可以分为离散信道、连续信道和半连续信道。从输入和输出端的个数分，可以分为两端信道、多元接入信道和广播信道。从信道的统计特性分，信道可以分为恒参信道和随参信道。从信道的记忆特性分，信道可以分为无记忆信道和有记忆信道。还给出了三种特殊信道：无噪无损信道、有噪无损信道、无噪有损信道。离散无记忆信道是一类重要的信道，可以用信道转移概率描述。衡量信道噪声大小有两个指标：信道疑义度和噪声熵。平均互信息衡量了信道的实际输出能力。从平均互信息引出了信道容量的概念，重点研究了离散无记忆信道的信道容量。信道容量衡量了信道的最大传输能力。最后是级联信道，以及信源和信道的匹配。信道输入、输出符号之间的联合分布为→前向概率，表示在输入为X=xi

时，通过信道后接收为yj

的概率，描述了信道噪声的特性。p(xi)为先验概率。

联合分布还可以表示为→后验概率,表示当接收符号为yj时,信道输入为xi的概率。数学：各种概率及计算返回可以得到后验概率为由前向概率和先验概率可计算出信道输出符号概率矩阵表示形式或:H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪声熵信道疑义度（损失熵）TransmittedpartofinformationH(X/Y)—信道疑义度/损失熵。

Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。H(X)—X的先验不确定度/无条件熵。I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。H(Y/X)—噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。返回数学：凸函数的定义（附录A.1)则称f(x)在定义域上为严格上凸函数则称f(x)在定义域上为严格下凸函数返回凸性是反映函数变化关系的一个基本性质设有一个一元函数f(x)如图所示，则此函数是上凸的。对于凸函数，有詹森（Jenson）不等式E[f(x)]f(E[x])

【凸函数定义】f的定义域中任意两个矢量X1，X2（X1≠X2），对于任意小于1的正数α（0<α<1)，若证明：设为固定的信道。令p1(x)和p2(x)为信源的两种分布，相应的平均互信息量分别记为：【定理4-1】

对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。(固定信道：信道传递概率p(y|x)不变)和再选择信源符号集X的另一种概率分布p(x)，满足：其中，相应的平均互信息量为根据平均互信息定义有：其中，应用到合并后，有上式第一项：