信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习

1、精选优质文档-倾情为你奉上第三章 离散信道及其信道容量 311 信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有： 按照信道输入端或输出端的个数可分为单用户信道和多用户信道。 按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。 按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。 按照信道输入输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。 按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。 按照信道输入/输出信号在取值时刻

2、上是否有依赖关系可分为有记忆信道和无记忆信道。 按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 312 离散信道的数字模型 1一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间X，P(y|x)，Y来描述。其中X=(X1X2XN)为输入信号，Y= (Y1Y2YN)为输出信号。X中XiA=a1，a2，ar，Y中YiB=b1，b2，bs。又P(y|x)(xX，yY)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足概率空间X，P(y|x)，Y也可用图来描述。 2基本离

3、散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间X，P(y|x)，Y，(或X，P(bj|ai)，Y)，其中XA=a1，a2，ar，YB=b1，b2，bs)，P(y|x)=P(bj|ai)(i=1，2，r；j=1，2，s)并满足概率空间X，P(y|x)，Y也可用图来描述，如图31所示。 若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3无噪(无干扰信道) 若离散信道X，P(y|x)，Y满足 若x与y是确定的一一对应关系(f为单值函数)，则称为无噪无损信道。 若多个x与一个y为对应(多一对应)关系

4、，则称为无噪有损信道。 若离散信道X，P(y|x)，Y中P(y|x)不是0，1分布，则称为有噪信道。 在有噪信道中，有一类信道若其前向概率P(y|x)不是0，1分布，而后向概率P(x|y)是0，1分布，即y可以唯一确定x，则称为有噪无损信道。有噪无损信道的充要条件是信道矩阵中每一列有一个也仅有一个非零元素。 4离散无记忆信道 若离散信道X，P(y|x)，Y满足 则称为无记忆信道(简记为DMC)，否则为有记忆信道。 一般情况，离散无记忆信道的数学模型仍可用单符号的概率空间X，P(y|x)，Y来描述。 5离散无记忆信道的N次扩展信道 离散无记忆信道X，P(bj|ai)，Y的N次扩展信道的数学模型是

5、XN，P(h|k)，YN其中XN=X=(X1X2XN)，YN=Y=(Y1Y2YN)，Xi=XA=a1，a2，ar)(i=1，2，N)， Yi=YB=b1，b2，bs)(i=1，2，N)313 离散信道的平均互信息及其特性 1信道疑义度 信道疑义度是在信道输出端接收到输出随机变量Y(或随机矢量Y)后，对输入端的随机变量X(或矢量X)尚存在的平均不确定性(尚存在的疑义)。它也表示信号通过信道传输后所引起的信息损失，故又称为损失熵。记为H(X|Y)(或H(X|Y)，基本离散信道X，P(y|x)，Y中 2互信息 互信息是信道输出端接收到某消息y(或某消息序列y)后获得关于输入端某消息x(或某消息序列x

6、)的信息量，记为I(x；y)或I(x；y)，即3平均互信息平均互信息是互信息在其概率空间中的数学期望，记为I(X；Y)(或I(X；Y)，得 4平均互信息的物理含义及与各类熵的关系 (1)平均互信息与各类熵的关系I(X；Y)=H(X) - H(X|Y)=H(Y) - H(Y|X)=H(X)+H(Y) - H(XY)或I(X；Y)=H(X) - H(X|Y)=H(Y) - H(Y|X)=H(X)+H(Y) - H(XY)其中H(X)或H(X)是信道输入端信源的信息熵；H(Y)或H(Y)是信道输出端输出信源的信息熵；H(X|Y)或H(X|Y)是信道疑义度(损失熵)；H(Y|X)或H(Y|X)是已知输

7、入变量X(或矢量X)的条件下，对于随机变量Y(或矢量Y)尚存在的不确定义(疑义)，称为噪声熵。 (2)平均互信息的物理含义 ·平均互信息表示接收到输出信号的前、后关于输入信号的平均不确定性的消除。 ·平均互信息表示输入信号发出的前、后，关于输出信号的平均不确定性的消除。 ·平均互信息表示信道的输出信号和输入信号之间相互提供的平均信息量。 ·平均互信息是输入信号和输出信号之间统计依赖关系的信息量度。 ·平均互信息表示信道中平均每个符号所能传送的信息量，就是信道的信息传输率R。 5平均互信息的特性 (1)非负性 I(X；Y)0 或I(X；Y)0当且

8、仅当X和Y(或X和Y)统计独立时，等式成立。 (2)极值性 I(X；Y)minH(X)，H(Y) 或I(X；Y)minH(X)，H(Y)当且仅当H(X|Y)=0(或H(X|Y)=0)时 I(X；Y)=H(X) 或I(X；Y)=H(X)当且仅当H(Y|X)=0(或H(Y|X)=0)时 I(X；Y)=H(Y) 或I(X；Y)=H(Y) (3)交互性(对称性) I(X；Y)=I(Y；X) 或I(X；Y)=I(Y；X) (4)凸状性 I(X；Y)或I(X；Y)是输入信源的概率分布P(x)(P(x)的上凸函数； I(X；Y)或I(X；Y)是信道传递概率P(y|x)(P(y|x)的下凸函数。 (5)不增性

9、，即信息不增原理 任何不涉及原信源的数据处理，都不会增加获得关于原信源的平均互信息，也称数据处理定理。 ·若离散随机变量XYZ形成马氏链，则 I(X；Z)I(X；Y) ·若离散随机矢量SXYZ，形成马氏链，则 I(S；Z)I(X；Z)I(X；Y) 6I(X；Y)与I(Xi；Yi)的关系 I(X；Y)是两个离散随机矢量(随机序列)之间的平均互信息；而I(Xi；Yi)是两序列中对应的离散随机变量之间的平均互信息。 若X=(X1X2XN)，Y=(Y1Y2YN)其中XiA=a1，a2，ar，YiB=bl，b2，ar且有 xX，yY，xiXi，yiYi则：314 多个随机变量之间的平

10、均互信息 1平均条件互信息2平均互信息离散随机变量X与随机矢量YZ之间的平均互信息为 3条件互信息与互信息的关系 I(X；YZ)=I(X；Y)+I(X；Z|Y)=I(X；Z)+I(X；Y|Z)上述关系式易于推广到任意有限维的随机变量中。315 离散信道的信道容量及其计算方法 1离散信道的信道容量 离散无记忆信道X，P(y|x)，Y的最大信息传输率称为此信道的信道容量，记为C，即相应的输入概率分布P(x)称为最佳输入分布。其单位是比特符号、奈特符号或哈特符号。 最佳输入分布不一定是唯一的，但最佳输出分布是唯一的。它是单位时间内信道的最大信息传输速率。 2信息容量的计算 3计算信道容量的方法 (1

11、)运用信道容量解的充要性 对于一些简单、特殊的信道，可先估算出P(ai)(或P(bj)，然后用定理33来验证并求解。 (2)运用特殊信道的容量公式求解 观察是否是特殊信道(无噪信道、无损信道、对称信道、准对称信道等)，若是，就直接按照它们的容量公式来计算。 (3)运用r个方程求解 若信道矩阵P是非奇异矩阵，并r=s，可用下列r个方程求解再由P(bj)求出最佳输入分布P(ai)。若上述公式中对数选取其他单位时，则公式应作相应改变。(必须解得的所有P(ai)0，其中i=1，2，r，否则解必在边界上，需重新计算。) 最后还可用迭代算法计算。316 常见信道的平均互信息和信道容量 1无噪一一对应信道(

12、无噪无损信道) I(X；Y)=H(X)=H(Y) ； C=log|A|其中|A|表示输入变量X的符号集A中符号的个数。 2有噪无损信道(H(X|Y)=0) I(X；Y)=H(X)<H(Y) ； C=log|A| 3无噪有损信道(H(Y|X)=0) I(X；Y)=H(Y)<H(X) ； C=log|B|B|表示输出变量Y的符号集B中符号的个数。 4离散对称信道 I(X；Y)=H(Y) - H(P的行矢量) ； C=log|B| - H(P的行矢量)其中H(P的行矢量)表示信道矩阵P的行矢量的熵函数。 5r元强对称信道 C=logr - plog(r - 1) - H(p) (p是总错误传递概率) 6二元对称信道317 无记忆N次扩展信道的I(X；Y)和容量CN 离散无记忆信道X，P(bj|ai)，Y的N次扩展信道XN，P(h|k)，YN有 I(X；Y)NI(X；Y)；CN=NC其中I(X