第三章信道容量-信息论与编码

第3章信道容量

信道的主要任务：以信号的形式传输和存储信息。问题：在什么条件下，通过信道的信息量最大，即信道容量的问题。第3章：信道容量23.1信道的数学模型和分类P(Y/X)xY信道的数学模型：{X

P(Y/X)Y}输入与输出之间一般不是确定的函数关系，而是统计依赖的。3信道的分类连续信道半离散信道离散信道信道的分类4信道的分类单符号信道多符号信道信道的分类5信道的分类单用户信道多用户信道信道的分类6信道的分类无干扰信道有干扰信道信道的分类7信道的分类有记忆信道无记忆信道信道的分类83.2单符号离散信道的信道容量信道的输入和输出都取值于离散集合，且都用一个随机变量来表示的信道就是单符号离散信道。9信道容量的定义p(bi/ai)xYi=1,2,…np(bi/ai）－信道的转移概率/信道传递概率10离散无记忆信道(DMC)911信道转移概率矩阵：转移概率矩阵转移概率矩阵的每一行元素之和为1对任意j∈{0,1,…,m}，由全概率公式有:12信道的信息传输率信源熵为H(X)，由于干扰的存在，一般只接收到I(X;Y)。平均互信息I(X;Y)：接收到Y后平均每个符号获得的关于X的信息量。定义:平均每个符号能传送的消息总量为信道的信息传输速率（信息率），R，

R=I(X;Y)若平均传送一个符号为t秒，则信道每秒钟平均传送的信息量，13信道容量I(X;Y)是p(ai)和p(bj/ai)的二元函数。当信道特性p(bj/ai)固定后，I(X;Y)随信源概率分布p(ai)变化。14I(X;Y)是p(ai)的上凸函数，总能找到一个p(ai)使得信息率最大。信道容量：信道中最大的传输速率，C，单位：比特/信道符号单位时间的信道容量，比特/秒

信道容量15信道容量16几种特殊离散信道的容量一、离散无噪信道1、一一对应的无噪信道anbna1b1a2b2……17a1b1a2b2an-1bn-1anbn……X、Y一一对应,此时H(X/Y)=0，H(Y/X)=0，C＝maxI(X;Y)＝logn(p(ai)=1/n即等概)p(ai)一一对应的无噪信道18a1

b1b2

b32、具有扩展功能的无噪信道a2

b4b5

b6a3

b7b8

19此时，H(X/Y)=0，H(Y/X)0，且H(X)<H(Y)。所以，C=

maxH(X)=logn

(p(ai)=1/n即等概)

p(ai)一个输入对应多个输出2、具有扩展功能的无噪信道203、具有归并性的无噪信道a1

b1a2

a3b2a4a5b3C=maxH(Y)=logmp(ai)=？？p(ai)H(X/Y)≠0，H(Y/X)=0多个输入变成一个输出21结论无噪信道的信道容量只取决于信道的输入符号数n或输出符号数m，与信源无关。是表征信道特性的一个参量。22二、强对称(均匀)离散信道的信道容量nXnp：总体错误概率23特点及信道容量每行、每列都是同一集合各元素的不同排列24特点及信道容量固定X＝ai，对Y求和，即选定某一行，对各元素自信息量加权求和。ai不同时，只是求和顺序不同，结果完全一样，所以Hni与X无关，是常数。25信道容量？输入符号的概率如何分布，才能使得H（Y）达到最大？？26相应的信道容量27结论：当输入等概率分布时，强对称离散信道能够传输最大的平均信息量，达到信道容量。信道容量只与信道的输出符号n及信道矩阵的某一行矢量有关。28二进制对称信道（BSC）二进制对称信道的信道容量C=1-H(p)

29三、对称离散信道的信道容量矩阵中的每列都是集合P={p1,p2,……,pn}中的诸元素的不同排列，称矩阵的列是可排列的。

矩阵中的每行都是集合Q={q1,q2,……,qm}中的诸元素的不同排列，称矩阵的行是可排列的。30

如果矩阵的行和列都是可排列的，称矩阵是可排列的。 如果一个信道矩阵具有可排列性，则它所表示的信道称为

对称信道中，当n<m时，P是Q的子集；当n>m，Q是P的子集；当n=m时，P=Q。对称信道对称离散信道31输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称。输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称。对称信道输入、输出都对称。23对称离散信道32练习：判断下列矩阵表示的信道是否是对称信道√√33相应的对称离散信道的信道容量34例：某对称离散信道的信道矩阵为信道容量为:35强对称信道与对称信道比较：

强对称

对称n=mn与m未必相等

矩阵对称

矩阵未必对称P=QP与Q未必相等行之和，列之和均为1行之和为136四、准对称信道离散信道的信道容量

若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：37准对称

信道转移概率矩阵P是输入对称而输出不对称，即P的每一行都包含同样的元素而各列的元素可以不同。准对称信道的信道容量由I(X;Y)表达式1求其极大值公式法238公式法将信道矩阵分成若干个互不相交的对称的子集39例：

40例题41

假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，……，ms。例题42例题43多符号离散信道数学模型多符号离散信道

多符号信源通过离散信道传输形成多符号离散信道。44多符号离散信道的数学模型有个元素45信道矩阵461YNY离散无记忆信道的N次扩展信道47离散无记忆信道的N次扩展信道无记忆：YK仅与XK有关48495051离散无记忆信道的N次扩展信道离散无记忆信道的N次扩展信道的平均互信息量不大于N个变量X1X2...XN单独通过信道的平均互信息量之和。52离散无记忆信道扩展信道信道容量结论：如果信道是N次扩展信道，信源也是N次扩展信源，则N次扩展信道的信道容量是离散无记忆信道容量的N倍53独立并联信道的信道容量N次扩展信道的推广，随机变量取值于不同的符号集54§3.5连续信道55p(y/x)连续信道的数学模型56加性连续信道NY=X+Np(y/x)=p(n)X57加性连续信道58假定N是均值为0，方差为的高斯变量噪声功率高斯加性连续信道限功率最大熵定理只有Y为正态分布时，其熵最大

59输入平均功率输出平均功率对于高斯加性信道高斯加性连续信道60信噪功率比高斯加性连续信道61香农公式(bit/s)香农公式PN

－功率谱密度W－带宽Px－信号功率信噪功率比Px/PN=＝Px/N0W

62香农公式的讨论(bit/s)☞带宽一定时，信噪功率比与信道容量成对数关系当输入信号功率一定，增加带宽，容量可以增加63频带利用率：单位频带的信息传输速率Ct

一定时，带宽W增大，信噪功率比可降低，即两者是可以互换的。信道容量可以通过系统带宽与信噪比的互换而保持不变64例：如果SNR=7，W=4000Hz，则可得C=12×103b/s；但是，如果NR=15,W=3000Hz，则可得同样C值。信噪比和带宽的互换性在通信工程中有很大的用处。例如，在宇宙飞船与地面的通信中，飞船上的发射功率不可能做得很大，因此可用增大带宽的方法来换取对信噪比要求的降低。相反，如果信道频带比较紧张，如有线载波电话信道，这时主要考虑频带利用率，可用提高信号功率来增加信噪比，或采用多进制的方法来换取较窄的频带。653.6信道编码定理（香农第二定理）若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率R<C,总可以找到一种编码，当L足够长时，译码差错率Pe<ε，ε为任意正数，反之，当R>C，任何编码的Pe必大于0，当L→∞，Pe→1结论：C是临界值66第3章小结重点掌握信道容量的概念对称DMC信道容量的计算准对称DMC信道容量的计算