湖南信息论与纠错编码

湖南信息论与纠错编码第1页，课件共94页，创作于2023年2月回顾：信源编码对信源进行编码，为了提高传输效率接下来的环节是信道，期望在物理信道一定时，单位时间内传输的信息越多越好依据：唯一可译，紧致编码如何确定码长以及编码方法信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.第2页，课件共94页，创作于2023年2月信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关；存在有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量；研究在信道中传输的每个符号所携带的信息量，并定义信道容量。

第3页，课件共94页，创作于2023年2月

互信息量：结合图示讲解通信模型，信源发出消息xi的概率p(xi)称为先验概率，信宿收到yi。利用收到yi推测信源发出xi的概率称为后验概率，有时也称条件概率。思考：事件xi是否发生具有不确定性，可用自信息I(xi)度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I（yi|xi）度量。相当于进行了通信。问题：观察事件（通信）前后，通信过程中所获得的信息量是什么？定义:后验概率与先验概率比值的对数为yi对xi的互信息量：

回顾：互信息量和平均互信息量互信息量等于自信息量减去条件自信息量。互信息量条件概率先验概率第4页，课件共94页，创作于2023年2月定义互信息量是定量地研究信息传递问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息，输出变量出现某一个具体消息时，流经信道的信息量；此外还是随和变化而变化的随机变量。互信息量不能从整体上作为信道中信息传递的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。平均互信息量第5页，课件共94页，创作于2023年2月平均互信息克服了互信息量的随机性，可作为信道中流通信息量的整体测度。三种表达方式第6页，课件共94页，创作于2023年2月平均互信息量的物理意义从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”。第7页，课件共94页，创作于2023年2月信道疑义度的说明

这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。H(X/Y)即信道疑义度，也表示信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。第8页，课件共94页，创作于2023年2月平均互信息量的性质对称性：非负性：极值性：凸性平均互信息量是输入信源概率分布的上凸函数，研究信道容量的理论基础。平均互信息量是信道转移概率的下凸函数，研究信源的信息率失真函数的理论基础。第9页，课件共94页，创作于2023年2月平均互信息量信源熵信道输出收到符号集Y后仍存在的对于X发送哪个消息的平均不确定性的度量二者之差就是通信过程中获得的信息量单符号传输，信息传输率：信道容量的定义回顾信息传输率的另一定义：不考虑信道的干扰，因此H(X/Y)=0；单符号传输，平均码长为1，此时I(X;Y)=H(X)-H(X/Y)=H(X)，因此两个定义等价当给定信道时(转移概率p(y/x)确定)，平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：第10页，课件共94页，创作于2023年2月信道容量的定义当给定信道时(转移概率p(y/x)确定)，平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：能够达到信道容量的q(x)称为最佳分布信道容量C是在可靠通信前提下，信道所能容纳的最大信息传输量；固定信道，信道容量是C是一定的；不同信道，C值不同，是转移概率p(y/x)的函数可以找到某种输入概率分布，使信道容量达到最大第11页，课件共94页，创作于2023年2月12信道分类信道定义传输信息的载体，其任务是以信号形式传输、存储信息。信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固定参数、时变参数噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、 波形信道第12页，课件共94页，创作于2023年2月13信道分类和表示参数信道参数信道可分为：第13页，课件共94页，创作于2023年2月14信道分类和表示参数信道种类1、无干扰（无噪声）信道2、有干扰无记忆信道信道的输出信号Y与输入信号X之间有确定的关系。转移概率信道的输出信号Y与输入信号X之间没有确定关系，但转移概率满足：每个输出符号只与当前输入信号有转移概率关系，与其他时刻的信号无关，即无记忆。需分析单个符号的转移概率p(yj|xi).第14页，课件共94页，创作于2023年2月15信道分类和表示参数1）二进制对称信道（BSC）(输入输出符号数均为2)由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的;第15页，课件共94页，创作于2023年2月16信道分类和表示参数2)离散无记忆信道DMC(输入输出符号数大于2但有限)转移矩阵第16页，课件共94页，创作于2023年2月3）离散输入、连续输出信道

设信道输入符号是有限、离散的,其输入字符集信道输出称离散输入,连续输出信道.即

又称半离散或半连续信道。

第17页，课件共94页，创作于2023年2月（4）波形信道

若输入是模拟波形，输出也是模拟波形则该信道为波形信道.若分析性能的理论极限，多选用离散输入、连续输出的信道模型。

选择何种模型取决于应用场景、目的.从工程上讲,最常用的DMC信道或BSC信道.第18页，课件共94页，创作于2023年2月4.2离散无记忆信道容量的计算

定理4.1

如果信道是离散无记忆（DMC）的，则CN

NC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。证明：对于DMC，由定理2.4知CN≤NC

（4-4）第19页，课件共94页，创作于2023年2月（2）对每个i,输入分布q(xi)可使I(Xi;Yj)达到信道容量C，则

综合式(4-4)和(4-5)，在信源和信道都离散无记忆的情况下，有CN=NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。CN

NC(4-5)若（1）输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：第20页，课件共94页，创作于2023年2月4.2.1达到信道容量的充要条件

定理4.2

使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布，简记为q

(X)={q(x1),q(x2),…,q(xM)}满足：

(4-6)并未给出C和q(x)的显式表达式，一般不易利用该定理求解C，通常作为验证用。第21页，课件共94页，创作于2023年2月22几类特殊离散信道及信道容量X、Y一一对应C＝maxI(X;Y)＝logn（输入符号为等概率出现时）多个输入变成一个输出；噪声熵H(Y|X)=0;疑义度H(X|Y)≠0;C＝maxI(X;Y)＝maxH(Y)由于信道噪声，使一个输入对应多个输出；疑义度H(X|Y)=0;噪声熵H(Y|X)≠0;C＝maxI(X;Y)＝maxH(X)注：不同教材对这几类信道说明有所不同，但信道容量的求解是一致的第22页，课件共94页，创作于2023年2月【例4.2】输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图4-2所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5}，其信道转移概率矩阵记为，计算该信道的信道容量。

图4-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y4第23页，课件共94页，创作于2023年2月2.根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有先考察平均互信息量I（X;Y）=H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）=0，则平均互信息量

I（X;Y）=H（X）第24页，课件共94页，创作于2023年2月3.

根据平均互信息量I（X;Y）达到信道容量的充要条件式（4-6）对C进行验证：先根据计算出ω(yj)，j=1,2,3,4,5,6第25页，课件共94页，创作于2023年2月再计算出：第26页，课件共94页，创作于2023年2月4.2.2几类特殊的信道

定义4.1

如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义4.2

如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义4.3

如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道第27页，课件共94页，创作于2023年2月28对称DMC信道例子如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩阵的行是输入对称的；如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的；如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。第28页，课件共94页，创作于2023年2月【例4.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。

这是一个准对称信道，根据定理4.3，当X等概分布，时，信道容量平均互信息量I（X;Y）=H（Y）-H（Y︱X）

(4-7)

定理4.3

实现DMC准对称信道的信道容量的分布为等概分布第29页，课件共94页，创作于2023年2月由，先算出

(4-8)

将式(4-8)和代入式(4-7)，可算得信道容量

=0.0325(比特/符号)第30页，课件共94页，创作于2023年2月【例4.8】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵

，求信道容量C。设使平均互信息量达到信道容量的信源分布为q(x1)=

，q(x2)=1-

。由可算出

2.信源只含两个消息

第31页，课件共94页，创作于2023年2月平均互信息量I(X;Y)=H(Y)–H(Y︱X)

=-(1-q)[log+(1-)log(1-)]根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量

C=I(X;Y)︱a=0.5=1-q

第32页，课件共94页，创作于2023年2月33[例]求信道容量，信道转移矩阵如下：信道输入符号和输出符号的个数相同，都为n；正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号；强对称信道或均匀信道，是对称离散信道的一个特例。含义？第33页，课件共94页，创作于2023年2月34n=2时，即为：二进制对称信道，容量为C＝1－H（）第34页，课件共94页，创作于2023年2月35εC信道无噪声当ε

=0,C=1－0=1bit=H(X)=log2当ε

=1/2,

不确定性最大，信道容量为0BSC信道容量当ε

=1，强噪信道

强噪信道，也可使C=log2第35页，课件共94页，创作于2023年2月

计算信道容量C按下面步骤进行：

(1)先验证信道转移概率矩阵P=[p(yj︱xi)]是方阵，且矩阵P的行列式︱[p(yj︱xi)]︱≠0；

3.信道转移概率矩阵为非奇异方阵

第36页，课件共94页，创作于2023年2月(2)计算出逆矩阵P－１=[p-1(yj︱xk)]；

(3)根据式（4-17），计算出；

(4)根据式（4-18），计算出信道容量C；

(5)

验证是否满足q(xi)0，i=1,2,…,K。l

先由式（4-16）计算出（yk）k=1,2,…,Kl再由式（4-21）计算

第37页，课件共94页，创作于2023年2月【例4.9】给出信道转移概率矩阵，求信道容量C。

（1）P矩阵的行列式，说明P是一个非奇异方阵。（2）P的逆矩阵（3）算出

第38页，课件共94页，创作于2023年2月（4）信道容量

（奈特/码符号）

（5）下面验证是否q(xi)0，i=1,2l先根据算出l再算得

第39页，课件共94页，创作于2023年2月图4－9两个信道4.3组合信道的容量

考虑有两个信道。信道1信道2：

信道编码器XY信道译码器X

/Y

/第40页，课件共94页，创作于2023年2月4.3.1独立并行信道

在这种情况下，二个信道作为一个信道使用，传送符号，接收符号，根据定理2.4，对于离散无记忆信道，下式成立（4-22）

对上面不等式两边取最大值，得

C

C

1+C2

（4-23）

推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （4-24）

等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。

第41页，课件共94页，创作于2023年2月4.3.2和信道

两个信道轮流使用，使用概率分别为p1,p2，且p1+p2=1，记概率分布P

=（p1,p2），和信道的平均互信息计算如下

I（P）=I（p1,p2）=p1I（X;Y）+p2I（X/;Y/）+H2（P）式中：H2（P）=-p1logp1-p2logp2第42页，课件共94页，创作于2023年2月

根据定义，有

（4-26）

求使式(4-26)取极大值的P

令，对数以2为底，注意到p2=1-

p1，得记C1-logp1=

C2-logp2=（为待定常数）

（4-27）

从式（4-27）中解出： （4-28）

第43页，课件共94页，创作于2023年2月将式(4-28)代入条件p1+p2=1，得

（4-29）式（4-28）中的p1,p2就是使平均互信息量I（p1,p2）达到最大的取值，将其代入式（4-26），得：

=（p1+p2）=

将式（4-29）代入式（4-30）得：

推广到N个信道轮流使用的情况,当N个信道以不同概率轮流使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （4-31）

第44页，课件共94页，创作于2023年2月4.3.3串行信道

将两个信道级联，有X

/=Y，如图4-10所示。X信道1信道2Y

/Y=X

/

图4-10串行信道

串行信道的信道转移概率 用矩阵表示为：（4-32）

串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N→∞时，其总信道容量将趋于零。

第45页，课件共94页，创作于2023年2月信道1：P1=[p(y︱x)]

，信道2：P2=[p(y‘︱x‘

)]

，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=[p(y‘︱x‘

)]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：X信道1信道2ZY图4－11马尔可夫链

定理4.4

若随机变量X、Y、Z组成一个马尔可夫链，如图4-11所示，则有

I（X;Z）

I（X;Y）

（4-33）

I（X;Z）I（Y;Z）

（4-34）第46页，课件共94页，创作于2023年2月证明式（4-33）I（X；Z）-I（X；Y）=[H（X）-H（X︱Z）]-[H（X）-H（X︱Y）]=H（X︱Y）-H（X︱Z）

H（X︱Y）-H（X︱YZ）（条件熵小于等于无条件熵）=H（X︱Y）-H（X︱Y）（因为X、Y、Z为马尔可夫链）=0I（X；Z）

I（X；Y）证毕数据处理定理：无论经过何种数据处理，都不会使信息量增加。式（4-34）可类似证得.

从上面证明过程可看出，若满足H（X︱Z）=H（X︱Y），即满足p(x︱z)=p(x︱y)时，式(4-33)中的等号成立，即有I(X;Z)=I(X;Y)，说明这种情况下串联传输不会增加信息的损失。第47页，课件共94页，创作于2023年2月【例4.11】两个离散信道，，将它们串行连接使用，如图

4-10，计算总信道容量C。（1）先计算总信道的信道转移概率矩阵

第48页，课件共94页，创作于2023年2月

串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足p(y︱x)=p(z︱x)(对所有的x，y，z)（4-36）

对式（4-36）两边关于x求和，得

p(y)=p(z)（4-37）

利用式（4-37），由式（4-36）得

上式恰好就是式（4-35）所要求的条件，这就说明不论信源符号X={x}如何分布，只要串联信道的总信道转移概率矩阵等于第一个信道的转移概率矩阵，这样的串联噪声信道就不会增加信道的信息损失，总的信道容量就等于第一个信道的信道容量。第49页，课件共94页，创作于2023年2月(2)计算信道容量C

在[例4.11]中，第一个信道是输入只有两个消息的情况，设最佳分布为q(x1)=，q(x2)=1-，仿照[例4.8]可算出

=0.4，则信道容量C=C1=0.32(比特/符号)。第50页，课件共94页，创作于2023年2月第51页，课件共94页，创作于2023年2月52离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称（行对称）输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称（列对称）对称的DMC信道如果输入、输出都对称第52页，课件共94页，创作于2023年2月53对称DMC信道例子如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩阵的行是输入对称的；如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的；如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。第53页，课件共94页，创作于2023年2月54输入对称第54页，课件共94页，创作于2023年2月55对称信道容量第55页，课件共94页，创作于2023年2月56若信道输入符号等概率分布p(ai)=1/n,由于符号的输出对称，则要使最大，只有信道的输出符号为等概率分布，输入符号也为等概率分布，因此，对称DMC信道的容量为：m为信道输出符号的数目第56页，课件共94页，创作于2023年2月57[例]求信道容量解：根据公式：第57页，课件共94页，创作于2023年2月58[例]求信道容量，信道转移矩阵如下：信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。含义？第58页，课件共94页，创作于2023年2月59n=2时，即为：二进制对称信道，容量为C＝1－H（）第59页，课件共94页，创作于2023年2月60pC信道无噪声当ε

=0,C=1－0=1bit=H(X)当ε

=1/2,

信道强噪声，信道容量为0BSC信道容量第60页，课件共94页，创作于2023年2月离散无记忆模K加性噪声信道取值范围：Z=X=Y={0,1,…,K-1}，X为信道输入，Y为信道输出，Z为信道干扰。y=x⊕zmodK第61页，课件共94页，创作于2023年2月例3-3离散无记忆模K加性噪声信道，X=Y={0,1,…,K-1}，

y=x⊕zmodK，求该信道容量。该信道具有对

称DMC信道特征，其概率转移概率为：

6201K-1012K-1信道示意图如右图所示：

利用公式得到

第62页，课件共94页，创作于2023年2月63串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…Q:信道容量与串联信道多少的关系？YWZ第63页，课件共94页，创作于2023年2月64[例]设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量；第64页，课件共94页，创作于2023年2月65信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]串联信道容量X00ZY111-ε1-εε1-εεBSC信道串联1-ε第65页，课件共94页，创作于2023年2月66准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道，例：第66页，课件共94页，创作于2023年2月67准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值。信道容量：第67页，课件共94页，创作于2023年2月68[例]求信道容量方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示，由得到联合概率矩阵：第68页，课件共94页，创作于2023年2月69Eg.

求信道容量方法一（续）：由第69页，课件共94页，创作于2023年2月70Eg.

求信道容量方法一（续）：由得求得α=1/2，第70页，课件共94页，创作于2023年2月71当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号方法二：将转移概率矩阵划分成若干个互不相交的对称的子集，输入分布为等概率时，信道容量n为输入符号集中符号的个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数；第71页，课件共94页，创作于2023年2月72方法二（续）第72页，课件共94页，创作于2023年2月73Eg.

求信道容量解：首先将P1分解成若干不相交的对称子集，如何分？第73页，课件共94页，创作于2023年2月74一般DMC信道以输入信号概率矢量Px求函数I(Px)的最大值（信道容量），可以看作是规划问题，最常用的方法是：1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法。I(X;Y)最大化的充要条件为：I(ai;Y)=C

对于所有满足p(ai)>0条件的iI(ai;Y)

C

对于所有满足p(ai)=0条件的i当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只有概率为零的符号除外；第74页，课件共94页，创作于2023年2月75离散序列信道及其容量

离散序列信道

信道

p(Y/X)

Y

X

X=(X1X2…XL)Xl{a1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}第75页，课件共94页，创作于2023年2月76离散序列信道及其容量

离散无记忆序列信道，信道转移概率为：

11111进一步信道是平稳的

第76页，课件共94页，创作于2023年2月77离散序列信道及其容量

离散无记忆序列信道

11111如果信道无记忆如果输入矢量X中的各个分量相互独立当信道平稳时CL=LC1，一般情况下，I(X;Y)LC1如果信道无记忆且矢量X中的各分量独立第77页，课件共94页，创作于2023年2月78离散序列信道及其容量

11111BSC的二次扩展信道X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道第78页，课件共94页，创作于2023年2月79离散序列信道及其容量

扩展信道1111若p＝0.1，则C2＝2－0.938＝1.062比特/序列

p＝0.1时BSC单符号信道的容量C1＝1－H(0.1)＝0.531比特/序列，为C2的1/2.第79页，课件共94页，创作于2023年2月小结:四种信道H(X)=I(X;Y)H(Y)H(Y/X)≠0H(Y)=I(X;Y)H(X)H(X/Y)≠0无噪有损信道H(Y/X)=0有噪无损信道H(X/Y)=0I(X;Y)H(Y)H(X)I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)第80页，课件共94页，创作于2023年2月定理：一般离散信道的平均互信息I(X;Y)达到极大值(即等于信道容量)的充要条件是输入概率分布Pi满足:<1>I(ai;Y)=C对于所有i,其Pi≠0<2>

I(ai;Y)≤C对于所有i,其Pi=0

这时常数C就是所求的信道容量。第81页，课件共94页，创作于2023年2月离散无记忆N次扩展信道的信道