《网络信息理论简介》PPT课件.ppt

1,第7次课（上次课的回顾）2009年4月12日,简要说明连续信源的熵的主要特性。 冯宏星，潘勇 说出信源消息为均匀分布、高斯分布和指数分布时信源的熵。 高晨，潘敏 简述峰值功率受限条件下信源的最大熵定理。任杰，翟大伟 简述平均功率受限条件下信源的最大熵定理。贺秀春，金毅 简述均值受限条件下信源的最大熵定理。 肖俊，蒲盟 6. 简述白色高斯噪声的定义。 印芷漪，张耀华 7. 给出香农公式，说明其含义。 丁佳佳，金涛 8. 简述理想接收机的工作原理，并阐述为什么说理想接收机只有对数字通信才有实际的意义。 吕登伟，王海,2,第七章 网络信息理论简介,3,本章内容提要,多址信道及其传输特性 广播信道,4,香农的信息理论对两个信源、两个信宿所组成的最小通信网中的信息传输作出了详尽的分析。 通信网的拓扑结构和通信方式趋于多样化。基于单信源、单信道的信源编码与信道容量理论已无法回答此类通信网中信息的有效表示与信道的充分利用问题，信息论的研究工作开始逐渐转向网络信息理论领域。 网络信息理论的主要问题是冲突、协作和反馈，这些问题的研究包括分布式信源编码（数据压缩）以及分布式通信（确定网络的覆盖能力）。 这些问题目前尚未解决，本章仅对一些特殊情况进行研究。,第7章 网络信息理论简介,5,定义7.1 具有多个输入端和多个输出端的信道称为多址信道(MAC) 。对于数字通信，是指包含有编码器、译码器的等效信道。,图7.1多址信道示意图,6,多址接入是用时分、频分或码分等方法将一个物理信道分成若干独立的子信道来实现的，因此，各输入信号被局限在某种互不相交的子空间内 。例如： 频分多址 (FDMA ) 时分多址 (TDMA ) 码分多址 (CDMA ) 空分多址 (SDMA ) 在各种通信系统中，多个输入X1 , X2 , , XN可以是统计独立的，也可能是彼此相关的。,7,图7.1中的几种特例: 1）多输入单输出系统 2）单输入多输出系统 3）多输入多输出系统 讨论的重点是信息的流量问题，即组成网络的各个信道的信息传输速率R1，R2， 、它们之间的相互影响、信道上总的信息传输速率R以及对应的信道容量 C。 由香农第二定理可知，对信息传输速率的限制是信道容量，它包括各个子信道的信道容量 C1 , C2 , 及总的信道容量 C。,8,定义7.2 二元接入信道是指有两个输入信源、一个信宿的多用户信道，即双输入单输出信道。如图7.2所示。,图7.2 二元接入信道,定义7.3 对于已编码消息集合X1，X2 ，若分别采用n位二进制编码，则( ), n为二元接入信道的输入码序列。 注：这里R1、R2的量纲,9,设信源X1, X2送给信道的码字分别为W1, W2 ，信宿端译码不是W1, W2的概率为PrY(W1, W2 )| (W1, W2 ) ，则 ( ), n码的平均错误概率为:,=,(7.1),若存在能使 趋于0的码序列( ), n，则称(R1, R2 )为二元接入信道的可用信息率对。,10,（1）R1, R2的限制条件 由W1传至 的信息率用R1表示，它就是从Y中获取的关于X1的平均信息量，即 R1 = I (X1, Y) (7.2) 若X2已确知，则可排除X2引起的对于X1传输的干扰，使R1达到最大，即可有,(7.3),其中取最大值是通过改变编码器以得到最合适的X1 和X2的概率分布P(X1)和P(X2)，从而使条件互信息量I (X1, Y/X2)达到最大值而得到的。,11,把式(7.3)所得到的最大值称为条件信道容量：,根据Shannon第二定理，应有R 1 C1 (7.5),(7.4),同理 R2 = I (X2, Y) (7.6),R 2 C2 (7.8),12,现在的情况是两个输入均在信道上传递，故有 R12 = I ( X1X2; Y) = H (Y)-H (Y| X1X2 ) (7.9) 令 则 R12 C12 (7.11),(7.10),13,（2）C12和C1、C2的关系 定理7.1 设二元接入信道的信源输入为已编码消息集合X1、X2，对应它们的信道容量为C1、C2，二元接入信道的信道容量为C12，则C12的下限值是C1和C2中的较大者。,14,证明 在C1和C2中，设C1 C2（当然亦可设C2 C1），因为对所有P(X1 )和P(X2 ) 都有 H(Y) H (Y/X2 ) (7.12) H(Y)H(Y/X1 X2 ) H (Y/X2)H (Y/X1 X2 ) (7.13) 令P0 (X1 )和P0 (X2 )是使式(7.13)右边达到极大值的输入概率分布，则由式(7.4)，有,(7.14),15,由式(7.10)，又有,(7.15),又假设C1 C2，所以 C12 max (C1, C2) (7.16) 证毕。,16,定理7.2 设二元接入信道的信源输入为已编码消息集合X1、X2，对应它们的信道容量为C1、C2，二元接入信道的信道容量为C12，则C12不超过C1与C2之和。,17,证明 假设,(7.17),若X1和X2统计独立，则有,(7.18),18,同时 H (X1 X2 /Y) = H (X1 /Y) + H (X2 /YX1) (7.19) 再由式(7.17)、(7.18)和(7.19)，有 = H (X1 /Y) H (X1 /YX2) (7.20) 因为 H (X1 /YX2) H (X1 /Y) (7.21) 所以 = H (X1 /Y) - H (X1 /YX2) 0 (7.22) 即得 I (X1 ;Y/X2) + I (X2 ;Y/X1) I (X1 X2 ;Y) (7.23) 设P0(X1)和P0(X2)使I (X1 X2 ;Y)达到极大值，由(7.23)，有,(7.24),19,而,(7.25),由式(7.4)、(7.7)、(7.24)和(7.25)证得 C 1 2 C1 + C2 (7.26) 证毕。,20,（3）R12和R1+R2的关系 当X1, X2统计独立时，有 R1+R2R 1 2=H (Y|X2)H (Y|X1 X2) +H (Y|X1)H (Y|X1X2) H (Y) +H (Y|X1X2) =H (Y)H (Y|X1X2) (7.27) 其中 H (Y/X1) = H (Y /X2) = H (Y) 由于自熵不会小于条件熵，即H(Y)H (Y|X1X2) 0，则有 R12 R1 +R2 (7.28) 综上所述，可以得到如图7.3所示的(R1, R2)的值域图，其中C12和坐标轴构成等腰直角三角形，其顶点可以在C1（或 C2）与C1 +C2之间平移。,21,图7.3 （ R1，R2 ）的值域图,纵坐标： C12C2 C2 C12 C1+C2 横坐标：C12C1 C1 C12 C1+C2,22,例7.1 设两个独立信源的消息X1和X2分别被送到两个独立的二进制对称信道（BSC）传输，信道的香农线图如图7.4所示，其交叉传输概率分别为p1和p2，求其信息传输速率的值域图。,图7.4 例7.1的香农线图,23,解 设两个BSC信道的信道容量分别为C1和C2，信息传输速率分别为R1和R2，根据式(5.26)，有 C1 = 1 H (p1) C2 = 1 H (p2) 由于两个信道彼此独立，故有 C 1 2 = C1 + C2 本题的信息传输速率值域图如图7.5所示。由于两个BSC信道完全独立，其信息传输速率相互之间没有关系，它是二元接入信道的特例。,24,图7.5 例7.1中（R1，R2）的值域图,25,例7.2 设有二进制二元信道，其输入、输出的关系为 Y = X1 X2 求其信息传输速率的值域图。 解 根据题意，有 或 因此在任何时候，都有R1 + R2 = 1 。其信息传输速率的值域图如图7.6所示。,26,图7.6 例7.2中（R1，R2）的值域图,27,例7.3 求二元二进制删除信道的信息传输速率的值域图。 解 设二元二进制删除信道的输入消息为 X1 = 0, 1和X2 = 0, 1，信道输出为,若输入等概，即对于信源X1、X2，都有P(0) = P(1) =1/2，则对于联合信源 X1X2，有 P(00) = P(01) = P(10) = P(11) =1/4,28,对于信宿Y则有 PY (0)= P(00)，PY (1)= P(01)+ P(10)，PY (2)= P(11) 通过计算可得 C1=1，C2=1,其信息传输速率的值域图如图7.3所示。,29,图7.7 例7.3中（R1，R2）的值域图,30,把二元信道扩展到N个输入端的情况，即假设有N个用户，N个编码器。设第r个编码器输出的信息率为Rr ，相应的信道容量为Cr ，则,(7.29),31,类似地，Rr 除了受Rr Cr限制外，还应受各种联合条件的限制，例如需考虑除r外的其它1个, 2个, , (N-1)个编码器的消息在信道中传输时对r的影响。 取1, 2, N的一个子集A，A = r1, r2, , rl，rA，另有A的补集S，S = s1, s2, , sm，sA，l + m = N，则,(7.30),可以得出联合限制条件,(7.31),显然,(7.32),二元接入信道是N元输入信道的特例。,32,定义7.5 若二元接入信道的两个输入信源X1和X2相互统计独立，并且是取值于整个实数轴的连续随机变量，信道噪声是加性白色高斯噪声，输出端的随机变量Y在时刻i，有Yi =X1i + X2i + Zi，Zi是均值为0、方差为N的高斯随机变量，则称这样的信道为高斯加性二元接入信道。 当输入有n个信源且相互统计独立、信道噪声仍是加性白色高斯噪声时，称这样的信道为高斯加性多元接入信道，或称为高斯多址信道。可见，高斯二元接入信道是高斯多址信道的简单情况。,33,信道信息传输速率的值域分析 设X1和X2的概率密度函数分别为p(X1) 和p(X2)，其平均功率分别为P1和P2，分析可得,(7.33) (7.34) (7.35) (7.36) (7.37) (7.38),34,由于Y = X1 + X2 + Z，且X1, X2, Z 统计独立，则有,定义 ，得高斯二元信道信息率的限制条件为,(7.40) (7.41),(7.39),35,(7.42) (7.43) (7.44),由此可得该种信道的信息传输速率的值域图，如图7.8所示。,36,图7.8 高斯加性二址接入信道（R1 ，R2 ）的值域图,37,前面的分析均假设输入信源统计独立，但在实际中往往它们相互关联。 例7.4 如图所示的具有相关信源的通信系统，若H(X1), H(X2)和H(X1X2)为已知，求R1, R2的制约关系。,38,解 因为信源有相关性，故有 H(X1) + H(X2) H(X1 X2) H(X1) H(X1|X2 ) H(X2) H(X2|X1 )。 要使信道不失真地传送X1、X2，应该有 R1 +R2 H(X1X2 )，R1 H(X1 |X2 )，R2 H(X2 |X1 ) 由此可得相关信源的多用户信道R1, R2的制约关系如图7.10所示。,39,图7.10 相关信源的多用户信道R1、R2的制约关系图,40,图7.10中的边界线为实现不失真传输时所要求的R1、R2的最小值。 考虑到R1 H(X1|X2 )和H(X1) H(X1|X2 )的条件，说明在 R1 H(X1 )时也可能实现无差错传输。这是因为X1与X2相关联，传X1时，必然有X2的部分信息也传到了X1的编、译码器中。 因此在对X1译码时，也能够由X2的这部分信息中获取关于X1的信息，故而有R1 H(X1 |X2 )就可以了。对于X2亦同理。 因而有文献称H(X1|X2 )、H(X2|X1)为“边信息”。,41,例7.5 考虑图7.11所示的3信道通信系统，其中CH-0 为共用信道，CH-1和CH-2为私用信道，CH-0的作用是利用其信息速率R0使CH-1、CH-2对X1, X2去相关，求R0的制约条件。,图7.11 例7.5通信系统框图,42,解 对于这样的系统，一般要求R0尽可能小，并使CH-1、CH-2对X1、X2去相关，即尽管X1、X2相关，但由于CH-0的作用，使译码器1难译出关于X2的信息、译码器2难译出关于X1的信息。这时需满足： R0 I (X1X2; W ) R1 H (X1 |W ) R2 H (X2 |W ),43,一方面，I (X1X2; W )表示W获取的关于X1、X2的联合符号集的平均信息量，X1、X2的关联性越强，I (X1X2; W )越接近I (X1；X2)； 另一方面，如果通过对CH-0 的设置，使X1、X2的关联性变成X1 W及X2 W之间的关联性，则有 P (X1; X2 |W ) = P(X1|W ) P(X2|W )。因而变更W，也能使I (X1 X2; W） 接近于I (X1; X2 )。,44,定义I0 (X1; X2 ) = minI (X1X2; W )为X1, X2的“公信息”，其中W为最小公信息。 因此 R0 I (X1 X2; W )的条件，可变为R0 I0 (X1; X2 )，这就是R0的制约条件。,45,将多址接入信道的信息流全部反过来就得到广播信道，如图7.12所示。,7.2 广播信道,图7.12 广播信道,它有一个输入端口，多个输出端口。各输出端口在地理上是分散的，端口处信号受干扰的情况也不相同，因此译码只能分散独立进行。 各信宿要接收的信息不一定相同。,46,当广播信道向所有信宿传送相同信息，且各输出端口的干扰情况相同时，广播信道问题退化为单信道问题。 广播信道的特点： （1）广播以公众为对象； （2）以个人（设备）为对象。 实际中常见的广播信道包括有线电视中的视频点播 (VOD)、 高清晰度电视（HDTV，）、无线电广播、远程数据服务（RDS），数据广播信道（DARC）等。,7.2 广播信道,47,7.2 广播信道,定义7.6 假设一个广播信道的输入字符集为x，输出字符集有两个，分别记作y1和y2，其转移概率为p(y1, y2 | x)。如果 则该广播信道可以认为是无记忆的。 广播信道发送给接收者的信息可以是独立信息或公共信息，这两种信息的分析是有区别的。,48,7.2 广播信道,定义7.7 具有独立信息的广播信道的一个码字 对应于一个编码器，即,和两个译码器,将平均错误概率定义为译码信息不同于发送信息的概率，即,这里的速率对(R1, R2)是信息通过广播信道传送到两个接收者的速率；并假设(W1, W2)均匀分布,49,定义7.8 如果在 时，存在码序列 ，就可以认为速率对(R1, R2)在广播信道中是可实现的。,7.2 广播信道,50,7.2 广播信道,定义7.9 具有公共信息的广播信道的一个码字 对应于一个编码器,和两个译码器,(7.49),(7.50) (7.51),这里R0是广播信道中公共信息的速率；并设(W0, W1, W2)在 上均匀分布。则可以将平均错误概率定义为译码信息不同于发送信息的概率，即,(7.52),51,7.2 广播信道,定理7.3 如果广播信道传送独立信息时的可达速率对为 (R 1, R 2 )，现假设R0 min (R1, R2 )，则具有公共速率R 0的速率3元组 (R0, R1R0, R2R0 )是可实现的。 当衰落广播信道存在公共信息时，由于这里的编码机制使得接收效果较好的收端，能译码发送给接收效果较差的收端的所有信息，因此不需要为防止信道干扰减少发送给接收效果较好的收端的信息量。定理7.4对此做出了说明。 定理7.4 如果衰落广播信道传送独立信息时的可达速率对为 (R1, R2 )，假设R0 R2，则具有公共速率R0的速率3元组(R0, R1 , R2 R0)是可实现的。,52,7.2 广播信道,例7.6 假设有如图7.13所示的广播信道，它由参数分别为p1和p2的两个二进制对称信道组成。,图7.13 二进制对成广播信道,53,7.2 广播信道,解 在计算容量时，不失一般性，可以认为该信道是物理衰落信道。假设p1 p2 1/2，则可以把参数是p2的二进制对称信道看作是参数为p1的二进制对称信道与另一个二进制对称信道的级联。假设这个新引入的信道的交叉传输概率为 ，于是有 p1(1 ) + (1 p1) = p2 或,以参数U表示能被收端区分的信息区域的中心，由对称性可知，可以用一个参数为的二进制对称信道将U与X相连接，如图7.14所示。,54,7.2 广播信道,图7.14 物理衰落二进制对称广播信道,55,7.2 广播信道,由对称性可知，当U中的0, 1呈等概分布时，系统的速率可以达到最大。因此有 I (U;Y2) = H (Y2) H (Y2 |U) = 1 H (*p2) 这里 *p2 = (1 p2 ) + (1 ) p2 类似的有 I (X; Y1|U ) = H (Y1|U) H (Y1 | X, U ) = H (Y1|U) H (Y1 | X) = H (*p1) H (p1) 这里 *p1 = (1-p1 ) + (1 ) p1 以为参数，我们就得到如图7.15所示的容量区域图。 当=0时，传送给