《网络信息理论简介》PPT课件.ppt

1 第7次课 上次课的回顾 2009年4月12日 简要说明连续信源的熵的主要特性 冯宏星 潘勇说出信源消息为均匀分布 高斯分布和指数分布时信源的熵 高晨 潘敏简述峰值功率受限条件下信源的最大熵定理 任杰 翟大伟简述平均功率受限条件下信源的最大熵定理 贺秀春 金毅简述均值受限条件下信源的最大熵定理 肖俊 蒲盟6 简述白色高斯噪声的定义 印芷漪 张耀华7 给出香农公式 说明其含义 丁佳佳 金涛8 简述理想接收机的工作原理 并阐述为什么说理想接收机只有对数字通信才有实际的意义 吕登伟 王海 2 第七章网络信息理论简介 3 本章内容提要 多址信道及其传输特性广播信道 4 香农的信息理论对两个信源 两个信宿所组成的最小通信网中的信息传输作出了详尽的分析 通信网的拓扑结构和通信方式趋于多样化 基于单信源 单信道的信源编码与信道容量理论已无法回答此类通信网中信息的有效表示与信道的充分利用问题 信息论的研究工作开始逐渐转向网络信息理论领域 网络信息理论的主要问题是冲突 协作和反馈 这些问题的研究包括分布式信源编码 数据压缩 以及分布式通信 确定网络的覆盖能力 这些问题目前尚未解决 本章仅对一些特殊情况进行研究 第7章网络信息理论简介 5 定义7 1具有多个输入端和多个输出端的信道称为多址信道 MAC 对于数字通信 是指包含有编码器 译码器的等效信道 图7 1多址信道示意图 6 多址接入是用时分 频分或码分等方法将一个物理信道分成若干独立的子信道来实现的 因此 各输入信号被局限在某种互不相交的子空间内 例如 频分多址 FDMA 时分多址 TDMA 码分多址 CDMA 空分多址 SDMA 在各种通信系统中 多个输入X1 X2 XN可以是统计独立的 也可能是彼此相关的 7 图7 1中的几种特例 1 多输入单输出系统2 单输入多输出系统3 多输入多输出系统讨论的重点是信息的流量问题 即组成网络的各个信道的信息传输速率R1 R2 它们之间的相互影响 信道上总的信息传输速率R以及对应的信道容量C 由香农第二定理可知 对信息传输速率的限制是信道容量 它包括各个子信道的信道容量C1 C2 及总的信道容量C 8 定义7 2二元接入信道是指有两个输入信源 一个信宿的多用户信道 即双输入单输出信道 如图7 2所示 图7 2二元接入信道 定义7 3对于已编码消息集合X1 X2 若分别采用n位二进制编码 则 n 为二元接入信道的输入码序列 注 这里R1 R2的量纲 9 设信源X1 X2送给信道的码字分别为W1 W2 信宿端译码不是W1 W2的概率为Pr Y W1 W2 W1 W2 则 n 码的平均错误概率为 7 1 若存在能使趋于0的码序列 n 则称 R1 R2 为二元接入信道的可用信息率对 10 1 R1 R2的限制条件由W1传至的信息率用R1表示 它就是从Y中获取的关于X1的平均信息量 即R1 I X1 Y 7 2 若X2已确知 则可排除X2引起的对于X1传输的干扰 使R1达到最大 即可有 7 3 其中取最大值是通过改变编码器以得到最合适的X1和X2的概率分布P X1 和P X2 从而使条件互信息量I X1 Y X2 达到最大值而得到的 11 把式 7 3 所得到的最大值称为条件信道容量 根据Shannon第二定理 应有R1 C1 7 5 7 4 同理R2 I X2 Y 7 6 R2 C2 7 8 12 现在的情况是两个输入均在信道上传递 故有R12 I X1X2 Y H Y H Y X1X2 7 9 令则R12 C12 7 11 7 10 13 2 C12和C1 C2的关系定理7 1设二元接入信道的信源输入为已编码消息集合X1 X2 对应它们的信道容量为C1 C2 二元接入信道的信道容量为C12 则C12的下限值是C1和C2中的较大者 14 证明在C1和C2中 设C1 C2 当然亦可设C2 C1 因为对所有P X1 和P X2 都有H Y H Y X2 7 12 H Y H Y X1X2 H Y X2 H Y X1X2 7 13 令P0 X1 和P0 X2 是使式 7 13 右边达到极大值的输入概率分布 则由式 7 4 有 7 14 15 由式 7 10 又有 7 15 又假设C1 C2 所以C12 max C1 C2 7 16 证毕 16 定理7 2设二元接入信道的信源输入为已编码消息集合X1 X2 对应它们的信道容量为C1 C2 二元接入信道的信道容量为C12 则C12不超过C1与C2之和 17 证明假设 7 17 若X1和X2统计独立 则有 7 18 18 同时H X1X2 Y H X1 Y H X2 YX1 7 19 再由式 7 17 7 18 和 7 19 有 H X1 Y H X1 YX2 7 20 因为H X1 YX2 H X1 Y 7 21 所以 H X1 Y H X1 YX2 0 7 22 即得I X1 Y X2 I X2 Y X1 I X1X2 Y 7 23 设P0 X1 和P0 X2 使I X1X2 Y 达到极大值 由 7 23 有 7 24 19 而 7 25 由式 7 4 7 7 7 24 和 7 25 证得C12 C1 C2 7 26 证毕 20 3 R12和R1 R2的关系当X1 X2统计独立时 有R1 R2 R12 H Y X2 H Y X1X2 H Y X1 H Y X1X2 H Y H Y X1X2 H Y H Y X1X2 7 27 其中H Y X1 H Y X2 H Y 由于自熵不会小于条件熵 即H Y H Y X1X2 0 则有R12 R1 R2 7 28 综上所述 可以得到如图7 3所示的 R1 R2 的值域图 其中C12和坐标轴构成等腰直角三角形 其顶点可以在C1 或C2 与C1 C2之间平移 21 图7 3 R1 R2 的值域图 纵坐标 C12 C2C2C12C1 C2横坐标 C12 C1C1C12C1 C2 22 例7 1设两个独立信源的消息X1和X2分别被送到两个独立的二进制对称信道 BSC 传输 信道的香农线图如图7 4所示 其交叉传输概率分别为p1和p2 求其信息传输速率的值域图 图7 4例7 1的香农线图 23 解设两个BSC信道的信道容量分别为C1和C2 信息传输速率分别为R1和R2 根据式 5 26 有C1 1 H p1 C2 1 H p2 由于两个信道彼此独立 故有C12 C1 C2本题的信息传输速率值域图如图7 5所示 由于两个BSC信道完全独立 其信息传输速率相互之间没有关系 它是二元接入信道的特例 24 图7 5例7 1中 R1 R2 的值域图 25 例7 2设有二进制二元信道 其输入 输出的关系为Y X1X2求其信息传输速率的值域图 解根据题意 有或因此在任何时候 都有R1 R2 1 其信息传输速率的值域图如图7 6所示 26 图7 6例7 2中 R1 R2 的值域图 27 例7 3求二元二进制删除信道的信息传输速率的值域图 解设二元二进制删除信道的输入消息为X1 0 1 和X2 0 1 信道输出为 若输入等概 即对于信源X1 X2 都有P 0 P 1 1 2 则对于联合信源X1X2 有P 00 P 01 P 10 P 11 1 4 28 对于信宿Y则有PY 0 P 00 PY 1 P 01 P 10 PY 2 P 11 通过计算可得C1 1 C2 1 其信息传输速率的值域图如图7 3所示 29 图7 7例7 3中 R1 R2 的值域图 30 把二元信道扩展到N个输入端的情况 即假设有N个用户 N个编码器 设第r个编码器输出的信息率为Rr 相应的信道容量为Cr 则 7 29 31 类似地 Rr除了受Rr Cr限制外 还应受各种联合条件的限制 例如需考虑除r外的其它1个 2个 N 1 个编码器的消息在信道中传输时对r的影响 取 1 2 N 的一个子集A A r1 r2 rl r A 另有A的补集S S s1 s2 sm s A l m N 则 7 30 可以得出联合限制条件 7 31 显然 7 32 二元接入信道是N元输入信道的特例 32 定义7 5若二元接入信道的两个输入信源X1和X2相互统计独立 并且是取值于整个实数轴的连续随机变量 信道噪声是加性白色高斯噪声 输出端的随机变量Y在时刻i 有Yi X1i X2i Zi Zi 是均值为0 方差为N的高斯随机变量 则称这样的信道为高斯加性二元接入信道 当输入有n个信源且相互统计独立 信道噪声仍是加性白色高斯噪声时 称这样的信道为高斯加性多元接入信道 或称为高斯多址信道 可见 高斯二元接入信道是高斯多址信道的简单情况 33 信道信息传输速率的值域分析设X1和X2的概率密度函数分别为p X1 和p X2 其平均功率分别为P1和P2 分析可得 7 33 7 34 7 35 7 36 7 37 7 38 34 由于Y X1 X2 Z 且X1 X2 Z统计独立 则有 定义 得高斯二元信道信息率的限制条件为 7 40 7 41 7 39 35 7 42 7 43 7 44 由此可得该种信道的信息传输速率的值域图 如图7 8所示 36 图7 8高斯加性二址接入信道 R1 R2 的值域图 37 前面的分析均假设输入信源统计独立 但在实际中往往它们相互关联 例7 4如图所示的具有相关信源的通信系统 若H X1 H X2 和H X1X2 为已知 求R1 R2的制约关系 38 解因为信源有相关性 故有H X1 H X2 H X1X2 H X1 H X1 X2 H X2 H X2 X1 要使信道不失真地传送X1 X2 应该有R1 R2 H X1X2 R1 H X1 X2 R2 H X2 X1 由此可得相关信源的多用户信道R1 R2的制约关系如图7 10所示 39 图7 10相关信源的多用户信道R1 R2的制约关系图 40 图7 10中的边界线为实现不失真传输时所要求的R1 R2的最小值 考虑到R1 H X1 X2 和H X1 H X1 X2 的条件 说明在R1 H X1 时也可能实现无差错传输 这是因为X1与X2相关联 传X1时 必然有X2的部分信息也传到了X1的编 译码器中 因此在对X1译码时 也能够由X2的这部分信息中获取关于X1的信息 故而有R1 H X1 X2 就可以了 对于X2亦同理 因而有文献称H X1 X2 H X2 X1 为 边信息 41 例7 5考虑图7 11所示的3信道通信系统 其中CH 0为共用信道 CH 1和CH 2为私用信道 CH 0的作用是利用其信息速率R0使CH 1 CH 2对X1 X2去相关 求R0的制约条件 图7 11例7 5通信系统框图 42 解对于这样的系统 一般要求R0尽可能小 并使CH 1 CH 2对X1 X2去相关 即尽管X1 X2相关 但由于CH 0的作用 使译码器1难译出关于X2的信息 译码器2难译出关于X1的信息 这时需满足 R0 I X1X2 W R1 H X1 W R2 H X2 W 43 一方面 I X1X2 W 表示W获取的关于X1 X2的联合符号集的平均信息量 X1 X2的关联性越强 I X1X2 W 越接近I X1 X2 另一方面 如果通过对CH 0的设置 使X1 X2的关联性变成X1 W及X2 W之间的关联性 则有P X1 X2 W P X1 W P X2 W 因而变更W 也能使I X1X2 W 接近于I X1 X2 44 定义I0 X1 X2 min I X1X2 W 为X1 X2的 公信息 其中W为最小公信息 因此R0 I X1X2 W 的条件 可变为R0 I0 X1 X2 这就是R0的制约条件 45 将多址接入信道的信息流全部反过来就得到广播信道 如图7 12所示 7 2广播信道 图7 12广播信道 它有一个输入端口 多个输出端口 各输出端口在地理上是分散的 端口处信号受干扰的情况也不相同 因此译码只能分散独立进行 各信宿要接收的信息不一定相同 46 当广播信道向所有信宿传送相同信息 且各输出端口的干扰情况相同时 广播信道问题退化为单信道问题 广播信道的特点 1 广播以公众为对象 2 以个人 设备 为对象 实际中常见的广播信道包括有线电视中的视频点播 VOD 高清晰度电视 HDTV 无线电广播 远程数据服务 RDS 数据广播信道 DARC 等 7 2广播信道 47 7 2广播信道 定义7 6假设一个广播信道的输入字符集为x 输出字符集有两个 分别记作y1和y2 其转移概率为p y1 y2 x 如果则该广播信道可以认为是无记忆的 广播信道发送给接收者的信息可以是独立信息或公共信息 这两种信息的分析是有区别的 48 7 2广播信道 定义7 7具有独立信息的广播信道的一个码字对应于一个编码器 即 和两个译码器 将平均错误概率定义为译码信息不同于发送信息的概率 即 这里的速率对 R1 R2 是信息通过广播信道传送到两个接收者的速率 并假设 W1 W2 均匀分布 49 定义7 8如果在时 存在码序列 就可以认为速率对 R1 R2 在广播信道中是可实现的 7 2广播信道 50 7 2广播信道 定义7 9具有公共信息的广播信道的一个码字对应于一个编码器 和两个译码器 7 49 7 50 7 51 这里R0是广播信道中公共信息的速率 并设 W0 W1 W2 在上均匀分布 则可以将平均错误概率定义为译码信息不同于发送信息的概率 即 7 52 51 7 2广播信道 定理7 3如果广播信道传送独立信息时的可达速率对为 R1 R2 现假设R0 min R1 R2 则具有公共速率R0的速率3元组 R0 R1 R0 R2 R0 是可实现的 当衰落广播信道存在公共信息时 由于这里的编码机制使得接收效果较好的收端 能译码发送给接收效果较差的收端的所有信息 因此不需要为防止信道干扰减少发送给接收效果较好的收端的信息量 定理7 4对此做出了说明 定理7 4如果衰落广播信道传送独立信息时的可达速率对为 R1 R2 假设R0 R2 则具有公共速率R0的速率3元组 R0 R1 R2 R0 是可实现的 52 7 2广播信道 例7 6假设有如图7 13所示的广播信道 它由参数分别为p1和p2的两个二进制对称信道组成 图7 13二进制对成广播信道 53 7 2广播信道 解在计算容量时 不失一般性 可以认为该信道是物理衰落信道 假设p1 p2 1 2 则可以把参数是p2的二进制对称信道看作是参数为p1的二进制对称信道与另一个二进制对称信道的级联 假设这个新引入的信道的交叉传输概率为 于是有p1 1 1 p1 p2或 以参数U表示能被收端区分的信息区域的中心 由对称性可知 可以用一个参数为 的二进制对称信道将U与X相连接 如图7 14所示 54 7 2广播信道 图7 14物理衰落二进制对称广播信道 55 7 2广播信道 由对称性可知 当U中的 0 1 呈等概分布时 系统的速率可以达到最大 因此有I U Y2 H Y2 H Y2 U 1 H p2 这里 p2 1 p2 1 p2类似的有I X Y1 U H Y1 U H Y1 X U H Y1 U H Y1 X H p1 H p1 这里 p1 1 p1 1 p1以 为参数 我们就得到如图7 15所示的容量区域图 当 0时 传送给Y2的信息量达到最大值 此时有