第3章习题.pdf

3 2 信道线图如下 试确定该信道的转移概率矩阵 d c a b j i h f g e 0 0001 0 0009 0 15 0 3 0 04 0 009 2 0 3 0 3 0 15 0 04 0 009 0 0009 0 0001 0 2 0 3 0 解 按照转移矩阵的排列原则 行对应输入符号 列对应输出符号 0 20 30 30 150 040 0090 00090 0001 0 00010 00090 0090 040 150 30 30 2 3 3 DMC的转移矩阵如下 0 60 30 1 0 30 10 6 Y X P 1 画出信道线图 2 若输入概率为 0 50 5 X P 求联合概率 输出概率以及后验概率 解 1 0 6 0 3 0 1 0 6 0 3 0 1 2 1 P a 乘以 XY P的第 1 行 2 P a乘以 XY P的第 2 行 得联合概率矩阵 XY P 0 30 150 05 0 150 050 3 XY P XY P的各列元素相加得对应的输出概率 写成矩阵形式 0 450 200 35 Y P XY P的各列元素除以对应的输出概率 得后验概率矩阵 2 33 41 7 1 31 46 7 X Y P 3 4 设离散无记忆信源X通过离散无记忆信道 Y X X PY传送信息 设信源的概率分 布和信道的线图分别为 苏杭老师课件 4 06 0 21 aa P X 1 a 2 a 1 b 2 b 0 8 0 9 0 2 0 1 试求 1 从输出符号 1 2 j bj 所获得的关于输入符号 1 2 i a i 的信息量 2 信源X和信道输出Y的熵 3 信道疑义度 H X Y和噪声熵 H Y X 4 从信道输出Y中获得的平均互信息量 解 1 YXY X PPP 0 80 2 0 60 40 520 48 0 10 9 11111 I a bI bI b a 0 94340 32190 6215 bit 符号 12221 I a bI bI b b 1 05892 32201 2631 bit 符号 21112 I a bI bI b a 0 94343 3222 3786 bit 符号 22222 I a bI bI ba 1 05890 15200 9609 bit 符号 2 0 6 0 73700 4 1 32200 971 H X bit 符号 0 52 0 94340 48 1 05890 9988 H Y bit 符号 3 4 1 0 8 0 2 0 8 0 32190 2 2 32200 7219 H Y aH bit 符号 2 0 1 0 9 0 1 3 3220 9 0 1520 469 H Y aH bit 符号 0 6 0 72190 4 0 4690 6207 H Y X bit 符号 0 99880 62070 3781 I X YH YH Y X bit 符号 又根据 I X YH XH X Y H X YH XI X Y 0 971 0 37810 5929 bit 符号 苏杭老师课件 3 6 举出下列信道的实例 给出线图和转移矩阵 1 无损的 但不是确定的 也不是对称的 2 准对称且无损 但不是确定的 3 无损的确定信道 解 1 满足 0 H X Y 无损 0 H Y X 不确定 不具有行列排列性 线图和转移矩阵如下 1 a 1 b 1 2 a 2 b 3 b 0 5 0 5 100 00 50 5 Y Z P 2 无损要求 0 H X Y 不确定要求 0 H Y X 具有行排列性 线图和转移矩阵如 下 1 a 1 b 0 4 0 6 2 b 2 a 3 b 0 4 0 6 4 b 0 40 600 000 60 4 Y Z P 3 无损 确定信道的线图和转移矩阵如下 1 a 1 b 1 2 a 2 b 1 10 01 Y X P 苏杭老师课件 3 8 求下列二个信道的信道容量及其最佳的输入概率分布 1 a 2 a 1 b 2 b 3 b 4 b 1 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 a 2 a 1 b 2 b 0 98 0 02 0 98 0 02 解 图中 2 个信道的信道矩阵为 1 1111 3636 1111 6363 P 2 0 980 02 0 020 98 P 矩阵为行列排列阵 其满足对称性 所以这两信道是对称离散信道 由对称离散信道 的信道容量公式得 1 1111 log4 0 0817 3636 CH 比特 符号 2 log20 02 0 980 858 CH特 符号 最佳输入分布是输入为等概率分布 3 10 信道及它的输入 输出如图题 3 1 所示 11 00 1 1 图题 3 1 10 1 Y X P 0 1 X Y 1 求最佳输入分布 2 求 1 2 时信道容量 3 求当0 和1 时的最佳输入分布值 解 设 0 P Xp 则 1 1P Xp 苏杭老师课件 由全概率公式 可得 0 1 P Yp 1 1 11 1 P Yppp 记1 为 则 0 P Yp 1 1P Yp 输出熵为 1 H YH pp 噪声熵为 1 1 0 0 1 1 H Y XP XHP XHpH 信道给定 平均互信息是输入分布 p 的上凸函数 1 1 1 1 I X YH YH Y XH pppH H pppH I X Y 关于 p 必有最大值 首先通过求导得出极值点 为此 令 2 222 log 1 log 1 1 1 log 1 1 loglog 1 log 1 0 dI X Yd pppppH dpdp p H p p p 整理可得 1 22 loglog 1 1 p p 即 1 1 1 p p 解得 1 1 1 1 1 1 1 1 1 p 那么最佳输入分布为 1 1 0 1 1 p X 1 1 1 1 1 1 p X 苏杭老师课件 2 1 2 时 代入 p 的表达式 可得 2 5 p 所以 2 12 121 1 1 5 25 252 2 1 42 5 55 0 72190 4 0 3219 CH YH Y X HH H 比特 符号 3 记 1 A 则 1 000 limlimlim1A 00 11 limlim 1 1 1 12 A p A 所以0 时Z信道线图趋于一个无噪无损信道 当输入等概时达到信道容量 等效信道如下 1 1 00 11 当1 时 原信道趋近于信道 00 1 1 1 此时 000I X YH YH Y X 那么0C 无所谓最佳输入分 布 任意输入分布均可使信道达到该信道容量 苏杭老师课件 3 12 二元删除信道有两个输入 0 1 和 3 个输出 0 1 E 其中E表示可检出但无 法纠正的错误 信道前向转移概率是 0 01p 0p E 100p 010p 1p E 111p 求信道容量C 解 信道线图如下 00 11 1 1 E 其转移矩阵为 10 01 该矩阵具有行排列性而不具有列排列性 信道是一个准对称信道 把该矩阵划分为 2 个子集 如下 10 01 可得 2r 2n 1 2s 2 1s 1 1M 2 2M 则 12 1 log 1122 2log1log 0 1 2222 1 n kk ks k MM CsH p pp rr H bit 符号 3 17 设二元对称信道的输入概率分布为 3 41 4 X P 转移矩阵为 2 31 3 1 32 3 Y X P 1 求信道输入熵 输出熵 损失熵 噪声熵以及平均互信息量 2 求信道容量和最佳输入分布 3 求信道剩余度 解 1 利用输入概率矩阵和转移概率矩阵可得输出概率矩阵 2 31 37 12 3 41 4 1 32 35 12 YXY X PPP 苏杭老师课件 32 0 00 6 43 00 7 0 7 12 P XP YX P XY P Y 11 1 01 1 43 10 7 0 7 12 P XP YX P XY P Y 31 0 10 3 43 01 5 1 5 12 P XP YX P XY P Y 12 1 11 2 43 11 5 1 5 12 P XP YX P XY P Y 341 loglog40 811 434 H X bit 符号 损失熵 log XY H X YP X P Y XP X Y 326111313122 loglogloglog 437437435435 0 111 0 2340 1840 220 0 749 bit 符号 噪声熵 log XY H Y XP X P Y XP X Y 322111311122 loglogloglog 433433433433 0 390 0 528 0 918 bit 符号 平均互信息 I X YH XH X Y 0 811 0 749 0 062 bit 符号 输出熵 7575 0 77761 2631 12 121212 H YH 0 4536 0 5363 0 9899 bit 符号 2 该信道为二元对称信道 2 1 log2 0 082 3 3 CH bit 符号 3 信道剩余度 0 0820 0620 020CI X Y bit 符号 苏杭老师课件 3 20 设在平均功率受限高斯可加波形信道中 信道带宽为 3kHz 又设 信号功率 噪 声功率 噪声功率 20 dB 1 试计算该信道传送的最大信息率 单位时间 2 若功率信噪比降为 5dB 要达到相同的最大信息传输率 信道带宽应是多少 解 1 平均功率受限高斯可加波形信道 其W 3kHz 由题意可知 10 10log120 S N P P 得到 1100 S N