第三章习题.pdf

第三章习题 3 8 设 是两个相互统计独立的二元随机变量 它们的取值为等概率分布 定义另一 个二元随机变量 是模二和运算 即 试计算 Y 解 是两个相互统计独立的二元随机变量 其概率空间分别为 010 1111 2222 xxyy XY P xP y 1 0 1 XYZ XYZ 时 时 因为 模二和运算 所以 的概率空间为 01 11 22 zz ZXY P z 2 1 1111 log loglog 1 2222 ii i p xp x 1 H X bit symbol 2 1 1111 log loglog 1 2222 jj j p yp y H Y bit symbol 2 1 1111 log loglog 1 2222 kk k p zp z bit symbol H Z 2 p xy p x p y x 111 224 p x 0 y 0 p x 0 p y 0 x 0 p x 0 p y 0 111 224 p x 0 y 1 p x 0 p y 1 111 224 p x 1 y 0 p x 1 p y 0 111 224 p x 1 y 1 p x 1 p y 1 log ijij i j p x yp x y H XY 2 bit symbol 111 224 p x 0 z 0 p x 0 p z 0 x 0 p x 0 p y 0 x 0 111 224 p x 0 z 1 p x 0 p z 1 x 0 p x 0 p y 1 x 0 111 224 p x 1 z 0 p x 1 p z 0 x 1 p x 1 p y 1 x 1 111 224 p x 1 z 1 p x 1 p z 1 x 1 p x 1 p y 0 x 1 log ijij i j p x yp x y 2 bit symbol H XZ 同理 H YZ 2 bit symbol p xyz p xy p z xy 111 1 224 p x 0 y 0 z 0 p x 0 y 0 p z 0 x 0 y 0 p x 0 y 0 z 1 0 p x 0 y 1 z 0 0 111 1 224 p x 0 y 1 z 1 p x 0 y 1 p z 1 x 0 y 1 p x 1 y 0 z 0 0 111 1 224 p x 1 y 0 z 1 p x 1 y 0 p z 1 x 1 y 0 111 1 224 p x 1 y 1 z 0 p x 1 y 1 p z 0 x 1 y 1 p x 1 y 1 z 1 0 log ijkijk i j k p x y zp x y z H XYZ 2 bit symbol 3 H X Y H XY H Y 2 1 1 bit symbol H X Z H XZ H Z 2 1 1 bit symbol H Y Z H YZ H Z 2 1 1 bit symbol H X Z H ZX H X 2 1 1 bit symbol H Z Y H ZY H Y 2 1 1 bit symbol 4 H X YZ H XYZ H YZ 2 2 0 bit symbol H Y XZ H XYZ H XZ 2 2 0 bit symbol H Z XY H XYZ H XY 2 2 0 bit symbol 5 I X Y H X H X Y 1 1 0 bit symbol I X Z H X H X Z 1 1 0 bit symbol I Y Z H Y H Y Z 1 1 0 bit symbol 6 I X Y Z H X Z H X YZ 1 0 1 bit symbol I Y X Z H Y Z H Y XZ 1 0 1 bit symbol I Z Y Z H Z Y H Z XY 1 0 1 bit symbol I Z Y X H Z X H Z XY 1 0 1 bit symbol 7 I XY Z H Z H Z XY 1 0 1 bit symbol I X YZ H X H X YZ 1 0 1 bit symbol I Y XZ H Y H Y XZ 1 0 1 bit symbol 3 11 求下列二个信道的信道容量 并加以比较 2 2 pp pp 20 02 pp pp 1 2 1pp 其中 解 1 该信道传递矩阵是准对称信道 可分为 2 2 pp pp 根据课本 3 80 3 81 3 82 可计算出 12 12 1 22 1 24 NN MM 得信道容量为 log2 2 1 2 log 1 2 2 log4 1 log log 2 log2 1 2 log 1 2 2 log4 1 2 log log 1 2 log 1 2 CH pp pppp pppp 2 从信道传递矩阵可以看出该信道是准对称信道 可分为 20 02 pp pp 根据课本 3 80 3 81 3 82 可计算出 12 12 1 22 1 22 NN MM 得信道容量为 log2 2 1 2 log 1 2 2 log2 1 log log 2 log2 1 2 log 1 2 2 log2 1 log log 1 2 log 1 2 CH pp pppp pppp 21 2CC 两者的信道容量比较 1 0 2 和3 12 求图 3 36 中信道的信道容量及最佳的输入概率分布 并求当时的信道容 量 C Y 0 X 0 1 1 2 2 1 1 1 100 01 01 解 由图可以写出信道传输矩阵 此信道非对称信道 也非准对称信道 但此信道据政是非奇异矩阵 又 r s 可以用方程组 求解 根据 3 99 式 33 11 log jijjiji jj p b ap b ab a 1 23 23 123 11 log1 0 1 1 log 1 log 1 log 1 log 1 0 1 log 1 log 解得 根据 3 100 1 2 3 0 1 log 1 log1 1 2 3 1 11 2123 32 log2log 22 2 log 12 22 22 22 1 0 1 1 jH j CC CHC CHC r jiji i C p b p b p b p bp a p b a p bp a p bp ap ap a p bp ap 根据得 3 1 a 最佳输入分布为 11 2323 2 2 C HC p ap b p ap ap bp b 0 当时 此信道为一一对应信道 C log 1 2 log3 p a1 p a2 p a3 2 log3 1 3 1 2 当时 得 1 1 1 C log2 p a1 2 1 2 p a2 p a3 2 1 4 3 13 试证明 准对称信道的信道容量也是在输入为等概率时达到 并求出信道容量的一般 表达式为式 3 80 证明 设 12 12 n n YYY P QQQ 将输出符号集 Y 分成若干个子集 为 并有 12 n Y YY 12 12 n n YYYY YYY 每个子集对应的矩阵都是对称矩阵 i Y i Q 设 1 ir xX xx 有 1 log log log i iii YYY P y x i I x YP y xP y xP y xP y xP y P y 12n PP P 因为 P 是r阶准对称矩阵 P 中的行元素是由s 排列组成 所以 log i Y P y xP y x ii 与x无关 12n log PP P1 ii Y P y xP y xHir log log ii YYX P y xP yP y xP x P y x 对于 ii 1 i P x r 则 设 1 1 log 1 log 1 log n ii YX ii y YX ii y YX P y xP y x r P y xP y x r P y xP y x r 后一项 因为是对称矩阵 1 QQ n 1 1 i X i inn X P y xMyY x P y xMyY 都与 无关所以 i M其中是当 y 固定 时 第 i 个子矩阵中列元素之和 i Q i x它是一个常数 与无关 1 1 n i y Y in y Y P y xN P y xN 其中表示 i N i x固定时 中行元素之和 它也是常数 i Q 12 12 1 log logloglog log i Y n n n k k k P y xP y MMM NNN rr M N r 所以 r 12s 1 12s 1 PP Plog logPP Plog n k ik k n kk k M I x YHN r rHNM C 常数 所以 根据定理 3 3 有 12s 1 logPP Plog n kk k CrHNM 而当输入等概率分布时达到信道容量 3 14 由m 个离散信道的和组成一个信道矩阵 该信道矩阵 Q 为 12 m Q QQ 1 2 0 0 m Q Q Q 设Ci是第i个信道的信道容量 试证明 这个和信道的信道容量为 2 log2 i C i C 比特 符号 i P2 i CC 时达到信道容量 C 并且当其中每个信道 i 的利用率 证明 信道矩阵为 1 2 0 0 m Q PQ Q X 12 m XXX 划分成若干个子集 使 把输入符号集 123 12 m m XXXXX XXX 1 11 Q 1 XYx X设通过传送到 1 Q 1 yY 2 22 Q 2 XYx X设通过传送到 2 Q 2 yY m Q mmm XYx X设通过传送到 m Q m yY 由此得输出符号集也被分成若干个子集 Y 12 m Y YY 也满足 12 12 m m YYYY YYY 并设每个分信道利用率为 1 2 i P im 则 12 1 2 12 1 m m m x Xx Xx Xx X P xPPxP PxP Px 其中每个分信道的输出概率分布为 i Px 12 11 2 1 i i x X m Pxim PPP 设原来第i个信道容量为Ci 以及其最佳输入分布为 i Px 1 1 m m 1 11 1 m m mm m Px log 1 Px log i i ii y Y x X i i ii y Y x X xX P y x I x YP y xC Px P y x xX P y x I x YP y xC Px P y x 1 当时 使 当时 使 2 则 再设它们的和信道的信道容量为 C 以及最佳输入分布为 P x i xX 当时 使 log 3 i ii y Y x X P y x I x YP y xC P x P y x 因为矩阵的特殊结构 P 1i xX 当时 3 yYP m YYP 1i 2i 只有 y x 0 yYy x0 1 1 m m i1 im x log 4 x log 5 i ii y Y x X i ii y Y x X X P y x I x YP y xC P x P y x X P y x I x YP y xC P x P y x 当时 3 式可变形为 同理时 根据P x 与每个信道的利用率Pi和各信道最佳输入分布的关系 由 4 5 式得 1 1 11 1 1 1 1 1 log 6 log 7 6 log logP C m m i ii y Y x X i ii m y Y m x X i ii y Yy Y x X P y x I x YP y xC PPx P y x P y x I x YP y xC P Px P y x P y x P y xP y x Px P y x 式可化简为 1 2 1 1 m1 122 1 i Clog2 Clog2 Clog2 1log2 bit symbol 2 m i i CC CC CC CC m ii CC CP CP CP PPPC PC i 11 22 m m C 代入 1 式得 P 同理得 P P