Chap4 思考题与习题.pdf

Chap4 思考题与习题 参考答案参考答案 4 1 设无记忆信源 1 0 1 1 3 1 3 1 3 X p x 接收符号集AY 1 2 1 2 失真矩阵 12 11 21 D 试求 和及达到 时的转移概率矩阵 DmaxDminDmaxDmin 解 max 1122114 min min 3333333 Uv P u d u D 而最小平均失真 3 min 1 1 min 1 1 11 3 iij i Pd uuD max 达到的信道为 D 10011 10 01101 10011 ji P u 或 达到的信道为 minD 10 1010 11 01 10 22 0101 01 ji P u 或 4 2 已知二元信源 0 1 1 X p xpp 以及失真矩阵 01 10 ij d 试求 1 2 3 DminDmaxR D 解 1 min 00 1 0pp D 达到的信道为一个一一对应的无噪信道 所以 R 0 I U V H U H p Dmin 2 最大允许失真度为 max min min 1 U P u d upp D 如果p1 2 1 p maxD 3 因为是二元对称信源 所以 0R DH pH DDp 4 4 设一个四元等概信源 接收符号集为 0123 0 50 50 50 5 X p x 0 1 2 3 Y A 失真矩阵 定义为 求及信源的 0111 1011 1101 1110 D maxmin DD R D函数 并作出率失真函数曲线 取4到5个点 解 最大允许失真度为 max 13 min min 1 1 4 U P u d upp r D 最小允许失真度 min 0 D 因为是四元对称信源 又是等概率分布 所以根据r元离散对称信源可得 3 log4 Dlog3 H D 0D 4 R D 3 0 D 4 为画出其曲线 取 D 0 R D 2 1 D R D 1 2583 8 1 D R D 0 7925 4 1 D R D 0 7952 2 3 D R D 0 2075 5 比特 符号 比特 符号 比特 符号 比特 符号 3 D R D 0 4 比特 符号 比特 符号 得如图所示的R D 曲线图 4 5 某二元信源 其失真矩阵定义为 01 0 50 5 X p x 0 0 a D a 求该信源的 和 max D min D R D函数 解 最大允许失真度为 max 1111 min min 0 1 2222 U a P u d uaa D 2 最小允许失真度 min 0 D 我们引进一个 反向 试验信道 设反向信道的信道矩阵为 1 1 DD P DD 可计算得 11 0 1 22 PP 因为0 0 2 DP1 2 4 6 具有符号集U u0 u1 的二元信源 信源发生概率为 p u0 p p u1 1 p 信道如 下图所示 接收符号集V v 01p 0 v1 转移概率为 00 q v u1 11 1q v uq 发出符号与接收符 号的失真 d u0 v0 d u1 v1 0 d u1 v0 d u0 v1 1 1 计算平均失真D 2 率失真函数 R D 的最大值是什么 当 q 为什么值时可达到该最大值 此时平均失真 D 是多 大 3 率失真函数 R D 的最小值是什么 当 q 为什么值时可达到该最小值 此时平均失真 D 是多 大 4 画出 R D D 的曲线 解 1 1 UV DP ud up q 2 根据题4 5 可知R D 的最大值为H p 此时q 0 平均失真D 0 3 R D 的最大值为0 此时q 1 平均失真D 1 p 4 7 设连续信源X 其概率密度分布为 2 a x a p xe 失真度为 试求此信源的 d x yxy R D函数 解 解 令xy 1 2 1 2 2 s s ss s s d s Dd s e g e e e 求出 s g 的傅立叶变换 2 22 2 2 3 4 jw s s wd Q wP wP w s g Ge sw w s 得 求式 4 的傅立叶反变换 又根据式 2 得 2 3 2 5 6 22 a xa x p yp xyxy a p yee p D a D 所以 2 1 loglog 2 2 L s R DDh uh ae g R eD 当 5 式大于零时 2 1 loglog 2 2 R Dae eD 4 8 利用 R D的性质 画出一般 R D的曲线并说明其物理意义 试问为什么 R D是非负且非增 的 解 物理意义 D是允许的失真度 R D 是对应于D的一个确定信息传输率 对于不同的允许失真D R D 就不同 R D 的非负性 根据 R D 的定义知 R D 是在一定的约束条件下 平均互信息 I U V 的极小值 已知 I U V 是非负的 其下限值为零 由此可得 R D 也是非负的 它的下限值也为零 R D 的非增性也是容易理解的 因为允许的失真度越大 所要求的信息率可以越小 根据 R D 的 定义 它是在平均失真度小于或等于允许失真度 D 的所有信道集合 BD 中 去 I U V 的最小值 当允 许失真度 D 扩大 那么 BD 的集合也扩大 当然仍包含原来满足条件的所有信道 这时再扩大的 BD 集 合中找 I U V 的最小值 显然是或者最小值不变 或者变小 所以 R D 是非增的 4 9 设有矢量信源 其各分量 XN kk 0 2 kK 12 是K个独立的随机变量 失真 试证 在此条件下 K k kkKK xxxxxxxxd 1 2 2121 R D D k k k K log 1 2 2 1 其中 Dk k kk 当 当 2 22 满足 DD k k K 1 证明 min m m R DI X X 1 11 11 1 1 2 1 1 max log 0 1 2 mm mmm mm a m iii ii mm b m ii ii m i i m c i i md i i Ihh hh hh i I i R D XXX XX xx xx x xx x x D 其中 2 i E i X D X 上式推导中 a 熵计算的链法则 b 条件减少使熵增大 c 率失 真函数定义 d 高斯变量的率失真函数 式中有两个不等号 其中 b 1 m m iii i qq x xx x 当时 等号成立 c 当每个时 等号成立 2 0 ii i N DX 所以式 1 的等号是可以达到的 进一步对于各分量分配失真量使速率进一步减小 即求 1 2 1 1 minmax log 0 2 m i i m i i D R D D D 利用拉格朗日乘子寻找最佳失真分配方案 为此构成目标函数 2 11 1 log 2 mm i i ii J D D D 对微分且令之为零 得 iD 1 1 0 2 i i J D D m D D 或 这表示当失真分配给各分量时 最佳分配方案是每个分量等失真 但这仅当 2 min i i D m 时 才可行 当某个分量的 2 i 小于 D m 时就不行了 必须利用 K T 条件来解 即选 使 2 2 0 1 1 2 0 ii i ii J D D D D 所以 R D D k k k K log 1 2 2 1 其中 Dk k kk Ct 根据信道编码定理 不论进行任何编码此信源不可能在此信道中实现无错误地传输 所以信源在此 信道中传输会引起错误和失真 2 若设此信源的失真度为汉明失真 因为是二元信源 输入是等概率分布 所以信源的信息率 失真函数 R D 1 H D 比特 信源符号 Rt D 2 66 R