西安交通大学 信息论与编码 习题 作业.pdf

信息论第一章习题信息论第一章习题 1 1 设某班学生在一次考试中获优 A 良 B 中 C 及格 D 和不及 格 E 的人数相等 当教师通知某甲 你没有不及格 甲获得了多少比 特信息 为确定自己的成绩 甲还需要多少信息 1 2 一个号码锁有 3 个数字 每个数字可设置为 0 99 含 0 和 99 中的任何一 个整数值 试计算打开该锁所需的信息 1 3 中国国家标准局所规定的二级汉字共 6763 个 设每字使用的频度相等 求 一个汉字所含的信息量 设每个汉字用一个1616 的二元点阵显示 试计算 显示方阵所能表示的最大信息 显示方阵的利用率是多少 1 4 一信源有 4 种输出数符 3 2 1 0 iiXi 且4 1 i X P 设信源向信宿发 出 3 X 但由于传输中的干扰 接收者收到 3 X 后 认为其可信度为 0 9 于 是信源再次向信宿发送该数符 3 X 信宿无误收到 问信源在两次发送中 发出的信息量各是多少 信宿在两次接收中得到的信息量又各是多少 提 示 先计算第二次传输中收 发的信息量 1 5 一信源有 6 种输出状态 概率分别为 5 0 A P 25 0 B P 125 0 C P 05 0 ED PP 025 0 F P 试计算 XH 然后求消息ABABBA和FDDFDF中的信息量 设信源先后发 出的符号相互独立 并将之与6位消息的信息量期望值相比较 1 6 重做1 5题 但取 4 0 A P 2 0 B P 12 0 C P 1 0 ED PP 08 0 F P 1 7 两 个 信 源 1 S和 2 S均 有 两 种 输 出 1 0 X和1 0 Y 概 率 分 别 为 2 1 10 XX PP 4 1 0 Y P 4 3 1 Y P 试计算 XH和 YH 设 1 S发出 序列0101 2 S发出0111 如传输过程无误 第一个字符传送结束后 相应 的两个信宿分别收到多少信息量 当整个序列传送结束后 收到的总信息量 及平均每次发送的信息量又各是多少 设信源先后发出的数字相互独立 1 8 从普通的52张扑克牌中随机地抽出一张 a 当告知你抽到的那张牌是 红桃 人头 红桃人头时 你所得的信息各 是多少 b 如果已知那张牌是红人头 为确切地知道是哪张牌 还需要多少信息 1 9 若以5作为信息量对数的底 试求该信息量单位与比特 bit 和奈特 nat 的换算关系 1 10 掷2颗均匀的骰子 当和为2 7 11时 所含的信息量各是多少 1 11 掷5次均匀的钱币 当结果是 正反正反反 和 两正三反 时 信息量 各是多少 信息论第二章习题信息论第二章习题 2 1 设用 ASCII 码传送英文单词 so s 和 o 的 ASCII 码分别是 115 和 111 a 设所有 ASCII 字符出现的概率相同 且字符间不相关 求 so 所携带 的信息量 b 如信源产生 so 所花费的时间是 1 ms 求信源的信息速率 设信源以恒定速率产生字符 2 2 设以 8000 samp sec 的速率抽样一语音信号 并以25628 M级对抽样均匀 量化 设抽样值取各量化值的概率相等 且抽样间相互统计独立 a 求每 抽样的信息熵 b 求信源的信息速率 c 如以 10 进制数表示的M 进制 抽样序列为 126 24 53 求以二进制数表示时 该M 进制序列的形式 d 它所对应的二进制序列的长度是多少 2 3 一幅标准的黑白电视图像有 2 6253 4 个象素 如每个象素的灰度电平用一 个256进制的整数符表示 一幅画面所含的信息量为多少 设灰度取各电 平级的概率相等 且象素间统计独立 如摄像机的扫描速度为25幅画面 秒 求摄像机产生的信息率 设各画面互不相关 它相当于多少路话音源 的信息率 2 4 设 一 连 续 无 记 忆 信 源 产 生 数 符 0 AX 其 概 率 密 度 函 数 为 1 abxp Abxa 0 求X的相对信息熵 XH 在什么条件 下 0 XH 它的含义是什么 2 5 一信源产生的时不变波形信号 即信号统计特性不随时间而变 的带宽 4 WkHz 幅度分布为 0 xexp x 试求该信源的输出信息率 2 6 设某离散一阶记忆信源以速率r产生数符 0 AX 其概率分布为 3 2 3 1 10 XX PP 但当第1 i个数符已知时 第i个数符的概率分布变 为 12 7 1 1 5 12 1 0 6 5 0 1 1 6 0 0 11 11 iiii iiii XXPXXP XXPXXP 求X的信息熵 XH和条件信息熵 1 ii XXH 以及信源的信息率R 如 使序列通过一扰码器 扰乱后的序列的信息率是多少 信息论第三章习题信息论第三章习题 3 1 试画出三元对称信道在理想 无噪声 和强噪声 输出不依赖于输入 情 况下的信道模型 设信道输入等概分布 3 2 设一个二元信道及其输入如图 P3 1 所示 试计算 1 0 yxI YxI 1 和 YXI X Y 2 00 P 0 8 01 P 图图 P3 1 3 3 设一时间离散 幅度连续的无记忆信道的输入是一个零均值 方差为E的 高斯随机变量 信道噪声为加性高斯噪声 方差为W 1 2 信道传输速 率为8000r 数符 秒 如令一路电话通过该信道 电话机产生的信息率为 64 kbits sec 求输入信号功率E的最小值 3 4 图P3 2给出了一个非线性二元信道 试证明 1 1I X Yppp 其中 x x x xx 1 1 log1 1 log pxP pxP 1 2 1 图图 P3 2 3 5 当0 时 图P3 2中的信道称为Z 信道 利用题3 4的结果证明 如果 0 7 0 3 0 1 0 9 0 1 1 1 1 1 x 1 y 2 x 2 y 2 1 则在 5 2 p时 YXI 达到最大 然后求出在此条件下的信道容 量C 3 6 二元删错信道有二个输入 0 1 和三个输出 0 1 E 其中E表示可 检出但无法纠正的错误 信道前向转移概率是 1111010 0010100 PEPP PEPP 求信道容量C 3 7 设某二进制数字传输系统接收判决器的输入信号电平 噪声密度分布 及 判决电平如下图P3 3所示 试求 a 信道模型 b 互信息 c 信道容量 对称pdf 判决 0 1 发 0 发 1 发送信号 接收信号电平分布 门限 图图P3 3 3 8 证明不等式 3 3 11 和 3 3 12 教科书中p 84 85 性质2和性质3 提 示 对于 3 3 11 令 为定义区间内任意二点 而 1为 与 之间一点 然后利用泰勒 Taylor 级数 将x在 点展开 yffff 2 2 其中 UH L uI P L 1 a 求当10 1 05 0 时 为使 1 式满足 L的下界 提示 用契比 雪夫不等式 b 对于 63 10 10 重做 a c 令A是满足 s 0 r 10 0 0 1 1 2 2 1 2 1 2 1 2 1 2 1 2 1 2 0 0 1 2 2 3 3 4 4 1 a 1 1 i ii PQ 当且仅当对于所有i ii QP 时 上式取等号 提示提示 先证明左边是 的凹函数 再取0 和1 b Holder不等式 1 1 1 1 i i i i i ii baba 当且仅当对于所有i和某个c cba ii 1 时 上式取等号 提示提示 定义 i iii aaQ 1 1 和 i iii bbP 1 1 1 1 然后利用 a 当2 1 时 holder不等式变为柯西 Cauchy 不等式 将离散求和变为连续积分 它即施瓦兹 Schwarz 不等式 c Holder不等式变形 1 1 1 1 1 i ii i ii i iii bPaPbaP 当且仅当对于所有i和某个c cbPaP iiii 1 时 上式取等号 提示提示 在 b 中用 ii aP 替代 i a ii bP 1 替代 i b d 1 1 raP raPaP i r ii i r ii r i ii 当且仅当对于所有0 i P i a为常数时 上式取等号 提示提示 对于1 r 在 c 中取1 i b 对于1 r 在 c 中用 r i a替代 i a e Holder不等式变形 2 sraPaP s i s ii r i r ii i P i a为常数时 上式取等号 提示提示 在 c 中取1 i b sr f 1 1 ra raa i r i i r i r i i 当且仅当1 r或只有一个 i a不为0时 上式取等号 注意 d 和 f 的 区别 提示提示 令 iii aaP 然后考虑右边项与左边项之比 g Minkowski不等式 令0 jk a KkJj 1 1 则有 1 1 1 1 1 ra raa k r j r jk k r j r jk r j r k jk 当且仅当 jk a独立于k时 上式取等号 提示提示 对于1r 令rr 并用 g 取1 r 再用 r jk