信息论编码作业.doc

2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数中至少有一个是1的自信息量。2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？2.3 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？2.5黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。假设图上黑白消息出现前后没有关联，求熵H(X)；2.6 有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X) H(Z), H(Y) H(Z)。2.7 消息源以概率发送5种消息符号。（1） 若每个消息符号出现是独立的，求每个消息符号的信息量。（2） 求该符号集的平均信息量。2.8 设离散无记忆信源，其发出的信息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？2.9 汉字电报中每位十进制数字代码的出现概率如题9表所示，求该离散信源的熵。题9表数字0123456789概率0.260.160.080.0620.060.0630.1150.0620.0480.0522.10 设信源，求这个信源的熵，并解释为什么H(X) log6不满足信源熵的极值性。2.11 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？2.12 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算, )及；(3) 试计算并写出信源中可能有的所有符号。2.13 设信源发出二重延长消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如题13表所示，求该二次扩展信源的共熵H（XY）。ABC1/21/31/6D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62.14 设有一概率空间，其概率分布为并有。若取，其中，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。3.1 设有一离散无记忆信源，其概率空间为它们通过一干扰信道，信道输出端的接收符号集Y = 0 1，信道转移矩阵为，求：(1) 信源X中事件X1和事件X2分别包含的自信息量；(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量；(3) 输出符号集Y的平均信息量H(Y)；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；(5) 接收到信息Y后获得的平均互信息量。3.2 设有扰离散信道的输入端是以等概出现的A、B、C、D四个字母，该信道的正确传输概率为1/2，错误传输概率均匀分布在其他三个字母上，验证在该信道上每个字母传输的平均信息量为0.21比特。3.3 设有下述消息将通过一个有噪二元对称信道传送，消息为：,，这四种消息在发送端是等概的。试求：（1） 输入为，输出第一个数字为0的互信息量是多少？（2） 如果知道第二个数字也是0，这是又带来多少附加消息？3.4 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D，每个二元码元脉冲宽度为5ms。试求：（1） 不同字母等概出现时，计算传输的平均信息速率？（2） 若每个字母出现的概率分别为，。试计算传输的平均信息速率。3.5 设有一批电阻，按阻值分70%是2K，30%是5 K；按瓦分64%是0.125W，其余是0.25W。现已知2 K阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？3.6 设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其最佳输入分布；3.7 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。3.8 设有扰信道如题8图所示，试求此信道的信道容量及最佳输入分布。3.9 求图3.35中信道的信道容量及其最佳的输入概率分布。3.10 有一个二元对称信道，其信道矩阵为。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？41什么是信源编码，试述香农第一编码定理的物理意义？42若有一信源 每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损失），而信道每秒钟只传递2个二元符号。试问信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何种编码，为什么？4 3 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E、和F。（1） 求这些码中哪些是惟一可译码。（2） 对所有惟一可译码求出其平均码长。4.4 已知一信源包含8个消息符号，其出现的概率为：(1) 该信源在每秒钟内发出1个符号，求该信源的熵及信息传输速率。(2) 对这8个符号作霍夫曼编码，写出个代码组，并求出编码效率。45 某信道输入符号集为，输出符号集为，信道矩阵为，现有四个消息的信源（消息等概出现）通过该信道传输。对该信源编码时选用，码长n4，并选取如下的译码规则：。问：（1） 编码后信息传输率等于多少？（2） 证明在该译码规则下，对所有码字有4 6一离散无记忆信道，其信道矩阵为 （1）计算信道容量C。（2）找出一个码长为2的重复码，其信息传输率为（即5个码字）。如果按最大似然译码准则设计译码器，求译码器输出端的平均错误概率（输入码字等概率）。47何谓单符号失真度、平均失真度？试举例说明之。48信息率失真函数R（D）如何定义？为什么R（D）反映了信源的可压缩程度。8当的R0=1，Rl=0.91，R2=0.9，R3=0.85，p=3，试利用levinsonDuibin迭代法求al，a2，a3及El，E2，E3。10已知某信源的协方差矩阵，试计算DCT变换后的。12设信源符号集 （1）求H(s)和信源剩余度。 （2）设码符号为X = 0，1，编出S的紧致码，并求出紧致码的平均码长。 （3）把信源的N次无记忆扩展信源SN编成紧致码，试求当N=2，3，4，时的平均码长。 （4）计算上述N=1，2，3，4这四种码的效率和码剩余度。15有二个信源X和Y如下： （1）分别用霍夫曼码编成二元惟一可译码，并计算其编码效率。（2）分别用香农编码法编成二元惟一可译码，并计算编码效率（即选取是大于或等于的整数）。（3）分别用费诺编码方法编成二元惟一可译码，并计算编码效率。（4）从X，Y两种不同信源来比较这三种编码方法的优缺点。第五章1令C是既有偶数重量又有奇数重量码字的线性码，证明偶数重量码字的数目等于奇数重量码字的数目。 2证明汉明距离满足三角不等式，即令x，y，z是三个二元n重码矢，则有d（x，y）+ d（y，z）d（x，z） 3证明一个线性码，若它的最小距离d0e + t + l，则可纠正t个以内的错误，且同时可检测e（e t）个以内的错误。 4已知一码的8个组为（000000），（001110），（010101），（011011），（100011），（101101），（110110），（111000），求该码的最小距离。 5题4给出的码若用于检错，能检出几位错码？若用于纠错，能纠正几位错？若用于纠检结合方式，其纠、检错能力如何？6已知方阵码中码元错误情况如题6图所示，试问能否检测出来？ 题6图第六章1已知一个(7,4)码的生成矩阵为G 0 = （1）求出该码的全部码字； （2）求出该码的一致校验矩阵H 0。 2对题1给出的(7,4)码列出标准陈列译码表。 3令(6,3)码的一致校验矩阵为 H 0 = （1）若接收矢量分别为R l =（110110），R 2 =（010100），分别求对应的伴随式。 （2）试求该码的最小距离和纠错能力。 4一个(8,4)系统码，其信息序列为（m 3 m 2 m 1 m 0）码字序列为（c 7 c 6 c 5 c 4 c 3 c 2 c l c0）它的校验方程为c 3 = m 3 + m 1 + m 0c 2 = m 3 + m 2 + m 0c 1 = m 2 + m 1 + m 0c 0 = m 3 + m 2 + m 1 求出该码的一致校验矩阵H 0并证明该码最小重量为4。 7对于一个码长为15的线性码，若允许纠正2个随机错误，需多少个不同的伴随式？至少要多少位校验元？ 8令C1是最小距离为d1，生成矩阵G 1 = 的(n1,k)线性系统码；C2是最小距离为d2，生成矩阵G2 = 的(n2,k)线性系统码。研究具有下述一致校验矩阵的线性码。H = 试求：（1）码长，及信息位长度。（2）证明此码的最小距离至少为d 1 + d 2。12已知(7,4)码的全部码字为： 0000000，0001011，0010110，0011101，0100111，0101100，0110001，0111010，1000101，101001l，1011000，1100010，1101001，1110100，1111111，1001110（1）试问该码是否为循环码？为什么？（2）试写出该码的生成多项式g(x)，及标准型的生成矩阵G0。（3）试写出标准型的一致校验矩阵H0。 13证明x 10 + x 8 + x 5 + x 4 + x 2 + x + 1为(15,5)循环码的生成多项式，并写出信息多项式为M(x)= x 4 + x + 1时的码多项式（按系统码的形式）。 14. 一个(n,k)循环码，其生成多项式为g(x)。假设n为奇数，且x + 1不是g(x)的因式，试证全1码组是其中的一个码字。 15在题14中，若（x + 1）是g(x)的一个因式，证明全1的n重不是码字，但若n是偶数，则全1的n重是一个码字。 16已知g 1(x)= x 3 + x 2 +1，g 2(x)= x 3 + x + 1，g 3(x)= x + 1，试分别讨论： （1）g (x)= g 1(x) g 2(x)。 （2）g (