2024年大学试题(计算机科学)-信息论与编码历年考试高频考点试题附带答案

2024年大学试题(计算机科学)-信息论与编码历年考试高频考点试题附带答案（图片大小可自由调整）第1卷一.参考题库(共25题)1.简述随机事件的不确定度和它的自信息量之间的关系及区别，单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义。2.简述费诺编码的编码步骤。3.求下列二个信道的信道容量，并加以比较： 4.在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。5.对于离散无记忆信道和信源的N次扩展，其信道容量CN=（）。6.同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？7.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。8.居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？9.假定一个电视每秒钟显示30个画面，每个画面大约有2×105个像素，每个像素需要16比特的彩色显示。假定SNR为25dB，计算支持电视信号传输所需要的带宽（利用信息容量定理）10.给定语音信号样值X的概率密度为，求Hc（X），并证明它小于同样方差的正态变量的连续熵。11.最大似然译码等价于最大后验概率译码的条件是（）。A、离散无记忆信道B、无错编码C、无扰信道D、消息先验等概12.某一无记忆信源的符号集为{0，1}，已知P（0）=1/4，P（1）=3/4。 （1）求符号的平均熵； （2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式； （3）计算（2）中序列的熵。13.考虑下图所示的二元编码器。 给出该编码器的生成矩阵G。14.将正弦信号输入采样频率为4kHz采样保持器后通过差分脉冲编码调制器，设该调制器的初始值，采用码长为4的均匀量化编码，量化间隔Δ=0.03125。试求在半个周期内信号值的差分脉冲编码ci和量化值。15.信源编码通常是通过压缩信源的冗余度来实现的。16.简述信息的特征。17.若有一信源 每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真传输？若能连接，试说明如何编码并说明原因。18.对于二元序列0011100000011111001111000001111111，其相应的游程序列是（）。19.（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。20.信道容量是信道中能够传输的最小信息量。21.求图中信道的信道容量及其最佳的输入概率分布，并求当e=0和1/2时的信道容量C的大小。 22.有两个二元随机变量X和Y，它们的联合概率为 并定义另一随机变量Z=XY（一般乘积）。试计算： 23.“冗余变换”即：将一个冗余序列转换成一个二元序列和一个（）。24.有一个二元信道，其信道如右图所示。设该信道以1500个二元符号/秒的速度传输输入符号，现有一消息序列共有14000个二元符号，并设在这消息中问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完。 25.信源编码第2卷一.参考题库(共25题)1.设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字： 试问： （1）接收到第一个数字0与M1之间的互信息； （2）接收到第二个数字也是0时，得到多少关于M1的附加互信息； （3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息； （4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。2.请给出最佳自由距离卷积码的定义并简要说明如何获得具有最佳自由距离的卷积码。3.m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同4.一阶马尔可夫信源的状态图如图所示。信源X的符号集为{0，1，2}。 （1）求平稳后信源的概率分布； （2）求信源的熵H∞。 5.在现代通信系统中，信源编码主要用于解决信息传输中的（）性，信道编码主要用于解决信息传输中的（）性，加密编码主要用于解决信息传输中的（）性。6.必然事件的自信息是（）。7.在实际的游程编码过程中，对长码一般采取（）处理的方法。8.简述通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。9.率失真函数没有最大值。10.L-D编码是一种（）的方法。11.若有三个离散随机变量，有如下关系：X+Y=Z，其中X和Y相互统计独立，试证明： （1）H（X）≤H（Z），当且仅当Y是常量时等式成立； （2）H（Y）≤H（Z），当且仅当X为常量时等式成立； （3）H（Z）≤H（XY）≤H（X）+H（Y），当且仅当X，Y中任意一个为常量时等式成立； （4）I（X；Z）=H（Z）−H（Y）； （5）I（XY；Z）=H（Z）； （6）I（X；YZ）=H（X）； （7）I（Y；Z|X）=H（Y）； （8）I（X；Y|Z）=H（X|Z）=H（Y|Z）。12.考虑GF（2）上的下列生成矩阵 这个码能纠多少个错误？13.考虑下图所示的二元编码器 （1）构造该编码器的网格图。 （2）记下该编码器的k0，n0，v，m，R。 （3）该码的d*和dfree的值是多少？ 14.在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为（）。15.设有二个离散信道，其分别输入为X1和X2，输出为Y1和Y2，对应这二个信道的传递概率为p1(y/x)和p2(y/x)，如图所示。其X1和X2的概率分布分别为P1(x)和P2(x)。 16.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？17.简述算术编码（非分组码）相关定义与步骤。18.在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明 （1）h（X|Y）≤h（X），当且仅当X和Y统计独立时等号成立； （2）h（X1X2...XN）≤h（X1）+h（X2）+h（XN），当且仅当X1X2...XN彼此统计独立时等式成立。19.信道的分类方法有哪些？20.在图片传输中，每帧约2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。21.设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分布，，在下列几种情况下，计算I(X;Y)： （1）ρ＝1； （2）ρ＝0； （3）ρ＝－1。22.试说明循环码对突发错误的检测能力。23.在已知收码R的条件下找出可能性最大的发码作为译码估计值，这种译码方法叫做最佳译码。24.离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。25.一个四元对称信源，接收符号Y={0，1，2，3}，其失真矩阵为，求Dmax和Dmin。第3卷一.参考题库(共25题)1.设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求 （1）求每个符号的自信息量； （2）若信源发出一消息符号序列为(202120130213001203210110321010021032011223210)，求该消息序列的自信息量及平均每个符号携带的信息量。2.对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下： 若把这些频度看作概率测度，求： （1）忙闲的无条件熵； （2）天气状态和气温状态已知时忙闲的条件熵； （3）从天气状态和气温状态获得的关于忙闲的信息。3.有两个二元随机变量X和Y，它们的联合概率为P[X=0，Y=0]=1/8，P[X=0，Y=1]=3/8，P[X=1，Y=1]=1/8，P[X=1，Y=0]=3/8。定义另一随机变量Z=XY，试计算： （1）H（X），H（Y），H（Z），H（XZ），H（YZ），H（XYZ）； （2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ），H（Z/XY）； （3）I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X），I（X；Z/Y）。4.从平均互信息的表达式证明，当信道和信源都是无记忆时，有： 5.求解率失真函数的问题，即：在给定失真度的情况下，求信息率的（）。6.设信道输入端的熵为H（X），输出端的熵为H（Y），该信道为无噪有损信道，则该信道的容量为（）7.游程序列的熵（）原二元序列的熵。8.保真度准则9.信道疑义度(含糊度)H(X|Y)10.假设N个人及组想用保密密钥密码。组中的每两个人应该能够秘密通信。需要（）不同的密钥。11.按照信源发出的消息在时间和幅度上的分布情况，可将信源分成（）信源和（）信源两大类。12.一副充分洗乱了的牌（含52张牌），试问（1）任一特定排列所给出的信息量是多少？（2）若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？13.什么是自信息量？14.若某一信源有N个符号，并且每个符号等概率出现，对这信源用最佳霍夫曼码进行二元编码，问当N=2i和N=2i+1（i是正整数）时，每个码字的长度等于多少？平均码长是多少？15.连续随机变量X和Y的联合概率密度为：，求H（X）， H（Y）， H（XYZ）和I（X；Y）。16.同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：  （1）“3和5同时出现”这事件的自信息；  （2）“两个1同时出现”这事件的自信息；  （3）两个点数的各种组合（无序）对的熵和平均信息量；  （4）两个点数之和（即2， 3， … ， 12构成的子集）的熵；  （5）两个点数中至少有一个是1的自信息量。17.离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。18.简述平均互信息量的定义及物理意义、疑义度及噪声熵。19.考虑GF（11）上具有下列奇偶校验矩阵的码，证明该码纠三个错误的码。20.前向纠错（FEC）21.离散对称信道输入等概率时，输出为（）分布。22.有一个一阶平稳马尔可夫链X1，X2，X3，Xr，各Xr取值于集合A={a1，a2，a3}，已知起始概率P（Xr）为p1=1/2，p2=p3=1/4，转移概率如下图所示： （1）求（X1，X2，X3）的联合熵和平均符号熵  （2）求这个链的极限平均符号熵 （3）求H0，H1，H2和它们说对应的冗余度23.简述自信息的性质。24.高斯加性信道的信道容量只与信道的信噪有关。25.同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求： （1）“3和5同时出现”这事件的自信息量； （2）“两个1同时出现”这事件的自信息量； （3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即2，3...12构成的子集）的熵； （5）两个点数中至少有一个是1的自信息量。第1卷参考答案一.参考题库1.参考答案:2.参考答案: 费诺编码的步骤： 1）信源符号以概率递减的次序排列起来； 2）将排列好的信源符号按概率值划分成两大组，使每组的概率之和接近于相等，并对每组各赋予一个二元码符号“0”和“1”； 3）将每一大组的信源符号再分成两组，使划分后的两个组的概率之和接近于相等，再分别赋予一个二元码符号； 4）依次下去，直至每个小组只剩一个信源符号为止 5）信源符号所对应的码字即为费诺码。3.参考答案:4.参考答案:错误5.参考答案:NC6.参考答案:7.参考答案:正确8.参考答案: 9.参考答案: 根据题意，该电视信号所需的信息容量为： 10.参考答案:11.参考答案:D12.参考答案:13.参考答案: 由图可知： 故该编码器的生成矩阵G为； 将5个矩阵代入矩阵G中既可。14.参考答案: 采样频率是正弦信号频率的20倍，半个周期内有10个采样点，采样值、差分调制编码及量化值如下表所示： 15.参考答案:正确16.参考答案:1.接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容； 2.信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 3.信息可以产生，也可以消失，同时信息可以被携带，被存储及处理； 4.信息是可以量度的，信息量有多少的差别。17.参考答案: 18.参考答案:2365245719.参考答案: 20.参考答案:错误21.参考答案:22.参考答案: 23.参考答案:缩短了的多元序列24.参考答案: 25.参考答案: 就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。第2卷参考答案一.参考题库1.参考答案: 2.参考答案: 3.参考答案:错误4.参考答案: （1）由图得一阶马尔可夫信源的状态为s1=0，s2=1，s3=2。 对应的一步转移概率矩阵为 5.参考答案:有效；可靠；安全6.参考答案:07.参考答案:截断8.参考答案:9.参考答案:错误10.参考答案:分帧传送冗余位序列11.参考答案: 12.参考答案: 能纠正不多于t个错误应满足d*≥2t+1 这个码能纠0个错误。13.参考答案: 14.参考答案:冗余位15.参考答案: 16.参考答案: 17.参考答案:18.参考答案: 19.参考答案: 根据载荷消息的媒体不同（邮递信道、电信道、光信道、声信道）。根据信息传输的方式（输入和输出信号的形式。信道的统计特性、信道的用户多少）。根据信道的用户多少：两端（单用户）信道、多端（多用户）信道。根据信道输入端和输出端的关联（无反馈信道、反馈信道）根据信道的参数与时间的关系（固定参数信道、时变参数信道。根据输入和输出信号的特点（离散信道、连续信道、半离散或半连续信道波形信道）20.参考答案: