信息论与编码理论(试题集+带答案+各种题型)

引论一、填空（40）1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。3．按照信息的地位，可以把信息分成客观信息和主观信息。4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。5．信息的可度量性是建立信息论的基础。6．统计度量是信息度量最常用的方法。7．熵是香农信息论最基本最重要的概念。8．事物的不确定度是用时间统计发生概率的对数来描述的。9．在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。10．信息的基本概念在于它的不确定性。11．香农信息定义为实物运动状态或存在方式的不确定性描述。12．把消息变换成适合信道传输的物理量，这种物理量为信号。13．消息中包含信息，它是信息的载体，一则消息可以载荷不同的信息，可以通过得到消息从而获得信息。14．可靠性、有效性、保密性和认证性体现了现代通信系统对信息传输的全面要求。15．信源是产生消息和消息序列的源。16．信源输出的消息是随机的、不确定的，但又有一定的规律性。17．编码器的作用是把消息变换成信号，并将信源和信道进行匹配。18．编码器可以分为信源编码器和信道编码器。19．信源编码器对信源输出的消息进行适当的变换和处理，以提高信息传输的效率。20．信道编码器对消息进行适当的处理和变换，以提高信息传输的可靠性。21．信道是传输信号的通道。22．译码器是把信道输出的编码信号进行反变换。23．译码器分为信源译码器和信道译码器。24．信宿是消息的传送的对象。25．信息是对事物运动状态和变化方式的表征，他存在与任何事物中，可以被认识主题获取和利用。26．研究信息传输系统的目的就是要找到信息传输过程中的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使信息传输系统达到最优化。27．同一消息可以用不同的信号来表示，同一信号也可以表示不用的消息。28．通信系统的模型包括，信源、编码器、信道、译码器、信宿、噪声源。29．消息是信息的外壳、信息则是消息的内核30．信号是信息的载体，信息是信号所载荷的内容。二．单选（20）1．1948年，美国数学家(B)发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。A．哈莱特B．香农C．牛顿D．维纳2.按照信息的地位，可以把信息分成（C）。A．客观信息B．主观信息C．客观信息和主观信息D．狭义信息3.（A）是对事物运动状态和变化方式的表征，他存在与任何事物中，可以被认识主题获取和利用。A．信息B．信源C．熵D．编码4.译码器是把信道输出的编码信号进行（A）。A．反变换B．正变换C．编码D．调制5.消息中包含信息，它是信息的（B），一则消息可以载荷不同的信息，可以通过得到消息从而获得信息。A．形式B．载体C．内容D．主体6.信息的（C）是建立信息论的基础。A．安全性B．可靠性C．可度量性D．有效性7.（D）是信息度量最常用的方法。A．尺寸度量B．相似性度量C．可用性度量D．统计度量8.信息的基本概念在于它的（A）。A．不确定性B．安全性C．可靠性D．可度量性9.把消息变换成适合信道传输的物理量，这种物理量为（B）。A．信源B．信号C．信息D．信道10．信号是信息的（C）。A．内容B．主体C．载体D．源11．（D）是对事物运动状态和变化方式的表征，他存在与任何事物中，可以被认识主题获取和利用。A．信号B．信源C．信道D．信息12．信源是产生消息和消息序列的（A）。A．源B．内容C．载体D．主体13．事物的不确定度是用时间统计发生（B）来描述的。A．概率B．概率的对数C．可能性D．相似性14．研究信息传输系统的目的就是要找到信息传输过程中的共同规律，使信息传输系统达到最优化，不包括提高信息传输的（C）。A．有效性B．安全性C．实时性D．可靠性15.（D）的作用是把消息变换成信号，并将信源和信道进行匹配。A.译码器B.信源C.信道D.编码器16.信源编码器对信源输出的消息进行适当的变换和处理，以提高信息（A）。A.传输的效率B.传输的安全性C.传输的可靠性D.传输的容量17.信道编码器对消息进行适当的处理和变换，以提高信息传输（B）。A.传输效率B.可靠性C.安全性D.信道容量18.通信系统的模型不包括：（C）。A.信源B.译码器C.天线D.编码器19.在认识论层次上研究信息的时候，必须同时考虑到（C）三个方面的因素。A.形式、含义和安全性B.形式、载体和安全性C.形式、含义和效用D.内容、载体和可靠性20.（D）是香农信息论最基本最重要的概念A.信源B.信息C.消息D.熵三．简答（20）1.通信系统模型如下：

2.信息和消息的概念有何区别？答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。3.信息论研究的范畴是什么？答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论4.什么是误码率？什么是误信率？两者有何关系？答：误码率是指错误接收的码元数在传送总码元数中所占的比例，即码元在传输系统中被传错的概率。误信率是指错误接收的信息量在传送信息总量中所占的比例，即码元的信息量在传输系统中被丢失的概率。二进制系统中误码率与误信率相等，但在多进制系统中，误码率与误倍率一般不相等，通常误码率大于误倍率。5.什么是码元速率？什么是信息速率？两者有何关系？答：码元传输速率，又称为码元速率或传码率。码元速率又称为波特率，指每秒信号的变化次数。信息速率（Rb）：指每秒传送的信息量。单位为“bit/s”。码元速率：单位时间（1秒）传送码元的数目。信息速率：单位时间内传递的平均信息量或比特数。6.相比于模拟通信系统，简述数字通信系统的优点。答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。7.简述信息的性质。答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；8.简述信息的分类。答；按照性质分为：语法信息、语义信息、语用信息；按照地位分：客观信息和主观信息；按照作用分：有用信息、无用信息、干扰信息；9.信息论的研究范畴包括哪几方面？答：狭义信息论、实用信息论、广义信息论。10.阐述通信系统的模型，并简述每一个部分的作用。答：通信系统包括信源、编码器、信道、译码器、信宿、噪声。信源是产生消息和消息序列的源；编码器的作用是把消息变换成信号，并将信源和信道进行匹配；译码器是把信道输出的编码信号进行反变换；信道是传输信号的通道；信宿是消息传输的对象，即接收消息的人或机器。四．名词解释（0）五．计算（20）1.同时掷一对骰子，要得知面朝上点数这和，描述这一信源的数学模型。2.设有一个二街二元马尔科夫信源，其四中状态的转移概率矩阵为：画出状态图并求稳态下个状态出现的概率。p(s0)=0.8p(s0)+0.5p(s2)p(s1)=0.2p(s0)+0.5p(s2)p(s2)=0.5p(s1)+0.3p(s3)p(s3)=0.5p(s1)+0.7p(s3)p(s0)+p(s1)+p(s2)+p(s3)=1p(s0)=，p(s1)=p(s2)=，p(s3)=3.有一个二元对称信道，信道的误码率，设该信道呀1000个符号/秒的速率传输输入符号，现有一消息序列，共有9500个符号，并设消息中，问从信息传输的角度来考虑，10秒能否将消息无失真地传送完成？Pe=q(0)p+q(1)p=0.06(1-0.06)﹡1000﹡10=9400<9500即不能4.求二元删除信道的二次扩展信道。信息量和熵一、填空（120）1.平均自信息为，表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。2.平均互信息,表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。3.最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。4.最大熵值为:5.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。6.自信息量的单位一般有比特、奈特和哈特。7.必然事件的自信息是0。8.不可能事件的自信息量是∞。9.两个相互独立的随机变量的联合自信息量等于两个自信息量之和。10.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。11.按照信源发出的消息在时间和幅度上的分布情况，可将信源分成离散信源和连续信源两大类。12.一个随机事件的自信息量定义为其出现概率对数的负值。13．事件之间所以有互信息是因为两个事件之间统计相关。14．事件与事件之间的互信息量为15．一类信源输出的消息常常以一个个符号的形式出现，这些符号的取值是有限的或可数的，这样的信源称为离散信源。16．连续信源可以用随机过程来描述。17．离散信源分为单符号信源和多符号信源。18．一个随机事件发生某一结果后所带来的信息量称为自信息量。19．自信息量定义为概率对数的负值。20．若随机事件发生的概率为，那么它的自信息量为。21．在信息论中，常用的对数底为2时，信息量的单位为比特（bit）。22．一个以等概率出现的二进制码（0,1）所包含的自信息量为1bit。23．说明该事件是必然事件，所以不含任何信息量。24.是的单调递减函数。25．概率越大的事件，不确定性越小，发生后提供的信息量就越小。26.是一个随机量，而是的函数，所以自信息量是一个随机变量。27．两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自发生得到的自信息量之和。28．条件自信息量定义为条件概率对数的负值。29.设条件下，发生的条件概率为，那么它的自信息量为。30．联合自信息量和条件信息量满足非负性和单调递减性。31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。32．的后验概率与先念概率的比值的对数为对的互信息量。33．在信息论中，互信息量等于自信息量减去条件自信息量。34．当X和Y相互独立时，互信息为0。35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。36．信源熵实质上是无记忆信源平均不确定度的度量。37．信源熵的单位是bit/sign（比特/符号）。38．在离散信源的情况下，信源熵的值是有限的。39．信源熵反映了变量的随机性。40.若随机事件发生的概率为，那么它的信源熵为41.在事件个数相同的情况下，事件等概率出现的情况下集的熵值最大。42．熵的性质包括对称性、非负性、确定性、扩展性、可加性、极值性。43．两个概率分布和的相对熵定义为.44．平均互信息量描述了两个集合之间，一个集合中事件出现后所给出的关于另一个集合中事件出现的信息量的平均值。45．各种熵、互信息等shannon信息度都可以表示为熵和条件熵的线性组合。46．各种熵、互信息等shannon信息度都可以看成平均条件互信息量的特例。47．若一个K维矢量的所有分量为非负的，且和为1，就称为概率矢量。48．概率矢量是全体所构成的区域是凸。49．信息不等式表示为.50．当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。51．对于信宿收到的信号或数据，常常需要进行适当的处理，以使输出消息变换成更加有用的形式，这种处理方式为数据处理。52．在信息论中，信源是发出消息的源。53．运用概率论和随机过程的理论来研究信息，这是香农信息论的基本点。54．离散信源是指发出时间和幅度上都是离散分布的。55．连续信源是指发出时间和幅度上都是连续分布的。56．每次只发出一个符号代表一个消息的信源叫做发出单个符号的无记忆信源。57．每次测量都是随机的，可用连续型随机变量X来描述，这样的信源就是发出单个符号的连续无记忆信源。58．每次发出1组含有2个以上福海的符号序列来代表一个消息的信源叫做发出符号序列的信源。59．在离散无记忆的信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，则该信源是离散平稳无记忆信源。60．一般认为，通信系统中的信号都是平稳遍历的随机过程。61．条件概率与时间起点无关，则信源输出的符号序列可以看成齐次马尔科夫链，这样的信源叫做齐次马尔科夫信源。62．概率为的符号的自信息量为.63．发出符号序列的脸无记忆信源发出的消息的信息量为64．符号的概率为，则有，，0。65．符号的概率为，则有，，。66．自信息量是与概率分布有关的一个随机变量。67．平均自信息量只与信源各符号出现的概率有关，可以用来表征信源输出信息的总体特征。68．平均自信息为，表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。69．平均互信息为,表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。70．最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。71．香农定理中，为保证足够大的信道容量，可采用用频带换信噪比和用信噪比换频带两种方式。72．单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。73．一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。74．自信息量的单位一般有比特、奈特和哈特。75．离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。76．离散平稳有记忆信源的极限熵，。77．对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。78．一维连续随即变量在区间内均匀分布时，其信源熵为。79．平均功率为的高斯分布的连续信源，其信源熵:。80．对于限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵具有最大值。81．对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。82．对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值和信源的熵功率之比。83．若把掷骰子的结果作为一离散信源，则其信源熵为。84．同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。85．若一维随即变量X的取值区间是，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。86．一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。87．按照信源发出的消息在时间和幅度上的分布情况，可将信源分成离散信源和连续信源两大类。88．信息的基本概念在于它的不确定性。89．一个随机事件的自信息量定义为其出现概率对数的负值。90．信息论不等式：对于任意实数，有，当且仅当时等式成立。91．设信源为，则信源的熵为比特/符号，如信源发出由个“0”和个“1”构成的序列，序列的自信息量为比特/符号。92．离散对称信道输入等概率时，输出为等概率分布。93．离散信源，则信源的熵为1.75bit/符号。94．齐次马尔可夫信源的一步转移概率矩阵为P，稳态分布为W，则W和P满足的方程为W=WP。95．某离散无记忆信源，其符号个数为，则当信源符号呈等概分布情况下，信源熵取最大值。96．在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于减少。97．设的取值受限于有限区间，则服从均匀分布时，其熵达到最大；如的均值为，方差受限为，则X服从高斯分布时，其熵达到最大。98．设信源包含4个不同离散消息，当且仅当中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2__。99．平均互信息量与信源熵和条件熵之间的关系是。100．设信源包含8个不同离散消息，当且仅当中各个消息出现的概率为__1/8__时，信源熵达到最大值，为___3____。101．自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。102．信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的__不均匀性__。103．在无失真的信源中，信源输出由来度量；在有失真的信源中，信源输出由来度量。102．限平均功率最大熵定理指出对于相关矩阵一定的随机矢量，当它是正态分布时具有最大熵。105．离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。106．信源的概率分布为，信源的概率分布为，则信源X和Y的熵相等。107．互信息量表示收到后仍对信源的不确定度。108．单符号离散信源的自信息和信源熵都具有非负性。109．自信息量、条件自信息量和联合自信息量之间的关系为：。110．当随即变量X和Y相互独立时，条件熵等于信源熵。111．平均互信息量对于信源概率分布和条件概率分布都具有凸函数性。112．利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。113．三进制信源的最小熵为0，最大熵为bit/符号。114．当X和Y相互独立时，==。115．。116．假设信道输入用X表示，信道输出用Y表示，在无噪有损信道中，>0,=0，<。117．离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。118．互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。119．一般的把信息量定义为：收到某消息获得的信息量等于不确定性减少的量。120．在一个盒子中放有个阻值各为的电阻，将从盒子中取出阻值为的电阻记为事件，则发生的概率为，这一事件发生所获得的信息量为。二．单选（80）1．一般认为，通信系统中的信号都是（A）。A．平稳遍历的随机过程B．随机过程C．遍历过程D．确定过程2．在离散无记忆的信源中，信源输出的每个符号是统计独立的，且具有相同的（B），则该信源是离散平稳无记忆信源。A．熵B．概率空间C．概率值D．信息源3．每次发出1组含有（C）个以上的符号序列来代表一个消息的信源叫做发出符号序列的信源。A．0B．1C．2D．34．每次测量都是随机的，可用连续型随机变量X来描述，这样的信源就是发出单个符号的（D）。A．离散无记忆信源B．连续记忆信源C．离散记忆信源D．连续无记忆信源5．信息不等式表示为（A）。A．B．C．D．6．下述平均自信息表示正确的是（B）。A．B．C．D．7．在信息论中，最大离散熵定理为离散无记忆信源，等概率分布时熵为（C）。A．最小B．0C．最大D．18．平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量,下述表示正确的是（D）。A．B．C．D．9．一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为（A）。A．其发生概率对数的负值。B．其发生概率对数。C．其发生概率的和。10．自信息量的单位一般不包括（B）。A．比特B．位C．奈特D．哈特11．必然事件的自信息是（C）。A．0或1B．C．0D．112．两个相互独立的随机变量的联合自信息量等于两个自信息量（D）。A．之比B．之积C．之差D．之和13．事件与事件之间的互信息量定义为（A）。A．B．C．D．14．若随机事件发生的概率为，那么它的自信息量为（B）。A．B．C．D．15．在信息论中，常用的对数底为2时，信息量的单位为（A）。A．比特B．位C．奈特D．哈特16．一个以等概率出现的二进制码（0,1）所包含的自信息量为（B）。A．2bitB．1bitC．0bitD．3bit17．自信息量是概率的（C）函数。A．二次B．对数C．单调递减D．单调递增18．概率越（D）的事件，不确定性越（D），发生后提供的信息量就越（D）。A．大，大，小B．大，小，大C．小，小，小D．大，小，小19．简单通信系统的模型包含包含的部分为（A）。A．调制及解调B．信源C．有扰信道D．信宿20．的后验概率与先念概率的（B）的对数为对的互信息量。A．差值B．比值C．和D．积21．当X和Y相互独立时，互信息为（C）。A．不存在B．C．0D．122．信源熵反映了变量的（D）。A．确定性B．扩展性C．递增性D．随机性23．若随机事件发生的概率为，那么它的信源熵表示为：（A）A．B．C．D．24．．两个概率分布和的相对熵定义为（B）。A．B．C．D．25．符号的概率为，则有，，（C）。A．1B．2C．0D．26．符号的概率为，则有，，（D）。A．1B．2C．0D．27．平均自信息量只与信源各符号出现的概率有关，可以用来表征信源输出信息的（A）。A．总体特征B．不确定度C．可能性D．概率估算28．离散平稳有记忆信源的极限熵表述正确是：（B）。A．B．C．D．29．对于n元m阶马尔可夫信源，其状态空间共有（C）个不同的状态。A．n-mB．n+mC．nmD．n/m30．一维连续随即变量在区间内均匀分布时，其信源熵表示正确的是：（D）。A．B．C．D．31．平均功率为的高斯分布的连续信源，其信源熵表示正确的是：（A）A．B．C．D．32．对于限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵具有（B）A．最小值B．最大值C．极大值D．极小值33．对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有(C)。A．最小值B．极大值C．最大值D．极小值34．对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值和信源的熵功率之（D）。A．积B．差C．和D．比35．若把掷骰子的结果作为一离散信源，则其信源熵为（A）。A．B．C．D．36．同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是（B）。A．B．C．D．37．若一维随即变量X的取值区间是，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵正确的是（C）。A．B．C．D．38．一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵正确的是：（D）。A．B．C．D．39．设信源为，则信源的熵为（A）比特/符号。A．B．C．D．40．如信源发出由个“0”和个“1”构成的序列，序列的自信息量为（B）比特/符号。A．B．C．D．41．若离散信源表示为，则信源的熵为（C）。A．1.25bit/符号B．1.5bit/符号C．1.75bit/符号D．1bit/符号42．齐次马尔可夫信源的一步转移概率矩阵为P，稳态分布为W，则W和P满足的方程为（D）。A．W=W+PB．W=W/PC．W=W-PD．W=WP43．某离散无记忆信源，其符号个数为，则当信源符号呈等概率分布情况下，信源熵取最大值是（A）。A．B．C．D．44．设信源包含4个不同离散消息，当且仅当中各个消息出现的概率为1/4时，信源熵达到最大值，为（B），此时各个消息的自信息量为（B）。A．2，3B．2，2C．1，2D．1，345．平均互信息量与信源熵和条件熵之间的关系是（C）。A．B．C．D．46．设信源包含8个不同离散消息，当且仅当中各个消息出现的概率为1/8时，信源熵达到最大值为（D）。A．8B．1C．2D．347．自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量（A）。A．越小B．不变C．为0D．变大48．信源的概率分布为，信源的概率分布为，则信源X和Y的（B）相等。A．概率B．熵C．信息量D．自信息量49．平均互信息量对于信源概率分布和条件概率分布都具有（C）。A．递增性B．递减性C．凸函数性D．凹函数性50．自信息量、条件自信息量和联合自信息量之间的关系下述表述正确的是：（D）A．B．C．D．51．下面表达式中正确的是（A）。A．B．C．D．52．率失真函数的下限为（B）。A.H(U)B.0C.I(U;V)D.没有下限53．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（A）。A．0bitB．bitC．6bitD．bit54．一个随即变量x的概率密度函数P(x)=x/2，，则信源的相对熵为（C）。A.0.5bitB.0.72bitC.1bitD.1.44bit55．下列离散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)56．同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（B）。A．bitB．bitC．bitD．bit57．一个随即变量x的概率密度函数P(x)=x/2，，则信源的相对熵为（C）A.0.5bit/符号B.0.72bit/符号C.1bit/符号D.1.44bit/符号58．设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵为（A）。A.0.81bit/二重符号B.1.62bit/二重符号C.0.93bit/二重符号D.1.86bit/二重符号59．三进制信源的最小熵为0，最大熵为（B）bit/符号A．1B．3C．D．060．当X和Y相互独立时，（A）（A）A．=，=B．=，C．，D．，=61．（B）A．B．C．=D．62．假设信道输入用X表示，信道输出用Y表示，在无噪有损信道中，(B)0。A．B．C．=D．63．假设信道输入用X表示，信道输出用Y表示，在无噪有损信道中，（C）0。A．B．C．=D．64．假设信道输入用X表示，信道输出用Y表示，在无噪有损信道中，（A）。A．B．C．=D．65．离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的（B）。A．熵B．符号熵C．信息量D．概率值66．在一个盒子中放有个阻值各为的电阻，将从盒子中取出阻值为的电阻记为事件，则发生的概率为，这一事件发生所获得的信息量为。A．B．C．D．68．给定条件下随机事件所包含的不确定度和条件自信息量，（D）A．数量上不等，单位不同B．数量上不等，单位相同C．数量上相等，单位不同D．数量上相等，单位相同68.条件熵和无条件熵的关系是(C)。A．B．C．D．69.下面哪一项不属于熵的性质：（B）A．非负性B．完备性C．对称性D．确定性70．连续信源的熵是（C），不再具有熵的物理含义。A．无穷小B．不存在C．无穷大D．171．若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为（D）。。A．B．C．D．72．居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得的信息量为（A）。A．1.42bitB．2.56bitC．1.35bitD．1.2bit73．（B）实质上是无记忆信源平均不确定度的度量。A．信息量B．信源熵C．信源D．自信息量74．各种熵、互信息等shannon信息度都可以表示为熵和条件熵的（C）。A．非线性组合B．叠加C．线性组合D．之积75．若随机事件发生的概率为，那么它的信源熵为（A）。A．B．C．D．三．简答（20）1．简述信息的特征。答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。信息可以产生，也可以消失，同时信息可以被携带、贮存及处理。信息是可以量度的，信息量有多少的差别。2．简述平均自信息。答：平均自信息表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。3．简述平均互信息。答：平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。4．最大离散熵定理主要内容是？答：离散无记忆信源，等概率分布时熵最大。5．数据处理定理的主要内容是？答：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。6．简述信源的分类。答：按照信源发出的消息在时间和幅度上的分布情况，可将信源分成离散信源和连续信源两大类。7．离散信源是怎样定义的？答：一类信源输出的消息常常以一个个符号的形式出现，这些符号的取值是有限的或可数的，这样的信源称为离散信源。8．简述简单通信系统的模型。答：简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。9．简述信源熵。答：信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。10．简述信源熵的性质。答：信源熵的性质包括对称性、非负性、确定性、扩展性、可加性、极值性。11．简述齐次马尔科夫信源。答：条件概率与时间起点无关，则信源输出的符号序列可以看成齐次马尔科夫链，这样的信源叫做齐次马尔科夫信源。12．在香农定理中，主要采用什么方式保证足够大的信道容量？答：用频带换信噪比和用信噪比换频带两种方式13．简述信源熵的物理含义。答：信源熵表示信源输出后，平均每个离散消息所提取的信息量；信源熵表示信源输出前，信源的的平均不确定度；反映变量X的随机性。14．简述自信息量。答：一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。15．简述离散信源的分类。答：离散信源分为单符号信源和多符号信源。16．简述平均互信息量与信源熵和条件熵之间的关系。答：17．信源的冗余度主要来自哪几个方面？答：信源的冗余度来自两个方面，一是信源符号之间的相关性，二是信源符号分布的不均匀性。18．简述联合熵的概念。答：联合熵是定义在二维空间XY上的，各个元素的自信息量的统计平均值。19．什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为，表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息，表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。20．简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。四．名词解释（20）1．平均自信息：表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。2．平均互信息：表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。3．自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。4．离散信源：一类信源输出的消息常常以一个个符号的形式出现，这些符号的取值是有限的或可数的，这样的信源称为离散信源。5．条件自信息量：条件自信息量定义为条件概率对数的负值。6．信源熵：信源各个离散消息的自信息量的数学期望为信源的平均信息量。7．离散平稳无记忆信源：假定随机变量欲裂的长度是有限的，如果信源输出地信息序列中，符号之间的无相互依赖关系，则称这类信源为离散平稳无记忆信源。8．信源冗余度：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值9．平稳信源：概率分布函数与时间起点无关，平稳信源是有记忆的，记忆的长度有限。10．香农信息：信息是事物运动状态或存在方式的不确定性的描述。11．消息(或称为符号)：信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。五．计算（60）1.同时掷两个骰子，设每个骰子各个面朝上的概率是1/6，试求：（1）事件“2和6同时出现”的自信息量；（2）事件“两个3同时出现”的自信息量；（3）事件“两个点数中至少有一个是5”的自信息量；（4）两个点数之和的熵。解：（1）（2）（3）（4）2.每帧电视图像可以认为是3*10^5个像素构成，所有像素均独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广播员在约1000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为：每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N次扩展。由此，每帧图像包含的信息量为广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是由于口述一个汉字所包含的信息量为I(Y)，而一帧电视图像包含的信息量是I(XN)，因此广播员要恰当地描述此图像，需要的汉字数量为：3.设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12枚硬币中，某一枚为假币”该事件发生的概率为“假币的重量比真的轻，或重”该事件发生的概率为为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有:而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为因此天平每一次消除的不确定性为。因此，必须称的次数是：因此，至少需称3次。4.同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为，该事件的信息量为：“两骰子总点数之和为8”共有如下可能：2和6.3和5.4和4.5和3.6和2，概率为，因此该事件的信息量为：“两骰子面朝上点数是3和4”的可能性有两种：3和4.4和3，概率为，因此该事件的信息量为：5.摩尔斯电报系统中，若采用点长为0.2s、划长为0.4s，且点和划出现的概率分别为2/3.1/3，试求它的信息速率（bps）。解：平均每个符号长为:秒每个符号的熵为比特/符号所以信息速率为比特/秒6.一个八元编码系统，其码长为3，每个码字的第一个符号都相同（用于同步），如若每秒产生1000个码字，试求其信息速率。解：同步信号均相同不含信息,其余认为等概率,每个码字的信息量为3*2=6比特；所以信息速率为比特/秒7.掷一对无偏的骰子，若告诉你得到的总点数为（a）7；（b）12；试求各得到多少信息量。解：(a)一对骰子总点数为7的概率是所以得到的信息量为比特(b)一对骰子总点数为12的概率是所以得到的信息量为比特8.经过充分洗牌后的一副扑克（含52张扑克），试问：（a）任何一种特定排列所给出的信息量是多少？（b）若从中抽取13张牌，所给出的点数都不同时得到多少信息量？解：(a)任一特定排列的概率为,所以给出的信息量为比特(b)从中任取13张牌,所给出的点数都不相同的概率为所以得到的信息量为比特.9.设有一个非均匀骰子，若其任意一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次，平均得到的信息量。解：易证每次出现i点的概率为,所以10.园丁植树一行，若有3棵白杨、4棵白桦、5棵梧桐，设这12棵树可以随机地排列，且每一种排列是等可能的，若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息？解：可能有的排列总数为没有两棵梧桐树相邻的排列数可如下图求得，YXYXYXYXYXYXYXY图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822比特11.某校入学考试中有1/4考生被录取，3/4的考生未被录取，被录取的考生中有50%来自本市，而落榜的考生中有10%来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语，问：（a）当已知考生来自本市时，给出多少关于考生是否被录取的信息？（b）当已知考生学过英语时，给出多少有关考生是否被录取的信息？（c）以表示是否落榜，以表示是否是本市的学生，表示是否学过英语，、和的取值为0或1，试求、、。解：X=0表示未录取，X=1表示录取；Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得12.在A.B两组人中进行民意测验，组A中的人有50%讲真话（T），30%讲假话（F），20%拒绝回答（R），，而组B中有30%讲真话（T），50%讲假话（F），20%拒绝回答（R）。设选组A进行测验的概率为P，若以表示给定T、F、R条件下得到的有关消息来自组A或组B的平均信息量，试求的最大值。解：令，则13.随机掷3颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一个和第二个骰子抛掷的点数之和，以Z表示3颗骰子的点数之和，试求、、、、。解：解:令X=X1,Y=X1+X2,Z=X1+X2+X3,H(X1)=H(X2)=H(X3)=比特H(X)=H(X1)==2.585比特H(Y)=H(X2+X3)==3.2744比特H(Z)=H(X1+X2+X3)==3.5993比特所以H(Z/Y)=H(X3)=2.585比特H(Z/X)=H(X2+X3)=3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特14.如上题所示，试求解：I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY

;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=015.设有一系统传送10个数字，0,1，···9，奇数在传送时以0.5的概率错成另外的奇数，而其他的数字总能正确的接收。试求收到一个数字平均得到的信息量。解：设系统输出10个数字X等概,接收数字为Y,显然H(Y)=log10所以I(X;Y)=比特16.令为一等概率的消息集，各消息相应的被编成下述二元码字通过转移概率为P的BSC传送，试求：（a）接收的第一个数字0与之间的互信息量。（b）接收的第二个数字00与之间的互信息量。（c）接收的第三个数字0000与之间的互信息量。（d）接收的第四个数字0000与之间的互信息量。解：（a）接收前一个数字为0的概率（b）同理（c）同理（d）同理17.令是概率空间，试证明下述关系式成立。（a）,给出等号成立的条件。（b）（c）,给出等号成立的条件。解：(a)等号成立的条件为,对所有,即在给定X条件下Y与Z相互独立。(b)(c)（由第二基本不等式）或18.设X是在上为均匀分布的随机变量，试求。解：(a)(b)令(c)令19.令概率空间，令是连续随机变量，已知条件概率密度为试求：（a）的概率密度。（b）解：(a)由已知，（b）20.若连续信源输出的幅度被限定在区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少?解：=2bit/自由度该信源的绝对熵为无穷大。21.某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5。计算：（1）信息传输速率。（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。试计算正确传输这些数据最少需要的发送功率P。解：（1）（2）22.已知的联合概率为：求，，，解：0.918bit/symbol=1.585bit/symbol0.251bit/symbol23.设信源为，试求：（1）信源的熵、信息含量效率以及冗余度；（2）求二次扩展信源的概率空间和熵。解：（1）（2）二次扩展信源的概率空间为：X\X1/163/163/169/1624.设随机变量和的联合概率空间为定义一个新的随机变量(普通乘积)（1）计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；（2）计算条件熵H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；（3）计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。解：（1）X\Y0101/83/81/213/81/81/21/21/2（2）X\Z0101/201/213/81/81/27/81/8Y\Z0101/201/213/81/81/27/81/8(3)25.设二元对称信道的输入概率分布分别为，转移矩阵为，试求信道的输入熵，输出熵，平均互信息量。解：（1）信道的输入熵；26.一个一阶马尔可夫信源，转移概率为试求马尔可夫信源的极限熵。解：该马尔可夫信源的极限熵为：27.设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。(1)计算信源中事件包含的自信息量；(2)计算信源的信息熵；(3)计算信道疑义度；(4)计算噪声熵；(5)计算收到消息后获得的平均互信息量。解：(1)(2)(3)转移概率：xyy1y2x15/61/6x23/41/4联合分布：xyy1y2x12/312/154/5x13/201/201/549/6011/601/5(5)28.二元对称信道如图所示，若，，求、和。解：29.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；解：（1）信源模型为：（2）由题意可知该信源为一阶马尔科夫信源。得极限状态概率：30.同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。解：(3)信源空间：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空间：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5)31.如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）,（Xb，Yb）,但A，B不能同时落入同一方格内。若仅有质点A，求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A，B是可辨认的，求A，B落入的平均信息量。解：32.从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：33.某一无记忆信源的符号集为｛0，1｝，已知求符号的平均信息量；由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）的自信量的表达式；计算（2）中序列的熵。解：34.设信源X的信源空间为：求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。解：35.为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。解：36.设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。证:37.每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:38.给定一个概率分布和一个整数m，。定义，证明：。并说明等式何时成立？证：39.找出两种特殊分布:p1≥p2≥p3≥…≥pn，q1≥q2≥q3≥…≥qm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：40.两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证：H(X)≤H(Z),H(Y)≤H(Z)H(XY)≥H(Z)证明：41.设信源通过一信道，信道的输出随机变量Y的符号集,信道的矩阵：试求：信源X中的符号1和2分别含有的自信息量；收到消息Y＝b1，Y＝b2后，获得关于1、2的互交信息量：I(1;b1)、I(1;b2)、I(2;b1)、I(2;b2)；信源X和信宿Y的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/X)；接收到消息Y后获得的平均互交信息量I(X;Y)。解:42.某二进制对称信道，其信道矩阵是：设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)=p(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。解:43.有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算：H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解:44.已知信源X的信源空间为某信道的信道矩阵为：b1b2b3b4试求：(1)“输入3，输出b2的概率”；(2)“输出b4的概率”；(3)“收到b3条件下推测输入2”的概率。解：45.已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。P(A)=10-2；P(A)=1/32；P(A)=0.5。解:46.某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求：消息a1a2a3a4a5a6a7a8概率1/41/41/81/81/161/161/161/16码字000001010011100101110111在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；从码字W4＝011中获取关于a4的信息量I(a4;011)。解：47.某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义0012p/2p/2p/2p/2p/2p/2试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；求信源的极限熵H∞；p取何值时H∞取得最大值。解：48.某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求：(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H∞；(3)求当p=0,p=1时的信息熵，并作出解释。pppp012解:49.设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si)(i=1,2,3;k=1,2,3)标在相应的线段旁,如下图所示.求状态极限概率并找出符号的极限概率;计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);信源的极限熵H∞.αα2:1/4S1S2S3α3:1/2α2:1/2α1:1α1:1/2α3:1/4解:50.51.52.53.54.55.56.57.58.59.60.信源编码——离散信源无失真编码一、填空（80）1．信源编码的目的是提高通信的有效性，信道编码的目的是提高通信的可靠性，加密编码的目的是保证通信的安全性。2．若要求精确地重现信源的输出，就要保证信源产生的全部信息无损地传送给信宿，这时的信源编码就是无失真编码。3．一般一对信源-信宿要定出可接收准则或保真度准则。4．信源的具体输出称做消息，它包括离散和连续形式。5．消息之所以含有信息是由于信源产生消息的随机性。6．离散信源序列为一随机变量，若彼此统计独立，相应的信源就称为无记忆信源否则称为有记忆信源。7．对于有记忆信源，需要用联合概率空间描述。8．若信源输出的随机序列具有各态历经性，就称为各态历经源。9．若序列的取值只与前面有限个随机变量有关，就称为有限记忆信源。10．若信源输出既有连续分量，又有离散分量时，就称为混合信源。11．若，则可以表示信源输出的4个不同序列，其中每个码符号序列称做码字。12．对等长元码，若码长长度为，则至多有个码字。13．对不等长元码，若码字最长限定为，则至多有个码字。14．所谓编码就是从消息集到码字集上的一种映射。15．若对于每一个消息都至少有一个码字与之对应，且不同的消息对应不同的码字，则称这样的码为唯一可译码，否则就称非唯一可译码。16．在无扰传输的过程中，唯一可译码的译码错误概率为0，故又称为无错编码。17．若对信源输出的消息（一个符号或一组符号）采用不同长度的码字表示，这种编码法为不等长编码法。18．Morse电码属于不等长编码。19．编码就是从消息集到码字集上的一种映射。20．对于唯一可译码，若为待编码消息的个数，其中为信源符号的个数，为信源序列长度，则唯一可译码存在的充分必要条件是。21．若对有限长的每个源输出序列，相应的码字序列彼此都可五疑义地区分开来，这就称做是唯一可译的。22．若码中各码字都含有一个特定符号，用来指示一个码字的起始点，就是逗点码。23．码属于逗点码，其中符号“0”起逗点作用，有利于同步，但为此要降低编码效率。24．对于码字,称为码字的长为的字头或前缀。25．若码中任何一个码字都不是另一个码字的字头，则称这种码为异字头码。26．码属于异字头码。27．长度为的D元异字头码存在的充分必要条件为：。28．任一唯一可译码可用相应码字长度一样的异字头码代替。29．任一唯一可译码满足，存在D元唯一可译码，其平均长度满足：。30．令，则0.811bit。32．对于给定信源，存在最佳唯一可译二元码，其最下概率的两个码字和的长度最长且不相等，他们之间仅最后一位码元取值不同。33．离散源的编码方法有两种，一是：等长编码二是：不等长编码。34．等长编码信源字母的平均错误概率趋近于0。35．只要采用就能实现任意小的译码错误概率。36．经过源编码后编码其的输出变为近于独立等概的码元序列，而且根据这个码序列可以精确地恢复原来的消息序列。37．信源编码和信道编码主要解决的两个问题为：提高传输效率和增强通信的可靠性。38．信源编码包括两个功能，一是将信源符号变换成合适信道传输的符号；二是压缩信源冗余度，提高传输效率。39．从信源消息到码字的映射不是一一对应的编码称为奇异码。40．对于变长码，码集C的平均码长用符号表示，定义码C中每一个码字，其码长的概率加权平均值为。41．信道的信息传输速率为信道单位时间内所传输的实际信息量。42．信息传输速率定义为：。43．编码效率是衡量编码质量的一个重要指标。44．对于给定信源，使平均码长达到最小的编码方法，称为最佳编码。45．给定熵为的离散无记忆信源，及有D个元素的码符号集，则总可以找到一种无失真编码方法，构成唯一可译码。46．常用的变长编码方法有：香农编码、费诺编码、霍夫曼编码。47．一般情况下，对于同一信源，常见的三种编码方式以霍夫曼编码得到的平均码长最短，即编码效率最高。48．信源编码是以提高通信有效性为目的的编码。49．信源编码通常通过压缩信源冗余度来提高通信有效性。50．一般情况下，对于同一信源，编码效率最高的是霍夫曼编码。51．一般情况下信源编码可以分为：离散信源编码、连续信源编码、相关信源编码和变换编码。52．如果一个码的任何一个码字都不是其他码字的前缀，则称该码为即时码。53．即时码可以y用树图法来构造，对于M元树图，在最顶部画一个起始点，称为树根。54．赫夫曼编码是一种效率比较高的变长无失真信源编码方法。55．无失真信源编码的平均码长最小理论极限制为信源熵（或）。56．根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。57．对于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是香农编码。58．信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。59．若一离散无记忆信源的信源熵等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3。60．元长度为的异前置码存在的充要条件是：。61．如果信源和失真度一定，则平均失真度是信道统计特性的函数。62．如果规定平均失真度不能超过某一限定的值，即：。我们把称为保真度准则。63．对于离散无记忆信源的率失真函数的最大值是。64．保真度准则下的信源编码定理的条件是信源的信息率大于率失真函数。65．某二元信源其失真矩阵D=，则该信源的Dmax=a/2。66．某二元信源其失真矩阵D=，则该信源的=。67．信源编码的目的是：提高通信的有效性。68．一般情况下，信源编码可以分为离散信源编码、连续信源编码和相关信源编码。69．连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。70．在香农编码中，第个码字的长度和之间有关系。71．对信源进行二进制费诺编码，其编码效率为1。72．对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加2个概率为0的消息。73．对于二元序列0011100000011111001111000001111111，其相应的游程序列是23652457。74．设无记忆二元序列中，“0”和“1”的概率分别是和，则“0”游程长度L（0）的概率为。75．游程序列的熵等于原二元序列的熵。76．若“0”游程的哈夫吗编码效率为，“1”游程的哈夫吗编码效率为，且对应的二元序列的编码效率为，则三者的关系是。77．在实际的游程编码过程中，对长码一般采取截断处理的方法。78．“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但C码79．定长编码的效率一般小于不定长编码的效率。80．在编进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。二．单选（40）1．信源编码的目的是提高通信的（A），信道编码的目的是提高通信的（A），加密编码的目的是保证通信的（A）。A．有效性，可靠性，安全性B．有效性，安全性，可靠性C．安全性，有效性，可靠性D．可靠性，有效性，安全性2．．若要求精确地重现信源的输出，就要保证信源产生的全部信息无损地传送给信宿，这时的信源编码就是（B）。A．失真编码B．无失真编码C．信道编码D．加密编码3．消息之所以含有信息是由于信源产生消息的（C）。A．可靠性B．安全性C．随机性D．有效性4．若，则可以表示信源输出的4个不同序列，其中每个码符号序列称做（D）。A．序列B．码速率C．码长D．码字5．对等长元码，若码长长度为，则至多有(A)个码字。A．B．C．D．6．对不等长元码，若码字最长限定为，则至多有（B）个码字。A．B．C．D．7．若对于每一个消息都至少有一个码字与之对应，且不同的消息对应（C）的码字，则称这样的码为唯一可译码。A．随机B．任意C．不同D．相同8．在无扰传输的过程中，唯一可译码的译码错误概率为（D），故又称为无错编码。A．1B．2C．无穷D．09．对于唯一可译码，若为待编码消息的个数，其中为信源符号的个数，为信源序列长度，则唯一可译码存在的充分必要条件是（A）。A．B．C．D．10．若码中各码字都含有一个特定符号，用来指示一个码字的起始点，就是（B）。A．异字头码B．逗点码C．变长码D．非变长码11．码属于逗点码，其中符号“0”起逗点作用，有利于同步，要（C）编码效率。A．无影响B．改变C．降低D．提高12．码属于（D）。A．逗点码B．奇异码C．非奇异码D．异字头码13．长度为的D元异字头码存在的充分必要条件为（A）。A．B．C．D．14．任一唯一可译码满足，存在D元唯一可译码，其平均长度满足：（B）。A．B．C．D．15．令，则（C）。A．0.45bitB．0.60bitC．0.811bitD．0.91bit16．对于给定信源，存在最佳唯一可译二元码，其最下概率的两个码字和的长度（D），他们之间仅最后一位码元取值不同。A．最短且相等B．最长且相等C．最短且不相等D．最长且不相等17．等长编码信源字母的平均错误概率为（A）。A．0B．1C．无穷D．218．信源编码和信道编码主要解决的两个问题为：提高（B）和增强通信的（B）。A．传输带宽，可靠性B．传输效率，可靠性C．传输效率，实时性D．传输带宽，有效性19．从信源消息到码字的映射不是一一对应的编码称为（C）。A．异字头码B．逗点码C．奇异码D．非奇异码20．对于变长码，码集C的平均码长用符号表示，定义码C中每一个码字，其码长的概率加权平均值为（D）。A．B．C．D．21．（A）是衡量编码质量的一个重要指标。A．编码效率B．传输效率C．可靠性D．实时性22．给定熵为的离散无记忆信源，及有D个元素的码符号集，则总可以找到一种无失真编码方法，构成（B）。A．异字头码B．唯一可译码C．非唯一可译码D．奇异码23．一般情况下，对于同一信源，编码效率最高的是（C）。A．香农编码B．费诺编码C．霍夫曼编码D．加密编码24．（D）是一种效率比较高的变长无失真信源编码方法。A．香农编码B．费诺编码C．加密编码D．霍夫曼编码25．对于常见的信源编码，编码方法唯一的是（A）。A．香农编码B．费诺编码C．加密编码D．霍夫曼编码26．若一离散无记忆信源的信源熵等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为