信息论与编码复习资料(新)

1、“信息论与编码”复习1消息、信号、信息的含义、定义及区别。信息是指各个事物运动的状态及状态变化的方式。消息是指包含信息的语言，文字和图像等。信号是消息的物理体现。消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息2信息的特征与分类。1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；3信息可以产生，也可以消失，同时信息可以被携带，被存储及处

2、理；4信息是可以量度的，信息量有多少的差别。3 1948年，Shannon提出信息论，“通信中的数学理论”现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。4通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。信宿需要研究的问题是能收到或提取多少信息。信道的问题主要是它能够传送多少信息，即信道容量的多少。5通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通

3、信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。提高可靠性：信道编码。增加冗余。提高安全性：加密编码。6随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：不确定度是信源符号

4、固有的，不管符号是否发出；自信息量是信源符号发出后给予收信者的；为了消除该符号的不确定度，接受者需要获得信息量。自信息量7信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。自信息量指的是该符号出现后，提供给收信者的信息量。8. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。信源熵：9 信源熵的基本性质与定理及其理解？熵的性质􀂋对称性􀂋非负性􀂋确定性􀂋香农辅助定理􀂋最大熵定理小结：信源熵H(X)的三种物理含义：􀁺表示信源输出后，每个离散消息所提供的平均信

5、息量。􀁺表示信源输出前，信源的平均不确定度。􀁺反映了变量X的随机性。10. 最大离散熵定理及理解。 11克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。1213. 什么是最佳编码？说出Shannon、 Fano和Huffman编码的基本方法和主要特点。14151617. 理解Huffman编码是最佳编码？18. 游程编码相关定义与步骤？19. 纠错编码的分类（从不同的角度）？20常用哪些差错控制的方法？主要特点？21简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则BSC信道的最大似然译码可以简化为信道的最大似然译

6、码可以简化为最最小汉明距离译码小汉明距离译码。22汉明距离和汉明重量的定义？错误图样的定义？随机错误和突发错误的定义？2324.分组码具有纠、检错能力的物理本质（许用码组和禁用码组）？ （n,k）码 许用码 2k 总码 2n 禁用码=总码-许用码25.二进制分组码纠、检错能力与汉明距离的关系？定理：若纠错码的最小距离为dmin1 以检测出dmin-1个差错2 当dmin³2t+1时，可以纠正t个差错 26.线性分组码的定义、构造、性质？1）生成矩阵使用生成矩阵可以得到全部的信道编码的码字2）由生成矩阵得到监督矩阵a) 系统化b) 3) 判断码字4）译码：标准阵列译码和伴随式译码A)

7、标准阵列的生成B）译码最小汉明距离译码27两种线性分组码：汉明码和循环码汉明码 例 构造一个m=3的二元汉明码 解： 码长n=2m-1=7信息位数k=2m-m-1=4监督位数r=n-k=m=328.循环码的定义及其性质？系统循环码的编码方法？000000000111010111010111010011010011010011010011110011102.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, ,

8、12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。解：(1)(2)(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)2-4 2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：1）因圆点之和为3的概率该消息自信息量2）因圆点之

9、和为7的概率该消息自信息量2.7 设有一离散无记忆信源，其概率空间为 （1）求每个符号的自信息量 （2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量解：同理可以求得因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：平均每个符号携带的信息量为bit/符号2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0, 1, 2, 3八进制脉冲可以表示8个不同的消息，例如：0, 1,

10、 2, 3, 4, 5, 6, 7二进制脉冲可以表示2个不同的消息，例如：0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9 “” 用三个脉冲 “”用一个脉冲(1) I()= I()(2) H= 5-1 将下表所列的某信源进行二进制编码，试问：信源符号ai符号出现概率p(ai)码1码2码3码4码5a11/2001100a21/41110100101a31/8000010000110a41/811011000000111(1) 这些码中哪些是唯一可译码？(2)

11、哪些码是非延长码？(3) 对所有唯一可译码求出其平均码长和编译效率。解：首先，根据克劳夫特不等式，找出非唯一可译码5-2 (1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为bit/ms=200bit/s (2) 信源熵为 H(X)= =0.198bit/ms=198bit/s5-5(1) H(U)=(2) 每个信源使用3个二进制符号,出现0的次数为 出现1的次数为P(0)= P(1)= (3) (4) 相应的香农编码信源符号xi符号概率pi累加概率Pi-Logp(xi)码

12、长Ki码字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相应的费诺码 信源符号xi符号概率pi第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香农码和费

13、诺码相同 平均码长为 编码效率为： 5-11 （1）信源熵 （2）香农编码： 信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x10.3201.644200x20.220.322.1843010x30.180.542.4743100x40.160.722.6443101x50.080.883.64441110x60.040.964.644511110 平均码长：编码效率为（3） 费诺编码为信源符号xi符号概率pi1234编码码长x10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.04111114 平均码长为

14、：编码效率： （4）哈夫曼编码信源符号xi符号概率pi编码过程编码码长x10.320.320.380.400.601012x20.220.220.320.380.40102x30.180.180.220.32112x40.160.160.180003x50.080.1200104x60.0400114平均码长为：编码效率： l 汉明距离与线性分组码线性分组码通常用于前向纠错，可表示为(n,k)，其中n为码字长度，k为信息位长度，从而校验位长度为n-k在m(=2k)个码字构成的码中，两个长度为n的码字之间的汉明距离(码距)是指两个码字对应位置上不同码元的个数；对于二元码，码距可表示为：长度为n的码字的汉明重量(码重)是指码字中非零码元的个数；对于二元码，码重可表示为：对于二元码，两个长度为n的码字之间的码距可用码重表示：线性分组码(n,k)能检e个错误并能纠t个错误的充要条件是：最简单的能检1个错误并能纠1个错误的线性分组码(n,k)