信息论与编码习题课.ppt

信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？,第一章,第二章,信源的分类？ 自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?,具有概率为,的符号,自信息量：,条件自信息量：,平均自信息量、平均不确定度、信源熵：,条件熵：,联合熵：,互信息：,熵的基本性质：非负性、对称性、确定性,2.3 同时掷出两个正常的骰子，也就是各面呈现的概 率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵； (4) 两个点数之和（即2, 3, , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。,解：(1),(2),(3)两个点数的排列如下：,共有21种组合：其中11，22，33，44，55，66的概率是,其他15个组合的概率是,(4)两个点数求和的概率分布如下：,(5)包含1的组合：(1,2),(1,3),(1,4),(1,5),(1,6), (2,1), (3,1),(4,1), (5,1),(6,1),(1,1),2.7 设有一离散无记忆信源，其概率空间为,（1）求每个符号的自信息量。 （2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量。,解：,同理可以求得,因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和，就有：,平均每个符号携带的信息量为,bit/符号,2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲 的多少倍？ 解：四进制脉冲可以表示4个不同的消息：0, 1, 2, 3 八进制脉冲可以表示8个不同的消息：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2个不同的消息：0, 1,假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量,八进制脉冲的平均信息量,二进制脉冲的平均信息量,所以，四进制、八进制脉冲所含信息量分别是二进制 脉冲信息量的2倍和3倍。,2-9 国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3，计算：（1）点和划的信息量； （2）点和划的平均信息量。,“”出现的概率是,解：,“,”出现概率的1/3,(1) I(,),bit I(,)=,(2) H=,bit,Bit/符号,2-10 在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度； （4）第二次实验Y包含的不确定度。,解：（1）,(2) P(黑/黑)=,P(白/黑)=,H(Y)=,(3) P(黑/白)=,P(白/白)=,H(Y/白)=,(4),H(Y)=,2-14 在一个二进制信道中，信源消息,，且p(1)=p(0),信宿的消息,信道传输概率,，,（1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I(X;y=0); （2）该情况所能提供的平均互信息量I(X;Y)。,。求：,解： (1),P(i，j)=,P(i/j)=,(2) 方法1:,=,方法2:,2-15已知信源发出a1和a2两种消息，p(a1)=p(a2)=1/2,此消息在二进制对称信道上传输，信道传输特性为,。求互信息量I(a1;b1)和I(a1;b2)。,解：信道转移概率矩阵为,P(bj/ai)=,p22,2.17 每帧电视图像可以认为是由 个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播 员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？,解：（1）,（2）,（3）,2-26 一个信源发出二重符号序列消息（X1，X2),其中第一个符号X1可以是A,B,C中的一个，第二个符号X2可以是D,E,F,G中的一个。已知各个,为p(A)=1/2,p(B)=1/3,p(C)=1/6;各个,值列成如下。求这个信源的熵（联合熵H(X1，X2)）。,解：,P(i)=,P(i，j)=,第三章,信道容量的定义：,无噪无损离散信道：,对称DMC信道、准对称DMC信道的定义？,对称DMC信道：,准对称DMC信道：,（连续信道）香农公式：,二元对称信道：,3.1 设二元对称信道的传递矩阵为,(1) 若P(0) = 3/4, P(1) =1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；,解：（1）,(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；,（2）,其最佳输入分布为,3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解：由题意可知该二元信道的转移概率矩阵为：,为一个BSC信道所以由BSC信道的信道容量计算公式得到：,3-6 设有扰离散信道的传输情况分别如图317所示。求出该信道的信道容量。,解：信道转移概率矩阵为P=,该信道为离散 对称信道DMC,3-7发送端有三种等概率符号,，,接收端收到三种符号,，信道转移概率矩阵为,(1)接收端收到一个符号后得到的信息量H(Y); (2)计算噪声熵 ;,(3)计算接收端收到一个符号,(4)计算从接收端看的平均错误概率； (5)计算从发送端看的平均错误概率； (6)从转移矩阵中能看出该信道的好坏吗？ (7)计算发送端的H(X)和,。,的错误概率；,解：(1),（2）联合概率,后验概率,H(Y/X)=,=,bit/symbol,（3）当接收为,，发为,时正确，如果发的是,则为错误，各自的概率为：,则错误概率为：,（4）,从接收端看平均错误概率为：,（5）从发送端看的平均错误概率为：,（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1y1的概率0.5有一半失真；x2y2的概率0.3有严重失真；x3y3的概率0 完全失真。,（7）,bit/symbol,H(X/Y)=,bit/symbol,3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； （2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？ （3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？,解：（1）,（2）,（3）,3-12 有一个二元对称信道，其信道转移概率如下图所示，该信道以1500个二元符号/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？,解：信道容量,由于,为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间,不能无失真的传输,，,每个二元符号的信息量,失真函数：,第四章,平均失真：,信息率失真函数R(D)：,R(D)函数的定义域：,R(D)函数的性质：下凸性、连续性、单调递减性 信息率失真函数与信道容量的比较。,4-1 设有一个二元等概率信源,，通过一个二进制对称信道（BSC）。,其失真函数,与信道转移概率,分别定义为,，,试求失真矩阵d和平均失真,。,解：由题意得，,失真矩阵为d,，信道转移概率矩阵为P,平均失真为,4-3 设输入符号与输出符号X和Y均取值于0,1,2,3，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为,求,以及相应的编码器转移概率矩阵。,解：由题意，得,则,这时信源无失真，00,11,22,33，相应的编码器转移概率矩阵为,则,此时输出概率分布可有多种，其中一种为： p(0)=1,p(1)=p(2)=p(3)=0,则相应的编码器 转移概率矩阵为,p76,4-5 具有符号集,的二元信源，信源发生概率为：,所示，接收符号集,，转移概率为：,。发出符号与接收符号的失真：,。,。Z信道如下图,（1）计算平均失真,（2）率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真D是多大？ （3）率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真D是多大？,；,（4）画出R(D)-D的曲线。,解：由题意，知,失真矩阵为d,转移概率矩阵为,（1）平均失真,（2）,此时的平均失真,当q=0时，,容易看出当,此时的平均失真D=q(1-p)=1-p,时，minR(D)=0,（3）,（4）,R(D)-D曲线,第五章 信源编码,主要内容： 能够分辨码字的类型；掌握计算码长、编 码效率；掌握几种常用的信源编码方法：香 农编码、费诺编码和哈夫曼编码。,具有概率为,的符号,自信息量：,条件自信息量：,平均自信息量、平均不