信息论习题课.ppt

信息论习题课,朱亮亮Email:zjuzll+IT方博文Email:bowen1028,2.1：A村有一半人说真话，3|10人总说假话，2|10人拒绝回答；B村有3|10人诚实，一半人说谎，2|10人拒绝回答。现随机地从A村和B村抽取人，p为抽到A村人的概率，1p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。,2.2：一个无偏骰子，抛掷一次，如果出现1，2，3，4点，则把一枚均匀硬币投掷一次，如果骰子出现5，6点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息？,2.5：设一个系统传送10个数字：0，1，2，9，奇数在传送时以0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。试求收到一个数字后平均得到的信息量。,X:测试者来自的村庄Y:测试者说话的状态,X:筛子出现的点数。x1:为1,2,3,4,x2为5,6Y:硬币投掷出现正反面的情况,2.9：若三个随机变量X，Y，Z，有X+Y=Z成立，其中X和Y独立(a)H(X)H(Z)(b)H(Y)H(Z)(c)H(X,Y)H(Z)(d)I(X;Z)=H(Z)-H(Y)(e)I(X,Y;Z)=H(Z)(f)I(X;Y,Z)=H(X)(g)I(Y;Z|X)=H(Y)(h)I(X;Y|Z)=H(X|Z)=H(Y|Z),解题关键：X,Y是独立的，Z是关于XY的函数，Z=f(X,Y)H(Z|X,Y)=0H(Y|Z,X)=0H(X|Y,Z)=0H(Z|X)=H(Y+X|X)=H(Y|X)当变量超过两个时，常常需要用链式法则，H(X,Y,Z)=H(Z)+H(X,Y|Z)=H(X,Y)+H(Z|X,Y)=H(X,Y),2.10令X是离散随即变量,Y=g(X)是X的函数，求证H(X)H(Y)。,解题关键：和2.9类似，使用链式法则H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y),解题关键：a),使用熵的可加性H(X)=aH(X1)+(1a)H(X2)+H(a)b),熵的凸性，所以有极大值,解答：Y的概率密度很容易得出,2.23,2.24,2.26同一类型,3.2：,解题关键：使用切比雪夫不等式，其中可以求出L0L0=1884L0=471e7,解题关键：可以推出：由此可以得出典型列集合的上下限界。,000110101111000110解题关键：使用后缀分解集法，每次用来分割的前缀和对应的重复码字组成的序列是模糊序列。,2019/12/12,15,可编辑,解题关键：二元Huffman编码：将两个最小概率消息组合成一个新的消息D元Huffman编码：将D个最小概率的消息组合成一个新的消息其他的编码方法：shannon,shannon-Fano-Elias,解题关键：二元Huffman编码：将两个最小概率消息组合成一个新的消息D元Huffman编码：将D个最小概率的消息组合成一个新的消息其他的编码方法：Shannon,Shannon-Fano-Elias,算术编码,4.1：计算如下所示离散无记忆信道的容量：,是准对称DMC信道用定理4.2.2，直觉上X0=X2，设X1=p；可以得出当P!=0时，无法满足定理4.2.2，即达不到信道容量所以p=0,转化为一个准对称DMC信道,解题关键：这两道题都是和信道，使用和信道的信道容量公式2C=2C1+2C2再用p1=2c1-c,p2=2c2-c弄清楚积信道，和信道，级联信道的概念和信道容量,解题关键：令Y=X+Z则Y=Ymod2则H(Y/X)=H(Y/X)=H(Z)C=max(I(X,Y)=max(H(Y)H(Z)C=max(H(Y)H(Z)则使H(Y)最大与H(Y)最大是等效