信息理论基础知到智慧树章节测试课后答案2024年秋浙江大学

信息理论基础知到智慧树章节测试课后答案2024年秋浙江大学第一章单元测试

随机事件的互信息可小于0，随机变量的互信息也可小于0。（）

A:错B:对

答案:错对于连续随机变量，其微分熵越大，说明不确定性越大。（）

A:对B:错

答案:错必然事件和不可能事件的自信息量都是0。（）

A:对B:错

答案:错自信息量是P(xi)的单调递减函数。（）

A:对B:错

答案:对若离散变量X是离散变量Y的函数，则条件熵H(X|Y)恒为0。（）

A:错B:对

答案:对

第二章单元测试

A村有一半人说真话，3/10人总说假话，2/10人拒绝回答；B村有3/10人诚实，一半人说谎，2/10人拒绝回答。现随机地从A村和B村抽取人，p为抽到A村人的概率，1–p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。

答案:这个问题可以通过计算两个村庄人群的交叉熵然后求期望值来解决。首先定义两个村庄人群说真话、说谎话、拒绝回答的概率分布，然后根据p计算加权平均交叉熵，最后通过求导数找到最大值点。对于A村：-说真话的概率为1/2-说假话的概率为3/10-拒绝回答的概率为2/10对于B村：-诚实（说真话）的概率为3/10-说谎话的概率为1/2-拒绝回答的概率为2/10设随机变量X表示一个人的说话状态，Y表示该人来自哪个村（A或B）。我们想要最大化的是关于Y的信息量，这可以通过最小化条件熵H(Y|X)或等效地最大化互信息I(X;Y)来实现。但在这种情况下，直接计算每个村的信息熵然后求期望可能更直观。A村的熵H(A)和B村的熵H(B)可以分别计算如下（注意这里使用的是信息论中熵的定义，即不确定性，对于确定性回答信息熵较低，而对于均匀分布不确定性最高，熵也最高）：\[H(A)=-\left(\frac{1}{2}\log_2\frac{1}{2}+\frac{3}{10}\log_2\frac{3}{10}+\frac{2}{10}\log_2\frac{2}{10}\right)\]\[H(B)=-\left(\frac{3}{10}\log_2\frac{3}{10}+\frac{1}{2}\log_2\frac{1}{2}+\frac{2}{10}\log_2\frac{2}{10}\right)\]通过p对这两个熵取加权平均得到的期望信息量（考虑了抽样偏向）为：\[H(p)=pH(A)+(1-p)H(B)\]要找到该信息的最大值，通常需要对p求导并令导数等于零。但在这个特定问题中，因为A和B村的配置是对称的（只是真话和谎言的比例不同，而拒绝回答的比例相同），最大信息增益实际上不依赖于p的具体值，而是取决于两个村子在说真话和说谎话上的差异性。然而，上述过程展示了如何设置框架来考虑该问题。实际上，直接从两个村庄的配置可以看出，最大的区分度来自于直接比较他们说真话和说谎话的比例，而不是通过调整p来优化信息增益。因此，正确的理解和解答应当集中在理解信息增益的本质和如何通过不同群体的特征对比来获取信息，而不是简单地调整抽样概率p来最大化某种抽象的“信息量”。正确执行上述计算会发现，信息增益的最大化并不直接通过改变p实现，而是理解两个群体本身的特性对比。一个无偏骰子，抛掷一次，如果出现1，2，3，4点，则把一枚均匀硬币投掷一次，如果骰子出现5，6点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息?

答案:硬币投掷中正面出现次数对于骰子出现点数所提供的信息是：-当骰子出现1、2、3、4点时，你只能得到关于一次硬币投掷结果的信息，即正面出现的概率是0次或1次。-当骰子出现5、6点时，你能得到关于两次硬币投掷结果的综合信息，即正面出现的概率可以是0次、1次或2次。在某中学有3/4学生通过了考试，1/4学生没有通过。在通过考试的同学中10%有自行车，而没有通过的学生中50%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有40%加入联谊会。

a.通过询问是否有自行车，能获得多少关于学生考试成绩的信息?

b.通过询问是否参加联谊会，能获得多少关于学生成绩的信息?

c.如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息?

答案:a.通过询问是否有自行车，可以获得一些关于学生考试成绩的信息，因为通过和未通过考试的学生中拥有自行车的比例不同。b.通过询问是否参加联谊会，也可以获得关于学生成绩的信息，因为有无自行车影响加入联谊会的概率，而自行车拥有情况又与考试成绩有关。c.每位数字携带的信息量无法直接计算，需要具体概率数据来应用信息论中的熵公式计算。给出的情况不足以计算每位数字的具体信息量。随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一颗和第二颗骰子

抛掷之和，以Z表示三颗骰子的点数之和，试求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。

答案:0设一个系统传送10个数字：0，1，2，⋯，9，奇数在传送时以0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。试求收到一个数字后平均得到的信息量。

答案:2.5849bits

第三章单元测试

试证明长度为N的D元不等长码至多有D(DN-1)/(D-1)个码字。