2025年课件-《应用信息论基础》课后习题答案-清华大学出版社-朱雪龙-新版

第二章习题参考答案∵I(X;YIZ)=H(XIZ)-H(XIY=H(X)+H(ZIX)-H(Z)-H(=[H(X)+H(Y)-H(XY)]+H(ZIX)-H(Z)-H(ZIXY)≤0+H(Z)-H(Z)-H(ZIXY)+H(Z)=同理，可推出H(X)=1;H(Y)=1;2.31)H(X)=0.918bit,H(Y)=0.3)I(X;Y)=0.251bit,H(XYZ)=1.585bit2.4证明：(1)根据熵的可加性，可直接得到XY假设输入X、Y是相互独立的，则满足I(X;Y)=0又I(X;YIZ)=H(XIZ)一H(XIYZ)=H(XIZ)=1设P(X=0,Y=0IZ=0)=pP(X=1,Y=1IZ=0)=1-pP(X=0,Y=1Z=1)=qP(X=12.6解：2.7证明：I(X;Y;Z)=I(X;Y)-I(X;YIZ)2.8N=2时，,其它为0+P(X₁…Xk-2中有偶数个1)I(Xk-1;XIX₁…X-2中有偶数个1)综上：I(Xk;XIX₁…Xk-2中有奇数个1)(3≤k≤N-1)=H(Xk_IX₁…Xk-2中有奇数个1)+H(XIX₁…Xk-2中有奇数个1)一H(Xk-1;XIX₁…Xk-2中有奇数个1)I(Xk-;XIX₁…Xk-2中有偶数个1)=02.91)实例如2.5题2)考虑随机变量X=Y=Z的情况I(X;Y)=1满足I(X;YIZ)<I(X;2.10H(XY)≤H(X)+H(Y)等号在X、Y独立时取得满足H(XY)取最大值2.11证明：I(X;Y)-I(X;YIZ)=I(X;Y;Z)=I(X;Z)-I(X;ZIY2.12证明：H(XYZ)=H(XZ)+H(YIXZ)2.13证明：=H(X)-H(XIY)-H(YIZ)+H(YIX=H(X)-H(XIY)-H(YIZ)+H(XYZ而等式右边=H(XYZ)-H(X)-H(Y)-H(Z)+H(X)-H(XIY)+H(Y)-H(Y故左式=右式，原式成立现a的频率)的概率为,则有所以根据鉴别信息的凸性而根据随机序列的平稳性，有：其中其中时时天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3,12个球中的不等重球(可较轻，也可较重)的不确定性为：因∴3次测量可以找出该球具体称法略。其中δ=0时设该序列中出现0的个数为n₀,则出现1的个数为(N-n。),则上式变为3.41)不妨设M=2³+k(j≥0,0≤k<2′),可进行如下编码：首先作一深度为j的二叉满树，并在2个叶子节点中取k个节点，以这k个节点为根节点，生成k个深度为1的子树，于是得到了一个有2+2k-k=M个叶子的二叉树，对此二叉树的叶子按Halfman方法进行编码，即得到最优的二元即时码。不妨设u;(i=…-2,-1,0,1,2,.取自字母表{a₁,a₂.….an},设一阶转移概率为所以在当前码字u;进行编码时，由u;-1=ak,对u;可能的取值，依概率分布(P.1…P册)进行Halfman编码，即是最佳压缩方案。如按无记忆信源进行编码，则根据信源所处的的1,2,3三个状态对应编码成00,1,01。平均码长为：如果按马尔可夫信源进行编码：状态3时：无需发任何码字3.91)H(X)=-(plogp+qlH(Y)=-(plogp+qlogq)bit/sample二元Halfman码：a₁=00a₁=0,az=1,a₃=20,a₄=21,a₅=220,a₆=221,a₇=2223.111)证明：当且仅当或时，信源字母概率取的形式。2)设经过j+1缩减，又由于最后一次缩减必剩下3个字母，3.121)考虑信源U′满足分布：对U′进行最优编码，则其平均码长,如果I取最小，则C=M-I'取最小， 4.1设有离散无记忆信道，输入X:,输出Y:当输入/出x和y的互信息I(x;y)也为一随机变量，试证：当Var{I(x;y)}=0时，平均互信息I(X;Y)达到信道容量C。由Var{I(x;y)}=0可知，I(x;y)以概率I(x;Y)=∑P(b,/a)I(x=所以当Var{I(x;y)}=0时，平均互信息达到信道容量C。<证毕>4.2设某信道的输入X取值{+1,-1},又信道有加性噪声n,其分布密度为答：C=0.5bit,当输入的概率分布为P(X=1)=P(X=-1)=去时达到信道容量。4.3设在图4.10的一般高斯信道中,试求信道的容量费用函数C(P,)可推得Fλ的一个方程，如下：而故C(P₅)可求。4.4设X和Y为信道的输入和输出，两者均取值于集合A={a₁,a₂,…,ak}。已知p(x=ak)=P,p(y=a;lx=a)=P,定义求证：其中H(P)=-PlogP-(1-P)log(1-P.)。法一：构造随机变量Z,满足于是P(Z=1)=P,P(Z=0)=1-Pe,从而=H(ZIY)+H(XIYZ)H(XIY)=H(ZIY)+H(ZIYZ)≤H(Z)+H(XIYZ)(a)=PH(XIY,Z=1≤Pelog(K-1)(b)H(Z)=H(P.)(c)H(XIY)≤P.log(K-1)+H(P)成立。<证毕> 于是有P.log(K-1)+H(P)-H(XIY)=P.log(K-1)-P.logPe-(1-所以有H(XIY)≤Plog(K-1)+H(P)。<证毕>答：0.04bit,当输入等概时达到信道容量。4.6设有信道，输入X的字母表为：{0,1,2,…,K-1},噪声为独立加性噪声Z,Z的取值也在{0,1,2,…,K-1}集合中，但两者相加为模K相加，即输出Y=X④Z模K,试求此信道的信道容量。答：logK-H(Z),输入等概时达到信道容量4.7设有二元对称信道Y=X,田Z,其中田为模2和，X,Y∈{0,1},Z,:但Z,不是独立随机序列，试证：对任意输入分布有下式成立且设这时的互信息为I(X₁X₂…X;Y₁Y₂…Y),<证毕>2)p=1时的信道容量。1)证明：又由I(X;Y₁;Y₂)=I(X;Y₂)代入(a),可得I(X;Y₁Y₂)=I(X;Y)+I(X;Y₂)-I(Y₁;Y₂)+I<证毕>2)答：当输入是方差为P的高斯分布时达到信道容量。接收矢量),试证此时的码率R必小于该信道的信道容量C。<证毕>5.2设用码字母表大小为J,码长为N的分组码试通信道容量为C的信道传输信息，试证：收端译码的差错概率P满足由4.4证明可知H(XIY)≤Plog(K-1)+H(P.)≤Plog(5.7设(6,3)二元线性码的生成矩阵a.试找出G的行缩减梯形法式表示；B-2应用信息论基础b.求监督矩阵H;c.找出最小重陪集首项；伴随式陪集首答：111010译码为110010;000011译码为000111,101010译码为101011。信息码字a.找出生成矩阵G与监督矩阵H; 伴随式陪集首译码结果00000011011011111010c.求正确译码的概率。a.二元线性码中码字重必全为偶数或奇偶各半；b.(n,k)码的平均码字重不超过么。a.首先证明如下事实：偶重码字与偶重码字之和为偶重码字，奇重码字与奇重码字之和为偶重码字，奇重码字与偶重码字之和为奇重码字。设码字C₁,C₂为偶重码字，即w(C₁)=2n,w(C₂)=2m,设C₁,C₂码字有h个1的位置是相同的，于是有w(C₁+C₂)=2n+2m-2h,所以偶重码字和偶重码字之和为偶重码字。类似可得其他结论成立。因为码字是由生成矩阵G得到的，即其中g₁,g₂…gk是生成矩阵的行向量。1)如果生成矩阵的所有行向量重为偶，则由偶重码字之和为偶重码字可知，所有的码字重都为偶重码字；2)如果生成矩阵的k个行向量中存在至少一个向量其重为奇，不妨设该向量为g₁,它对应的消息位为u₁,记N₁。为u₁取1时，码重为奇的码字数，相应的码字集合为S₁0,N。为时，码重为奇的码字数，相应的码字集合为S。,记N₁为u₁取1时，码重为偶的码字数，相应的码字集合为Se,N₀为u₁取0时，码重为偶的码字下证有N₁₀=No成立：VC∈S₁,重，所以U₁₂g₂+…+U;gk为偶重，从而必存在一个C,'∈So,且满足又奇重码字数=N₁o+N,偶重码字数=N₁e+No,所以有奇重码字数=偶重码字<证毕>c.将2*个(n,k)码排成一个矩阵1)如果C,=0,即生成矩阵存在全零列，则有w(C;)=0;C“+C¹=C”,所以有C,+C,=C,,从而有C"≠C,所以第j列中1和0的个数必<证毕>6.1设已知离散无记忆信源在给定失真量度d(k,j),k=1,2,…,K,j=1,2,…,J下的信息速率失真函数为R(D),现定义新的失真量度d'(k,j)=d(k,j)-8k。试证：在新的失真量度下信息速率失真函数：R'(D)为R'(D)=R(D+G),对离散无记忆信源R(D)=min{I(U;V),E{d(U=min{I(U;V),E{d(k,j)=min{I(U;V),E{d(k,j)-E=min{IU;V),E{d(k,j)≤E而上式可表示为R'(D)=min{I(U;V),E{d(k,j)≤D+G}<证毕>6.2设有带宽为4kHz的限带白色高斯信源，欲通过信道容量为16kb/s的信道传输，试求在理想情况下信道输出端可能得到的最大信噪比。答：理想情况下，当R≤C可以实现无误传输，即将数值代入，可得所以可能达到的最大信噪比为16。组成的正交矩阵。N维随机向量X在正交变换下得到新的随机向量组成的试证：所有正交变换中，K-L变换所对应的Z有最小的熵H(Z)。1)设随机向量X的相关矩阵为R,对应的K-L变换为矩阵U=[u₁u₂…,u相应的特征值为λ,22,…,2N,由题目条件可知zn=(a")X,由E[X]=0,o²=E[z²]=E[(a")XXa"]=(a"2)a"可展开为α"=b₁u₁+bn₂u₂+…bnyu,1≤n≤N,所以由于{a”}是正交规范化向量，所以Vi≠j,(a¹)'(a³)=b₁b₃1+b₁2b;2+..+bwbj=03)记由熵函数的凸性，及b²+b²2+.….+b²=1,将(a)式代入上式，可得不等式右边即为K-L变换所对应得熵，所以结论成立。答：Dmin=1,当转移概率矩阵α满足0≤a≤1;当转移概率矩阵为a,β满足0≤α≤1,0≤β≤1。6.5已知二元信源X:以及失真矩阵,试求：1)Dmn;6.6设有总功率为10mW的限带(0~5kHz)白色高斯信源通过加性白色高斯噪声信道传输，后者的带宽为0~10kHz,噪声的单边功率谱密度为1μW/Hz,容许最大输入功率为20mW。试求在理想情况下接收信号可以达到的最小均方误差。理想状况下，R≤C,所以接收信号可以达到的最小均方误差为6.7设有平稳高斯信源X(t),其功率谱为失真度量取d(x,y)=(x-y)²,容许的样值失真为D,试求：1)信息速率失真函数R(D);2)用一独立加性高斯信道(带宽F₂,限功率P,噪声的双边功率谱密度来传送上述信源时，最小可能方差与F₂的关系。即最小可能方差为6.8设有矢量信源，其各分量X～N(0,c²),k=1,2,…,K,是K个独立的随机变量，试证：在此条件下H(XIX)=H(x₁Ix,X₂…xk)+H(x₂Ix,X₂…kx₁)+...+龙q(x₁X₂…×kIx₁X₂…xk)=q(x₁Ix₁)q(x₂Ix所以要使互信息最小，必定要设计编码器的转移概率独立，由于输入统计独立，所以所以求即在约束条件0≤D炭≤o²由拉格朗日求极值方法可知当,且λ满足)取得最小值。6.9设有离散无记忆信源X经编码后输出Y,失真矩阵的所有列是集合{d1,d₂,…,dm}的某一置换。定义函数1)证明Φ(D)是D的上凸函数；证明设概率分布P'满,令满足H(P')=Φ(D₁)的熵函数为H₁,设P”满足,令满足H(P")=Φ(D₂)的熵函数为H₂,定义P=λP'+z₂P",又由熵函数的凸性可知，H(P)≥λH₁+λ2H₂=九中(D₁