信息率失真函数的定义

1、刃匕即平均”上息的慣小仏二怜嫩真曲率火真函数中的门变也就是人们现定的平均失真度D的上限值。-率失克函数的定义域问题就是在信源和失克函数已知的悄况下，讨论允许平均失貞皮D的报小和报人値宛口I卿数(河数飞燃掉为社圖此允许平弊昨g这就是不允许仃任何失真的情况。-允许平均失克度D能否达到其下限值0,与单个符号的失真函数右关。-伫源让小平均失氏度)十：对J樂个找出个乃与之对应,使(兀刀)最小，不同兀对应的浪小巾也不同。这相巧于在失真炬阵的毎行找出J1从小”、”mW期值癇制対&?厂就是仁源的2小的迓，并行的耀小旳我衣度。A-lJ4符专仿源和鬲号信道的信息率失真函数二在佶源和失或度给定以庙p是涡足保真度准P

2、!JdW(.v,yf)-上農薜騙器牙需（叨对屛缽i麗习露爲虽当中最小的一个作为/_一_c4.5为D数。某二元信源pwo50.5_，求iffiil耳,英失冥矩阵7A，EJ；iw）用解：最大允许失真度为D肿吧叱p（询z=丽轨+；0+；七）p/2令最小允许失真度讯点丽以）疵定时.必吋讦讯TDr测i磁O殛I罰詁足任选血公需满定非炭性和归性。若0是所有9当中最小的个，町取/心）=1其它卩）为0.这时q的线性分配（数学期望必然叔小.即先计篦g：。=（计（兀丿sD=04aD2=0.6a1DA我们引进一反娜试脸信道，设反向信道的倍道矩阵为p云Ir可计算得Piv-0i-i.P-l）-i因为oD.oPA由此可得，

3、所选择的这个试验倍曲正是篠足平均失真度,而平均互佶息达到最小值的佶道.因此，求得二元对称倍道，在失其度矩阵D下的倍息率失真函数为l-Hl|.0D*4.1设无阻1Q而最小乎均失真儿=叫,川曲他.3)=*1+1+1=1档达到心的信道为or01戒ol10叫1/)卜I010aaa1-a1-a03S1l-a卜肿优血ip.；试求:4和現盘川几，川川nu小解：根据最大平均火贞度郎抨，仃Dz=minP(H)J(M.u)=minG+?+#)G+制卜|如果p1/2,010.250.25*D4.2已知二元信源爲H；打以及失真矩陆小D込:(2)D:(3)川。解：(1)6广八0+0叩-祈0达到的命道为个对应的无喋借道b

4、:所R(O)=l(U;V)=H(U)=H(p)报丿、允许失貞度为D=minSP(w)J(w.u)=min(“.(l-p),X-XvV因为二元对称信源,所以R(D)=0Dp存4.4设一个四.元等概信源卩爲卜L接收符号集为A=03.2.3,次宾短阳显义为！f，求dl及们源的函数R(D),)率失罚函数曲线(取4到5个点).C統：垃人允许失真度为113F)=minZP(z/)J(M,v)=1=QnmvuV/V/r4宀最小jR(D)=log4-Dlog3-H(D)0DA4C为画岀女曲线取D=0R(D)=2比号D=-8R(D)=1.2583比号D=-4R(D)=0.7925比%号4R(D)=0.7952比

5、%号D=-5R(D)=0.2075比号/d=24R(D)=O1以1266I舍脚的购用巧送人臬兀Q传递二个二元符号。c(1)试何f澈喰竹切此fd(?l史r(2)升此信液失宾度巡定为汉即源臆可以左佶遭中传输，C慣Ct根恥世m卩.不论疋朋闿此f澈mb能右此皿创侦现上锚以地传输.所以4佶源在此佶道中传箍会引起错误和失具.，2厂Ci.山.输入昱寫相“所以信源的信谒电失宾函：OR(D)=1-H(D)比特/信源符号小Rt(D)=2.66*R(D)叱特/秒小若肖Ct=Rt(D)Q则此信源在此倍道小传谕时不会引起汕id厢道匚泊儿工。总的信源的失其是信源压络飨二MJ允许矢戊D所以仃；62=2.66*1-H(D)O

6、-2.66H(D)=0.664H(D)忙0.2481一故D0.04154-允许信源平均失真D0.0415时此信獗就可以在次信道中传输。若码长/厶，人不满足克拉夫特不等式，则一定不是的惟一可译码，但码长浦足克拉夫特不等式的码，则不一定是惟一可译码。只能根据懂一可译码的定义来判斷.古-丁耳刖:当且仅当有限长的码符号序列能译成两种不同的码字序列，JM此码是非怡一可译变长码，即如下图中情况发生，其中A,B,都是码字SiB,eC)。AiAzAsAmBiIBzIB?IBmB|定是、的前缀，而的尾随后缀一定是另一码字B、的前缀，B,的尾随后缀又是其他码字的前缀.最后，码符号序歹tl的尾部一定基一个码字。由此

7、可得:将码C中所有可能的尾随后缀组成一个集合F,当且仅当集合F中没有包含任一码字，则可判断此码C为惟一可译变长码。构成集合F的方法：观察码C中最短的码字是否是其他码字的前缀。若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀，再将由这些尾随后缀产生的新的尾随后缀列出。再观察这些新的尾随后缀是否是某些码字的前缀，再将产生的尾陆后缀列岀。码字可能产生的尾随后缀全部列岀O用越艺薩JI*D-*O码C=110t11,100,00,10。计算其尾随后缀。现设码c=0,10,1100t1110,101b1101,根据上述测试方法，判断是否是惟一可译码。:最短码字为计二不是其他码字的前缀

8、，所以它没有尾随后缀。故得F=0在F集中没有码C中的码字，所以码C是惟一可译码。初字W它是码字()1广的前缀，所以有尾随后缀：所以得：F：lb(M),10,Ob0可见，在F集中TO和P都是码字，故码C不是惟一可译码。1.将下表所列的信源进行六种无冋的二进制编码,试问:(D11：译码f码)：其平消息.ABcDE1/2000000001/4001011010101001/16010011110110111001011；1601!01111110110011011101H6ICO01111111101C0TK10T111/16TCI01111111X1011HK11011编解：(1)惟一可译码：A.

9、B、C、E即时码：A、C、E=(3)(3la=m:尤码符号冷源符切Z；=2125(二元玛符号/位解心=225(二元/信源符号)6666241111/O1O1O1oO1IoOoooO1100011001111001111110011111T1100111T1H1110000101010011011100101110011011101001111011111111111011-.A.J：IIP：WA：.丿iH.创|时丹期已锢出是变枚码町采区世诃详芟三码的判断法來災断码组民聂短码字为期，碑它玛字術?纭伍这些足曲5级祁C-5加g汝個%字翅轴础字的册檢tfnlBWB/的“#IIyiHilbJtiS处：)

10、1-/:!-.irV：解：(1)H(X)=5.6某信源有8个符号，概率分别为I/2,I/4,1/8,1/16,1/32,1/64,1/128,1/128,试编成这样的码：000,001,010,011,100,101,110,111的码。求(1)信源的符号墻H(X)；(2)出现-个“1”或一个“0”的概峯;(3)这种码的编码效率；(4)和应的香农码和费诺码；(5)该码的编码效率(2)等价于不是全和全零的概率1-P(a1)-P(a2)=1-1/2-1/128=0.4922(3)5詈普皿(4)和应的香农编码*HMR4a-再SIR-pk4代什11211anrmr*kiiiiTD*Iklinn1-wa

11、-DW-iitiii0-iMiuiiinn0.875=0.1110000.938=0.11110010.269=0.11(11010.984=0.111111000.992=0.11111110(5)香农码和费诺码相同平均码长为编码效率为:P=C爲和“+C冷严+*甲+C；詔00=_厂pioo_iP99P-C2PP1-CP97Py1-lOO10lOO1011lOO101IlOO1011=0.0017H(X)=(3/8*og(3A8)+f1/6)*logfH6)+(1/8)*fog(1/8)+(8)Mog(1/8)+(1/8)*log1/8)+(1/12)*log(1/12)=2.3852H3(X

12、)=HfX)/1.5850=2.3852/1.5850=1.504S何字f佣踏(1/8)A2+(1/8)*2+(1/8J*2+i：1-12)*2：i=H3(X：i=1.5049/1.625=92.6：15.7设无记忆二元信源，概率为=0.00,0.995信源输出的：元序列在氏为L二100的信源序列中只对含有3个或小于3个W的各信源序列构成一一对应的组定长码.(1)求码字所需的最小氏度：(2)考虑没仃给際码的信源序列出现的该定长码引起的错误概率P是多少？做(1)信源序列中含仃3个或小j：3个O的各信源序列个数彳j：=1+100+4950+161700=166750対M个仁源庁列进彳丁无失1X的二

13、兀等氏緇砒必须:20M=166750f所以莎需需码反的娄小度:/=185.17一信源可能发出的数字有I、2、3、4、5、6、7,对应的概率分别为p(1)=p(2)=1/3,p(3)=p(4)=l/9,p(5)=p(6)=p(7)=1/27t在二进制或三进制无噪信道中传输，若二进制信道中传输一个码字需要18元人民币，三进制信道中传输个码字潘要2.7元人民币。(1)编出二进制符号的霍夫曼码，求其编码效率：(2)编出三进制符号的费诺码，求其编码效率：(3)根据(1)和(2)的结果，确定在哪种信道中传输可得到较小的花费。5.19离散无记忆信源发出A,B,C三种符号，其概率分布为5/9,1/3,1/9,

14、应用算术编码方法对序列(C,A,B,A)进行编码,并对结果进行解码。解：设A:B,C对应的三元码符号分别为：P(2)=P(A)=5/9,P(1)=P(B)=1/3,P(0)=P(C)=1/9.那么要对(cab,a)进行编码即对序列S=0212进行编码。F(0)=0,F(1)=1/9,F(2)=1/9+1/3=4/9编码过程为：根据多元信源序列的累积分布函数的递推公式:F(sak)=F(s)+P(s)F(ak)A(sak)=P(sak)=P(s)P(ak)可得F(S=0212)=F(021)+P(021)F(2)=F(02)+P(02)F(1)+P(021)F(2)=F(0)-P(0)F(2)十P(02)F(1”P(021)F(2)=0.0654笫-次第一个区间的思点为0.:xfiij长度为仃9弟个X间的思点为1/9.|x(nJ长