信息率失真函数地绘制

1、课程设计任务书20112012学年第一学期专业：通信工程学号:姓名：课程设计名称：信息论与编码课程设计设计题目：信息率失真函数的绘制完成期限：自一年月日至年月日共周一.设计目的1、理解信息率失真函数的定义与物理意义；2、分析离散信源在误码失真下的信息率失真函数表达式；3、提高综合运用所学理论知识独立分析和解决问题的能力；4、使用相关软件进行曲线的绘制。二.设计内容分析离散信源在误码失真下的信息率失真函数表达式，并绘制曲线图。三.设计要求1、绘制曲线使用数据不能过少；2、分析曲线的特点。四.设计条件计算机、MATLA跋其他语言环境五.参考资料1曹雪虹，张宗橙.信息论与编码.北京：清华大学出版社，

2、2007.2王慧琴.数字图像处理.北京：北京邮电大学出版社，2007.指导教师（签字）：教研室主任（签字）：批准日期：年月日摘要研究信息率失真函数是为了解决在已知信源和允许失真率D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算。通过使用MATLA歆件进行对信息率失真函数曲线的绘制，直观的理解了信息率失真函数R(D)与失真率D和P的函数关系。关键字：信息率失真函数；失真率D;MATLAB目录1信息率失真函数11.1 信息率失真函数的定

3、义11.2 信息率失真函数的物理意义22信息率失真函数表达式22.1 信息率失真函数的定义域22.1.1 失真率D的下界32.1.2 失真率D的上界32.2 参数p的影响32.3 信息率失真函数表达式的推导33信息率失真函数的matlab实现63.1 实验程序63.2 实验结果73.3 图像的分析7总结7参考文献81信息率失真函数1.1 信息率失真函数的定义研究在限定失真下为了恢复信源符号所必需的信息率，简称率失真理论。信源发出的符号传到信宿后，一般不能完全保持原样，而会产生失真。要避免这种失真几乎是不可能，而且也无必要，因为信宿不管是人还是机器，灵敏度总是有限的，不可能觉察无穷微小的失真。倘

4、若在处理信源符号时允许一定限度的失真，可减小所必需的信息率，有利于传输和存储。率失真理论就是用以计算不同类型的信源在各种失真限度下所需的最小信息率。因此，这一理论是现代所有信息处理问题的理论基础。香农首先定义了信息率失真函数R(D),并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。图1.1信息率失真函数定义信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。

5、给出一个失真的限制值D,在满足平均失真D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)o这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(bj/ai)就对应信道转移概率。由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道p(bj/ai)使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D

6、),限定失真为D的条件下，信源输出的最小信息率。即R(D)=minI(X;Y)(1-1)p(bj/ai)WPd'JIIIJ在信源给定后，希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。从信宿来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最小平均信息量。即在满足保真度准则条件下寻找平均互信息I(X;Y)的最小值。(1-2)R(D)=min'匚pij-PDip(ai)p(bj/ai)logp(bj/a"p(bj)1.2 信息率失真函数的物理意义对于给定的信源，在满足保真度准则下，必须传送的最小信息量，它既反映了用户容忍程度，也反映了信息率

7、允许压缩的最小值，R(D)越大，越难压缩，反之可压缩率就大.对于固定的信源分布，平均互信息量I(X;Y)是信道转移概率p(bj/ai)的下凸函数。也就是说：存在一个信道使某一特定信源经过此信道传输时，信道的平均互信息达到极小值.2信息率失真函数表达式2.1 信息率失真函数的定义域率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题，即Dmin,Dmax2.1.1 失真率D的下界由于平均失真度是非负实数d(xi,yj)的数学期望，因此也是非负实数，即D的下界为00(2-1)Dmin=0,对应于无失真情况，相当于无噪信道，信道传输的信息量等于信源嫡，即R

8、(D)=R(0)=H(X)允许平均失真度能否达到其下限值0,与单个符号的失真函数有关。只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到Dmin='p(ai)mind(ai,bj)下限值00i=1j2.1.2 失真率D的上界由于I(X;Y)是非负函数，而R(D)是在约束条件下的I(X;Y)的最小值，所以R(D)也是一个非负函数，即R(D)>0,它的下限值为零。Dma正满足R(D)=0时所有平均失真度中的最小值。(2-2)2.2 参数p的影响R(D)不仅与D有关，还与p有关。概率分布不同，R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25,不用传

9、送信息便可达到，即R=0,这就是(.ax)=0RmiDUD=jm,i2n“m乙p(ai)d(ai,bj)2.3 信息率失真函数表达式的推导D(R)=minDPji-PrPr=pi:I(U;V)M="ppiPjidjR(给定速率)(2-3)称D(R)为失真信息率函数，是况下的最大失真DR(D)的逆函数，它是求在允许最大速率情引用拉氏乘子法，并设S与(i=1,2-n)分别表示(n+1)个约束条件的待定参数，则有:I(Pi；Pji)-SD-Pj=0-Pjiij-(1+logqj)Pi+(1+logPji)Pi-Spdj-艮i=0Sdij求得Pji二qjie由归一化条件有1='Pji

10、='qj'ieSdj_1求得i一二一门aSdijqje再将(2-6)式两边同乘pi并对i求和，且设qj>0,则有Sdijqj=PiPji-Piqjieii“piieSdj=1i代(2-7)入(2-8),得：1SdjPi7Sd?e=1iqje(2-4)(2-5)(2-6)(2-7)(2-8)(2-9)当信源给定pi=p°,选定S与dij以后，它是一个求解m个qj的方程组，则可按下列顺序求解:qj(j=1,2m)，i(i=1,n)>巳,D(S)>R(S)最后求得参量方程如下:D(S)=,iSdjPiqjiedij(2-10)SdjSdij,qjiePiq

11、jielogqj=SD(S)'pilog-i这就是用参量SR(D)的斜率表达的R(D)函数形式，又称为参量方程。由公式(2-8),有：(2-11)求得1Plexp(Sd11)2P2exp(Sd21)=11Plexp(Sd12)2P2exp(Sd22)=1(2-12)1qexp(Sdn)+q2exp(Sd2)=一儿1(2-13)1q1exp(Sd21)q?exp(Sd?2)=一2求得P-(1-P)eS1-eSq2=(1-P)-peS,S(2-14)再将y2)q1q2带入(2-10)式D(S)中:D(S)=iPiqidiiexp(Sdn)1p1q2d12exp(Sdi2)2p2q1d2ie

12、xp(Sd2i)2p2q2d22exp(Sd22)S=log1-D(2-15)再将它带入R(S0,有：1_DR(D)=R(S)S/g工=SD(S)+plog%+(1-p)log%Sog1_D二一plogp(1-p)log(1-p)DlogD(1-D)log(1-D)综上所述：R(D)=-p*10g2(p)-(1-p)*10g2(1-p)+D.*10g2(D)+(1-D).*10g2(1-D(2-16)3信息率失真函数的matlab实现3.1 实验程序forp=0.1:0.1:0.5d=0.000001:0.0001:0.5;R1=-p*10g2(p)-(1-p)*10g2(1-p)+d.*10

13、g2(d)+(1-d).*10g2(1-d);holdon;p1ot(d,r);endholdoff;figure;fo门=2:6p=1/i;d=0.000001:0.0001:1-p;R2=-1og(p)-d*10g(i-1)+d.*10g(d)+(1-d).*10g(1-d);p1ot(d,r);ho1don;endholdoff;3.2 实验结果图3.1R(D)i图3.2R(D)23.3 图像的分析R(D)在定义域内是失真度D的U型下凸函数。R(D)在定义域内是关于D的连续函数。R(D)的单调递减性，容许的失真度越大，所要求的信息率越小。当D相同时，信源越趋于等概率分布，R(D)就越大。由最大离散嫡定理，信源越趋于等概率分布，具嫡越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。总结通过这次实验，我了解了信息率失真函数的定义与物理意义、离散信源在误码失真下的信息率失真函数表达式的推导以及信息率失真函数的matlab实现，并得到了正确的结论。通过对实验输出结果的分析，我更直观的认识了率失真曲线的图像，信息率失真函数R（D）是关于失真率（D）的一个下凸形函数,当失真率（