第6章 连续信源与连续信道

1、2021年12月28日星期二信息论导论通信与信息工程学院杨海芬连续信源与连续信道第6章 连续信源与连续信道o 掌握时不变连续信源相对熵的定义及其意义，相对熵的计算和性质；o 掌握连续系统平均互信息量的定义、计算和性质；o 掌握加性信道的特点，高斯加性信道最大信息传输速率计算式（香农公式）的导出、意义和计算。连续信源与连续信道一、连续信源及其相对熵一、连续信源及其相对熵1、时不变连续信源、时不变连续信源定义定义如果任何时刻信源发出的消息都是单一符号，而如果任何时刻信源发出的消息都是单一符号，而这些符号的取值是连续的，则该信源为时不变连这些符号的取值是连续的，则该信源为时不变连续信源。续信源。表示

2、表示连续信源与连续信道信源符号信源符号X取值于集合取值于集合a , b)x( pbxa)X(PX1dx)x(pba且满足式中，式中，p(x)为连续消息的概率密度函数为连续消息的概率密度函数) ab/(1bxa)X(PX例例1连续信源与连续信道222)mx(2e21x)X(PX例例2假定概率密度函数假定概率密度函数p(x)如图所示如图所示2、时不变连续信源的熵、时不变连续信源的熵连续信源与连续信道ix)x(pi连续消息落在第i个区域的概率为xiax) 1i (adx)x(pxiaxx) 1i (a Px)x( pdx)x( pixiax) 1i (a根据中值定理，有nabxp(x)xbaa+(i

3、-1)xa+ix连续信源与连续信道 x)x(plogx)x(plim)X(Hn1iii0 xnn1in1ii0 xnii0 xnxlogx)x(plim)x(plogx)x(plimba0 xnbadx)x(pxloglimdx)x(plog)x(pxloglimdx)x(plog)x(p0 xnba绝对熵连续信源与连续信道bacdx)x( plog)x( p)X(H相对熵不能作为连续信源的信息度量。相对熵不能作为连续信源的信息度量。定义相对熵的目的：定义相对熵的目的：相对熵相对熵表示表示与离散信源的熵在形式上统一与离散信源的熵在形式上统一熵差具有信息度量的意义熵差具有信息度量的意义连续信源与

4、连续信道均匀分布信源的相对熵均匀分布信源的相对熵bxa ,ab1)x(pdx)x(plog)x(p)X(Hbac几种连续信源的相对熵几种连续信源的相对熵) ablog(dxab1log)x(pba高斯分布信源的相对熵高斯分布信源的相对熵连续信源与连续信道x,e21)x(p222)mx(2dx)x(xpXEm其中，dx)x( p)mx()mX(E222dx)x(plog)x(p)X(Hcdx)e21log()x( p 222)mx(2)e2log(21elog212log22连续信源与连续信道指数分布信源的相对熵指数分布信源的相对熵x,0 em1)x(pmx0dx)x(xpXEm其中，0cdx)

5、x(plog)x(p)X(H0mxdx)em1log()x( p)emlog(elogmlog连续信源与连续信道不具有非负性不具有非负性例如，当例如，当b-a1时，均匀分布信源的相对熵时，均匀分布信源的相对熵0) ablog()X(Hc 严格上凸性严格上凸性4、相对熵的主要性质、相对熵的主要性质baba2211ba2121dx)x(plog)x(p)1 ()x(plog)x(pdx)x(p)1 ()x(plog)x(p)1 ()x(p连续信源与连续信道5、最大相对熵定理、最大相对熵定理连续信源没有一般意义下的最大相对熵，只有限制连续信源没有一般意义下的最大相对熵，只有限制条件下的最大相对熵。条

6、件下的最大相对熵。通常讨论三种限制条件：通常讨论三种限制条件：取值范围受限取值范围受限平均功率受限平均功率受限均值受限均值受限连续信源与连续信道如果连续消息取值范围被限定在如果连续消息取值范围被限定在a,b，该限定域，该限定域内的均匀分布信源具有最大相对熵，该最大相对内的均匀分布信源具有最大相对熵，该最大相对熵熵Hc(X)max=log(b-a)取值范围受限下的最大相对熵定理取值范围受限下的最大相对熵定理bxa, ) ablog()X(Hc设设p(x)是限定域是限定域a,b内的任何概率密度函数内的任何概率密度函数bacdx)x(plog)x(p)x(Hbadxabab)x(plog)x(p连续

7、信源与连续信道babadx) ab)(x( p1log)x( pdxab1log)x( pbadx 1) ab)(x( p1)x( pelog) ablog(dx)x(pdxab1 elog) ablog(baba) ablog( 连续信源与连续信道平均功率受限下的最大相对熵定理平均功率受限下的最大相对熵定理如果连续消息的平均功率被限定为如果连续消息的平均功率被限定为P，均值为零、，均值为零、方差为该平均功率的高斯分布信源具有最大相对方差为该平均功率的高斯分布信源具有最大相对熵，该最大相对熵熵，该最大相对熵Hc(X)max=log(2eP)/2x, )eP2log(21)e2log(21)X(

8、H2c设设p(x)是任何概率密度函数，且是任何概率密度函数，且Pdx)x(px22连续信源与连续信道dx)x( plog)x( p)X(Hcdxe2e2)x(plog)x(p22222x22x2dx2)x( pelog)x( pdx2elog)x( p22x22x2222连续信源与连续信道dx 12)x( pe)x( pelog)e2log(2122x222dx)x(pdx2e elog)e2log(2122x222)eP2log(21)e2log(212连续信源与连续信道如果非负连续消息的均值被限定为如果非负连续消息的均值被限定为m，均值为该限，均值为该限定值的指数分布信源具有最大相对熵，该

9、最大相对定值的指数分布信源具有最大相对熵，该最大相对熵熵Hc(X)max=log(em)均值受限下的最大相对熵定理均值受限下的最大相对熵定理x0, )emlog()x(Hc设设p(x)是非负域的任何概率密度函数，且是非负域的任何概率密度函数，且mdx)x(xp00cdx)x( plog)x( p)X(H连续信源与连续信道0mxmxdxmeme)x(plog)x(p0mx0mxdxm) x( pelog) x( pdxmelog) x( p0mxdx 1m)x( pe)x( pelog)emlog(00mxdx)x(pdxme elog)emlog()emlog(连续信源与连续信道二、连续信道及

10、信道容量二、连续信道及信道容量1、时不变连续信道、时不变连续信道定义定义对应于时不变连续信源和时不变连续信宿的信道对应于时不变连续信源和时不变连续信宿的信道为时不变连续信道。为时不变连续信道。表示表示信源符号信源符号X取值于集合取值于集合a , b信宿符号信宿符号Y取值于集合取值于集合c , d连续信源与连续信道2、时不变连续信道的噪声熵Xp(y/x)Yp(y/x)为信道转移概率密度函数1dy)x/y(pdc且满足 y)x/y( plogyx)yx( plim)X/Y(Hm1jn1iijji0y, xm, n绝对噪声熵连续信源与连续信道 dcbadxdy)x/y(plog)xy(pm1jn1i

11、ijji0y, xm, n)x/y(plogyx)yx(plimm1jn1iji0y, xm, nylogyx)yx(plim yloglimdxdy)x/y(plog)xy(p0ymdcba dcba0ymdxdy)xy(pyloglim连续信源与连续信道相对噪声熵 dcbacdxdy)x/y( plog)xy( p)X/Y(H表示表示3、平均互信息量)X/Y(H)Y(H)Y;X( Iyloglim)Y(H0ymcyloglim)X/Y(H0ymc)X/Y(H)Y(Hcc连续信源与连续信道平均互信息量)X/Y(H)Y(H)Y;X( Iyloglim)Y(H0ymcyloglim)X/Y(H0

12、ymc)X/Y(H)Y(Hcc虽然相对熵不能作为信息度量，但平均互信息量是虽然相对熵不能作为信息度量，但平均互信息量是熵差，具有信息度量的意义。熵差，具有信息度量的意义。连续信源与连续信道 非负性非负性0)Y;X( I平均互信息量的主要性质平均互信息量的主要性质 对称性对称性)X;Y( I)Y;X( I 严格凸函数性严格凸函数性信道固定时，信道固定时，I(X;Y)是信源概率密度函数是信源概率密度函数p(x)的严的严格上凸函数格上凸函数信源固定时，信源固定时，I(X;Y)是信道转移概率密度函数是信道转移概率密度函数p(y/x)的严格下凸函数的严格下凸函数连续信源与连续信道5、信道容量与最大信息传

13、输速率、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密的严格上凸函数，总能找到一种信源概率密度函数度函数p(x) ，使通过信道的平均互信息量达到最，使通过信道的平均互信息量达到最大。大。)Y;X( ImaxC)x(p连续信道一般考虑信道在单位时间内平均互信息连续信道一般考虑信道在单位时间内平均互信息量的最大值。量的最大值。)Y;X( ImaxT1TCC)x(pt连续信源与连续信道6、加性信道、加性信道信道中噪声对信号的作用表现为线性叠加的称为加信道中噪声对信号的作用表现为线性叠加的称为

14、加性噪声，相应的信道为加性信道。性噪声，相应的信道为加性信道。其中，其中，X的概率密度函数为的概率密度函数为p(x)，Y的概率密度函的概率密度函数为数为p(y)，噪声，噪声N的概率密度函数为的概率密度函数为p(n)。XY=X+NN连续信源与连续信道X和和N相互独立时，加性信道的转移概率密度函数相互独立时，加性信道的转移概率密度函数p(y/x)=p(n)设坐标变换设坐标变换相应的雅可比行列式相应的雅可比行列式11011yfyfxfxfJ2121)x/y(p)x(p)xy(p)n(p)x(p)xn(pJ)xn(p)xy(pxyfn, xfx21连续信源与连续信道7、高斯加性信道的信道容量、高斯加性

15、信道的信道容量 dxdy) x/y( plog) x/y( p) x( p)X/Y(Hc dxdn)n(plog)n(p)x(pdn)n(plog)n(p)eP2log(21)e2log(21)N(HN2c如果噪声如果噪声N是均值是均值m=0、方差、方差2=PN的的(白色白色)高斯加高斯加性噪声性噪声AWGN，信道为高斯加性信道。，信道为高斯加性信道。连续信源与连续信道)X/Y(H)Y(Hmax)Y;X( ImaxCcc)x(p)x(p)N(H)Y(Hmaxcc)x(pX和和N相互独立时，信源相互独立时，信源X取均值取均值m=0、方差、方差的高斯分布，信宿的高斯分布，信宿Y也满足高斯分布，其均

16、值也满足高斯分布，其均值m=0、方差为方差为 X2XPNX22X2YPP )eP2log(21)Y(HmaxNc)x(p根据平均功率受限下的最大相对熵定理，当信宿根据平均功率受限下的最大相对熵定理，当信宿Y取均值取均值m=0、方差、方差 的高斯分布时具有最的高斯分布时具有最大相对熵大相对熵NX2YPP 连续信源与连续信道)PP( e2log21)e2log(21(Y)Hmax NX2Ycp(x)高斯加性信道的信道容量高斯加性信道的信道容量)PP1log(21)eP2log(21)PP( e2log21CNXNNXSNRPPNX为信噪功率比其中连续信源与连续信道8、高斯加性信道的最大信息传输速率

17、、高斯加性信道的最大信息传输速率当所传输信号的有效带宽为当所传输信号的有效带宽为B时，根据采样定理，时，根据采样定理，只要采样频率取为只要采样频率取为2B，符号序列即可保留时间连，符号序列即可保留时间连续消息的全部信息。续消息的全部信息。)PP1log(BCNXt平均不失真传输一条消息平均不失真传输一条消息(符号符号)所需时间为所需时间为T=1/2B，相应最大信息传输速率，相应最大信息传输速率该式称为香农公式。该式称为香农公式。连续信源与连续信道)BNP1log(B)PP1log(BC0XNXt0NPNAWGNB设为的单边功率谱密度香农公式的意义：香农公式的意义：最大信息传输速率与所传输信号的

18、有效带宽最大信息传输速率与所传输信号的有效带宽成正比成正比最大信息传输速率与信噪功率比基本呈对数最大信息传输速率与信噪功率比基本呈对数关系，且信噪功率比小于关系，且信噪功率比小于1时最大信息传输速时最大信息传输速率仍大于率仍大于0连续信源与连续信道0XtBNPelogClim最大信息传输速率一定时，增大所传输信号最大信息传输速率一定时，增大所传输信号的有效带宽，可以降低对信噪功率比的要求，的有效带宽，可以降低对信噪功率比的要求，反之亦然反之亦然当所传输信号的有效带宽趋于无穷时，最大当所传输信号的有效带宽趋于无穷时，最大信息传输速率趋于有限值信息传输速率趋于有限值连续信源与连续信道已知高斯加性信道所传输信号的带宽已知高斯加性信道所传输信号的带宽B=3kHz，最，最大信息传输速率大信息传输速率Ct=1.5104bps，求信噪功率比；，求信噪功率比；如果将信噪功率比降低到如果将信噪功率比降低到-3