连续信源的熵连续信道的平均互信息与信道容量

1、第6章 连续信源的熵、连续信道的平均互信息与信道容量,教学内容和要求,理解单符号连续信源及其模型，理解其熵，掌握其微分熵 理解单符号连续信道及其模型，掌握其平均互信息，理解其信道容量 掌握高斯信道的信道容量，香农公式,6.1 单符号连续信源的熵与微分熵,1、单符号连续信源,定义,信源发出的消息为单一符号，这些符号随机取值于一个连续域,表示,连续型随机变量X,随机变量X的取值x为信源发出的消息,例1,例2,概率密度函数p(x)如图所示,2、熵与微分熵,x落在第i个区域的概率,根据中值定理,熵,微分熵,信源发出消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示,定义,表示,微分熵不

2、能作为连续信源的信息度量,定义微分熵的目的,微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一,均匀信源的微分熵,例3,高斯信源的微分熵,例4,不具非负性,例如，当b-a1时，均匀信源的微分熵, 严格上凸,3、微分熵的主要性质和最大微分熵定理,微分熵h(X)对于信源概率密度函数p(X)严格上凸,平均功率受限下的最大微分熵定理,连续信源一般讨论特定限制条件下的最大微分熵,最常用的限制条件平均功率受限均值为0且方差受限,设p(x)是任意概率密度函数，但,6.2 单符号连续信道的平均互信息,1、单符号连续信道,定义,对应于单符号连续信源和单符号连续信宿的信道,表示,信源连续型随机

3、变量X 信宿连续型随机变量Y,随机变量X的取值x为信源发出的消息,随机变量Y的取值y为信宿收到的消息,p(y/x)为信道转移概率密度函数,2、噪声熵与噪声微分熵,x落在第i个区域基础上信道转移概率密度函数p(y/xi)如图所示 i=1,2, ,N,y/xi落在第j个区域的信道转移概率,根据中值定理,噪声熵,噪声微分熵,信道将信源发出消息x转移为信宿收到消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示,定义,表示,3、平均互信息,信宿收到消息y所对应概率密度函数p(y)对数负值的数学期望信宿的微分熵与噪声微分熵之差，用I(X;Y)表示,定义,表示,微分熵不能作为

4、信息度量，平均互信息微分熵差，具有信息度量的意义,信宿每收到一条消息所含信源一条消息的平均信息,以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息,4、平均互信息的主要性质, 对称性, 非负性, 严格凸性,信道给定时，I(X;Y)对于信源概率密度函数p(X)严格上凸 信源给定时，I(X;Y)对于信道转移概率密度函数p(Y/X)严格下凸,6.3 高斯信道的信道容量,1、高斯信道,加性噪声信道中噪声与信号相互独立且对信号的作用表现为线性叠加,定义,表示,2、高斯信道的噪声微分熵,雅可比行列式,3、高

5、斯信道的信道容量,单符号连续信道给定时，I(X;Y)对于信源概率密度函数p(X) 严格上凸总能找到一种信源概率密度函数p(X)，使I(X;Y)达到最大,定义,信道给定时平均互信息I(X;Y)的最大值，用C表示,表示,信源平均功率受限下，信宿高斯分布是否可达？,达到信道容量的信源概率密度函数,信道容量,6.4 带宽有限高斯信道的信道容量香农公式,1、波形信道,定义,对应于波形信源和波形信宿的信道,表示,信源连续型随机过程X(t) 信宿连续型随机过程Y(t),随机过程X(t)在t时刻的取值x(t)为信源发出的消息,随机过程Y(t)在t时刻的取值y(t)为信宿收到的消息,py(t)/x(t)为信道转

6、移概率密度函数,2、带宽有限高斯信道,定义,表示,3、带宽有限高斯信道的信道容量,根据采样定理，不失真传输一条消息的最小时间T=1/2W,0,T时间，波形信道单符号连续信道,信源平均功率受限下,信道容量,达到信道容量的信源概率密度函数,4、单位时间的信道容量,波形信道习惯于信道单位时间内平均互信息的最大值单位时间的信道容量,定义,单位时间的信道容量，用Ct表示,表示,其中T为平均传输一条消息所需的时间,单位为bit/sec(bps),5、香农公式,T=1/2W,6、香农公式的意义,信道容量正比于信噪功率比，且信噪功率比小于1时信道容量仍大于0 信道容量正比于所传输信号的带宽，但所传输信号的带宽趋于无穷时，信道容量趋于有限值,信道容量一定时，增大所传输信号的带宽，可以降低