微分熵与平均互信息.ppt

第8章 微分熵与平均互信息,信息如何度量？,8.1 微分熵,1、单符号连续信源,定义,信源发出的消息为单一符号，这些符号随机取值于一个连续域,表示,连续型随机变量X,随机变量X的取值x为信源发出的消息,例1,例2,概率密度函数p(x)如图所示,2、熵与微分熵,x落在第i个区域的概率,根据中值定理,熵,微分熵,消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示,定义,表示,微分熵不能作为连续信源的信息度量,定义微分熵的目的,微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一,均匀信源的微分熵,例3,高斯信源的微分熵,例4,不具有非负性,例如，当b-a1时，均匀分布信源的微分熵, 严格上凸性,3、微分熵的主要性质和最大微分熵定理,平均功率受限下的最大微分熵定理,连续信源一般讨论特定限制条件下的最大微分熵,最常用的限制条件平均功率受限均值为0且方差受限,设p(x)是任意概率密度函数，但,8.2 联合微分熵与条件微分熵,信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续域,1、多符号连续信源,定义,表示,连续型随机变量序列X1X2Xn,例1,例2,2、联合微分熵与条件微分熵,联合微分熵消息x1x2xn所对应联合概率密度函数p(x1x2xn)对数负值的数学期望，用h(X1X2Xn)表示,定义,表示,条件微分熵消息x1x2xn所对应条件概率密度函数p(xk/x1xk-1)对数负值的数学期望，用h(Xk/X1Xk-1)表示 其中1kn,定义,表示,3、微分熵的链式法则,4、联合微分熵的界,8.3 平均互信息,1、单符号连续信道,定义,对应于单符号连续信源和单符号连续信宿的信道,表示,信源连续型随机变量X 信宿连续型随机变量Y,随机变量X的取值x为信源发出的消息,随机变量Y的取值y为信宿收到的消息,p(y/x)为信道转移概率密度函数,2、噪声熵与噪声微分熵,x落在第i个区域基础上信道转移概率密度函数p(y/xi)如图所示 i=1,2, ,N,y/xi落在第j个区域的信道转移概率,根据中值定理,噪声熵,噪声微分熵,信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示,定义,表示,3、平均互信息,信宿消息y所对应概率密度函数p(y)与信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)比值对数负值的数学期望，用I(X;Y)表示,定义,表示,微分熵不能作为信息度量，平均互信息微分熵差，具有信息度量的意义,以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量 以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量,4、平均互信息的主要性质, 对称性, 非负性, 严格凸性,信道固定时，I(X;Y)对于信源概率密度函数p(x)严格上凸 信源固定时，I(X;Y)对于信道转移概率密度函数p(y/x)严格下凸,8.4 联合平均互信息与条件平均互信息,1、多符号连续信道,定义,对应于多符号连续信源和多符号连续信宿的信道,表示,信源连续型随机变量序列X1X2Xn 信宿连续型随机变量序列Y1Y2Yn,p(y1y2yn/x1