信息论第二讲离散信源的熵.ppt

1、2020/7/28，1，1，从离散源特性：从Shannon信息论的角度来说，源必须包括恒定信息，必有随机化(即不真实自我)，并可用该概率表示。 2、离散源的熵、2.1个离散源的数学模型、2.1.1个单象征符离散源的数学模型、2020/7/28，2，2，离散源空间：源的象征符(状态)是随机的一个离散集x=(。 P=(p1，p2，pn )这种表现表示被称为离散无记忆源的源空间。源空间必须是完整的空间，即概率和为1。 已知2020/7/28，3，3，源数学模型描述的条件：用源空间(离散随机变量)表示源的条件是源符号(状态)的先验概率，这是Shannon信息论的基本假设。2020/7/28，4，4，对

2、信息的理解，只对1信息的概念没有信息的定义的2山农信息论认为“包含在离散源中的信息是源象征符的不真实自我的尺度，使得熵表示分子的无组织度的尺度”。 为了减少组织水平的测量秩序的程度的测量不真实自我还有其他的说明：信息是使概率分布变化的东西。信息是反映事物的形式、关系、差异的东西，信息不是事物本身，而是包含在事物的差异里。 2020/7/28，5，5，不确定性：只有存在不确定性，信息才存在，获取消息后消除不确定性才能获取信息。 在一个电信系统中，由接收器获取的信息量将与在通讯之前和之后对源的不真实自我减少指数相等。 不真实自我的度量(不真实自我): 不真实自我必须与推测是否发生随机上通告的难易度

3、相同。 2.1.2源象征符不确定性的邮件圈套(uncertainty )，2020/7/28， 6、6、Hartly式：源不确定度的大小与源的消息象征符数有关的编码数越多，不确定度越大的源的不确定度的大小与源的消息象征符概率有关的概率越小，不确定度越大的源的不确定度有可能相加，该云同步应满足：效果p (效果p 因而，为满足上述四个条件，对以对数形式表示的源不确定度为2020/7/28，7，7，自信息量的定义：接收机接收到一条消息状态的信息量等于在接收到之后的该消息状态不确定度的减小量。 I (信息量)=不确定度的减少量。2.1.3假设源象征符中的自信息量、2020/7/28，8和8，在没有噪声

4、的信道上的自信息量：信道没有干扰作用(没有噪声)，那么源提取源状态xi并且接收者接收xi，而接收者接收的信息量是源状态xi。 2020/7/28，9，9，在有噪声信道中的互信息量：在有噪声信道中，发起者发起的状态是xi，接收者接收的状态是yj，接收者接收yj之后，从yj获取关于xi的信息量，并且在发起者发起xi之后，接收者进行接收接收yj后，源实际发出xi时接收者得到的信息量。 由于噪声的干扰作用，接收者接收的信息量小于由信息源发布的信息量。 另外，2020/7/28、10、H(xi )是源状态xi自身所具有的不真实自我整。 H(xi/yj )是即使接收到一个yj之后也存在源状态xi的不确定度

5、。 当接收到yj时，源状态xi的不确定性应当改变。该改变量被称为源状态xi的互信息量。 这个相互信息量在什么条件下大于零？ 等于零还是小于零，2020/7/28，11，(1)源熵的定义：源的一个消息状态具有的熵量。无离散记忆源的熵(独立熵):2.2象征符离散源的熵、2.2.1源熵的概念(Entropy )和H(X )表示源具有的熵以发射任何消息状态， (2)熵的物理意义：表示熵的本意或热力学中分子状态紊乱的程度的信息论中的熵，其等于在无噪声的条件下接收机接收一个消息状态所得到的熵源熵和信息量有不同意义的H(X )表示源x的每个状态可提供的熵，H(X )表示在信道化源x发出象征符之前的接收机相对

6、于信道化源的平均不确定度，其中H(X )表示随机变量x的随机(H(X)0性质2 :对称性性质3 :确定性，2020/7/28，14，性质4 :连续性性质5 :可扩展性，2.2.3离散源的最大熵，(1)一般离散源的最大熵可证明数学上熵函数有最大值，离散源的熵函数有n个变量有约束且创建辅助函数：2020/7/28，15，hh这指示在所有象征符数目相同且概率分布不同的离散源中，当先验概率相等时获得的熵最大。 最大熵的值依赖于编码状态数，并且状态数越大熵越大。 (2)在有限平均值的离散源的最大熵增加了限制的情况下，可确定的离散源的最大熵使用所述离散源的最大熵并作为辅助函数：2020/7/28和17加权

7、熵、2020/7/28和18，联合源的概率空间：联合源被认为具有两个源x，y成分：2.3共熵和条件熵，2.3.1联合源的共熵，2020 p (x )，P(Y ) 2020/7/28，20将构成由两个这些个源组成一个联合源的2020/7/28，21联合源的共享熵的方式：联合源的共享熵：该联合源将来自一个联合消息状态(xi，yj )的熵转换成联合源的独立熵：如果将联合源视为两个独立的源(当然，实际上并非彼此独立)，则每个源的熵为独立熵。 2020/7/28、22，概率的基本关系：在x、y独立的情况下，有p(x，y)=p(x)p(y )。2020/7/28、23、2020/7/28、24、2.3.1

8、联合源的条件熵、一个联合源(x，)、2020/7/28和25，以及所讨论的源象征符定状态的自身信息量和源的位置源和接收者之间是通道连接的，在这里开始讨论通道问题。2.4个离散源的平均互信息量、2020/7/28，26，离散信道的输入设为一个随机变量x，对应的输出的随机变量设为y，并且规定了一个离散信道要求三个残奥参数，如图所示：输入符号定径套： X=x1，x2 p(y2/x1 ) p(y1/xn)p(ym/xn )、2.4.1离散信道的数学模型、2020/7/概率空间描绘X=x1、x2、xn P(Y/X)=p(yj/xi) (i=1,2、2、2、n。 j=1，2，m) Y=y1，y2，ym 0

9、p(yj/xi)1这表示信道上有输入必须有输出。 2020/7/28，28，传输矩阵描述矩阵p表示为传输矩阵或信道矩阵。 p矩阵是nm矩阵，每行元素的和为1。 该图示出了格拉夫紧急描述离散信道、2020/7/28、29的格拉夫紧急描述。然而，当信道输出符号yj时，2020/7/28、30、2.4.2x与y的关系是必须具有输入符号xi的输入信道。 如果对于给定通道p，先验概率p(xi )是已知的，则可以获得p(xi，yj )、P(xi/yj )和p(yj )。 先验概率联合概率信道跃迁几率后验概率，2020/7/28，31，2.4.3互信息，定义：信息传递的根本问题是在针对特定信道校正操作接收到

10、yj之后，从yj获得关于xi的信息量。 将这个信息量称为相互信息量，表示为I(xi，yj )。I (xi，yj)=收信yj前的收信者对于xi的不确定度-收信yj后的收信者对于xi的不确定度=通讯前后的收信者对于Xi的不确定度变化量(减少量) I(xi， yj )=h (Xi )-h yj )=p (Xi ) p (yj/Xi )=p (yj ) p (Xi/yj )可以得到I(xi，yj)=i(xi)-这样的结果，2020/7/28、34、后验概率和互信息量已知互信息量=log (后验概率/先验概率) 接收H(xi/yj)=0时可以准确地判断xi，相当于没有噪声的通道，接收yj时所得到的信息量等于xi的自身信息量。 H(xi)H(xi/yj )确定在接收到yj之后源输出xi的概