最大信息熵原理_第1页
最大信息熵原理_第2页
最大信息熵原理_第3页
最大信息熵原理_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、然后列出无约束条件时具有极值的必要条件热力学统计物理中有熵增加原理，在信息论中也有对应的关于信息熵的著名定理最大信息熵原理。在很多情况下，对一些随机事件，我们并不了解其概率分布， 所掌握的只是与随机事件有关的一个或几个随机变量的平均值。 例如，我们只知道一个班的学生考试成绩有三个分数档：80分、90分、100分，且已知平均成绩为 90分。显然在这种情况下， 三种分数档的概率分布并不是唯一的。因为在下列已知条件限制下P1*80+P2*90+p3*100=90 （平均成绩）P1+P2+P3=1（概率归一化条件）有无限多组解，该选哪一组解呢？即如何从这些相容的分布 中挑选出“最佳的”、“最合理”的分

2、布来呢？这个挑选标准就 是最大信息熵原理。按最大信息熵原理，我们从全部相容的分布中挑选这样的分 布，它是在某些约束条件下（通常是给定的某些随机变量的平均 值）使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。 这是因为信息熵取得极大值时对应的一组概率分布出现的概率 占绝对优势。从理论上可以证明这一点。在我们把熵看作是计量不确定程度的最合适的标尺时，我们 就基本已经认可在给定约束下选择不确定程度最大的那种分布 作为随机变量的分布。因为这种随机分布是最为随机的， 是主观 成分最少，把不确定的东西作最大估计的分布。任何物质系统除了都受到或多或少的外部约束外，其内部总 是具有一定的自由度，这种自由度

3、导致系统内的各元素处于不同 的状态。而状态的多样性，状态的丰富程度（混乱程度、复杂程 度）的定量计量标尺就是熵，熵最大就是事物状态的丰富程度自 动达到最大值。换句话说，事物总是在约束下争取（或呈现）最 大的自由权，我们把这看作是自然界的根本原则。在给定的约束条件下，由最大信息熵原理求“最佳”概率分 布，就是求解条件极值问题。在某些场合，常用拉格朗日乘子法 来确定此分布。一般地，拉格朗日乘子法的法则可叙述如下：欲求n元函数f（xi，X2 , , , Xj在m个".约束条件勉（耳呵”兀）=of 6）I I !"曲耳心竝=Q下的条件极值，可用常数1,八 '依次乘f " -把结果 加起来，得函数无4 + 十至=更十鬲西5亟十仏坐站 宓 抵 西咎这n个方程（7）与m个方程（6）联立解出n+m个未知数Xi, X2, ,， Xn，。而其中Xi，X2，,， xn就是可能为极值点的坐 标，称为驻点。从信息论中发展起来的最大信息熵原理，

人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论