基于信息论的关于热力学熵和信息熵的讨论与浅析

唐计21151624于航,基于信息论(TheoryOfInformation)的关于热力学熵和信息熵的讨论与浅析,（高大上的题目,熵的概念是由德国物理学家克劳修斯于1865年所提出。化学及热力学中所指的熵，是一种测量在动力学方面不能做功的能量总数。熵亦被用于计算一个系统中的失序现象。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较。,热力学熵Entropy,利用积分求熵值,热力学熵的宏观形式：它的定义是，用来描述能量做功的能力，熵越大能量做功的能力就越弱。由于我们只定义了熵的变化量，因此对一个系统的单一状态来说，宏观的熵没有绝对值。我们实际应用的是以“标准状态”为基准的相对值（标准摩尔熵）。熵的微观形式，著名的玻尔兹曼原理：S=kln，其中的是玻尔兹曼常数，量纲为J/K，由于后面对数项不具量纲，所以玻尔兹曼熵的量纲也是J/K，这是证明它和宏观形式等价的前提。这也形成了熵最广为人知的理解：熵是系统混乱度（无序程度）的量度。参考文献：知乎,熵的两种形式,简单介绍ABriefIntroduction,克劳德香农ClaudeShannon,克劳德香农在1948年的这一篇论文中，提出了“信息熵”的概念，并且以后信息论也被作为一门单独的学科。,著名文献（1948）：AMathematicalTheoryofCommunication,信息熵的来历和热力学熵完全不同。把它也叫做“熵”完全是因为香农老爷子当年提出这个概念时参考了热力学熵，并且它的表达式和热力学熵的微观形式非常相似（但和宏观描述看不出任何相似性）的缘故。后来也有人提出了信息熵的其他表述形式，为了方便，下文以最早也最重要的香农熵为准。-参考文献：知乎,信息熵InformationEntropy,他先后阐述了：有无噪音的离散系统下（DISCRETENOISELESSSYSTEMS&THEDISCRETECHANNELWITHNOISE）“信息的传输”“信息熵的计算”“相关的讨论”解释了：信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等概念。（比较专业）奠定了信息论的基础。,在这篇文献中：,这篇文献所推导的一个公式,K就是一个系数，log以2为底随机变量S的取值(s1,s2.sn)，发生的概率是(p1,p2.pn)，和玻尔兹曼熵表达式形式基本一样，只有常数上的差别。结果的量纲为比特（bit）。意义？指观察者对某一事件（结果）的未知程度。,吴军汉语信息熵和语言模型的复杂度里说，只考虑字频的话英文是4.46比特/字符的信息熵，汉字是9.6比特/字符，直观上很容易理解，英文字母只有26个，所以描述一个字母所需要的信息表示不多，而中文字却很多，就需要更多的信息量才能表示。引用文献：CSDNblog,汉语信息熵和英语有区别？,这书写的很好，吴军博士当年写谷歌板报的功底可见一斑。,吴军博士李开复：精通技术，并能够用清晰的语言公之于众,两个19世纪曾经叱咤风云的巨头，一个虎落平阳，一个老骥伏枥关键时刻的抉择：当互联网来临,甲乙丙三个实力相当的运动员要进行一次比赛，老王是比赛的裁判和记分员，他必须观察并如实记录三位选手的名次。所以对于他来说，比赛结果有A33=6种，由于运动员实力相当，每种结果出现的可能性一样，所以结果的熵是log26。老李是比赛场地的管理员，他完全不关心谁胜谁负，而只想等到比赛结束下班回家，那么比赛对他的熵是多少呢？答案是零，因为他只关心比赛有没有结束，而比赛只要一开始就注定会结束，这个结果是唯一确定的。所以老李根本不用观察比赛，只要坐着等就可以了。不同的观察者，由于目的和观测能力的差异，同一个事件的熵也可能是不同的。参考文献：知乎,举个栗子Example,我们再回头看老王的记分板，他用三组二进制数记录比赛结果。老王的儿子小王（程序员）认为：由于比赛只有三位选手，只要其中两位选手的名次确定第三位选手的名次也就确定了。因此第三组二进制数完全是没有必要的（我们也称它为冗余），如001表示甲乙丙的结果，010表示甲丙乙的结果这样老王每次就只需要三位二进制数（3比特）就可以记录原本要6比特才能表示的信息了。无损压缩是可能的。这也是清晰度差不多的视频文件有的格式卡成狗有的格式却十分流畅的原因。参考文献：知乎,More更多,总之，熵就是系统内无序程度，热力学熵就是热力学系统分子的无序程度