信息熵及其性质和应用

青岛农业大学本 科 生 课 程 论 文论 文 题 目 信息熵及其性质和应用 学生专业班级 信息与计算科学09级2班 学生学号姓名 指 导 教 师 吴 慧 完 成 时 间 2012年06月25日 2012 年 06月 25日课 程 论 文 任 务 书学生姓名 指导教师 吴慧 论文题目 信息熵及其性质和应用 论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解 。 资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。 发出任务书日期 06月15日 完成论文日期 06月25日 教研室意见（签字） 院长意见（签字） 信息熵及其性质和应用信息与计算科学专业 指导教师 吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。关键词；信息熵 性质 应用 Information entropy and its properties and ApplicationStudent majoring in Information and Computing Science Specialty dongqiangTutor WuHuiAbstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application of.Information is a very popular and widely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application.Key words:information entropy properties application引言:作为一种通俗的解释，熵是一种不规则性的测量尺度这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度对于离散概率分布p=(p1,p，pn)，香农熵定义为H(X)=EI()=log在p1+p2+p3+pk=1的条件下，为使H（X）最大，显然是pi1/k（i=1,2,，k），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的这是熵作为一个概率测度的理论基础物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw（是系统状态的概率）是后来Planck的量变论及爱因斯坦的光量子理论开展的基础人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。 信息熵(entropy )的概念设一个离散型随机变量和它的概率分布为任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I()=-log。自信息量I()是指某一信源X 发出某一消息信号所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。香农将平均自信息量定义为信息熵，简称为熵。即H(X)=EI()=log。二、信息熵的性质1、对称性： 设某一概率系统中n 个事件的概率分布为，当对事件位置的顺序进行任意置换后，得到新的概率分布为，并有以下关系成立:H()=H ()它表示概率系统中事件的顺序虽不同，但概率系统的熵值是不变的，即概率系统的熵与事件的顺序无关。2、非负性：因为每个p 0引理 2 ：其中： 8、上凸性： 是 P 的上凸函数即对于 和两个概率矢量 ，有：函数f 的图象几何解释： f(EP)总在 Ef(P) 上边9、1 证明离散平稳信源有，试说明等式成立的条件。解： =根据信源的平稳性，有=，因此有等式成立的条件是9、2 证明离散信源有，并说明等式成立的条件。证明而 =即 代入上述不等式，有等号成立的条件是：9、3 在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明（1）h(X | Y) h(X )，当且仅当X 和Y 统计独立时等号成立；（2） 当且仅当X1X2L 彼此统计独立时等式成立。证明：（1） 等号成立当且仅当p(x | y) = p(x)，即p(x, y) = p(x) p(y)，因此仅当X 和Y 统计独立时等号成立。（2）根据条件概率密度的相关公式，有根据（1）的结论，条件差熵小于差熵，因此有等号成立当且仅当即9、4 N 维连续型随机序列,有概率密度以及以及。证明：当随机序列的分量各自达到正态分布并彼此统计独立时熵最大。最大熵为证明：等号成立当且仅当各分量统计独立。而对于任何一个分量而言，当时，高斯分布的差熵最大，为因此原序列差熵的最大值为：+ =9、5 N 维连续型随机序列，其各分量幅度分别受限为。证明：当随机序列的分量各自达到均匀分布并彼此统计独立时熵最大。最大熵为证明：等号成立当且仅当各分量统计独立。而对于任何一个分量而言，当幅度分别受限为 , i i a b 时，均匀分布的差熵最大，为因此原序列差熵的最大值为：= =三、熵的应用熵是信息理论中一个非常重要的概念，它是衡量一个随机变量取值的不确定性程度。而就数据集合而言，熵可以作为数据集合的不规则程度的量度，所谓的不规则程度指的是集合中前后数据元素之间时序依赖关系的强弱。对一个具体的系统来说，如果这个系统随机性很大、非常混乱、毫无秩序,则此系统的信息熵就一定很大。反之，如果一个系统是确定的、具有一定的规则、服从一定的秩序，则此系统的信息熵就一定小。因此,可以把信息熵引申应用到对事物集合中一些相互对立性质的量度,判断事物集合中的有序与无序、确定性与随机性、组织性与散漫性、规则性与杂乱性、简并性与多样性,并对其相互对立的概念进行量度。结合信息熵的性质，它的应用十分广泛，在各个学科中都有它的影子。目前文献中信息熵在具体问题中的应用有信息熵在教学质量分析中的应用，信息熵在学生评教结果分析中的应用探析，信息熵在数据集分割中的应用，信息熵方法及其在教育信息处理中的应用，信息熵在缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究，信息熵缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究，信息熵在设计风险管理中的应用研究，信息熵在大型水利水电工程网络管理系统信息集成中的应用，信息熵在体育综合服务质量模糊评价中的应用，信息熵在水污染物总量区域公平分配中的应用，信息熵在项目沟通管理中的应用，信息熵在竞争情报计量分析中的应用，信息熵在体绘制视图选取中的应用，信息熵在基因调控网络构建中的应用，信息熵在入侵检测中的应用，信熵在建设工程评标中的应用，信息熵在农业技术扩散中的应用研究，信息熵在电子测量误差分析中的应用，信息熵在临床定量诊断分析中的应用，信息熵在建筑工程管理中的应用，信息熵在粗糙集理论中的应用，信息熵在优化问题中的应用，信息熵方法在胃癌诊断中的应用，信息熵在泥沙研究中的应用，信息熵在煤田勘探中的应用，信息熵理论在安全系统中的应用，信息熵在临床医学中的应用，信息熵在水系统中的应用研究，信息熵在现代生物医学中的应用，信息熵理论在煤炭企业经济效益评价中的应用等。四、结束语信息熵的性质和应用还远远不止文中列出的具体应用，这需要更多的人去学习信息熵的相关知识，利用信息熵这个有力的工具去研究或解决自己学科中的相关问题，所以我们相信信息熵的应用前景十分广阔。参考文献1 曹雪虹,张宗橙.信息论与编码M .北京:清华大学出版社,2004.2 沈世镒,吴忠华.信息论基础与应用M .北京:高等教育出版社,2004.3 周荫清.信息理论基础M .北京:北京航空航天大学出版社,2