信息及计算科学毕业论文

.z.摘要信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相结合而逐步开展起来的一门新兴穿插学科。而熵是信息论中事件出现概率的不确定性的量度，能有效反映事件包含的信息。随着科学技术，特别是信息技术的迅猛开展，信息理论在通信领域中发挥了越来越重要的作用，由于信息理论解决问题的思路和方法独特、新颖和有效，信息论已渗透到其他科学领域。随着计算机技术和数学理论的不断开展，人工智能、神经网络、遗传算法、模糊理论的不断完善，信息理论的应用越来越广泛。在图像处理研究中，信息熵也越来越受到关注。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。本文通过进一步探讨概论率中熵的概念，分析其在图像处理中的应用，通过概念的分析理解，详细讨论其在图像处理的各个方面：如图像分割、图像配准、人脸识别，特征检测等的应用。本文介绍了信息熵在图像处理中的应用，总结了一些基于熵的根本概念，互信息的定义。并给出了信息熵在图像处理特别是图像分割和图像配准中的应用，最后实现了信息熵在图像配准中的方法。关键词：信息熵，互信息，图像分割，图像配准AbstractInformationtheoryisanewinterdisciplinarysubjectdevelopedinpeoplelong-termcommunicationpractice,combiningwithcommunicationtechnology,theoryofprobability,stochasticprocesses,andmathematicalstatistics.Entropyisameasureoftheuncertaintytheprobabilityoftheoccurrenceoftheeventintheinformationtheory,itcaneffectivelyreflecttheinformationeventcontains.Withthedevelopmentofscienceandtechnology,especiallytherapiddevelopmentofinformationtechnology,informationtheoryhasplayedamoreandmoreimportantroleinthecommunicationfield,becausetheideasandmethodstosolvetheproblemofinformationtheoryisunique,novelandeffective,informationtheoryhaspenetratedintootherareasofscience.Withthedevelopmentofcomputertechnologyandmathematicaltheory,continuousimprovementofartificialintelligence,neuralnetwork,geneticalgorithm,fuzzytheory,therearemoreandmoree*tensiveapplicationsofinformationtheory.Intheresearchofimageprocessing,theinformationentropyhasattractedmoreandmoreattention.Inordertofindthefastandeffectiveimageprocessingmethod,informationtheoryisusedmoreandmorefrequentlyintheimageprocessingtechnology.Inthispaper,throughthefurtherdiscussiononconceptofentropy,analyzesitsapplicationinimageprocessing,suchasimagesegmentation,imageregistration,facerecognition,featuredetectionetc.Thispaperintroducestheapplicationofinformationentropyinimageprocessing,summarizessomebasicconceptsbasedonthedefinitionofentropy,mutualinformation.Andtheinformationentropyofimageprocessingespeciallyforimagesegmentationandimageregistration.Finallyrealizetheinformationentropyinimageregistration.Keywords：Informationentropy,Mutualinformation,Imagesegmentation,Imageregistration目录摘要1Abstract2目录31引言51.1信息熵的概念5信息熵的根本性质及证明6单峰性6对称性71.2.3渐化性71.展开性71.确定性82基于熵的互信息理论9互信息的概述9互信息的定义9熵与互信息的关系93信息熵在图像分割中的应用11图像分割的根本概念11图像分割的研究现状11图像分割的方法11基于改良粒子群优化的模糊熵煤尘图像分割12根本粒子群算法12改良粒子群优化算法131314实验结果及分析16一种新信息熵的定义及其在图像分割中的应用19香农熵的概念及性质19一种信息熵的定义及证明192122二维信息熵阈值法的复杂性分析24结论及分析254信息熵在图像配准中的应用274.1图像配准的根本概述27基于互信息的图像配准27Powell算法28变换28平移变换294.4.2旋转变换30基于互信息的图像配准的设计与实现31总体设计思路和图像配准实现31直方图33联合直方图33灰度级差值技术344.4.5优化搜索方法级结论355结语37致38参考文献391引言信息熵的概念1948年，美国科学家香农(C．E．Shannon)发表了一篇著名的论文"通信的数学理论"。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进展了定性和定量的描述。他指出，信息是事物运动状态或存在方式的不确定性的描述。其通信系统的模型如下所示：信源编码信源编码信道信号解码信宿干扰噪声信息的根本作用就是消除人们对事物的不确定性。信息熵是信息论中用于度量信息量的一个概念。假定是随机变量的集合，表示其概率密度，计算此随机变量的信息熵的公式是：表示一对随机变量的联合密度函数，他们的联合熵可以表示为：信息熵描述的是信源的不确定性，是信源中所有目标的平均信息量。信息量是信息论的中心概念，将熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论根底，如果一条信息是由个字符连成的字符串组成，并且每个字符有种可能，则这条信息就有种不同的排列情况，则可以用度量信息量，但这时的信息量随着消息的长度按指数增加，为了使信息量的度量值按线性增加，Hartley给出了取对数的信息量的定义：(1.1)由上式可以看出，信息量随着消息的可能性组合增多而增多，如果消息只有一种可能性时即事件为必然事件时，则消息中包含的信息量为零。因此可以看出，可能收到的不同消息越多，对收到哪条消息的不确定性就越大;相反，收到只有一种可能性的消息，不确定性为零，Hartley对消息的度量实际是对不确定性的度量。Hartley度量方法的缺乏之处是他所定义信息量是假定所有符号发生的概率一样，但实际情况各符号并不一定都等概发生，为此，Shannon用概率加权来衡量消息出现的可能性，对Hartley的度量方法做出改良。设*一随机过程中有k种可能的情况，每种情况发生的概率分别是，，…，，Shannon给出了熵的如下定义：(1.2)当所有可能的事件均以相等的概率发生时，上式就成了Hartley定义的熵，并且这时熵取得最大值，即(1.3)所以，Hartley熵是,Shannon熵的特殊情形，而Shannon更具有一般性。Shannon熵包含三种含义：第一种含义是度量信息量，事件发生概率与获得的信息量成反比，即概率越大，信息量越少，又由式(1.3)知，概率越大，信息量越少，熵越小，所以可用熵的大小来度量信息量，熵越大，信息量越大;第二是度量事件概率分布的分散度，概率集中分布时熵值小，分散性越强，熵越大；三含义是度量事件发生的不确定性，概率越大，事件的不确定性越小，熵越小。利用上面第三个含义，可以用Shannon熵，来度量图像包含的信息量，图像灰度值的概率分布是每灰度值出现的次数除以图像中所有灰度值出现的总次数，此时图像的信息量可依据这个概率分布来计算，一幅图像中不同的灰度值较少，各灰度值出现的概率较高，则对应的灰度值较低，意味着这幅图像含有的信息量很少。反之，如果一幅图像中含有很多不同的灰度值，且各灰度值发生的概率又根本一致，则它的熵值会很高，则这幅图像包含的信息量很大。信息熵的根本性质及证明单峰性信息熵的单峰性可表述为：先考察由、两个事件构成的概率系统，其产生的概率分别为和则该系统的信息通过求极限不难证明：(1)当时，这是一种产生的概率为0，产生的概率为1确实定系统。(2)当时这是一种产生的概率为1，产生的概率为0确实定系统。(3)对函数可以通过求导数的方式寻找其极值点。该函数的一阶导数为令则有，求得为该函数的驻点。因为二阶导数当时，恒小于0，所以当时函数有极大值。这说明当、两事件产生的概率一样时，具有最大值，这是一种不确定性最大的不确定系统。(4)假设概率系统中有个事件，当每一事件产生的概率一样〔均为〕时，则系统的信息熵具有最大值。该结论可以通过以下的讨论来证明：具有个事件的概率系统其信息熵可表示为，这是在约束条件下的极值问题。应用因子法，设：将对事件的概率求一阶偏导数，并令使用约束条件确定值，可求得〔常数〕。同理有〔常数〕，即当时，有极大值。对称性信息熵的对称性可表述为：设*一概率系统中n个事件的概率分布为当对事件位置的顺序进展任意置换后，得到新的概率分布为，并有以下关系成立：它表示概率系统中事件的顺序虽不同，但概率系统的熵H是不变的，即概率系统的熵与事件的顺序无关。渐化性信息熵的渐化性可表述为：设概率为的事件可分解为概率分别为和的两个事件，则有：展开性信息熵的展开性可表述为：设*一概率系统的概率分布为则系统的信息熵具有展开性质：在此根底上，进一步展开有：根据上述展开性不难证明。1.2.5确定性信息熵确实定性可表述为：设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。这是一种确定的系统，对于这样的系统有：根据很容易证明上述性质。2基于熵的互信息理论互信息的概述互信息〔MutualInformation〕来自于信息论，是信息论中的一个根本概念，是两个随机变量统计相关性的测度。当两幅图像到达最正确配准，它们对应像素的灰度互信息应到达最大。该测度不需要对不同成像模式以下图像灰度间的关系作任何假设，也不需要对图像进展分割或任何预处理，具有自动化程度高的特点。因此，最近几年将互信息作为图像配准过程的相似性测度，利用最大互信息法进展图像配准成为了图像处理领域的研究热点。互信息是基于概率统计论提出的，具有统计特性，它被多数研究者公认为是一个很好的图像配准准则，许多图像配准算法的研究均是在互信息的根底上加以改良的。互信息作为医学图像配准的一个相似性测度，多模态医学图像的配准很实用，其配准原理是两幅基于共同人体解剖构造的图像在配准时具有最大的互信息值。2.2互信息定义定义1：随机变量和之间的互信息定义为：或定义互信息为：可以证明二者是相等的，即=。因此，和是随机变量和之间相互提供的信息。另一种定义：也可以采用直接定义与之间的互信息为：=可直接导出及熵与互信息的关系(1)独立：，有(2)确定：，则.从而，互信息是随机变量之间相互依存度的度量信息。互信息是信息论中的一个根本概念，通常用于描述两个系统间的相关性，或者是一个系统中所包含的另一个系统信息的多少，是两个随机变量和之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。它可以用熵和来描述以及联合熵，(2.1)其中和分别是系统和的熵，是，的联合熵，表示一直系统时的条件熵和一直系统时的条件熵。上述各种熵可分别表示为：(2.2)(2.3)(2.4)(2.5)(2.6)其中，，和分别是系统和系统完全独立时的边缘概率密度，是系统和的联合概率分布，是系统时的条件概率分布，是系统时的条件概率分布，如果联合概率分布密度满足，则随机变量和相互独立;如果和满足*映射关系使，则随机变量和最大相关。在通信系统中，信源和信宿是相互联系的，因此，收到的条件下，对信源具有一定的了解，但仍然对有不确定度，即条件熵，但总小于绝对熵。对信源的了解程度〔确定度〕为得到结论：差值度量了确定度。同样，在确值信源发送*的条件下，差值度量了对的了解程度。3信息熵在图像分割中的应用图像分割的根本概念图像分割是图像处理和分析的关键步骤，也是一种根本的计算机视觉技术。当今信息熵主要应用在图像分割技术中。为了识别和分析目标，图像分割把图像分各具特性的区域。这些特性可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以对应多个区域。基于熵的图像分割方法，尽可能减少了图像信息的损失，因此可用于复杂背景，而且这种方法有很多。随着计算机技术和数学理论的不断开展，人工智能、神经网络、遗传算法、模糊理论的不断完善，以及处理的图像越来越复杂，单一的方法已不能满足人们的需求，因此，研究多方法的结合是这一领域的趋势。图像分割的研究现状图像分割是图像处理中的一项关键技术，也是一经典难题，自20世纪70年代起一直受到人们的高度重视，至今已提出了上千种分割算法。但开展至今仍没有找出一个通用的分割理论，现提出的分割算法大都是针对具体问题的，并没有一种适合所有图像的通用分割算法。另外，也还没有制定出判断分割算法好坏和选择适用分割算法的标准，这给图像分割技术的应用带来许多实际问题。图像分割的方法(1)基于阈值的分割这是一种最常用的区域分割技术，阈值是用于区分不同目标的灰度值。如果图像只有目标和背景两大类，则只需选取一个阈值称为单阈值分割。这种方法是将图像中每个像素的灰度值和阈值比拟，灰度值大于阈值的像素为一类，灰度值小于阈值的像素为另一类。如果图像中有多个目标，就需要选取多个阈值将各个目标分开，这种方法称为多阈值分割。为区分目标还需要对多个区域进展标记。阈值又可分为全局阈值，局部阈值和动态阈值，阈值分割的结果依赖于阈值的选取，确定阈值是阈值分割的关键，阈值分割实质上就是按照*个标准求出最正确阈值的过程。常用的全局阈值选取方法有利用图像灰度直方图的峰谷法，最小误差法，最大类间方差法，最大熵自动阈值法以及其他一些方法。(2)基于区域的分割基于区域的分割技术有两种根本形式：区域生长和分裂合并。前者是从单像素出发，逐渐合并以形成所需的分割结果。后者是从整个图像出发，逐渐分裂或合并以形成所需要的分割结果。与阈值方法不同，这类方法不但考虑了像素的相似性，还考虑了空间上的邻接性，因此可以有效地消除孤立噪声的干扰，具有很强的鲁棒性。而且，无论是分裂还是合并，都能将分割深入到达像素级。(3)基于边缘的分割基于边界的分割方法是利用不同区域间像素灰度不连续的特点检测出区域间的边缘，从而实现图像分割。边界的像素灰度值变化往往比拟剧烈。首先检测图像中的边缘点，在按一定策略连接成轮廓，从而构成分割区域。边缘检测技术可以按照处理的顺序分为串行边缘检测及并行边缘检测。在穿性边缘检测中，当前像素点是否属于欲检测的边缘取决于先前像素的验证结果；而在并行边缘检测技术中，一个像素点是否属于欲检测的边缘，取决于当前正在检测的像素点以及该像素点的一些相邻像素点，这样该模型可以同时用于检测图像中的所有像素点。基于改良粒子群优化的模糊熵煤尘图像分割对煤尘图像进展有效的分割是煤尘浓度测量的重要研究内容之一，在煤尘图像分析和识别中具有重要意义。阈值法是最常用的图像分割方法，其关键是阈值的选取，用图像灰度模糊熵来确定分割阈值是一种有效的阈值确定方法。图像灰度模糊熵中模糊参数的寻优实际上是一个优化问题。解决优化问题的方法通常有穷举法、遗传算法、蚁群算法、粒子群算法等，其中Kennedy和Eberhart提出的粒子群优化算法(PSO)因其优越性而成为研究的热点。普通粒子群优化算法存在易陷入局部最优以及过早收敛的缺点，使得该算法难以得到理想的优化效果。近年来出现了不少改良的PSO算法，改良算法主要有对惯性因子的改良，以及引入遗传算法中的穿插、变异或进化思想对局部粒子进展相应的操作。Li等人提出的高斯变异粒子群(GMPSO)算法取得了不错的分割效果，但该算法的分割精度还有待进一步提高。用一种综合Morlet变异和惯性因子自适应的改良粒子群优化算法，让该算法和模糊熵结合应用于图像分割，利用改良粒子群优化(IPSO)算法来搜索，使模糊熵最大时的参数值得到模糊参数的最优组合，进而确定图像的分割阈值。实验结果说明，该算法取得了令人满意的分割结果，算法运算时间较小，能满足对煤尘浓度实时准确测量的要求。3.2.1根本粒子群算法粒子群优化(PSO)算法是一种进化计算技术，最早由Kenney和Eberhart于1995年提出的。源于对鸟群捕食行为研究的PSO算法同遗传算法类似，是一种基于迭代的优化工具。在PSO算法中，每个个体称为粒子，所有的粒子都有一个由被优化的函数决定的适应值，每个粒子还有一个速度决定他们飞翔的方向和距离，然后粒子就追随当前的最优粒子在解空间搜索。假定粒子规模为搜索空间为维，则第个粒子的位置表示为，第个粒子的速度表示为，每个粒子具有最好适应值的位置称为个体最好位置，记为，整个种群中的最好适应值位置称为全局最好位置，记为。在找到这两个最优值时，每个粒子根据如下公式来更新自己的速度和位置：(3.1)(3.2)其中：表示第个粒子；表示粒子的第维；表示第次迭代；为加速常数，通常在间取值；为均匀分布在(0，1)上的随机数；为惯性因子。改良粒子群优化算法普通粒子群优化算法存在易陷入局部最优以及过早收敛的缺点，使得该算法难以得到理想的优化效果。近年来出现了不少改良的PSO算法，改良算法主要有对惯性因子的改良，以及引入遗传算法中的穿插、变异或进化思想对局部粒子进展相应的操作。本文针对惯性因子的改良提出了惯性因子自适应算法，同时引入了Morlet变异操作，克制了普通粒子群优化算法存在易陷入局部最优以及过早收敛的缺点。惯性因子自适应粒子群算法，当粒子群中大多数粒子在连续的迭代中未找到最优值前停顿更新时，就会出现过早收敛的现像。当惯性因子较小或固定时也会出现这种现像，从式(3.1)可以看出，当较小并且和很小时，也很小，即相应的粒子失去搜索能力。这种情况通常会出现在当粒子本身是全局最优时即和等于零时的迭代早期阶段，这样在以后的迭代中粒子就失去了多样性。为了解决该问题，一般将设为：(3.3)其中：表示总迭代次数，和分别表示最大和最小惯性因子。本文对上述方法作了改良，根据粒子距离全局最优值之间的距离对进展调节，即(3.4)其中：为当前粒子距离全局最优值之间的欧几里得距离，即(4)为最大距离。这样对进展调节能保证粒子在偏离全局最优时，粒子和全局最优值之间的吸引力将保证粒子不会偏离最优值太远，从而防止出现过早收敛的现像。Morlet变异为了克制过早收敛，还有一种方法就是引入遗传算法中的变异操作，即当用根本PSO算法对粒子的位置和速度进展更新后，再对局部粒子进展变异操作，使得粒子种群呈现多样性。一般可用均匀变异或非均匀变异来进展变异操作，Natsuki引入了高斯变异操作，有：(3.5)其中：为高斯变异后的位置；为的高斯分布，Natsuki指出可以对粒子以一定概率进展高斯变异，也可以当粒子的位置停顿更新时进展高斯变异。本文中的Morlet变异能对粒子起到微调的作用，每个粒子变异的概率为的大小根据粒子群的维数决定。Morlet变异的方程式如下：(3.6)其中：为变异后的，和分别为的最大最小值，的计算公式如下：(3.7)其中：(3.8)这里：为上式单调递增方程的形状参数，为的上限值，为当前迭代次数，为最大迭代次数。改良粒子群优化的模糊熵图像分割算法图像的最大模糊熵：根据模糊理论，图像可看成是一个模糊事件。根据模糊熵理论，假设分割阈值将原始图像的像素分成黑和亮两个模糊集，则这两个集合的隶属函数和模糊熵分别为：(3.9)(3.10)(3.11)(3.12)其中：参数满足这里为中元素的个数。模糊事件的总模糊熵：(3.13)由熵理论可知，为了实现目标与背景的最正确分割，模糊事件的模糊熵应为最大，即得到使总模糊熵到达最大值时对应，并据此确定最优阈值(3.14)改良粒子群优化的模糊熵图像分割算法：根据最大模糊熵原理，基于最大模糊熵的图像分割算法其本质是在图像的整个灰度空间上搜索一组参数使图像的总模糊熵取最大值的优化问题。并且将改良粒子群优化(IPSO)算法用于搜索一组最优参数，提高了算法的分割性能。算法的根本步骤如下：Step1：初始化。初始化粒子群的位置矩阵和速度矩阵，设定粒子群规模和维数(由于需寻优2个参数，)，设定(3.15)(3.16)(3.17)(3.18)其中：为均匀分布在(0，1)上的随机数；为的最大值;和分别为的最大、最小值，一般取，这里和分别为图像的最大、最小灰度。Step2：选择式(3.13)作为粒子群算法的适应度函数，计算粒子群中每个粒子的适应值，并根据适应值选择每个粒子的当前最好位置Pi和粒子群的全局最好位置。Step3：根据式(3.3)计算权重因子，再根据式(3.1)和(3.2)更新粒子的速度和位置。Step4：根据式(3.6)以一定概率对局部粒子进展Morlet变异。Step5：假设到达最大迭代次数，则算法完毕；否则，转Step2。Step6：求出全局最优解对应的参数组合，计算分割阈值对图像进展分割。实验结果及分析利用本文算法对不同类型图像进展分割实验，并与其他算法的结果进展比照。实验中粒子群算法相关参数选择如下：粒子群规模，维数，最大迭代次，普通PSO算法中的惯性因子，学习因子.Morlet变异参数为：随即抽取50%的粒子进展变异操作，即变异概率实验中采用的图像分别为Lena，Boat，共3幅真实煤尘图像，它们代表几种不同类型的图像。(a)Lena图像(b)Boat图像(c)煤尘图像1(d)煤尘图像2(e)煤尘图像3图实验图像直方图它们的灰度直方图，Lena图像呈多峰模式；Boat图像为明显的双峰;3幅煤尘图像为单峰模式。利用本文(IPSO)算法和根本PSO算法，(GMPSO)算法对3种不同类型的图像进展了分割效果比拟实验，实验效果如图所示。图中，为原始图像；为根本PSO算法的分割结果；为(GMPSO)算法的分割结果；为本文算法的分割结果，由图3.2的分割结果可以看出，本文算法的分割效果优于其他两种算法，特别是在对具有单峰特性的第3幅煤尘图像，本文算法的优势非常明显。(a1)(b1)(c1)(d1)(a2)(b2)(c2)(d2)(a3)(b3)(c3)(d3)(a4)(b4)(c4)(d4)图实验结果比拟图表3.1列出了不同算法的分割阈值、运算时间以及广泛使用的无差异测量。无差异测量定义为(3.19)其中：为阈值数量，为j阶分割区域，为像素的灰度值，为j阶分割区域灰度平均值，为图像总的像素点，和为图像的最大最小灰度值。，越接近于1说明分割效果越好。由表1可以看出，本文提出的IPSO分割算法在阈值和分割性能指标上具有明显的优势，同时运算时间也相应增加，但运算时间最大也在之内，完全能满足实时准确分割的要求，为煤尘浓度的实时准确测量打下了坚实的根底。表本文算法与其他算法进展图像分割性能比拟图像算法阈值时间/sUMLenaPSOGMPSOIPSOBoatPSOGMPSOIPSOCoaldust1PSOGMPSOIPSOCoaldust2PSOGMPSOIPSOCoaldust3PSOGMPSOIPSO0.110.针对根本粒子群算法存在易陷入局部最优以及过早收敛的问题，提出了一种基于改良粒子群优化的模糊熵图像分割算法，用惯性因子自适应粒子群来搜索使模糊熵最大时的参数值，并对局部粒子进展Morlet变异操作，得到模糊数的最优组合，进而确定图像的分割阈值。实验结果充分地说明，该算法对不同类型的图像均能取得较好的分割结果，且计算量较小，稍加改良即可在DSP等硬件上实现，因此能满足对煤尘浓度实时测量的要求。一种新信息熵定义及其在图像分割中的应用3.3.1香农熵的概念及性质离散概率分布，其中，满足条件且。香农在1948年提出了描述信息不确定性程度大小的量(简称为香农熵)，。它具有如下的典型性质：(1)对于任意离散概率分布，则有(2)对于任意离散概率分布，则(3)对于任意离散概率分布，则(4)对于两个独立事件离散概率分则满足。3.3.2一种信息熵的定义及证明从香农熵的表达式来看，因其含有对数运算导致计算所需时间较大，不利于基于香农熵的图像分割方法在实时场合的使用。为了定义没有对数运算的新息熵，这里首先引入Tsallis熵定义：(3.20)当式〔3.20〕中的时，可以得到：(3.21)这里对Tsallis熵进展如下的修改：(3.22)修改后的Tsallis熵具有如下的性质：(1)(2)()然而(3.21)中有可能为零，需将(3.22)进一步修改为如下形式：(3.24)针对(3.24)式，它具有如下的性质：(1)(2)(3.25)为了定义非对数型信息熵，这里引入下面的定理。定理1：假设是信息熵，则函数也是信息熵。证明：因指数函数是单调函数，且信息是有界函数，则复合函数也单调有界函数。对于离散概率分布，使得信息熵得到最小值，同样也使得复合函数取最小值。对于离散概率分布，使得信息熵得到最大值，同样也使得复合函数取到最大值。总上所述，复合函数满足信息熵最根本的性质。因此，它是一种信息熵。证毕。根据本文修改的Tsallis熵公式()和定理1，我们可以构造如下新的信息熵为：()该新的信息熵中仅有加法和乘法运算，其计算量很显然比香农熵Tsallis熵要少很多。为了方便，将新信息熵表达式()简称为乘积型熵。它也具有如下典型性质：(1)对于任意离散概率分布，则有；(2)假设任意离散概率分布的乘积型熵，当且仅当(3)对于任意离散概率分布的乘积型熵，当且仅当(4)对于两个独立事件离散概率分布则有这说明，新信息熵是非可加性信息熵。可加性信息熵仅有香农熵和Renyi熵，其它诸如Tsallis熵、Kapur熵、Taneja熵等众多信息熵都属于非可加性信息熵范畴。下面给出乘积型熵性质的证明。其具体过程如下：证明：(1)因又因且，所以有：成立。又因算术平均和几何平均之间满足不等关系式，假设则，因此，成立。综上所述，不等式是正确的。又利用极限表达式，就有成立。(2)假设任意离散概率分布则其相应乘积型熵是很显然的。这里主要是证明任意离散概率分布的乘积型熵，则该概率分布为的成立。因，就有成立。又因且。则由可以得到。又因则必有且中必然有个取值为0。仅1个取值为1的结论。(3)假设任意离散概率分布，则其相应乘积型熵是很显然的。这里主要是证明任意离散概率分布的乘积型熵则该概率分布为时成立。因，，可以得到：成立，也即有。定义目标函数在约束条件且下取得最小值为零的必要条件是其原因在于目标函数是变量在定义域上的凸函数，以及目标函数对变量的二阶偏导数构成的Hessian矩阵是正的。因此，由必然得到成立。.3信息熵计算复杂性分析在现有的微型计算机中，其CPU的算术运算单元(ALU)有加法器和乘法器，需将减法运算变成加法运算，以及除法运算变成乘法运算来执行。假设计算机每执行加法或减法运算一次需要时间秒，执行乘法或除法运算一次需要时间秒，且。下面给出两种的计算复杂性分析。对离散概率分布计算乘积型所需时间秒，其计算复杂性为。香农熵含对数运算，然而现有CPU的算术运算单元中没有对数运算部件，需将对数运算转化成加法和乘法运算来执行。传统计算对数函数是采用幂级数运算来逼近其值。函数的幂级数展开式为在满足一定的计算误差条件下，计算函数的值常采用幂级数中前项来逼近，且正整数的选取与幂级数的截断误差有关。即假设采用幂级数中的前项来计算函数的值，其计算函数所需时间转化为计算多项式的值所需时间。计算表达式所需时间秒，计算整个多项式所需时间为秒，即计算函数的值所需时秒。因此，计算香农熵所需时间秒，其计算复杂性为。因此，香农熵的计算复杂性比乘积熵的计算复杂性大得多。.4二维信息熵阈值法设表示大小为的数字灰度图像，图像灰度变化范围为0到。图中任意位置处的像素灰度值记为。在实际应用中，由于噪声等干扰因素的存在，灰度直方图不一定存在明显的波峰和波谷，仅利用一维最大熵法确定阈值往往会造成错误分割，用最大二维香农对数型熵阈值法，使分割效果得到很大改善。但是，二维直方图的引入，大大增加了计算所需时间量。这就在很大程度上限制了该算法的应用范围。为此，用乘积信息熵引入到二维直方图的熵阈值法中，尽量降低信息熵阈值法计算所需时间量，提高熵阈值算法的速度。图像的邻域平滑图像(以邻域均值作为该像素灰度值)的灰度级也为(即与原图像保持灰度级总数不变)，对于图像中的任何一个像素，就有了一个二元组：像素灰度值和邻域平均灰度值。设像素灰度值为且邻域平均灰度值为的像素点数为，图像总像素数为，则二维联合概率密度为Q且，。阈阈值得原始分区任意给定一个阈值，就可以将图像二维联合概率密度分割成如下图的4个区域：0、1、2和3。其中对角线上的两个区域0和1分别对应于目标和背景，而远离对角线的区域2和3则对应边缘和噪声。假设目标和背景分别为和，其出现的概率分别为，。则目标的灰度级所对应概率分布为：而背景的灰度级所对应概率分布为。香农熵的二维直方图阈值化分割准则，即分割准则1：，这里是给定阈值分割图像所得目标的香农熵，即：是给定阈值分割图像所得背景的香农熵，即针对分割准则1和2存在对数运算导致其计算量偏大的缺乏，J.C.Yen,F.J.Chang,andS.Chang提出了相关系数的图像分割准则为：分割准则2：这里是给定阈值分割图像所得背景的相关系数，即：这里是给定阈值分割图像所得背景的相关系数，即由于目标和背景各自分布所对应香农熵和相关系数的计算都因存在对数运算，需要花费大量时间，不便实时场合的使用。因此，本文也提出基于乘积型熵的二维熵阈值法新准则。即分割准则3：这里是给定阈值分割图像所得背景的相关系数，即这里是给定阈值分割图像所得背景的相关系数，即.5二维信息熵阈值法的复杂性分析为了比拟二维香农熵阈值法和乘积型熵阈值法的计算时间量差异，我们对两种分割准则的计算操作所需时间量进展了分析。为了分析两种方法所需时间量的需要，假设计算机做一次加法或减法运算需要时间为秒，做一次乘法或除法运算所需时间为秒，做一次对数运算所需时间为(第2局部分析得到计算对数运算需要时间秒)秒。显然时间量、和之间满足不等式关系。下面分别给出二维直方图的两种不同熵阈值法所需时间量的分析过程。给定阈值将图像分割成目标和背景两局部，其中目标局部所对应概率的计算所需时间是秒；背景局部所对应概率的计算所需时间是秒；目标局部所对应香农熵的计算所需时间是秒；背景局部所对应香农熵的计算所需时间是秒。因此，给定阈值所对应图像分割成目标和背景两局部香农熵之和的计算所需时间量秒。为了获得最大香农熵阈值法所对应的最正确阈值，需搜索给定阈值的种取值情况，导致其总的时间消耗量为秒。假设将用替换得到二维直方图香农熵法的计算复杂性为。同理，给定阈值将图像分割成目标和背景两局部，其目标局部所对应乘积型熵的计算所需时间量是秒；背景局部所对应乘积型熵的计算所需时间量是秒。因此，给定阈值所对应图像分割成目标和背景两局部乘积型熵之和的计算所需时间量为：秒。为了获得最大乘积型熵阈值法所对应的最正确阈值，需搜索给定阈值的种取值情况，导致其总的时间消耗量为秒。从上述理论分析来看，香农熵阈值法的计算所需时间量比乘积型熵阈值法要多秒。.6结论及分析根据本文提出的乘积型熵二维阈值分割准则、对数型熵二维阈值法和关联系数二维阈值法，本文进展了比拟实验。这里给出两个个图片的实验结果。从图3.3与图4.2的实验分割结果及下表的分割阈值和时间花费来看，本文提出的乘积型信息熵是可以由于图像分割，且二维乘积型熵阈值法比二维对数型熵阈值法及二维相关系数阈值法都快，它相对二维对数型熵阈值法其速度至少快了3倍，甚至比二维相关系数阈值法要少10余秒。a原图像b直方图c2D直方图d对数型熵法e关联系数法f本文方法图3.3lena图片及其分割结果a原图像b直方图c2D直方图d对数型熵法e关联系数法f本文方法图鸵鸟图片及其分割结果比拟的图片对数型熵分割法关联系数分割法本文提出的方法阈值时间阈值时间阈值时间lena图片〔98，94〕(96，94)(98，94)鸵鸟图片(122，146)(127，152)(127，153)本文考虑对数型熵阈值法存在对数运算导致其计算时间量较大的问题，本文提出了乘积型信息熵并用于图像阈值化分割。实验结果说明本文提出的新分割准则是可行的，且它比对数型熵阈值法要节省很多时间，特别适合是实时性要求较高的场合。4信息熵在图像配准中的应用图像配准的根本概述图像配准(Imageregistration)是图像处理的根本任务之一。就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进展匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。图像配准是多种图像处理及应用的根底，配准效果将直接影响到其后续图像处理工作的效果。图像配准常常是作为其他图像处理应用的前处理步骤使用的，往往用于图像的对准、目标识别与定位。图像配准技术从基于特征的配准方法开展到基于统计的配准方法有其突破性的意义。与基于特征的配准方法相比，基于统计的配准方法的突出优点为鲁棒性好、配准精度高、人工干预少。基于统计的配准方法通常是指最大互信息的图像配准方法。4.2基于互信息的图像配准基于互信息的图像配准是用两幅图像的联合概率分布与完全独立时的概率分布的广义距离来估计互信息，并作为图像配准的测度。当两幅图像到达最正确配准时，它们的对应像素的灰度互信息应为最大。由于基于互信息的配准对噪声比拟敏感，首先，通过滤波和分割等方法对图像进展预处理。然后进展采样、变换、插值、优化从而到达配准的目的。基于互信息的配准技术属于基于像素相似性的方法。它基于图像中所有的像素进展配准，基于互信息的图像配准引入了信息论中的概念，如熵、边缘熵、联合熵和互信息等，可使配准精度到达亚像素级的高精度。基于互信息只依赖于图像本身的信息，不需要对图像进展特征点提取和组织分类等预处理，是一种自动而有效的配准算法。该算法可靠，对图像中的几何失真、灰度不均匀和数据的缺失等不敏感。不依赖于任何成像设备，可应用于多模态医学图像配准。基于互信息的图像配准也有其缺点，它运算量大，对噪声敏感，要求待配准图像间联合概率分布函数必须是严格正性的。图像配准主要是去除或抑制待配准图像与参考图像之间的几何不一致性，包括平移、旋转、缩放。基于互信息的图像配准的实现。过程是首先对待配准图像进展坐标变换和插值，得到变换后的图像，然后与参考图像求解两幅图像间的互信息，并进展优化算法，逐步找到具有最大互信息值的配准参数，即最优坐标变换参数。最后对待配准图像利用最优变换参数进展坐标变换得到配准的图像。4.3Powell算法根本Powell算法实现思想是：把整个过程分为假设干轮迭代，每一轮迭代都有n个搜索方向，进展n+1次一维搜索。在每一轮搜索中都要先确定一个初始点，从初始点出发沿的n个搜索方向一次进展一维搜索，得到一个最好的点，接着再沿与连线方向进展一次一维搜索，得到本轮最好点；然后以改点作为初始点进展新一轮迭代。根本的实现算法如下：(1)给定允许误差初始点和个线性无关的方向。(2)从出发依次沿方向进展一维搜索，得，再从出发沿与连线方向进展一维搜索，得到。(3)如果，停顿搜索，得到点;否则置，4.4变换在实际应用中，图像之间的关系是很复杂的，变换一般也不是单一的形式，但是为了实验研究，并考虑到误差的可允许性，通常将变换模型分为两大类：线性变换和非线性变换。在图像处理中，经常用到的变换形式主要有刚体变换、仿射变换、投影变换、透视变换、多项式变换(transfonnation)等。下面显示了几种常见的几何变换。图4.1常见的几种几何变换(1)刚体变换。如果第一幅图像变换到第二幅图像后，图像中亮点间的距离仍保持不变，简单的说就是物体或镜头的运动不影响成像物体非让相对尺寸及形状，则这种变换称为刚体变换，它是平移、旋转和缩放的组合，其数学描述为(4.1)其中，是比例缩放因子，是旋转角，和是平移量。一般最少需要两对点来求解变换参数。(2)仿射变换。仿射变换是更复杂一些的图像形变，它在复杂畸变下仍然能保持很好的数学特性。其数学表达式为：(4.2)仿射变换是一种常用的配准变换模型，对于在不同位置的一样视角拍摄同一场景目标而成的两幅图像的配准问题，它能够很好地满足配准要求。仿射变换后直线依然映射为直线，仍然保持平衡关系，其包含六个参数，至少需要三对不在一条直线上的控制点来求解变换参数。(3)二维投影数学描述为(4.3)投影变换与仿射变换都可以保证任意方向的直线变换后仍为直线。但是投影变换的九个自由度(对应于九个系数)可以满足平行四边形的映射，这是具有六个自由度的仿射变换所不能做到的。(4)多项式变换的一般形式可表示为公式(4.4)多项式变换最早应用于遥感图像的几何校正。用一般变换矩阵表示的变换都可以用多项式变换得到。当多项式阶数升高时，所能实现的变换种类和任意性也相应地增加，但是其运算量就急剧增大。实际中，为了保证计算速度，多项式变换模型一般均采用三次以下，而一次多项式模型就是仿射变换模型。(5)透视变换通常用于描述三维场景到平面的映射。如果一个目标在三维场景中坐标为，则它投影到平面上的图像坐标(通过透视变换可描述为：(4.5)4.4.1平移变换：平移变换是指将图像中所有像素都按照给定的平移量水平、垂直方向移动如下图，设为原图像上的点，图像水平平移量为，垂直平移量为，则平移后点，坐标变换为。和满足以下关系(4.6)用矩阵表示为：(4.7)对式(4.7)的矩阵求逆，可以得到反向变换(4.8)其对应的坐标方程为：(4.9)通过式(4.9)，平移后新图像中的任一点都可以在原图像中找到对应的点。例如，对于新图像中的点(0，0)，代入方程组，可以求出在原图像中的对应点为当大于0或大于0时，点不在原图像中，也就是说改点的灰度值在原图像中没有定义，此时可以直接将它的灰度值设置为0或255。相反，原图像右侧的局部像素点没有包含在新图像中，也就是说原图像中有点被移出了显示区域。4.4.2旋转变换：旋转是指将图像中所有的像素按给定的角度在平面内顺时针或者逆时针沿圆弧路径进展变换。通常约定为正值时做逆时针旋转，为负值时做顺时针旋转。当基准点为原点时，原始点和变换后的角度和坐标关系如下图。其中r是点到原点的距离，是点与*轴的夹角，是旋转角。利用三角函数，可以计算出旋转前后的坐标满足以下关系。旋转前：(4.10)旋转后：(4.11)用矩阵表示为(4.12)对式(4.12)求逆矩阵，可以得到反向变换(4.13)上述旋转是以坐标原点(0，0)为基点进展的，但在实际应用中，往往是以图像中心为基点对图像进展旋转。此时的做法是：先将坐标系平移到图像中心，再进展旋转，然后平移回新的坐标原点。下面推导坐标系平移的转换表达式。将坐标系平移到坐标系处，其中坐标系的原点在坐标系中的坐标为，则它们的坐标变换矩阵表达式为：(4.14)其逆变换转换矩阵表达式为：(4.15)如果图像旋转前中心坐标为，旋转后中心坐标为，则旋转变矩阵的表达式为：(4.16)对图像进展旋转变换主要用函数I=imrotate(J，，'nearest'，'crop')，参数表示往往是以图像中心为基点对图像进展旋转。此时的做法是：先将坐标系平移到图像中心，再进展旋转，然后平移回新的坐标原点。通常约定为正值时做逆时针旋转，为负值时做顺时针旋转。基于互信息的图像配准4总体设计思路和图像配准实现此算法设计的基于MATLAB平台的图像配准程序的流程图如图4.1所示。主要有输入参考图像，输入浮动图像，设置初始点和初始搜索方向，空间几何变换，计算互信息值，最优化模块等构成。其具体实现过程如下：首先对参考图像R和浮动图像F进展预处理；接着按照给定的初始点使用插值法统计联合直方图并计算R和F的互信息值；然后利用POWELL算法依据最大互信息理论判断所得的参数是否最优，假设不是，则继续搜索较优参数，在搜索时会不断重复"空间几何变换→统计联合直方图→计算互信息值→最优化判断〞的过程，知道搜索到满足精度要求的参数，最后输出配准参数。图4.2程序流程图本算法从图像配准的框架入手，着重研究了基于最大互信息的配准方法。为了加快配准速度，针对互信息计算量大和存在局部极值的问题，本文集中于优化策略的研究，在一般优化算法的讨论分析根底之上，提出了改良的优化算法，针对一般Powell法不考虑线性无关问题，本设计采用了改良后的POWELL算法，可以使搜索方向线性无关，共轭程度增加。该程序能够实现平移*、Y和旋转角度R的图像之间的配准，有待改良Powell优化算法求取更多的参数，使配准出的图像的准确度更加高。该算法首先获取两幅图像：参考图像ct.图和待配准图像convert.图。然后运行POWELL算法得到最优的变换参数。其中POWELL算法中包括了坐标的变换，互信息的求取函数〔利用最大互信息衡量最优参数〕，插值算法，还调用了一维搜索等算法用于优化搜索算法。最后，对待配准图像进展坐标变换得到结果。空间变换方式主要解决图像平面上像素的重新定位问题，空间几何变换函数可用空间变换模型进展描述，本算法主要应用仿射变换。防射变换是最常用的一种空间变换形式，可以实现图像的平移、旋转、按比例缩放等操作。4直方图直方图是多种数字图像处理技术的根底，能够提供十分有用的图像统计信息。(1)直方图的定义设数字图像的灰度级值，则的直方图可用离散函数表示为，(4.15)式中，表示第k级灰度值，表灰度图像中灰度级值为的像素个数。为了直观，直方图函数通常用图形表示。在直方图曲线中，水平轴对应度级，纵轴对应于。如图4.3所示：图4.3直方图(2)归一化直方图设图像的归一化直方图函数为，总像素为n，对式(4.15)两边同除以n，则得到的表达式(4.16)由于n=，因此上式可以表示为：(4.17)从式(4.17)可知，就是灰度级的概率分布函数。显然，，即一个归一化的直方图的所有局部之和等于1。4联合直方图设和均为MN的数字图像，则图像A和B的联合直方图函数可表示为：(4.18)(4.18)式中，和表示在两幅图像一样位置的一对灰度级值，表示同一灰度级值对出现的次数。可见联合直方图就是统计两幅图对应点的灰度级值对出现次数的函数。联合直方图数也可用二维图形表示：*轴表示图像A的灰度值，y轴表示图像B的灰度值。当图像A与图像B完全一致时，图形的所有点都分布在一条斜率为1的直线上。如图：与归一化直方图类似，对式(4.17)两边同除以全部的灰度级值对出现的次数和n，即可得到归一化的联合直方图函数：(4.19)显然，归一化的联合直方图函数就是两幅图像对应点的灰度级值对的联合概率分布函数。从归一化直方图和归一化的联合直方图的定义中，不难看出图像A和图像B的概率分布函数、及它们的联合概率分布函数满足以下关系。4灰度级插值技术灰度级插值技术主要解决像素灰度级的赋值问题，当确定了参考图像和浮动图像间的空间变换参数后，需要对配准图像中像素灰度级赋值，实现赋值的方法有正向映射法和方向映射法两种。所谓的正向映射法是从原始图像上的像素点坐标出发，求出配准后图像上对应的像素点坐标，然后将原始图像上的像素点的灰度值赋给配准后图像上对应的像素点；反响映射法是指从配准后图像上的像素点坐标出发，求出原始图像上像素点坐标，然后将原始图像上像素点的灰度值赋给配准后图像上对应的像素点。常用的灰度级插值法有最邻近插值法〔nearestinterpolation〕、双线性插值法〔bilinearinterpolation〕和立方卷积插值法〔cubicconvolutioninterpolation〕。此次算法中应用了双线性插值法，该方法效果较好，运算时间也比拟快，是最邻近插值法的3至4倍。双线性插值方法假定内插点P四周四个点围成的区域内的灰度变化是线性的，从而可以用线性内插法，根据四个临近像素的灰度值，计算出内插点P的灰度值。4优化搜索算法及结论对图像配准过程进展深入研究之后发现它就是多参数优化的问题也就是经过空间几何变换后，使原图像与待配准图像的对应点形成一一对准，计算这两幅图像的正规化互信息值，然后，不连续的变换空间参数，再计算正规化互信息值，寻找其中正规化互信息最大值时的最优配准参数值。图像的配准过程是在多参数多峰值的相似性测度函数中进展迭代寻优的过程，计算量相当大，所以在图像配准中优化方法的选择必须考虑收敛区间的大小。传统的搜索算法难以到达实时图像处理的要求，所以必须研究出一种行之有效，快速敏捷的搜索策略。图像配准速度的快慢以及鲁棒性与搜索方法有直接的关系，相似性度量值与搜索空间的大小对搜索性能也会产生比拟大的影响。在图像的配准过程中，本文采用了改良的鲍威尔Powell算法。在优化搜索中保持n个搜索方向线性无关至关重要。为了克制根本Powell算法中无法保证搜索方向的线性无关问题，出现了改良的Powell算法，改良的Powell算法优势在变量多时更加明显。改良的Powell算法与根本的Powell算法思想区别主要在替换方向的规则不同。在根本的Powell算法中不考虑线性无关问题，每次都会无条件的用新的搜索方向代替原来的搜索方向；而在改良的Powell算法中，在替换搜索方向时会考虑线性无关问题，只有初始搜索方向线性无关时，才能使每轮迭代中以搜索方向为列的行列式不为零，因此这些方向是线性无关的；而且随着迭代的增加，搜索方向的共轭程度逐渐增强。改良的Powell算法实现如下：(1)给定允许误差初始点和n个线性无关的方向…，置k=1。(2)置，从出发，依次沿方向，，…，进展一维搜索，得到点，，…，求m，使得令，假设则停顿计算；否则，进展步骤〔3〕。(3)求使得令，假设则停顿计算，得；否则进展步骤(4)。(4)假设则令。否则，转到步骤(2)。本章是主要介绍了图像配准所需的各种理论与算法。用最大互信息作为图像匹配标准进展配准，由于不须进展分