信息熵在图像处理特别是图像分割和图像配准中的应用——信息与计算科学毕业论文.doc

河北工程大学毕业设计 论文 1 摘要摘要 信息论是人们在长期通信实践活动中 由通信技术与概率论 随机过程 数理统 计等学科相结合而逐步发展起来的一门新兴交叉学科 而熵是信息论中事件出现概率 的不确定性的量度 能有效反映事件包含的信息 随着科学技术 特别是信息技术的 迅猛发展 信息理论在通信领域中发挥了越来越重要的作用 由于信息理论解决问题 的思路和方法独特 新颖和有效 信息论已渗透到其他科学领域 随着计算机技术和 数学理论的不断发展 人工智能 神经网络 遗传算法 模糊理论的不断完善 信息 理论的应用越来越广泛 在图像处理研究中 信息熵也越来越受到关注 为了寻找快 速有效的图像处理方法 信息理论越来越多地渗透到图像处理技术中 本文通过进一 步探讨概论率中熵的概念 分析其在图像处理中的应用 通过概念的分析理解 详细 讨论其在图像处理的各个方面 如图像分割 图像配准 人脸识别 特征检测等的应 用 本文介绍了信息熵在图像处理中的应用 总结了一些基于熵的基本概念 互信息 的定义 并给出了信息熵在图像处理特别是图像分割和图像配准中的应用 最后实现 了信息熵在图像配准中的方法 矚慫润厲钐瘗睞枥庑赖 关键词 关键词 信息熵 互信息 图像分割 图像配准 河北工程大学毕业设计 论文 2 Abstract Information theory is a new interdisciplinary subject developed in people long term communication practice combining with communication technology theory of probability stochastic processes and mathematical statistics Entropy is a measure of the uncertainty the probability of the occurrence of the event in the information theory it can effectively reflect the information event contains With the development of science and technology especially the rapid development of information technology information theory has played a more and more important role in the communication field because the ideas and methods to solve the problem of information theory is unique novel and effective information theory has penetrated into other areas of science With the development of computer technology and mathematical theory continuous improvement of artificial intelligence neural network genetic algorithm fuzzy theory there are more and more extensive applications of information theory In the research of image processing the information entropy has attracted more and more attention In order to find the fast and effective image processing method information theory is used more and more frequently in the image processing technology In this paper through the further discussion on concept of entropy analyzes its application in image processing such as image segmentation image registration face recognition feature detection etc 聞創沟燴鐺險爱氇谴净 This paper introduces the application of information entropy in image processing summarizes some basic concepts based on the definition of entropy mutual information And the information entropy of image processing especially for image segmentation and image registration Finally realize the information entropy in image registration 残骛楼諍锩瀨濟溆塹籟 Keywords Information entropy Mutual information Image segmentation 酽锕极額閉镇桧猪 訣锥 Image registration 河北工程大学毕业设计 论文 3 目目 录录 摘 要 1彈贸摄尔霁毙攬砖卤庑 ABSTRACT 2 目 录 3 1 引言 5 1 1 信息熵的概念 5 1 2 信息熵的基本性质及证明 6 1 2 1 单峰性 6 1 2 2 对称性 7 1 2 3 渐化性 7 1 2 4 展开性 7 1 2 5 确定性 8 2 基于熵的互信息理论 9 2 1 互信息的概述 9 2 2 互信息的定义 9 2 3 熵与互信息的关系 9 3 信息熵在图像分割中的应用 11 3 1 图像分割的基本概念 11 3 1 1 图像分割的研究现状 11謀荞抟箧飆鐸怼类蒋薔 3 1 2 图像分割的方法 11 3 2 基于改进粒子群优化的模糊熵煤尘图像分割 12厦礴恳蹒骈時盡继價骚 3 2 1 基本粒子群算法 12 3 2 2 改进粒子群优化算法 13茕桢广鳓鯡选块网羈泪 3 2 3 Morlet 变异 13 3 2 4 改建粒子群优化的图像分割方法 14鹅娅尽損鹌惨歷茏鴛賴 3 2 5 实验结果及分析 16 3 3 一种新信息熵的定义及其在图像分割中的应用 19籟丛妈羥为贍偾蛏练淨 3 3 1 香农熵的概念及性质 19 3 3 2 一种信息熵的定义及证明 19預頌圣鉉儐歲龈讶骅籴 3 3 3 信息熵计算复杂性分析 21渗釤呛俨匀谔鱉调硯錦 3 3 4 二维信息熵阈值法 22 3 3 5 二维信息熵阈值法的复杂性分析 24铙誅卧泻噦圣骋贶頂廡 3 3 6 结论及分析 25 4 信息熵在图像配准中的应用 27 4 1 图像配准的基本概述 27 4 2 基于互信息的图像配准 27 河北工程大学毕业设计 论文 4 4 3 POWELL算法 28 4 4 变换 28 4 4 1 平移变换 29 4 4 2 旋转变换 30 4 5 基于互信息的图像配准的设计与实现 31擁締凤袜备訊顎轮烂蔷 4 5 1 总体设计思路和图像配准实现 31贓熱俣阃歲匱阊邺镓騷 4 5 2 直方图 33 4 5 3 联合直方图 33 4 5 4 灰度级差值技术 34 4 4 5 优化搜索办法级结论 35坛摶乡囂忏蒌鍥铃氈淚 5 结 语 37 致 谢 38 参考文献 39 河北工程大学毕业设计 论文 5 1 引言引言 1 1 信息熵的概念信息熵的概念 1948年 美国科学家香农 C E Shannon 发表了一篇著名的论文 通信的数学理 论 他从研究通信系统传输的实质出发 对信息做了科学的定义 并进行了定性和 定量的描述 蜡變黲癟報伥铉锚鈰赘 他指出 信息是事物运动状态或存在方式的不确定性的描述 其通信系统的模型如 下所示 信信 源源编编 码码信信 道道 信号信号 解解 码码信信 宿宿 干干 扰扰 噪噪 声声 图 1 1 信息的传播 信息的基本作用就是消除人们对事物的不确定性 信息熵是信息论中用于度量 信息量的一个概念 假定是随机变量的集合 表示其概率密度 计算此X xP 随机变量的信息熵的公式是 買鲷鴯譖昙膚遙闫撷凄 xH x xpxpXH log 表示一对随机变量的联合密度函数 他们的联合熵可以表示为 yxP yxH log YXpyxpYXH Yyx 信息熵描述的是信源的不确定性 是信源中所有目标的平均信息量 信息量是信息 论的中心概念 将熵作为一个随机事件的不确定性或信息量的量度 它奠定了现代信 息论的科学理论基础 如果一条信息是由个字符连成的字符串组成 并且每个字符n 有种可能 那么这条信息就有种不同的排列情况 那么可以用度量信息量 m n m n m 但这时的信息量随着消息的长度按指数增加 为了使信息量的度量值按线性增加 n Hartley 给出了取对数的信息量的定义 綾镝鯛駕櫬鹕踪韦辚糴 1 1 mnmH n 22 loglog 由上式可以看出 信息量随着消息的可能性组合增多而增多 如果消息只有一m 种可能性时即事件为必然事件时 那么消息中包含的信息量为零 因此可以01log2 看出 可能收到的不同消息越多 对收到哪条消息的不确定性就越大 相反 收到只有 一种可能性的消息 不确定性为零 Hartley 对消息的度量实际是对不确定性的度量 河北工程大学毕业设计 论文 6 驅踬髏彦浃绥譎饴憂锦 Hartley 度量方法的不足之处是他所定义信息量是假定所有符号发生的概率相同 但实际情况各符号并不一定都等概发生 为此 Shannon 用概率加权来衡量消息出现的 可能性 对 Hartley 的度量方法做出改进 猫虿驢绘燈鮒诛髅貺庑 设某一随机过程中有 k 种可能的情况 每种情况发生的概率分别是 1 P 2 P Shannon 给出了熵的如下定义 锹籁饗迳琐筆襖鸥娅薔 k P 1 2 ii i i pp p pH 22 log 1 log 当所有可能的事件均以相等的概率发生时 上式就成了 Hartley 定 义的熵 并且这 时熵取得最大值 即 1 3 nn nnn mm mmm H 222 loglog 11 log 1 所以 Hartley 熵是 Shannon 熵的特殊情形 而 Shannon 更具有一般性 Shannon 熵包含三种含义 第一种含义是度量信息量 事件发生概率与获得的信息 量成反比 即概率越大 信息量越少 又由式 1 3 知 概率越大 信息量越少 熵越 小 所以可用熵的大小来度量信息量 熵越大 信息量越大 第二是度量事件概率分布 的分散度 概率集中分布时熵值小 分散性越强 熵越大 三含义是度量事件发生的 不确定性 概率越大 事件的不确定性越小 熵越小 利用上面第三个含义 可以用 Shannon 熵 来度量图像包含的信息量 图像灰度值的概率分布是每灰度值出现的次数 除以图像中所有灰度值出现的总次数 此时图像的信息量可依据这个概率分布来计算 一幅图像中不同的灰度值较少 各灰度值出现的概率较高 则对应的灰度值较低 意 味着这幅图像含有的信息量很少 反之 如果一幅图像中含有很多不同的灰度值 且 各灰度值发生的概率又基本一致 则它的熵值会很高 那么这幅图像包含的信息量很 大 構氽頑黉碩饨荠龈话骛 1 2 信息熵的基本性质及证明信息熵的基本性质及证明 1 2 1单峰性单峰性 信息熵的单峰性可表述为 先考察由 两个事件构成的概率系统 其产生 1 X 2 X 的概率分别为和则该系统的信息PP 1 1 log 1 log 22 PPPPH 通过求极限 不难证明 0loglim 2 0 xx x 1 当时 这是一种产生的概率为0 0 P 0 01 log 01 log0 22 H 1 X 产生的概率为1 的确定系统 2 X 河北工程大学毕业设计 论文 7 2 当时这是一种产生的概率为1 1 P 0 11 log 11 1log1 22 H 1 X 产生的概率为0 的确定系统 2 X 3 对函数可以通过求导数的方式寻找其极值 1 log 1 log 22 PPPPH 点 该函数的一阶导数为令则有 求得 1 log2 P P dP dH 0 dP dH P P 1 log2 0 为该函数的驻点 因为二阶导数 当时 恒 2 1 P 2ln 1 1 2 2 PPdP Hd 10 P 2 2 dP Hd 小于0 所以当时函数有极大值 这说明当 两事件产生的概率相同时 2 1 P 1 X 2 X 具有最大值 这是一种不确定性最大的不确定系统 輒峄陽檉簖疖網儂號泶 H 4 若概率系统中有个事件 当每一事件产生的概率相同 均为 时 则系nn 1 统的信息熵具有最大值 该结论可以通过以下的讨论来证明 尧侧閆繭絳闕绚勵蜆贅 H 具有个事件的概率系统其信息熵可表示为 这是在约束条件n n i ii PPH 1 2 log 下的极值问题 应用因子法 设 n i i P 1 1 n i n i iii PPPH 11 20 1 log 将对事件的概率求一阶偏导数 并令使用约束条件确定 0 H 1 X i P0 0 i P H n i i P 1 1 值 可求得 常数 同理有 常数 即当 n Pi 1 n PPP n 1 21 时 有极大值 识饒鎂錕缢灩筧嚌俨淒 n PPP n 1 21 H 1 2 2 对称性对称性 信息熵的对称性可表述为 设某一概率系统中n 个事件的概率分布为 21n PPP 当对事件位置的顺序进行任意置换后 得到新的概率分布为 并有以下关 21n PPP 系成立 凍鈹鋨劳臘锴痫婦胫籴 2121nn PPPHPPPH 它表示概率系统中事件的顺序虽不同 但概率系统的熵H 是不变的 即概率系统 的熵与事件的顺序无关 1 2 3 渐化性渐化性 信息熵的渐化性可表述为 设概率为的事件可分解为概率分别为和 rqPn q 的两个事件 则有 r 河北工程大学毕业设计 论文 8 121 121121 rq r rq q HrqrqPPPH rqPPPPHPPPPH n nnnn 1 2 4 展开性展开性 信息熵的展开性可表述为 设某一概率系统的概率分布为则系统的信 21n PPP 息熵具有展开性质 0 2121nn PPPHPPPH 在此基础上 进一步展开有 21n PPPH 0 0 21 n PPPH 根据上述展开性不难证明 0 log lim 2 0 PP P 1 2 5 确定性确定性 信息熵的确定性可表述为 设信息系统中 任一事件产生的概率为1 则其他事件 产生的概率为0 这是一种确定的系统 对于这样的系统有 恥諤銪灭萦欢煬鞏鹜錦 0 1 0 0 1 HH 0 1 0 0 0 0 1 0 0 0 0 1 HHH 根据很容易证明上述性质 0 log lim 2 1 PP P 河北工程大学毕业设计 论文 9 2 基于熵的互信息理论基于熵的互信息理论 2 1 互信息的概述互信息的概述 互信息 Mutual Information 来自于信息论 是信息论中的一个基本概念 是两 个随机变量统计相关性的测度 当两幅图像达到最佳配准 它们对应像素的灰度互信 息应达到最大 该测度不需要对不同成像模式下图像灰度间的关系作任何假设 也不 需要对图像进行分割或任何预处理 具有自动化程度高的特点 因此 最近几年将互 信息作为图像配准过程的相似性测度 利用最大互信息法进行图像配准成为了图像处 理领域的研究热点 鯊腎鑰诎褳鉀沩懼統庫 互信息是基于概率统计论提出的 具有统计特性 它被多数研究者公认为是一个 很好的图像配准准则 许多图像配准算法的研究均是在互信息的基础上加以改进的 互信息作为医学图像配准的一个相似性测度 多模态医学图像的配准很实用 其配准 原理是两幅基于共同人体解剖结构的图像在配准时具有最大的互信息值 硕癘鄴颃诌攆檸攜 驤蔹 2 2 互信息定义互信息定义 定义定义1 随机变量和之间的互信息定义为 XY YXI YXHXHYXI 或定义互信息为 XYI XYHYHXYI 可以证明二者是相等的 即 因此 和是随机变量 XYI YXI YXI XYI 和之间相互提供的信息 XY 另一种定义另一种定义 也可以采用直接定义与之间的互信息为 XY K k J j jk jk jk bpap bap bapYXI 11 log log YpXpYXpYXEypxpyxpD 可直接导出及 XYHYHXHYXI min 0YHXHYXI 2 3 熵与互信息的关系熵与互信息的关系 河北工程大学毕业设计 论文 10 1 独立 有 YHXYHXHYXH 0 YXI 2 确定 则 0 XYHYX XHYXI 从而 互信息是随机变量之间相互依存度的度量信息 互信息是信息论中的一个基本概念 通常用于描述两个系统间的相关性 或者是 一个系统中所包含的另一个系统信息的多少 是两个随机变量和之间统计相关性AB 的量度 或是一个变量包含另一个变量的信息量的量度 阌擻輳嬪諫迁择楨秘騖 它可以用熵和来描述以及联合熵 AH BH BAH 2 1 ABHBHBAHAHBAHBHAHBAI 其中和分别是系统和的熵 是 的联合熵 表示 AH BHAB BAHAB ABH 一直系统时的条件熵和一直系统时的条件熵 上述各种熵可分别表示为 氬嚕ABBA 躑竄贸恳彈瀘颔澩 2 2 a AA apapAH log 2 2 3 b BB bpbpBH log 2 2 4 ba ABAB bapbapBAH 2 log 2 5 ba BAAB bapbapBAH 2 log 2 6 ba ABAB abpbapABH 2 log 其中 和分别是系统和系统完全独立时的边缘概BbAa apA bpBAB 率密度 是系统和的联合概率分布 是已知系统时的条件 bapABAB abp AB BA 概率分布 是已知系统时的条件概率分布 如果联合概率分布密度 bap BA BA 满足 则随机变量和相互独立 如果和满足某映 bapAB bpapbap BAAB ABAB 射关系使 则随机变量和最大相关 釷鹆資贏車贖孙滅T aTapaTpap ABBA AB 獅赘 在通信系统中 信源和信宿是相互联系的 因此 收到的条件下 对信源XYY 具有一定的了解 但仍然对有不确定度 即条件熵 但总小于绝对熵XX YXH 对信源的了解程度 确定度 为得到结论 差值度量了确 XHX YXHXH 定度 同样 在确值信源发送X的条件下 差值度量了对的了解程度 XYHYH Y 怂阐譜鯪迳導嘯畫長凉 河北工程大学毕业设计 论文 11 3 信息熵在图像分割中的应用信息熵在图像分割中的应用 3 1 图像分割的基本概念图像分割的基本概念 图像分割是图像处理和分析的关键步骤 也是一种基本的计算机视觉技术 当今 信息熵主要应用在图像分割技术中 为了识别和分析目标 图像分割把图像分各具特 性的区域 这些特性可以是灰度 颜色 纹理等 目标可以对应单个区域 也可以对 应多个区域 基于熵的图像分割方法 尽可能减少了图像信息的损失 因此可用于复 杂背景 而且这种方法有很多 随着计算机技术和数学理论的不断发展 人工智能 神经网络 遗传算法 模糊理论的不断完善 以及处理的图像越来越复杂 单一的方 法已不能满足人们的需求 因此 研究多方法的结合是这一领域的趋势 谚辞調担鈧谄动禪 泻類 3 1 1 图像分割的研究现状图像分割的研究现状 图像分割是图像处理中的一项关键技术 也是一经典难题 自 20 世纪 70 年代起 一直受到人们的高度重视 至今已提出了上千种分割算法 但发展至今仍没有找出一 个通用的分割理论 现提出的分割算法大都是针对具体问题的 并没有一种适合所有 图像的通用分割算法 另外 也还没有制定出判断分割算法好坏和选择适用分割算法 的标准 这给图像分割技术的应用带来许多实际问题 嘰觐詿缧铴嗫偽純铪锩 3 1 2 图像分割的方法图像分割的方法 1 基于阈值的分割 这是一种最常用的区域分割技术 阈值是用于区分不同目标的灰度值 如果图像 只有目标和背景两大类 那么只需选取一个阈值称为单阈值分割 这种方法是将图像 中每个像素的灰度值和阈值比较 灰度值大于阈值的像素为一类 灰度值小于阈值的 河北工程大学毕业设计 论文 12 像素为另一类 如果图像中有多个目标 就需要选取多个阈值将各个目标分开 这种 方法称为多阈值分割 为区分目标还需要对多个区域进行标记 阈值又可分为全局阈 值 局部阈值和动态阈值 阈值分割的结果依赖于阈值的选取 确定阈值是阈值分割 的关键 阈值分割实质上就是按照某个标准求出最佳阈值的过程 常用的全局阈值选 取方法有利用图像灰度直方图的峰谷法 最小误差法 最大类间方差法 最大熵自动 阈值法以及其他一些方法 熒绐譏钲鏌觶鷹緇機库 2 基于区域的分割 基于区域的分割技术有两种基本形式 区域生长和分裂合并 前者是从单像素出 发 逐渐合并以形成所需的分割结果 后者是从整个图像出发 逐渐分裂或合并以形 成所需要的分割结果 与阈值方法不同 这类方法不但考虑了像素的相似性 还考虑 了空间上的邻接性 因此可以有效地消除孤立噪声的干扰 具有很强的鲁棒性 而且 无论是分裂还是合并 都能将分割深入达到像素级 鶼渍螻偉阅劍鲰腎邏蘞 3 基于边缘的分割 基于边界的分割方法是利用不同区域间像素灰度不连续的特点检测出区域间的边 缘 从而实现图像分割 边界的像素灰度值变化往往比较剧烈 首先检测图像中的边 缘点 在按一定策略连接成轮廓 从而构成分割区域 边缘检测技术可以按照处理的 顺序分为串行边缘检测及并行边缘检测 在穿性边缘检测中 当前像素点是否属于欲 检测的边缘取决于先前像素的验证结果 而在并行边缘检测技术中 一个像素点是否 属于欲检测的边缘 取决于当前正在检测的像素点以及该像素点的一些相邻像素点 这样该模型可以同时用于检测图像中的所有像素点 纣忧蔣氳頑莶驅藥悯骛 3 2 基于改进粒子群优化的模糊熵煤尘图像分割基于改进粒子群优化的模糊熵煤尘图像分割 对煤尘图像进行有效的分割是煤尘浓度测量的重要研究内容之一 在煤尘图像分 析和识别中具有重要意义 阈值法是最常用的图像分割方法 其关键是阈值的选取 用图像灰度模糊熵来确定分割阈值是一种有效的阈值确定方法 图像灰度模糊熵中模 糊参数的寻优实际上是一个优化问题 解决优化问题的方法通常有穷举法 遗传算法 蚁群算法 粒子群算法等 其中Kennedy 和Eberhart提出的粒子群优化算法 PSO 因其 优越性而成为研究的热点 普通粒子群优化算法存在易陷入局部最优以及过早收敛的 缺点 使得该算法难以得到理想的优化效果 近年来出现了不少改进的PSO 算法 改进算法主要有对惯性因子的改进 以及引入遗传算法中的交叉 变异或进化思想对 部分粒子进行相应的操作 Li等人提出的高斯变异粒子群 GMPSO 算法取得了不错的 分割效果 但该算法的分割精度还有待进一步提高 用一种综合Morlet 变异和惯性因 子自适应的改进粒子群优化算法 让该算法和模糊熵结合应用于图像分割 利用改进 粒子群优化 IPSO 算法来搜索 使模糊熵最大时的参数值得到模糊参数的最优组合 河北工程大学毕业设计 论文 13 进而确定图像的分割阈值 实验结果表明 该算法取得了令人满意的分割结果 算法 运算时间较小 能满足对煤尘浓度实时精确测量的要求 颖刍莖蛺饽亿顿裊赔泷 3 2 1 基本粒子群算法基本粒子群算法 粒子群优化 PSO 算法是一种进化计算技术 最早由Kenney 和Eberhart 于1995 年提出的 源于对鸟群捕食行为研究的PSO 算法同遗传算法类似 是一种基于迭代的 优化工具 在PSO 算法中 每个个体称为粒子 所有的粒子都有一个由被优化的函数 决定的适应值 每个粒子还有一个速度决定他们飞翔的方向和距离 然后粒子就追随 当前的最优粒子在解空间搜索 假定粒子规模为搜索空间为维 则第 个粒子的NMi 位置表示为 第 个粒子的速度表示为 每个粒子 21iMiii xxxX i 21iMiii vvvV 具有最好适应值的位置称为个体最好位置 记为 整个种群中的最 21iMiii pppP 好适应值位置称为全局最好位置 记为 在找到这两个最优值时 21gMggg pppP 每个粒子根据如下公式来更新自己的速度和位置 濫驂膽閉驟羥闈詔寢賻 3 1 1 21 txtprandctxtprandctwvtv ijgjijijijij 3 2 1 1 tvtxtx ijijij 其中 表示第 个粒子 表示粒子的第维 表示第 次迭代 为加速常iijjtt 21 c c 数 通常在间取值 为均匀分布在 0 1 上的随机数 为惯性因子 銚2 0 rand 銻縵哜鳗鸿锓謎諏涼 3 2 2 改进粒子群优化算法改进粒子群优化算法 普通粒子群优化算法存在易陷入局部最优以及过早收敛的缺点 使得该算法难以 得到理想的优化效果 近年来出现了不少改进的PSO 算法 改进算法主要有对惯性因 子的改进 以及引入遗传算法中的交叉 变异或进化思想对部分粒子进行相应的操作 本文针对惯性因子的改进提出了惯性因子自适应算法 同时引入了Morlet 变异操作 克服了普通粒子群优化算法存在易陷入局部最优以及过早收敛的缺点 惯性因子自适 应粒子群算法 当粒子群中大多数粒子在连续的迭代中未找到最优值前停止更新时 就会出现过早收敛的现像 当惯性因子较小或固定时也会出现这种现像 从式 3 1 可以看出 当较小并且 和很小时 也很小 tvij txtp ijij txtp ijgj 1 tvij 即相应的粒子失去搜索能力 这种情况通常会出现在当粒子本身是全局最优时即 和等于零时的迭代早期阶段 这样在以后的迭代中粒子就失 txtp ijij txtp ijgj 去了多样性 为了解决该问题 一般将设为 挤貼綬电麥结鈺贖哓类 河北工程大学毕业设计 论文 14 3 3 maxminmax tt axm 其中 表示总迭代次数 和分别表示最大和最小惯性因子 本文对上 max t max min 述方法作了改进 根据粒子距离全局最优值之间的距离对进行调节 即赔荊紳谘侖驟辽輩 袜錈 3 4 1 max0 distdisti 其中 为当前粒子距离全局最优值之间的欧几里得距离 即 i distrand 1 5 0 0 4 为最大距离 这样对进行调节能保证粒子在偏 2 1 1 n j ijgji xpdist max dist i dist 离全局最优时 粒子和全局最优值之间的吸引力将保证粒子不会偏离最优值太远 从 而避免出现过早收敛的现像 塤礙籟馐决穩賽釙冊庫 3 2 3 Morlet 变异变异 为了克服过早收敛 还有一种方法就是引入遗传算法中的变异操作 即当用基本 PSO 算法对粒子的位置和速度进行更新后 再对部分粒子进行变异操作 使得粒子种 群呈现多样性 一般可用均匀变异或非均匀变异来进行变异操作 Natsuki引入了高斯 变异操作 有 裊樣祕廬廂颤谚鍘羋蔺 3 5 1 gaussiantxtxmut ijij 其中 为高斯变异后的位置 为的高斯分布 gaussian 1 0 Natsuki 指出可以对粒子以一定概率进行高斯变异 也可以当粒子的位置停止更新 时进行高斯变异 本文中的Morlet变异能对粒子起到微调的作用 仓嫗盤紲嘱珑詁鍬齊驁 每个粒子变异的概率为的大小根据粒子群的维数决定 Morlet 变异 mm pp 1 0 的方程式如下 3 6 0 0 min max xtxtx txxtx txmut ijij ijij ij 其中 为变异后的 和分别为的最大最小值 的计算 txmut ij txij max x min xx 公式如下 3 7 5cos 1 2 2 a a e a 其中 5 2 5 2aa 3 8 ln 1 ln max g t t g wm ea 河北工程大学毕业设计 论文 15 这里 为上式单调递增方程的形状参数 为的上限值 为当前迭代次wm gat 数 为最大迭代次数 max t 3 2 4 改进粒子群优化的模糊熵图像分割算法改进粒子群优化的模糊熵图像分割算法 图像的最大模糊熵 根据模糊理论 图像可看成是一个模糊事件 根据模糊熵理论 若分割阈值nm 将原始图像的像素分成黑和亮两个模糊集 则这两个集合的隶属函数和T kk bd 模糊熵分别为 绽萬璉轆娛閬蛏鬮绾瀧 3 9 0 1 1 2 2 kc ckb bcac ck bka abac ak ak k d 3 10 1 1 0 2 2 kc ckb bcac ck bka abac ak ak k b 3 11 ln 255 0 k d dk d dk d p kp p kp H 3 12 ln 255 0 k b bk b bk b p kp p kp H 其中 参数满足 这里为cba 2250 cba 2 nmnpcab kk k n 中元素的个数 模糊事件的总模糊熵 K D 3 13 bd HHcaH 由熵理论可知 为了实现目标与背景的最佳分割 模糊事件的模糊熵应为最大 即得到使总模糊熵达到最大值时对应 并据此确定最优阈值 K D caH optopt ca 河北工程大学毕业设计 论文 16 3 14 2 optoptoptopt cabT 改进粒子群优化的模糊熵图像分割算法 根据最大模糊熵原理 基于最大模糊熵 的图像分割算法其本质是在图像的整个灰度空间上搜索一组参数使图像的总模 ca 糊熵取最大值的优化问题 并且将改进粒子群优化 IPSO 算法用于搜索一组最优参数 提高了算法的分割性能 骁顾燁鶚巯瀆蕪領鲡赙 ca 算法的基本步骤如下 Step 1 初始化 初始化粒子群的位置矩阵和速度矩阵 设定粒子群规模XVN 和维数 由于需寻优2 个参数 设定 D2 D 3 15 minmaxmin randxxxxij 3 16 2 22 12 1 21 11 NN x x x x x x X 3 17 2 maxmax randvvvij 3 18 2 22 12 1 21 11 NN v v v v v v V 其中 为均匀分布在 0 1 上的随机数 为 的最大值 和分别为 rand max vv max x min x 的最大 最小值 一般取 这里和 分别为图像的x1 minminmaxmax LxLx max L min L 最大 最小灰度 瑣钋濺暧惲锟缟馭篩凉 Step 2 选择式 3 13 作为粒子群算法的适应度函数 计算粒子群中每个粒子的 适应值 并根据适应值选择每个粒子的当前最好位置Pi 和粒子群的全局最好位置 g p 鎦诗涇艳损楼紲鯗餳類 Step 3 根据式 3 3 计算权重因子 再根据式 3 1 和 3 2 更新粒子的速度和 位置 栉缏歐锄棗鈕种鵑瑶锬 Step 4 根据式 3 6 以一定概率对部分粒子进行Morlet 变异 Step 5 若达到最大迭代次数 则算法结束 否则 转Step 2 Step 6 求出全局最优解对应的参数组合 计算分割阈值对图像进 g p ca opt T 行分割 3 2 5 实验结果及分析实验结果及分析 河北工程大学毕业设计 论文 17 利用本文算法对不同类型图像进行分割实验 并与其他算法的结果进行对比 实 验中粒子群算法相关参数选择如下 粒子群规模 维数 最大迭代次10 N2 D 普通PSO 算法中的惯性因子 学习因子50 max t4 09 0 minmax Morlet变异参数为 随即抽取50 的粒子进行变异操作 即变异概率4962 1 21 cc 实验中采用的图像分别为Lena Boat 共3幅真实煤尘图像 10005 0 gPm2 wm 它们代表几种 不同类型的图 像 辔烨棟剛殓攬 瑤丽阄应 a Lena 图像 b Boat 图像 c 煤尘图像 1 d 煤尘图像 2 e 煤尘图像 3 图 3 1 实验图像直方图 它们的灰度直方图 Lena 图像呈多峰模式 Boat 图像为明显的双峰 3 幅煤尘图 像为单峰模式 利用本文 IPSO 算法和基本 PSO 算法 GMPSO 算法对 3 种不同 河北工程大学毕业设计 论文 18 类型的图像进行了分割效果比较实验 实验效果如图 3 2 所示 图 3 2 中 为原 ai 始图像 为基本 PSO 算法的分割结果 为 GMPSO 算法的分割结果 为 bi ci di 本文算法的分割结果 由图 3 2 的分割结果可以看出 本文算法的分割效 5 21 i 果优于其他两种算法 特别是在对具有单峰特性的第 3 幅煤尘图像 本文算法的优势 非常明显 峴扬斕滾澗辐滠兴渙藺 a1 b1 c1 d1 詩叁撻訥烬忧毀厉 鋨骜 a2 b2 c2 d2 则鯤愜韋瘓賈晖园 栋泷 a3 b3 c3 d3 胀鏝彈奥秘孫戶孪 钇賻 a4 b4 c4 d4 鳃躋峽祷紉诵帮 废掃減 图 3 2 实验结果比较图 表 3 1 列出了不同算法的分割阈值 运算时间以及广泛使用的无差异测量 无差 异测量定义为 河北工程大学毕业设计 论文 19 3 19 21 2 minmax 0 2 LLnm y cu c jRj jj j 其中 为阈值数量 为 j 阶分割区域 为像素 的灰度值 为 j 阶分割区域c j R i yi j 灰度平均值 为图像总的像素点 和为图像的最大最小灰度值 nm max L min L 越接近于 1 说明分割效果越好 由表 1 可以看出 本文提出的 IPSO 分 uu 10 割算法在阈值和分割性能指标上具有明显的优势 同时运算时间也相应增加 但运算 时间最大也在之内 完全能满足实时精确分割的要求 为煤尘浓度的实时精确ms250 测量打下了坚实的基础 稟虛嬪赈维哜妝扩踴粜 表 3 1 本文算法与其他算法进行图像分割性能比较 图像图像算法算法阈值阈值时间时间 sUM Lena 256256 PSO GMPSO IPSO 134 6105 130 8517 121 7496 0 075 0 078 0 194 0 9764 0 9773 0 9787 Boat 512512 PSO GMPSO IPSO 160 0200 156 8155 144 6209 0 078 0 094 0 109 0 9577 0 9647 0 9752 Coal dust 1 512512 PSO GMPSO IPSO 110 4098 108 3135 102 5000 0 098 0 125 0 235 0 9670 0 9782 0 9989 Coal dust 2 512512 PSO GMPSO IPSO 117 8226 115 0620 111 9050 0 101 0 132 0 234 0 9680 0 9784 0 9989 Coal dust 3 512512 PSO GMPSO IPSO 114 0127 111 0235 1106 0174 0 110 0 125 0 242 0 9662 0 9783 0 9984 针对基本粒子群算法存在易陷入局部最优以及过早收敛的问题 提出了一种基于 改进粒子群优化的模糊熵图像分割算法 用惯性因子自适应粒子群来搜索使模糊熵最 大时的参数值 并对部分粒子进行 Morlet 变异操作 得到模糊数的最优组合 进而确 定图像的分割阈值 实验结果充分地表明 该算法对不同类型的图像均能取得较好的 分割结果 且计算量较小 稍加改进即可在 DSP 等硬件上实现 因此能满足对煤尘浓 度实时测量的要求 陽簍埡鲑罷規呜旧岿錟 3 3 一种新信息熵定义及其在图像分割中的应用一种新信息熵定义及其在图像分割中的应用 3 3 1 香农熵的概念及性质香农熵的概念及性质 河北工程大学毕业设计 论文 20 离散概率分布 其中 满足条件 21n pppP 2 1 nipi 2 1 10 ipi 且 香农在1948年提出了描述信息不确定性程度大小的量 简称为香农熵 n 1 1 ny i i p 它具有如下的典型性质 沩氣嘮戇苌鑿鑿槠谔應 ny i ii ppPH 1 log 1 对于任意离散概率分布 则有 P log 0nPH 2 对于任意离散概率分布 则 0 0 1 0 0 0 P0 PH 3 对于任意离散概率分布 则 1 1 1 nnn P log nPH 4 对于两个独立事件离散概率分则满足 QP和 QHPHPQH 3 3 2 一种信息熵的定义及证明一种信息熵的定义及证明 从香农熵的表达式来看 因其含有对数运算导致计算所需时间较大 不利于基于 香农熵的图像分割方法在实时场合的使用 为了定义没有对数运算的新息熵 这里首 先引入Tsallis熵定义定义 钡嵐縣緱虜荣产涛團蔺 3 20 1 0 1 1 1 1 aap a PH n i a ia 当式 3 20 中的时 可以得到 1 a 3 21 n i iia pppH 1 ln lim 这里对 Tsallis 熵进行如下的修改 3 22 1 0 1 1 1 1 aanp aa PH n i aa ia 修改后的 Tsallis 熵具有如下的性质 1 log ln lim 1 1 nppPH n i iia a 2 3 23 n i iia a nnppPH 1 0 ln ln lim 然而 3 21 中有可能为零 需将 3 22 进一步修改为如下形式 1 nipi 3 24 1 0 1 1 1 1 aaanp aa PH a i n i a 针对 3 24 式 它具有如下的性质 1 n i a ia aaanpPH 1 1a 1 0 1 lim 2 3 25 n i ia a pPH 1 0 1 1ln lim 为了定义非对数型信息熵 这里引入下面的定理 定理定理 1 若是信息熵 那么函数也是信息熵 PH exp PH 河北工程大学毕业设计 论文 21 证明 因指数函数是单调函数 且信息是有界函数 那么复合函数 exp n PH 也单调有界函数 对于离散概率分布 使得信息熵 exp PH 0 0 1 0 0 0 P 得到最小值 同样也使得复合函数取最小值 懨俠劑鈍触乐鹇烬觶騮 PH exp PH 对于离散概率分布 使得信息熵得到最大值 同样也使得 nnn P 1 1 1 PH 复合函数取到最大值 总上所述 复合函数满足信息熵最基本的 exp PH exp PH 性质 因此 它是一种信息熵 证毕 謾饱兗争詣繚鮐癞别瀘 根据本文修改的 Tsallis 熵公式 3 25 和定理 1 我们可以构造如下新的信息熵为 n i iN pPH 1 1 3 26 呙铉們欤谦鸪饺竞荡赚 该新的信息熵中仅有加法和乘法运算 其计算量很显然比香农熵 Tsallis 熵要少很 多 为了方便 将新信息熵表达式 3 26 简称为乘积型熵 它也具有如下典型性质 莹谐 龌蕲賞组靄绉嚴减 1 对于任意离散概率分布 则有 Pe n PH n N 1 1 2 2 若任意离散概率分布的乘积型熵 当且仅当 P2 PHN 0 0 1 0 0 0 P 3 对于任意离散概率分布的乘积型熵 当且仅当P n N n PH 1 1 nnn P 1 1 1 4 对于两个独立事件离散概率分布则有QP和 QHPHPQH NNN 这表明 新信息熵是非可加性信息熵 可加性信息熵仅有香农熵和 Renyi 熵 其 它诸如 Tsallis 熵 Kapur 熵 Taneja 熵等众多信息熵都属于非可加性信息熵范畴 麸肃 鹏镟轿騍镣缚縟糶 下面给出乘积型熵性质的证明 其具体过程如下 PHN 证明 1 因 又因 PHN n i n i n i n ij j n i n ij j n ij k n i ikjijiii pppppppp 11111111 1 1 且 所以有 2 1 10nipi n i i p 1 1 成立 2 PHN n i n ij j jip p 11 n i n ij j n ij k n i ikji pppp 1111 2 又因算术平均和几何平均之间满足不等关系式 若那么 2 1 0kia 因此 成立 综上所 k n i n i ii kaa 11 n i iN pPH 1 1 n n n i i n n p n 1 1 1 1 河北工程大学毕业设计 论文 22 述 不等式是正确的 又利用极限表达式 就有 n N n PH 1 1 2 e n n n 1 1 lim 成立 納畴鳗吶鄖禎銣腻鰲锬 ePH 2 2 若任意离散概率分布则其相应乘积型熵是很显 0 0 1 0 0 0 P2 PHN 然的 这里主要是证明任意离散概率分布的乘积型熵 则该概率分布为P2 PHN 的成立 因 就有成立 又因 0 0 1 0 0 0 P2 PHN n i i p 1 2 1 風撵鲔貓铁频钙蓟纠庙 10 i p 且 则由 2 1 ni n i i p 1 1 2 PHN n i n ij j jip p 11 n i n ij j n ij k n i ikji pppp 1111 可以得到 又因则2 0 111111 n i n ij j n i n ij j n ij k n i ikjiji pppppp 2 1 0nipi 必有 且 2 1 2 1 nkjipppijnjipp kjiji 且 n i i pkji 1 中必然有 个取值为 0 仅 1 个取值为 1 的结论 2 1 nipi 1 n 3 若任意离散概率分布 则其相应乘积型熵 是 nnn P 1 1 1 n N n PH 1 1 很显然的 这里主要是证明任意离散概率分布的乘积型熵 则该概P n N n PH 1 1 率分布为时成立 灭嗳骇諗鋅猎輛觏馊藹 nnn P 1 1 1 因 可以得到 n N n PH 1 1 n i iN pPH 1 1 成立 也即有 定义目 n i i p 1 1log n n 1 1log0 1 1log 1log 2 1 n i i n np 标函数在约束条件且 2 1 1 1log 1log n i i n npPF 2 1 10nipi n i i p 1 下取得最小值为零的必要条件是其原因在于目标函数是变1 2 1 1 ni n pi PF 量 在定义域上的凸函数 以及目标函数对变 i p 2 1 ni 1 0 1 0 1 0 PF 量 的二阶偏导数构成的 Hessian 矩阵是正的 因此 由 i p 2 1 ni 必然得到成立 铹鸝饷飾镡閌赀诨癱骝 n i i n np 1 1 1log 1log nnn P 1 1 1 3 3 3 信息熵计算复杂性分析信息熵计算复杂性分析 在现有的微型计算机中 其CPU 的算术运算单元 ALU 有加法器和乘法器 需 将减法运算变成加法运算 以及除法运算变成乘法运算来执行 假设计算机每执行加 河北工程大学毕业设计 论文 23 法或减法运算一次需要时间秒 执行乘法或除法运算一次需要时间秒 且 1 t 2