（模式识别与智能系统专业论文）视频序列中运动目标提取与跟踪算法研究.pdf

摘要 摘要 本文主要研究静止背景下运动目标的检测和提取 运动目标的跟踪 以及s n a k e 跟踪算法等方面的内 容 在静f e 背景下的目标检测方面 本文介绍了帧间差法和背景差法两种算法的基本原理 简要介绍了帧 间差分法及其特点 分析了单高斯背景模型方法的优缺点 给出了改进方案并进行实验分析 研究了利用 混合高斯模型提取具有扰动的背景模型的方法 分析了混合高斯模型的优缺点 根据单高斯模型和混合高 斯模型的优缺点 提出了自适应多高斯模型背景模型算法 在消除光照突变影响方面 介绍了用统计亮度 变化点数来消除光照突变影响的算法 在研究用相关方法进行运动目标跟踪方面 本文主要介绍了几种常用的匹配跟踪算法 m c d 基于直 方图特征的特征匹配跟踪算法 s s d a 以及将d c t 变换引入相关匹配的算法 在跟踪中引入了k a l l l l 狮滤 波器对匹配点进行预测 减小了匹配点的搜索范围 引入了小波变换 先对图像进行小波变换 取出一次 小波变换后的低频分量进行匹配 从而滤除了高频噪声 同时减少匹配的点数 提高了跟踪的速度和糖度 给出了自适应的模板更新机制 增加了对物体被遮挡和目标丢失的判断 实验了多种相关跟踪算法 比较 了各种算法的实时性和准确性 在s n a k e 跟踪算法方面 介绍了传统的s n a k e 算法及箕离散化实现 分析了算法的不足 比较了 g r e e d y s n a k e 算法和g v f s n a k e 算法 确定了跟踪中使用g r e e d y s n a k e 方法的合理性 给出了s n a k e 算法应 用于目标跟踪的实现方案 分析了实现跟踪的难点 给出了一种实现初始轮廓提取的方法 对s n a k e 跟踪 算法进行了实验 分析了实验结果 关键字 背景模型 高斯模型 混合高斯模型 且标跟踪 相关算法 k a l m 趾滤波器 小波变换 主动轮廓模型 东南大学硕士学位论文 a b s t r a c t t h ep u r p o s eo f t h i sp a p e ri st or e s e a r c ht h ea l g o r i t h m st oe x t r a c tt h em o v i n go b j e c t sf r o mt h ev i d e os e q u e n c e t h ea l g o r i t h m st r a c k i n gt h em o v i n go b j e c t a n dt r a c k i n go b j e c tb ys n a k ea l g o r i t h m a sf b rt h ee x t r a c t i o no ft h em o v i n go b j e c t sf r o mt h es t a t i cb a e l q g r o u n d a l g o r i t h mb a s e do nt h ed i f f e r e n c e b e t m e e nt h ec o n s m i v ef r a m e sa n dt h ea l g o r i t h mb a s e do i lt h ed i f f e r e t a c f r o mt h eb a c k g r o u n di sr e s 哺e h e d t h e a l g o r i t h mb a s e do nt h es i n g l eg a u s s i a nm o d e lt oe x t r a c tt h eb a c k g r o u n di sa n a l y z e da n di m p r o v e d t h e n r e s e a r c h e st h ea l g o r i t h mt oe x t r a c tt h eb a c k g r o u n dw h i c hi sa i s t u r b e d a n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e s t h e nan c ws e l f s u i t e dm u l t i g a m s i a nm o d e li sp r o p o s e d i no r d e rt od e f e n s et h ea b r u p tc h a n g eo fl i g h t t h e a l g o r i t h mc o u n t st h en u m b e ro f p o i n t sw h i c ha c h a n g e dt of o r e g r o u n d a sf o rt h et r a c k i n go ft h em o v i n go b j e c t s i n t r o d u c e s o l n ec o r r e l a t i o nm a t c ha l g o r i t h m s s u c h m a d m c d s s d a m a t c ha l g o r i t h mb a s e do nh i s t o g r a mm a t c h a l s ot e s t st h em e t h o db ym a t c h i n gt h eh e a de l e m e n t s a f t e rd c tt r a n s f o r m a t i o n i m p o r t st h ek a l m a l lf i l t e rt op r e d i c tt h en e x tm a t c hp o i n tt or e d u c et h er a n g eo f s e a r c h i m p o r t sd w t t oe x t r a c tt h el o wf r e q u e n c yp a r tt or e d u c et h en o i s ea n dr e d u c et h el o n g eo f s e a r c h i m p r o v e st h e s p e e da n da c c u r a c y p r o p o s e sa s e l f s u i t e dt e m p l a t er e f r e s ha l g o r i t h mr e g a r d i n gt h es i t u a t i o nt h a tt h eo b j e c tb e i n g s h e l t e r e do rl o s t c o m p a r e st h es p e e da n d a c c u r a c yo f t h ea l g o r i t h m s p r o p o s e dt h et r a d i t i o n a ls n a k ea l g o r i t h ma n dd i s p e r s e st h ea l g o r i t h m a n a l y z s et h ed i s a d v a n t a g e so fi t c o m p a r e st h ei m p r o v e ds n a k ea l g o r i l l a m c r e 酣y s n a k ea n dg v f s n a k e a n dg i v e st h e 嬲 鹏t oi j s e g r e e d y s n a k ea l g o r i t h m g i v e st h em e t h o dt o 嗽s n a k em o d e li nt r a c k i n g a l 谊l y e st h ed i t t i e u l t yo f t h i sm e t h o d p r o p o s e sas i m p l em e t h o do fi n i t i a lt h e a l tc o n t o u r d o e se x p e r i m e n to fs n a k eb a s e dt r a c k i n g a n a l y z e st h e r e s u l t k e yw o r d s m o d e lo ft r a e k g r o u n d 3 a u s s i a nm o d e l m i c dm u l t i g a u s s i a nm o d e l o b j e c tt r a c k i 蝎c o r r e l a t i o n a l g o r i t h m k a l m a nf i l t e r d 帆a c t i v ec o n t o u rm o d e l 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写过 的研究成果 也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料 与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意 研究生签名 东南大学学位论文使用授权声明 东南大学 中国科学技术信息研究所 国家图书馆有权保留本人所送交学位论文的复印 件和电子文档 可以采用影印 缩印或其他复制手段保存论文 本人电子文档的内容和纸质 论文的内容相一致 除在保密期内的保密论文外 允许论文被查阅和借阅 可以公布 包括 刊登 论文的全部或部分内容 论文的公布 包括韧登 授权东南大学研究生院办理 研究生签名 导师签名 日期 第一章绪论 1 1 研究的背景和意义 第一章绪论 随着国民经济的快速增长 国力的不断增强和社会的迅速进步 银行 电力 交通 安全 仓储 建 筑以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增 要求越来越高 从而促进了视频 监控系统的发展 同时由于计算机硬件技术的发展 计算机在处理速度 存储容量 并行计算等方面的性 能快速提高 使智能化的视频监控序列图像的快速理解成为可能 可以这样认为 随着信息和信息技术的 发展 视频监控 分析和处理在商业 国防安全和军事应用领域中具有非常广泛的需求 例如 在军事中 视频监控系统可用于导弹 飞机 舰艇等多种重要军事运动目标的监视 检测和跟踪 在交通管理中 视 频监控 分析和处理有助于交通流量 速度 交通事故监控 车流密度 堵塞状况以及路面状况 气象等 参数的观测 提取和分析 并通过对这些参数调节和控制 使交通自动保持最佳运行状态 提高交通管理 的自动化水平 在公共场所中可用于行人拥挤状况的监控 在大型购物场所实时监控系统可用于消费人口 信息的收集等等 都具有广泛的应用前景l l j 1 2 国内外研究现状和发展趋势 国内外研究学者关于视频监视系统及分析处理技术 1 1 已经开展了大量的研究工作 也已取得了不少成 果 如 早在1 9 9 7 年美国d a r p a d e f e n s e a d v a n c e d r e s e a r c h p r o j e c t s a g e n c y 信息系统办公室就开始了一 个三年的计划来研究v s a m v i d e o s u r v e i l l a n c ea n d m o n i t o r i n g 技术 其目标是研究对视频的自动化理解技 术以便建立一个能在城市或战场等复杂环境下应用多个摄像机对人 车等的行为进行监控的系统 e c o e u r o p e a nc o m m i s s i o n 资助的a v s p v a d v a n c e dv i d e o b a s v ds u r v e i l l a n c ep r e v a n t i o no f v a n d a l i s m i nm 咖 s t a t i o n s 和a d v i s o r a n n o t a t e dd i g i t a v i d e of o rs u r v e i l l a n c ea n do p t i m i z e dr e t r i e v a l 项目 目的是建立对 地铁站内人们的活动行为进行监控的系统 在国内 己有许多研究机构和高等院校在运动场景的分析中投入了相当大的研究精力 近l o 年来 国内各行业的研究学者发表了大量的有关运动目标跟踪的研究成果论文 另外 在运动目标跟踪的应用系 统研发方面 国内也取得了积极的研究成果 如 东南大学自动控制系模式识别实验室在 七五 期问与 原电子部三所合作 完成了国防科工委重大基础科研课题 i t i 智能电视罪踪系统一获得1 9 9 3 年国家科 技进步二等奖 该系统采用基于相似性度量的模板匹配方法来识别是否存在目标 适合于简单背景下的目 标识别与跟踪 在 八五 和 九五 期间与信息产业部电子三所共同承担了国防预研项且 分别成功研 制了 i t 2 智能电视跟踪系统 和 i t 2 a 智能电视跟踪系统 1 3 文章的主要结构 本文主要研究在静止背景下运动目标的检测和提取算法 运动目标的跟踪算法 运动目标被遮挡的处 理方法 以及s n a k e 跟踪算法 文章的结构如下 东南大学硕士学位论文 第一章绪论 简要介绍本文所研究的背景和意义 目前国内外的研究现状和发展趋势 并且给出了 论文的各个章节的主要内容 第二章图像的预处理 研究和此课题有关的图像预处理方法 如图像的变换 滤波 分割和数学形 态学图像处理 比较各种方法的优缺点 第三章视频序列中运动目标的提取 研究视频序列中运动目标提取的各种方法 有背景差法 帧问 差分法等 以及利用模式分类的方法对所得到的差分点进行分类从而提取出单个或者多个运动目标 对检 测出的前景图像进行分类和标记 第四章运动目标的跟踪 介绍用相关跟踪算法进行运动目标跟踪 分析算法的优缺点 改进了模板 匹配算法 用k a l m a n 滤波器对目标进行预测 利用小波进行分层搜索匹配 提高跟踪的准确性和实时性 给出实验结果和分析 第五章介绍s n a k e 轮廓跟踪方法 介绍了原始模型的原理 模型的离散化 s n a k e 的改进模型 最后 用s n a k e 模型进行了跟踪实验 第六章总结和展望 对论文做一个总结 指出实验中还没有解决的问题 给出解决问题的一些思路 2 第二章图像的预处理 2 1 图像的彩色空间模型 第二章图像的预处理 在i 虱像处理中运用颜色受两个主要因素的推动 第一 颜色是一个强有力的描绘子 它常常可简化目 标物区别及从场景中抽取目标 第二 人可以辨别几千种颜色色调和亮度 相比之下只能辨别少数的几种 灰度级 这对于人工图像分析非常重要 为了描绘彩色图像 人们使用 彩色空间模型 主要的彩色空间模型有 r o b 彩色空问模型 h s i 彩色空间模型 c m y 彩色空间模型和c m y k 模型 2 2 彩色空间模型的转换 在图像处理中最常用的是k g b 和h s i 模型 在r g b 模型中 每种颜色出现在红 绿 蓝的原色光谱 分量中 这个模型基于笛卡尔坐标系统 所考虑的彩色子空间是下图所示的立方体 r g b 位于3 个坐 标轴上 黑色在原点处 白色位于离原点最远的角上 图ir g b 彩色模型 如果每r g b 中每一种颜色分量用8 位表示 那么在这个r g b 图像中颜色总数是 2 8 3 1 6 7 7 7 2 1 6 这种模型方法与硬件的结合非常好 但是对于人眼来说 却不能很好的适应这种模型 h s i 模型是用色调 色饱和度和亮度来表示一种彩色 其中 亮度是一个主观的描述子 实际上它是 不可测量的 它体现了无色的强度概念 并且是描述彩色感觉的关键参数 h 和s 则是表示彩色的参数 这样描述比较符合人的视觉特点 可以按照需要将各个分量分别处理 所以图像处理中经常需要将r g b 模型转换成h s i 模型 给出一个r g b 像素 可以通过如下的公式来转换成h s l 分量 阳 b g 珂2 t 3 6 0 0 占 g 2 1 此处 一查塑奎兰堡主兰堡丝壅 f昙k 置一g g 一动 i 红一0 8 1 面 r l g 及西丽两产 i 2 r g g 一口 v 2i p 7 lj 强度分壁是 i r g b 2 3 从h s i 转换到r g b 公式 e o i 内给出h s i 值 现在要在相同的值域内找到r g b 值 可以利用h 值公式 在原始分割中有3 个相隔1 2 0 的扇形 从h 乘以3 6 0 9 开始 这时色调值返回原来的 o 3 6 0 的范围 r g 扇形 0 0 h 1 2 0 g b 扇区 1 2 0 h 2 4 0 0 b r 扇区 2 4 0 h 3 6 0 2 3 图像的直方图 b i 1 一鼬 r 掣勺 2 4 c o s 6 0 一h g 1 r 伪 r 1 s g 一 1 c o s s 6 c u o s h 爿 c o s o u f l b i r g g 1 s 曰 l 面s 石c 石 面s h j c o s o u 一爿l r 1 一 g 2 5 灰度直方图埘是反映灰度图像的亮度概率分布的有效工具 得到广泛的应用和深入的研究 彩色直方 图同样反映彩色图像的颜色信息在彩色空间的分布情况 多种系统的应用同样表明彩色直方图具有很好的 表现能力 颜色在传统的图像理解中未能受到普遍重视 然而 相对于几何特征而言 颜色具有与生俱来的旋转 不变性和尺度不变性 图像特征的统计直方图实际上是一个一维的离散函数 即有 七 告 七 o l l i v 上式中 代表图像的特征取值 l 是特征可取值的个数 瑰是图像中具有特征值为k 的像素的个数 4 第二章图像的预处理 n 是图像像素的总数 对于彩色图像 可对其3 个分量分别做直方图 图2 r g b 原图以及r g b 分量的直方图 可见 r g b 三个分量的区别不是很明显 都呈现出一个单峰的形状 用上述的彩色空间变换将 r g b 空间转换成h s i 空间 其各个分量的直方图如下 a h 分量但 s 分垂 1 分量 圈3 h s l 分量的直方图 可见 变换成h s i 空间的直方图各个分量的区别更为明显 其中只有1 分量形状和r g b 类似 h s 分量代表了别的统计信息 由此可见 h s i 空间具有较r g b 空间更好的解耦合性 更能够清晰反映图像 的各种统计信息 2 4 图像的变换 对于一般的线性系统 往往用时间作为参数来描述 表示为一维0 系统 在图像处理中使用空间作 为参数来描述的 通常表示为二维 x 们系统 一般数字图像处理的计算方法本质上都可看为线性的 处 理以后输出的图像阵列可看为输入图像阵列的各个元素经过加权线性组合而得到的 这种空间线性处理要 比非线性处理简单 但是对于图像处理运算来说 由于图像阵列很大 如果没有有效的算法 计算上费对 费力 因此 往往将图像进行变换 使得某一方面的信息特别集中 便于处理 这里简要介绍小波变换和 d c t 变换 5 东南大学硕士学位论文 2 4 1 图像的小波变换 1 9 8 7 年 m a l l a t 将计算机视觉领域内的多尺度分析的思路引入到小波分析中 小波函数的构造以及信 号按小波变换的分解与重构 其相应的算法 称为m a l l a t 算法 有效的应用于图像分析与重构 对于二维图像来讲利用m a l l a t 算法通过张量积可由一维正交小波构造二维正交小波基从而得到离散 图像的多尺度分解 m a l l a t 二维小波分解快速算法可写为 9 h p 一2 k h q 一2 1 6 1 1 0 旷f 2 d 如 2 1 3 c w 2 7 d 怛 声 p 4 9 p 2 k h q 2 i c j t n d 卸j 月 日g p 一2 k g q 一2 i c j 月 式中 z 和g 田分别对应同一小波基的低通滤波器和高通滤波器 c j 爿反映原图像的低频信息也称 平滑像 d 爿是垂直方向高频 水平方向低频的分量 反映原图的水平边缘 d 2 j 坷是水平方向高频 垂直方向低频的分量 反映原图的垂直边缘a 而d 3 0 爿是水平方向和垂直方向均为高频分量 反映原图斜 边缘 这里采用d b l 小波进行图像分解 二维图像的正交小波分解算法如t i l t 所示嗍 a 2 s l f 团 圆 2 4 2 图像的d c t 变换 两列中取一列 暖f 魄 d 厂 固固 行或列与x 卷积 两行中取一行 图4 小波变换原理图 由于d c t 变换在马尔可夫 m a r k o v 过程 一个静态随机序列称为一阶m a r k o v 序列 如果序列中每 个元素的条件概率只依赖于它的前一个元素 条件下 等价于正交k l 变换 而k l 变换被认为是最佳的 去相关性的正交变换 但是其计算过程非常复杂 所以经常用d c t 变换来近似k l 变换 对于自然景物 通常近似满足马尔可夫条件 这时d c t 的基向量可以很好地近似k l 变换的基向量 由于这个原因 在 图像压缩算法中常被用来代替k l 变换 如 l p e g 算法 尽管d c t 在降低谱的相关性方面不如k l 变换 有效 但是其好处是它的基函数是固定的 而k l 变换的基函数取决于待交换图像的协方差矩阵1 4 当用 d c t 变换时 可以取最少的值保持原来图像的特征 在跟踪算法中 应用最小的数据特征代表模板图像 从而在最小限度减少图像损失的前提下 提高运 算的速度 d c t 变换以后 低频分量主要集中在图像的左上方 因此也是图像的信息比较集中的区域 d c t 变换以后可以使用以下z 字形的方法将其各个分量按照从低频到高频的顺序放入一维数组z i g z a g 中 z i g z a g i f l 2 n 2 8 6 第二章图像的预处理 7 7 广 图5z i g z a g 读取数据方法 然后对这个一维数组中的各个分量进行选择 以下比较使用两种方法来对d c t 变换以后的数组进行 选择 1 保留d c t 交换以后的低频分量 z 慨奶 产回 o f r r s f r 门限 或 丢至虽 二i 三 由于拉普拉斯算子是一个二阶导数 他将在边缘处产生一个陡峭的零交叉 分别用前后两个模板对桥 b m p 检测 a 原图 b 用圈8 a 的检测结果 c 用图8 b 检测的结果 图9 边缘检测结果 由于 b 模板加强了中心元素 可见用 检测的结果比用 a 的检测结果亮度高 所以这里使用第二个 模板 4 c a r m y 算子l l i s l c a n n y 提出了评判边缘检测好坏的3 个标准 好的信噪比 好的定位性能 单边响应准则 并在此基 础上提出了一种新的边缘检测算法 c a n n y 边缘检测算子具有很好的边缘检测性能 得到了越来越广泛的 应用 c a n n y 边缘检测方法利用高斯函数的一阶微分 它能在噪声抑制和边缘检测之间取得较好的平衡 1 0 具体步骤如下 1 用高斯滤波器来对图像滤波 可以去除图像中的噪声 2 用高斯算子的一阶微分对图像进行滤波 得到每个像素梯度的大小l g i 和方向口 蚓 随俐 i d 一1 陪罔 2 2 2 2 2 3 为滤波后的图像 3 对梯度进行 非极大抑制 这就是为了精确定位边缘 细化得到的边缘 经过这样处理以后 所有的边缘都是单像素宽度了 4 对梯度取两次阈值得到两个阈值t l 和亿 把梯度值小于t l 的像素的灰度设为0 得到图像1 然后把梯度值小于他的像素的灰度设为0 得到图像2 由于图像2 的阂值较高 去除了大部分噪声 但 l i 东南大学硕士学位论文 同时也损失了有用的边缘信息 而图像l 的阈值较低 保留了较多的信息 我们可以以图像2 为基础 以 图像l 为补充来连接图像的边缘 在用c a n n y 算法提取边缘的时候 上下阙值t l 和t 2 的设定是关键 可以人工的设定阈值 也可以使 用阈值分割的方法动态的调节阈值 从而提高算法的鲁棒性 如使用最大类同方差法l j 由于c a n n y 算子可以有效地抑制噪声干扰 在图像边缘模糊的情况下提取出边缘 所以可以用来在目 标跟踪算法中分割目标 a l e n a 原图 对 a 进行c a n n y 边缘检测 b 船原图 c t a n k 原图 图i o 原始图像 a t i 1 5 t 2 1 0 0 2 5 2 图像的阈值分割 b t i 2 5 t 2 2 0 0c o t i 7 5 t 2 1 5 0 图i ic a n n y 算法的效果 阈值法分割唧是一种简单有效的图像分割方法 它用一个或几个阈值将图像的灰度级分为几个部分 认为属于同一个部分的像素是同一个物体 阙值法的最大特点是计算简单 在重视效率的应用场合 如用 于硬件实现 它得到了广泛应用 阈值分割根据区域的大小可以分为全局阈值分割和局部阈值分割 全局阈值分割是指利用全局信息 例如整幅图像的灰度直方图 对整幅图像求出最优分割阈值 可以是单阖值或者多阈值 局部阂值分割 是指把整幅图像分成几个小的子图像再对每个子图像应用全局阙值法求出最优分割阈值 阈值分割实际上就是按照某个准则设定最优的阈值t 的过程 则分割以后的图像g y 可由下列表 示 或 f b 协2 f x 力 t 2 2 4 2 2 5 l 0 l o l j j j y y x x g g 第二章圈像的预处理 还可以将阈值设置一个灰度范i 蚕 t l t 2 凡是灰度在范围内的像素都变为1 否则皆变为0 即 f 1 g 薯力2 托 f x y t 2 其他 2 2 6 在某种特殊需要的情况下 通过设置阑值t 凡是灰度级高于t 的像素保持原灰度级 其他像素灰度级 都变为0 通常称此为半阈值法 分割后的图像可表示为 如 黔 u f x 力 t 其他 2 2 7 阈值分割图像的基本原理 可用下式傲一般表示 贴 侄搿 式中 z 为阈值 是图像f x 灰度级范围内的任一个灰度级集合 z z l z j z e 和z 口为任 意选定的目标和背景灰度级 以下是几种常用的阈值分割方法 1 双蜂法 对于目标与背景的灰度级有明显差别的图像 其灰度直方图的分布呈取峰状 两个波峰分别与图像中 的目标和背景相对应 波谷与图像边缘相对应 当分割阈值位于谷底时 图像分割可取得最好的效果 该 方法简单易行 但是对于灰度直方图中波峰不明显或波谷宽阔平坦的图像 不能使用该方法 确定两峰之间的最小值由多种方法 先要求出 两峰 的灰度级 要避免检测到的是两个局部最大值 通常可以要求这两峰之间的的间隔不小于一个最小值 或者采用直方图平滑 即用相邻的直方图元素的局 部平均来做 桐2 志圣母 删 2 2 9 k 是常量 代表平滑所使用的邻域的大小 还可以对直方图反复求小范围局部最大值 这样可以避免检测到的是两个局部最大值 然后再利用求 出的局部最大值求出双峰 本文在程序中先求最大值 然后求两次三邻域的局部最大值 最后在局部最大 值中求出双峰 2 最小错误法 这里选取的阙值就是指使图像中目标物和背景分割错误最小的阈值 如果将图像的直方图用两个或多个正态分布的概率密度函数来近似 就很容易求出最小错误的分割阈 值 根据计算 阈值取为离对应于两个或更多个正态分布最大值之间的最小概率处最近的灰度值 其结果 是具有最小错误的分割 如果一幅图像只由目标和背景组成 而且它们的像素灰度级概率呈正态分布 偏差相等 斫 a j 2 背景目标物的总像素也相等 则这个图像的最佳分割阈值就是目标物和背景像素灰度级两个均值的平均 我们假设要分割的图像符合上面的要求 采用迭代的方法来求阈值 算法如下 1 假设背景和耳标的平均灰度的平均值是图像最小和最大灰度值的乎均值 t i m a x g r a y m i n g r a y f 2 3 0 2 2 计算背景和目标的平均灰度值 l 东南大学硕士学位论文 7 17 4 砖 矿o 厂 o h 哪砸 狮b m 妯 a 邵 m 缸g r a ym 脚i g r a f 砖 乏以f 乏f 0 2 3 d z rl t 7 t 丝 丝 2 经过t 部迭代 使得t 7 t 1 停止迭代 否则继续迭代 一般这种算法只要4 到l o 次迭代就够了 但是为了防止程序无法结束 设最大迭代次数为1 0 0 次 3 类问方差阈值分割 由o s t u 提出的最大类间方差法 又称为大津阈值分割法 是在判决分析最 b 乘法原理的基础上推导 得出的 算法较为简单 是一种受到关注的阈值选取方法 设原始灰度图像灰度级为l 灰度级为i 的像素点数为踢 则图像的全部像素数为 n no 啊 心q 2 32 归一化直方图 则 忍 景 卜l z p l i 0 2 3 3 按灰度级用阈值t 划分为两类 c o 0 i 2 f 和g t 1 r 2 l d 具体的算法如下 类内方差为 z 爵 q 0 2 3 4 类间方差为 2 c o o c o l 一朋 2 2 3 5 总体方差为 露 正 2 36 其中 判决准则 磊 一硒 2 p c o o 砰 f 一鸬 2 见 q 2 丢奶 2 彻扛o q i 鳓 胁 i p i i o o 一 识 q 1 4 第二章图像的预处理 丑 f z 叩 f 听2 r f 一u r 2 以 这三个判决函数是等效的 当判决函数的值取的最大值的时候 用第一个判决函数 对图1 0 的三幅图像进行分割的结果如下 2 3 3 所取的t 就是分割阈值 在程序中选 a t 1 0 2 b t 1 3 8 c 卢9 4 图1 2 最大类问方差闭值分割结果 从分割的效果来看 较为理想 特别是后两幅图像 对目标的分割较为准确 说明这种分割算法对目 标和背景差别较大的图像分割效果比较好 4 一维最大熵阚值分割 熵是平均信息量的表征 在数字图像处理和模式识别上有很多应用 最大熵阈值法就是其中之一 根据信息论 熵的定义 日 一1 p x l g p x d x 2 3 9 其中 p x 是随机变量x 的概率密度函数 对于数字图像而言 随机变量x 可以是像素的灰度值 区域灰度 梯度等特征 所谓灰度的一维熵 最大 就是选取一个阈值 使图像分割后两部分的一阶灰度统计的信息量最大 对于大小为n n 的数 字图像 岛2 赤 扛l 2 o 2 4 0 设阈值t 把图像分割为目标区域0 和背景区域b 则o 和b 区域的概率分布为 o 区域 旦 江1 2 j p i b 区域 一 f t l t 2 o l 一只7 77 其中 n z p 熵函数定义为 砸 n o l g p 1 一只 堕 业1 p t f n t 式中 2 4 1 2 4 2 2 4 3 2 4 4 东南大学硕士学位论文 只 一 易培魏 i l 2 j i 也 p j l g p i i l 2 工 于是 一维最大熵阈值分割就是求解 t n l a x 矿 f 用此算法对图l o 进行分割结果如下 j 辫 一囵 a t 1 4 2 从上面的结果来看 分割效果很好 5 二维最大熵阙值分割 c o t 1 4 8 c t 4 5 图1 3 一维最大熵阈值分割 能分割出目标 绝大多数目标细节被保留 由于灰度一维最大熵基于图像原始直方图 仅仅利用了点灰度信息而未充分利用图像的空何信息 所 以当信噪比降低时 分割效果并不理想 在图像的特征中 点灰度无疑是最基本的特征 但它对噪声较敏 感 区域灰度特征包含了图像的部分空间信息 且对噪声的敏感程度要低于点灰度特征 综合利用点灰度 特征和区域灰度特征就可以较好地表征图像的信息 因此可以采用利用图像点灰度和区域灰度均值的二维 最大熵闭值法 其具体方法如下 首先 以原始灰度图像中各像素及其4 邻域的4 个像素为一个区域 计算出区域灰度均值图像 这样 原始图像中的每一个像素都对应一个点灰度 区域灰度均值对 设图像有l 个灰度级 这样的数据对 的取值的l l 种可能 点灰度 区域灰度均值对的概率高峰主要分布在对角线附近 总体上呈现双峰和一谷的状态 这是 由于图像的所有像素中 目标点和背景点所占的比例最大 而目标区域和背景区域内部的像素灰度级比较 均匀 点灰度和区域灰度均值相差不大 所以都集中在对角线附近 两个峰分别对应目标和背景 远离对 角线 峰的高度急剧下降 主要为噪声点 边缘点 杂散点 真正代表目标和背景的信息量应该在对角线 部分 设一 为图像中点灰度为i 区域灰度为j 的像素点数 只 为点灰度 区域灰度均值对为 f d 发 生的概率 则 勘 丽f i j j 2 4 7 n 为图像的大小 若阈值设为 s t 则 只 i l 2 j l 2 t f 2 4 8 b a i s l j 2 厶j t l 2 三 j j 离散二维熵为 1 6 第二章图像的预处理 h 一乞乞p a l g p j 则a 区和b 区的二维熵分别为 日 句 一莩手 钐乞 l g c 勺嘭 尼 军莩 a k p t p j l g 只 2 矽 i g 只莩莩n 一 萃莩局 g p l g p 月 日 一 只 k n i l 2 j 1 2 删 一军莩c 地名 式中 一 e p l g a j f i s l j 2 l 歹 f l 2 l 假设c 区和d 区的p i j z o r 因为c 区和d 区主要是噪声 则岛 1 一只 h e 风一h a 其中 玩 一 i g p a i l 2 三 l 2 二 胛 l g 1 咖等 判决函数为 川伊郴 l g 附帅鲁 等鲁 选取 s r 使得 0 t m a x s f 使用这个算法对图1 0 进行分割的效果如下 1 7 2 4 9 2 5 0 2 5 1 2 5 z 2 5 3 2 5 4 2 5 毋 2 5 6 东南大学硕士学位论文 s 1 4 1 t 8 7s 1 6 3 t 1 5 ls 1 6 0 忙1 2 4 图1 4 二维最大熵胡值分割 s 是点灰度闻值 t 是区域灰度阏值 从分割的效果来看 用这种方法来分割 对目标的细节保留很好 不过如果背景较为复杂 信息量大 就有可能把背景也分割进来 所以适合分割背景单调的目标 这种算法计算量非常大 实时性不够好 在 仿真时 在奔腾4 1 9 g 的辨分割l e n a 图用了2 0 s l 所以 在实际应用中应该进行更快速的运算才能满足要求 开发出了一种新的二维最大熵分割的递推 算法 递推算法如下 如 f 胡 小郴 l g p a l 瑚 鲁 等者 2 5 7 只 j t 1 只 s t p a t 1 h a s 1 h a 品 1 o 1 f 1 g t o p c 枷 n 2 5 s 只 i f 1 只 1 气 1 w 1 总的看来 消除原算法中每次均从 f 2 l 21 开始计算所造成的重复计算 但需要存储单元增大 计算速度提高两个数量级以上 但这是以加大存储容量为代价的 此外 还有通过变换直方图 使其具有更深的波峰和波谷 如边缘算子法 1 4 1 四叉树法 其他还有基 于灰度二次统计的方法 如共生矩阵法 2 6 数学形态学图像处理 形态学 m o r p h o l o g y 一词通常代表生物学的一个分支 它是研究动物和植物的形态和结构的学科 在这里使用同一个词语表示数学形态学的内容 将数学形态学 m a t h e m a t i c sm o r p h o l o g y 作为工具从图像 中提取对于表达和描绘区域形状有用处的图像分量 比如边界 骨架以及凸壳 数学形态学i l j i 毗6 1 i l ul l 诞生于1 9 6 4 年 它是由法国巴黎矿业学院的马瑟荣 g m a t h e t o n 和塞拉 j s e r r a 共同创立的 数学形态学是一种应用于图像处理和模式识男 领域的新方法 数学形态学的主要 内容i l w 是设计一整套变换 运算 概念和算法 用以描述图像的基本特征 这些数学工具不同于常用的 频域或空域方法 而是建立在积分几何以及随机集论的基础之上的 这是由于 积分几何能够得到各种几 何参数的间接测量 以及反映图形的体视性质 而随机集论则适于描述图像的随机性质 随着计算机 图像处理 模式识剐 计算机视觉等学科的发展 数学形态学目前正在蓬勃发展 国内 外广大学者对各种类型的形态学的代数特性已进行了充分的研究与论证 由于其具有并行快速 易于硬件 实现等优点 数学形态学在遥测 材料科学 生物医学图像处理 质量检测与定位 自动控制与自动检测 身份认证与安全控制 文档处理 图像编码等图像处理领域得到了越来越广泛的应用 如形态滤波 边缘 检测 运动目标跟踪 图像重建 特征提取 目标识别 图像分割等 数学形态学是非线性滤波方法 形态和差 膨胀与腐蚀 是数学形态学的基础 许多形态学算法都是以 这两种原始运算为基础的 1 8 第二章图像的预处理 2 6 1 集合论的几个基本概念 令a 为 个z z 代表一维整数空间 中的集合 如果口 q 吒 是a 的元素 则将其写成 口e a 同样 如果a 不是a 的元素 则可以写成 口岳a 不包含任何元素的集合称为空集 用符号 表示 集合由两个大括号之中的内容表示 如果集合a 的每个元素又是另一个集合b 的一个元素 则a 称为b 的子集 表示为 4 口 两个集合a 和b 的并集表示为 c a u b 这个集合包含集合a 和集合b 的所有元素 同样 两个集合a 和b 的交集表示为 d a n b 这个集合包含的元素同时属于集合a 和b 如果a 和b 两个集合没有共同元素 则称为不相容的或是互斥的 此时 彳n b o 集合a 的补集是不包含于集合a 的所有元素组成的集合 a l 埘叠4 集合a 和b 的差 表示为a b 定义为 彳一b 彩j 么 国盛研 a n 伊 集合b 的反射 表示为台 定义为 雪 国i m 6 6 曰 集合a 平移列点z 气 毛 表示为 爿 定义为 2 6 2 二值图像的形态学处理 4 c i c 口 z a e 爿 2 一s g 2 6 0 2 6 1 2 6 2 2 6 3 2 6 4 2 6 5 2 6 0 2 6 7 r 2 6 8 二值图像是指那些灰度值只能取两个可能值的图像 这两个值通常取为0 和1 习惯上认为取值1 的 点对应于景物中的点 取值为0 的点构成背景 这类图像的集合表示是直接的 考虑所有1 值点的集合 即 物体 x 则x 与图像是一一对应的 我们感兴趣的也恰恰是x 集合的性质 如何对集合x 进行分析呢 数学形态学认为 所谓分析 即是对集合进行变换以突出所需要的信息 其采用的主观 探针 与客观物体相互作用的方法 探针 也是一个集台 它由我们根据分析的目的来 确定 术语上 这个 探针 称为结构元素 选取的结构元素大小及形状不周都会影响图像处理的结果 剩下的问题就是如何选取适当的结构元素以及如何利用结构元素对物体进行变换 为此 数学形态学定义 了两个最基本的运算 称为腐蚀和膨胀 腐蚀和膨胀是一对对偶运算 除了这对基本运算 还有一对对偶算子起着非常重要的作用 郎开运算 和用运算 1 膨胀 d i l a t i o n 1 9 东南大学硕士学位论文 膨胀 采用向量加法或m i n k o w s k i 集合加法 如0 6 岛国 c 6 力 对两个集合进行合并 膨胀x o b 是所有可能向量加之和的集合 向量加法的两个操作数分别来自于j 和b 并且取到任意可 能的组合 x o 口 p e 占2 p x 6 x e x l j b b 2 6 9 f 2 表示二位欧氏空问 膨胀有以下性质 满足交换律 x o b b o x 满足结合律 工0 b o d z o b o d 可以表示为平移点集的并 彳国b u 五 b e 口 对平移不变 蜀o b x o 占 膨胀是一种递增运算 可以用来填补物体中小的空洞和狭窄的缝隙 膨胀使物体的尺寸增大 如果要 使得物体的尺寸保持不变 则需要和腐蚀一起使用 2 腐蚀 e r o s i o n 腐蚀 对集合元素采用向量减法 将两个集合合并 腐蚀是膨胀的对偶运算 腐蚀和膨胀都不是可逆 运算 x o b p 2 p 6 x 对于每一个6 b 2 7 0 计算原始图像和腐蚀后的图像的差可以用来在图像中迅速的寻找物体轮廓 腐蚀不具有交换性 x o b b q x 3 开运算和闭运算 开运算就是先腐蚀再膨胀 图像x 关于结构元素b 的开运算记为z o 曰 定义为 x o b x b o 曰 2 7 1 闭运算就是先膨胀再腐蚀 图像x 关于结构元素b 的闭运算记为x b 定义为 z b fzob ob 2 72 结构元素各向同性的开运算可以用来消除图像中小于结构元素的细节部分 保持物体的局部形状不 变 可以用来消除图像中孤立的点 闭运算可以用来连接邻近的物体 填补小空洞 如可以用来连接图像 断续的边缘 形态学方法可以对图像进行后处理 可以消除二值化以后的空洞 去除噪声 使得两个粘连的物体分 开等等 这样就可以使得图像更加便于特征的提取 a c b 图1 5 a 形态学处理前秭形态学处理后 加 第二章图像的预处理 2 6 3 形态学边缘提取 集合a 的边界表示为 这里b 是一个适当的结构元素 夕 a 4 0 b 圈 a a b b 硒匿 c a e b 回反彳 2 7 3 图1 6 a 集合a b 结构元素b c o 使用b 对a 进行腐蚀 d 由a 减去腐蚀的结果得到边界 图1 6 说明了边界提取的机理 这幅图像显示了一个简单的二值对象 一个结构元素b b 的中间是 原点 和使用式 2 7 3 提取边缘的结果 尽管图1 6 b 中显示的结构元素是最常用的结构元素之一 但是并不是唯一的 例如 使用由l 组 成的5 5 的结构元素将得到2 到3 个像素宽的边界 注意 当b 的原点位于集合的边线上时 结构元素 的一部分将处在图像的外面 对这种情况的一般处理方法是假设处于图像边界外部的部分的值为0 以下是分别用3 x 3 和5 5 的结构元素对图t 6 b 提取边缘的效果 c a b 图1 7 数学形态学方法提取边缘 a 3 3 结考鼋元素 b 5 5 结构元素 从上面的实验效果来看 用数学形态学的方法进行边缘提取主要用于简单的背景 边界的好坏取决于 对图像进行闽值分割的效果 对前期的图像二值化要求较高 同时 用此方法提取的边缘连贯 清晰 而 且可以很容易的控制边缘轮廓线的宽度 2 7 小结 本章主要介绍了数字图像处理基础知识和常用方法 以及r g b 色彩空问和h s i 色彩空间的基本知识和 它们之间的转换 介绍了图像的d c t 变换和直方图变换 以及它们的用处 介绍了图像的边缘分割算法和 闽值分割算法 介绍了数学形态学在数字图像处理中的应