（生物医学工程专业论文）尿沉渣显微图像有形成分自动分割算法研究.pdf

n e s t i l d yo a u t o m 8 f i c s 。g m e n l a i i o na 1 9 0 d t h l n s 。f u i i 3 r y s e d i n l c t s i n m i c r o s c 。p i cj 嫩g ca b s t r c t a b s t r a c t u d n a r ys e d i m e n ti n s p e c d o ni s a n i m p o r t a n tm e t h o do fc l i n i c a ld i a g n o s i s n o w a d a y s ，i ti sc 硎e do u tb yt h ec l i n i c a ld o c t o r sb yh a n d sa i l d a k e de y e s ，w h i c hi s at i e r c dj o b ，a n di m p o s s i b l et og e ts t 锄d a r d i z e d l u c k n y ，a st h ed e v e l o p m c n to ft h e p a t t e mr e c o g n i t i o n 强dc o m p u t c rv i s i o nt e c h n i q u e ，i ti sp o s s i b l e t om a l ( et h e i l l s p e c t i o na u t o m a t i c 。g e n e r a l i y t h ea u t o m a t i c - i n s p e c t i o nc a nb ed i v i d e di n t ot h r e e p r o c e s s e s ，t h ei m a g ec a p t u r ca n ds e g m e n t a t i o n ，f e a t l l r ee x t r a c t i o n ，衄df e a t u r cb a s e d i m a g cr e c o g n i t i o n t h i st h c s i sw i l lp u t 鲈e a te m p h 踮i so n 血ei m a g ec a p t i l i ea n d s e 罾 i l e n t a t i o n a sf o rt h ei m a g cc a p t i l r ea n dp r e p r o c e s s i n 舀t h e 种t 0 - f o c i l s 蛆dp r e p m c e s s i n g a l g o d t l l ma r ec o n s i d e r e dt 0o b t a i l lw e u c a p t i l r e dj m a g e ，w h i c hi st h eb a s i sf o rt h e r c l i a b l ei i a g es e g m e n t a t i o n t h eu i i n a 【r ys e d i m e n ti n l a g ci sc 印t u r e db ym i c r o s c o p e ， t h ed e p t h o f f i c l do fw h i c 圭ii sr d a t i v e l yl o w ，c 0 i l s e q 啪t l yi ti se a s yt ol o s ef o c u sa i l d g e t b l u c di l n a g c n l l s ，柚a u t o - f o c u sa l g o r i n 蚰b 鸹e d o nt h ch i g h 一舶q u c n c yo ft h e i m a g ei si n v e s t i g a t e dt oe a s i l yg e tt h ew e u _ f o s e d 妇a g eb e f o i ec a p t u r i n 吕b e s i 出s ， s e v e r a lp r c p m c e s s i n gs t 印sa r ec o n d l l c t e do nt h ec a p t i l r c di m a g eb e f b f et h e s e g m e n t a l i o nt oi m p r o v em eq u a l i t yo ft h ei l n a g e a s w eh a v ek n o 、】l r n ，t h e r ea r e 研ot y p e s0 fs e g m e n t a t i o nm e t h o d ，t h a ti st 0s a y e d g e - b a s e da n dr e 百o n b a s e d ，b o t ho fw h j c hp a y t o t a la t t c n t i o nt ot h ef o r e 掣_ 0 u n d i n t t l i st l l e s i s ，w es o l v e dt h ei s s u ei nan e ww a y n l ep i x e l s0 ft h ei m a g ec a l lb ed i v i d e d i n t ot w ot y p e s ：f b r e g r o u n dp i x e l sa n db a c k g r i ) u n dp i x e l s t h es c o p eo ft h e b a c k g r o u n dp i 】( e li n t c n s i t yc a i lb ec o m p u t e du s i gt h eg a u s s i a i lm o d e lo ft h e b a c k 孕。吼d u s i n gt h em o d e lw ed e v e l o p e dan e wd o u b l e t l l f e s h o l ds e 舯c n t a t i o n m e t h o d ，w h j c hi su s c di nb o t hm ei i i t e n s i t y 洫a g ea n d 孕a d i 跖ti m a g e t h er c s u l t s h o w st h a t t h es e d i m t ( c e l l ，c r y s t a l 柚ds 0o n ) i nt h ei m a g ec a i ib es e g m e n t e d e x a c t l ya n dt h et o t a ld e t e c t i 叽r a t ei s9 8 t 1 l en e ws e 掣n e n t i n gm e m o d j ss p c c i a l 】y s u i t e dt ot h es e g m c n t a t i o no fm ei n l a g ew h o s eh i s t o 擎a mh 雒s i n 舀ep e a k k e y w o r d s ：i m a g es e g m e n t a t i o n ，u 血a r y - s e d j m e n t ，d o u b k t l l r e s h o l d ，g a u s s i a i l m o d e l l v 尿沉渣显微图像有形成分自动分割算法研究 第一章绪论 1 1 课题背景 第1 章绪论 1 1 1 尿沉渣检查的临床意义 尿沉渣检查是卫生部临床检查中心检验操作规程中的一项基本要求，根据 尿沉渣有形成分的颜色、形态识别尿液中的细胞、管型、结晶、细菌、寄生虫 等各种生理或病理成分，从而协助医务人员对泌尿系统疾病做出正确的诊断及 鉴别诊断。常规体格检查或化学实验中不能发现的异常变化，常可通过尿沉渣 有形成分的定性以及定量分析而确定。如，尿沉渣中管型的出现是确诊肾脏疾 病的重要指标，同时根据单位尿液中管型出现的数目确定肾脏疾病的性质以及 严重程度。由此可见，尿沉渣的人工镜检具有非常重要的临床意义。 1 1 2 传统检查方法及其缺点 传统的尿沉渣检查方法主要有：干化学定性分析、染色尿沉渣镜检、非染 色尿沉渣镜检等多种检查方法。其中镜检法是临床上应用最为广泛的方法。其 流程为：首先对尿液用离心机进行离心，将离心后的尿液残渣制作成载玻片， 检验医师先在低倍镜下进行观察，寻找有无上皮细胞、管型、结晶等有形成分， 如果没有则样本为阴性；如果有则记下大概位置，转到高倍镜下再次进行观察， 确定细胞( 红细胞、白细胞) 、管型( 颗粒管型、细胞管型、透明管型) 的亚型， 并大致估算个数。要求至少观察1 0 个高倍镜视野，报告各个视野中观察到的有 形成分最低及最高数目，管型则由于面积较大，往往一个高倍镜视野仅能容纳 一个管型，所以其数目的报告是指低倍镜下的情况。而实际上这里说的“数目” 都是一个约数，临床检查时，由于样本量很大，检验医师不可能一个个视野计 数，他们给出的报告单均是用“满视野”、“x + + ”等形式给出，而并非一个准 确数字。通过以上的过程，我们不难发现，人工镜检法由于整个过程都要人工 参与，具有以下不足【1 j ： 操作过程时间长； 重复性差； 尿沉渣显微图像有形成分自动分割算法研究 第一章绪论 因技术熟练程度不一样，检验人员之间的个体差异大； 各实验室之间的差异大； 检测方法标准化尚未确立； 不能准确定量； 离心力变化不一致，许多有形成分未能沉淀，导致镜检结果差异大，准确 性差。( 手工镜检离心机的标准：4 0 0 g ，1 5 m i n 。离心力g = 离心轴半径r 转速v ) ； 工作量大，费时，效率低。 1 1 3 尿沉渣自动分析仪研制的意义 近年来，随着机器视觉和模式识别技术的发展，尿沉渣的自动分析已经成 为可能。首先。利用高速c c d 对计数池中的尿液进行图片抓取，而后进行图 像的分割、有形物质的精确测量，之后根据测量出的有形物质的几何及纹理特 征进行自动分类计数。该方法相对于传统的手工镜检法具有以下优点： 1 ) 通过计算机图像处理技术，可以给出各种有形成分的几何以及纹理参数， 方便医生发现各类正常细胞类内的同一性以及正常细胞与非正常细胞之间 的差异性，从而促进新的更合理的分类规则，促进医学理论的发展。 2 ) 整个过程全部自动化，无需离心环节。操作规程的标准化，减少了人为的 误差，减少了主观因素，而且提高了工作效率。 3 ) 有利于医院的信息管理。检验结果可以方便的入网，实现检验结果和检验 图片的远程调阅，便于诊断的回顾，而且为叛发展起来的远程医疗和疑难 病症的会诊提供方便。 1 2 尿沉渣检查的进展 除人工镜检外，目前临床上使用的尿沉渣自动检查仪器的工作原理主要有 以下两大类： 荧光染色流式细胞分析法，如s y s m e x 公司生产的u f 1 0 0 、u f 一5 0 即具有 此功能。尿液无需离心，需要的标本量少。每一标本分析量与镜检法5 0 个 高倍镜视野相当，该仪器检测速度快，据报道最快每小时可以检测1 0 0 个 个样本，可以自动打印报告。仪器综合了荧光流式细胞、电阻抗测出的细 尿沉渣显微图像有形成分自动分割算法研究 第一章绪论 胞大小及导电率等信息进行综合判断，因而检测精度较高。此法能完成对 尿中常见有形成分的鉴别与定量计数，在相当大范围内能对红白上皮细胞、 管型、细菌进行准确计数，相对于手工操作，在重复性和防止标本互染方 面具有较大的优势。若与干化学试纸条联合使用，对临床价值更大。但是 u f 1 0 0 的检测原理决定了它的缺陷不能检测结晶，而结晶又是尿检的 一项重要参数。 体外诊断尿影像系统全自动智能显微镜( a j m ) ：1 9 8 3 年由i r i s 公司推出 y e l l o w 瓜i s 显微镜工作站，将尿液中各种颗粒在舢m 形成影像，并经电脑 处理，在荧光屏上显示。该公司在2 0 0 0 年推出改进大型9 3 9 u d x 全自动尿 液分析仪后，又于2 0 0 2 年推出通过美国食品药品管理局( f d a ) 认证的小 型i q 2 0 0 系统。包括了专利的无玻片显微镜以及独特的高速计算软件，屏 幕上能够很容易( e 醛y t o v i e w ) 、很清楚地观察到尿中常见各种颗粒即白细 胞、白细胞团、红细胞、鳞状上皮细胞、非鳞状上皮细胞、透明管型、未 分类管型、结晶、细菌、酵母菌、精子及黏液，并可根据操作人员需要对 鉴定结果进行修改以区分尿中有形成分的亚类。i q 2 0 0 原理先进，它综合 了尿中各种颗粒的大小、对比度、外形及质地等技术参数，由灵敏度高的 计算机判断出该颗粒的性质。据初步报道，i q 2 0 0 总体灵敏度为8 3 ( 其 中红细胞8 9 4 、白细胞9 3 9 、细菌9 3 9 ) ；总体特异性为8 3 - 3 f 其中 红细胞8 9 2 、白细胞8 8 8 、细菌8 8 1 1 。使用i q 2 0 0 显微镜，复查率 可小于5 ( u f 常大于2 0 ) 。单该法对各种细胞和管型是否需要进一步染 色鉴定，如嗜酸性粒细胞用h a n l 染色、脂肪管型用苏丹i i i 染色等问题 尚未解决。该仪器体积小、轻便、屏幕上显示多种病理颗粒，也有相关质 控粒子配套，但观察本仪器未见压力鞘流系统，缺少染色直观资料，厂商 在展览会使用4 5 6 份尿标本与u f - 1 0 0 对照检查i q 2 0 0 检出1 4 份病理管型 u f 1 0 0 检出1 2 份，因而认为敏感度特异度更高，但是尚需较大范围及更 严格的临床实验室对比观察1 3 1 。本所采用的方法论和i q 2 0 0 是一致的，基 本的流程都是：图像获取预处理分割特征提取分类识别。 1 3 图像分割方法概述 所谓图像分割是指根据灰度、颜色、空间纹理、几何形状等特征把图像划 3 尿沉渣显微圉像有形成分自动分割算法研究 第一章绪论 分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似 性，而在不同区域间表现出明显的不同【4 】。简单的讲，就是在一幅图像中，把 目标从背景中分离出来，以便于进一步处理。生物细胞图像分割技术一般利用 生物细胞图像特有的统计特性、图像中细胞的轮廓、边缘和纹理等视觉特性进 行分割，传统的分割方法有以下几种。 1 3 1 基于灰度特征的阈值分割方法 此类方法主要根据细胞图像灰度分布直方图，获取闽值t ，如果图像中象 素的灰度值f 大于t ，则该象素值被设置为2 s 5 ，否则设置为0 。这里关键在 于如何提取这个t ，主要有下面几种常见的阈值提取办法： 全局阈值法【1 6 以o 】该方法把图像灰度分布的概率密度函数看作两个单峰 的密度函数，通过把阈值设为谷底对应的灰度值，使得全局总错误率最低。 这种方法在背景前景对比鲜明、直方图双峰明显的时候分割效果较好。 双阈值法通过设置两个阈值，防止阈值设置过高，把背景误认为前景，同 时避免阈值设定过低把前景误认为为背景，由于我们获取的图像背景不均 匀，我们准备尝试这种方法。 自适应阈值法该方法通过对细胞图像分块，对每一块选取局部闽值进行分 割，对只有背景或目标的区域的闽值是根据邻块的阈值进行插值得到。 1 3 2 基于边界提取的阈值分割方法 图像中的边界部分一般是灰度变化比较剧烈的地方，于是可以利用边界的 梯度交化性质直接提取边界。常见的方法有： 边界跟踪法【5 】它从原始细胞图像的梯度幅值图像着手处理，用轮廓跟踪 算法提取边界。 k i r c h 算法对梯度图像提取适当的阅值，进行二值化，使得目标和背景 区域低于阈值，而边缘区域高于闽值。 该类方法，由于要提取细胞的边缘梯度，所以一般对噪声比较敏感，像我 们的尿沉渣图像中，当水波纹比较严重时，直接使用该类方法没有任何效果。 1 3 3 基于边界检测和边缘连接的分割方法 该类算法的基础是认为图像中细胞边界由灰度的不连续性引起，边缘象素 4 尿沉渣显微图像有形成分自动分割算法研究 第一章绪论 点为图像中灰度值的突变点。常见的边缘检测算法有： 梯度算子边缘检测法常见的有p r e w t ，s o b e i ，r o b e r t s ，l a d l a c i a n ， l o g ，该类方法和我们上面提到的基于边界提取的分割技术一样对噪声比 较敏感，单独使用一般效果不好。 参数模型匹配算法用边缘的参数模型对图像的局部灰度值进行拟合，再在 拟合的参数模型上进行边缘检测，可以抑制噪声，但是运算量较大。一般 我们认为c a n n y 算子可以归为该类。 1 3 4 基于区域的分割方法 常见的方法主要有区域生长【3 9 1 、区域分裂【3 6 】及区域合并【3 2 】等，其原理就 是同一个类物体内部属性应该趋于一致。该类算法对有复杂物体定义的复杂场 景的分割等效果比较好。上面我们介绍的阈值法也属于区域分割方法的一种。 1 4 章节概述 本论文共分为五章，第一章是绪论，介绍了过去临床尿沉渣检查常用的方 法以及存在的问题，指出了我们研究全自动尿沉渣分析仪的临床意义，接着对 比了国际上各公司研发的尿沉渣工作站的优缺点；第二章是系统介绍，包括显 微镜的自动聚焦，系统的整个硬件系统以及软件架构；第三章是本论文的核心 内容，主要介绍本系统中所使用的图像分割算法，包括图像预处理算法以及初 始分割流程和改进后的分害8 流程；第四章是图像分割结果以及对比；第五章是 总结与展望，指出论文中的不足之处以及以后可以进一步改进的地方。 屎沉渣显微图像有形成分自动分割算法研究 第= 章系统介绍 第2 章系统介绍 本章是关于整个尿沉渣分析仪软硬件架构以及图像采集过程中显微镜自动 聚焦的介绍。系统硬件主要由以下几个部分构成：1 显示器2 键盘3 主机4 可拆卸式样本盘5 自动吸样器6 染液瓶7 清洗瓶8 稀释液瓶及联机标准接口 等，系统的整体外形结构见下图： 由于我们的研究主要集中于软件算法的开发，关于硬件部分请参考文献【4 j ， 下面我们将主要介绍下系统的软件部分，首先是系统的整个软件流程图，然后 是我们的识别算法流程，最后简要介绍了下图像采集中的核心环节图像的 自动聚焦算法。 2 1 系统软件流程 首先我们介绍整个系统的工作流程： + 一留取1 0 叫 尿干化学分析仪 “ 自动分析- - 自动呆样系统+ 流动计数室+ 显徽镜+ - 染色( 可选) 其中自动识别的软件流程图如下： 卜一“ l 会鬻薷 p u 显示器一 尿沉渣显微图像有形成分自动分割算法研究第二章系统介绍 图2 1 程序软件流程图( 其中括号内的数字表示采集的图像的数目) 下面是对流程图中几个关键环节的进一步解释： 1 沉淀。样本吸入后，由于流动计数池内的液体不可能立刻静止下来，且计 数池有一定的高度，而沉渣中有形态物质的体积又比较小，液体的流动会 导致细胞状态不断发生变化，如果此刻立即采集图像，会导致采集到的图 像中细胞形态不一，同时由于快门速度的限制，运动状态下抓拍的图像会 有运动模糊的现象发生，都不利于我们的后续识别，所以需要一定的样本 尿沉渣显微图像有形成分自动分割算法研究第二章系统介绍 沉淀时间； 2 采集图像的数目。流程图中，共有三种情况：样本中没有形态物质，此时 我们分别采集1 0 倍和4 0 倍图像各一幅，该操作主要是为了医生的后续审 核；离心后的样本，由于经过离心，这种样本中有形态物质的密度非常大， 所以需要采集的视野数目就相对非离心情况下少些，我们根据临床的检验 标准换算后，设计为4 0 倍镜下采集9 幅，1 0 倍镜下采集1 幅；非离心情况 下，有形态物质密度较小，所需要查看的视野数目就相对较多，同样根据 标准换算，此种情况下，需采集1 0 倍镜下图像2 0 幅，4 0 倍镜下图像x 幅， 这里的x 值取决于1 0 倍镜下的采集图像，如果1 0 倍镜下采集的图像有形 态物质比例较大，则相应4 0 倍镜下需要采集的图像数目就相应增多，最坏 情况下需要采集4 0 倍镜下图像5 0 0 幅。 2 2 自动识别流程 f 紊 l二_ - _ _ 隔莓羽 l 一 孬丽 、 一 图2 - 2 自动识别流程 上图是尿沉渣有形态物质自动识别的流程图，主要过程就是预处理、分割、 特征提取、识别四个大模块。本论文主要就前两个模块展开，同时为了理论上 的完整性，我们在第三章稍微提及了下特征提取环节对提取特征的要求。下面 我们首先讨论下自动聚焦算法，因为自动聚焦属于图像采集环节，因此我们将 其放在本章。 尿沉渣显微图像有形成分自动分割算法研究 第二章系统介绍 2 。3 显微图像采集系统 图像获取的质量直接决定着图像分割的结果，进而直接影响后续的自动识 别结果，因此，获取清晰高质量的图片是图像处理系统中的关键环节。本系统 中使用的是m a t m x 公司生产的数字相差显微镜，c c d 分辨率是7 2 0 x 5 7 6 ，计 数池平台可以在水平面沿x y 轴移动，方便调整视野，但是由于计数池有一定 的高度，各类有形态物体大小不一，不可能聚焦平面都一致，因此，为了获得 清晰的样本图片，我们在载物台上增加了个z 轴的驱动马达，根据样本位置自 动调整焦距，下图2 _ 4 即为本系统采用的自动聚焦模块的示意图。下面我们简 要介绍自动聚焦算法。 蹦2 - 4 龆微镜“功聚焦模块 2 3 1 聚焦问题的定义 与其他的光学设备中的定义一样，这里的聚焦位置就是指光学凸透镜与载 物台的最佳成像位置。如2 4 图所示，f o c u s = f ( h ) ，该函数是我们定义的一 个评价图像聚焦好坏的函数，其中h 是个离散化变量，代表物镜和载物台的 距离，h 的量化单位取决于系统中步进电机的精度，精度越高，聚焦越好，但 是聚焦的时间可能就相对较长同时成本越高。首先我们讨论下聚焦函数的定义。 该函数应该有以下特征： 全局只有一个极大值点，因为全局聚焦点应该只有一个： 尿沉渣显微图像有形成分自动分割算法研究 第二章系统介绍 没有局部极大值点 其函数曲线应该有如下的形式 。_ l 。 一一 一 2 3 2 自动聚焦算法 图2 - 5 自动聚焦函数的理想曲线 经过对比发现，聚焦好的图像和聚焦差的图像的一个主要区别在于高频分 量的比例，聚焦好的图像边界清晰，聚焦差的图像边界模糊，因而我们用梯度 模板k 对原图像进行卷积，然后对其中的象素值取和，作为聚焦好坏的标准， 当和值最大时候，图像即在聚焦位置。 肛善 ， u ) 是图像i 行，j 列的象素的灰度值， f = 三：炳k e 。善荟k 。试验中我们采集了 1 9 幅图像，分别代表了从聚焦过度到聚焦良好再到聚焦不足的过程，共有4 0 组，本算法计算的结果和实际相符程度在9 0 以上。下图是一组实际图像的聚 焦函数曲线： 尿沉渣显微图像有形成分自动分割算法研究第二章系统介绍 图2 6 实际图像的自动聚焦函数评价曲线 图中全局极大值点对应于1 5 的位置，而第1 5 幅图像就是我们实验聚焦最 好的位置。因此，通过寻找该聚焦函数全局极大值点可以较好的完成自动聚焦。 但是在实验中我们也发现了一些问题： 局部极大值。这是由于在图像获取过程中，计数池内液体仍在流动，导致 图像中有水波纹，引入了些高频分量，产生局部极大值。 速度慢。从上图可以看出，由于局部极大值的影响，我们必须的判断完所 有的可能聚焦位置，才能得到全局极大值，无疑，这降低了整体的效率。 失效。当计数池内液体流动较快时候，特别是液体的流动导致有形态物体 也移动较快的时候，不同聚焦位置所获取的图像就不是同组对象在不同 聚焦位置的图像，而是不同对象在不同聚焦位置的图像，这样我们对其进 行比较就失去了意义。如下图所示，图像2 7 ，2 _ 8 是我们拍摄的聚焦位置 不同一组图像。图2 7 聚焦位置良好，图2 - 8 不在聚焦位置，但是由于有 形态物体的流动，两幅图像实际上已经不是同一场景在不同聚焦位置的图 像了，这种算法得到的结果就比较差。 为了解决这个问题，我们加入了样本沉淀环节，样本沉淀2 0 s 左右，同时 尿沉渣显徽图像有形成分自动分割算法研究第二章系统介绍 为了加快样本处理效率，我们在沉淀时间内用另一个线程并行处理上一个样本 的图像。这样既较好的完成了聚焦，同时还保持了系统的整体工作效率。 图2 7 聚焦不好图像但是聚焦函数却是极大值图2 - 8 聚焦好图像但是聚焦函数却不是极大值 2 4 本章小结 本章首先概要介绍了整个系统的硬件体系、工作流程，给出了整个自动识 别的流程图，然后着重介绍了图像采集环节的自动聚焦算法，使用该算法较好 的完成了图像采集环节的显微图像自动聚焦。 屎沉渣显微圈像有形成分自动分割算法研究 第三章图像分割 第3 章图像分割 图像分割是图像识别中的关键环节。本章分为四个部分，第一部分是关于 图像预处理，主要是关于如何提取图像背景以及消除光照不均匀等；第二部分 是我们初始的分割方法；第三部分是改进后的分割方法；最后是关于图像后处 理中几个问题的讨论。 3 1 图像预处理 由于光照、传感器噪声以及计数池水面流动的影响，我们实际获得的图片 往往不是很理想，如果直接拿来进行图像分割，很难达到较好的分割效果，需 要一些预处理，首先我们来分析下获取的图像的特点，接下来根据图像特点给 出预处理算法。 3 1 1 获取图像的特点 c c d 边缘成像不稳定在实验中我们发现，该类型c c d 获取的图像左侧和 下方边缘有五个象素左右的黑边，而且这种现象并不规律，随机出现。黑 边的存在会对整幅图像的统计参数产生较大的影响。 图像背景不均匀由于成像中使用的是点光源，光源出于载物台的正中心， 这样就会导致图像的中心部分亮度比边缘部分高，这种情况会导致分割不 完整甚至失败。 样本不能完全静止图像受至水波纹影响，同时含有黑色杂质。 对于第一种情况，我们把获取的图像左侧和下方分别截取一部分象素，将 原始图像截取为5 7 6 x 5 7 6 的方图，由于我们测量的样本般是多个视野，当前 视野中被截除的会出现在下一个视野的中心，因此这种截断不会对最终检测结 果造成影响。 ， 对于第三种情况，一般被误分出来的杂质或者水波纹的面积都远远小于我 们要测量的有形态物体的面积，我们可以根据面积这个参数在分割后的二值图 像中进行剔除。这个环节属于图像后处理，后文将有专门讲述。 对于第二种情况，我们首先利用下文的背景提取算法提取出当前图像的背 景图像，然后用当前图像减去所获取的背景图像，以减小背景不均匀对分割的 尿沉渣显微图像有形成分自动分割算法研究 第三章图像分割 影响。以下是图像预处理环节的几个步骤，其中我们主要讲述前面提到的背景 提取算法。 3 1 2 图像去噪 由于图像采集中各种因素的影响以及传感器本身的噪声干扰，我们获取的 图像总是存在噪声，为此需要引入去噪环节。一般来说，噪声总是表现为高频 的形式，因此去噪简单来说就是用低通滤波器对图像进行低通滤波，常用的方 法有邻域平均、高斯滤波器等，这里我们使用的是简单高效的3 x 3 邻域平均滤 波的形式。在我们下面描述的初始分割方法中，由于使用了下文介绍的迭代的 图像背景提取算法，其本身就可以看作一个低通滤波过程，因此在初始分割方 法中该去噪环节对最终分割结果的影响并不大。但是在改进后的分割方法中， 我们在灰度域和梯度域上分别进行二值化，由于求取图像梯度的过程是一个高 通滤波的过程，所以如果之前不进行低通滤波，就会在梯度域图像上产生较大 的噪声，因而去噪环节在改进后的分割算法中必不可少。 3 1 3 消除背景不均匀 在显微图像处理系统中很难获取背景均匀的图像。这种灰度不均匀的背景 在我们实际的图像处理中应该尽量消除，尤其是涉及到基于阈值的图像分割的 时候。消除方法主要分为两大类： 建立成像过程模型阁，据模型计算出背景。这种方法的前提是假设成像条 件不变，光源稳定可靠。而在我们的系统中，由于显微镜并不是完全密闭 的，会受到自然光的影响，所以建立单个成像模型的这种办法并不适合本 系统。 建立背景数据模型，根据一幅图像的一些关键点来插值出近似的背景。在 这里我们主要讨论这种方法。 文献【6 】中提到了用迭代三次b 样条曲面来拟合背景的方式，样条曲面平滑 连续，而且控制点可以方便的控制曲面的趋势，但是该方法计算速度较慢，而 且需要多次迭代进行，所耗时间太长。我们对该方法进行了改进，在保持效果 的基础上大大提高了速度，具体流程如下： 1 1 将原始图像i 划分为3 2 x 3 2 图片基元； 尿沉渣显微图像有形成分自动分割算法研究 第三章图像分割 2 ) 各图片基元取平均值构成新的小图像订( i ) ( 其中图像i m 的长宽分别是 原始图像的1 3 2 、； 3 ) 由i m ( i ) 利用双线性插值构造出背景图像b ( i ) ( 与原始图像大小致) ； 4 ) 将原始图像i 与刚剐提取出的背景b ( i ) 取差值图像s ( i ) ，标记出s ( i ) 中 值大于t 的区域，这些区域对应的是前景目标，同时将图像i m ( i ) 中相 应像素置为o ，得到新的图像i m ( i + 1 ) ： 5 ) 利用同样的方法由i m ( i + 1 ) 构造出b ( i + 1 ) ； 6 ) 将b ( i + 1 ) 与b ( i ) 取差值，如果插值小于我们指定的阈值，则背景提取已 经完善，否则跳转4 ； 这个过程中，我们之所以引入迭代环节4 ，主要是考虑到当处理图像中前 景较多时，如果我们利用所有的象素来计算背景，则提取的背景受前景的影响 较大，原始图像减去背景后，有形态物体也受较大的影响，而加入迭代环节后， 我们可以根据已经提取出的背景b ( i ) 和原始图像i 的差值判断出大致的前景区 域，排除前景像素点后再次求取新背景b ( i + 1 ) ，当新提取出的背景b ( i + 1 ) 和旧 背景b ( i ) 平均象素值之差小于原始图像量化单位的半时，迭代终止，实验表 明该方式的迭代速度很快，当图像中有形态物体较多时大约3 4 次即可终止， 对于非离心样本，迭代速度更快，平均1 2 次即可。 当图像中前景较少时，我们不使用迭代也可以获得较好的背景( 如图3 1 ) ， 但是当前景较多时如果不使用迭代去掉前景成分，则背景效果不佳( 如图3 2 ) 所示，加入迭代环节，可以取的比较好的背景( 如图3 - 3 所示，本例迭代了一 次) 。此外，对于这种全局的背景灰度的缓慢变化，我们可以通过在梯度域上上 进行双阈值二值化，然后与灰度域的二值化结果取“与”操作的方式来消除， 算法细节我们将在第三节“改进后的分割算法”中给出。 屎沉渣显微图像有形成分自动分割算法研究第三章图像分割 景始舶像 a 原培圈像 b 提取的背景圈侬 c 罐背景并增强后的舶攥 图3 ，1 前景较少时候去背景效果 b 背景圈像 c 碱背景增强圈像 图3 2 当图像前景物体较多时未使用迭代的效果 1 6 尿沉渣显微图像有形成分自动分割算法研究 第三章图像分割 8 背景田德 c 蕞霄量增强田像 图3 _ 3 当图像前景物体较多时使用迭代后的改进效果 3 2 图像的初始分割方法 我们的初始分割方法是在，u 【7 】分割方法上的改进，如图3 - 4 所示，包括 求取方差图像、s o b e l 算子边缘增强、二值化、去杂质、边界跟踪等。 图3 4 初始分割流程 品监 l 耆 豳 由 竖一 一豳由豳由查 。孛囝豳 尿沉渣显微图像有形成分自动分割算法研究 第三章图像分割 3 2 1 方差图像的计算 由图3 1 ，图3 2 可以看出，细胞边缘的亮度差比较大，因此边缘附近的方 差也会比较大，我们选择用求取方差图像的形式来增强边缘。所谓方差图像就 是将整个图像中的每个象素当作中心点，求取其周边区域( 如3 x 3 ，5 x 5 ，7 x 7 ) 的局部方差，将此方差值赋给当前中心像素点。方差数学定义如下： 吒，一嘉：薹薹 盖) 一比剜2 ( s _ 1 ) 其中，w = 3 ，5 ，7 ，9 ，m = ( w - 1 l ，2 ，x 是图像的灰度值，岸( f ，) 是局部 区域内的平均值。亦即： 弘( f ，) 1 嘉。羲，蔷盖 ，2 ) ( 3 - 2 ) 3 2 2 边缘检测 边缘检测算法的好坏很大程度上影响边界的连续和后续识别精度。简单的 边缘检测方法是对原图像象素在邻域范围内作算子卷积运算，例如梯度算子、 s o b e l 算子、l a p l a d a n 算子。在上述常用的算子中，s o b e l 算子运算速度较快， 虽然梯度算子也是常用的边缘检测方法，然而梯度运算需先求导数再作平方和 开根号计算，运算较s o b d 慢，且s o b e l 能滤除一部分杂质，去掉部分伪边缘， 可提供精确的边缘方向估计，并在检测斜向边缘时具有较好的效果，所以本研 究以其作边缘强化。图3 5 是8 个方向的s o b e l 边缘检测算子： 髑图露隔 匿酲图匪 水平向左右上方 垂直向上 图3 5s o b e i 的8 个方向算子 屎沉渣显微图像有形成分自动分割算法研究 第三章图像分割 经过s o b e l 算子运算后，图像的边缘可以明显增强，但是s o b e l 算子也属于 高通滤波，因而对于噪声比较敏感。 3 2 3 二值化 二值化是根据一个闺值将灰度图像变成黑白二值图像，这样一来就可以减 少许多象素个数，提高处理的速度。不过经过二值化后，一定会失去原有图像 的部分信息，所以为了避免失真，现在有许多二值化的方法相继提出，这些不 同的方法应用于不同的范围，所以要找出适合自己的需求的二值化法。本例中 我们使用的是基于o l s u f 8 】所提出的全局阈值的概念，其原理如下： 假设一幅图像的灰度级范围为f 1 ，2 ，l 】，对应灰度级i 的象素数目为吩， 整幅图像的象素总个数n = n 。+ n ：+ n 。，则对应灰度级i 的象素出现的概率 为： l a n i 并且只满足z a ；1 ( 3 - 3 ) 假设选定一阈值k ( 七【1 上】) 可将整幅图像的象素分为两类，c 0 和c 1 ， c o 是象素值为【1 k 】，表示背景，c 1 的象素值为【i 明，表示前景，我们定 义以下的式子： 2 骶) 2 善b 。m 仲) q 。e ( c 1 ) 2 ；荔，只。1 一甜( 2 )f j 爵1 2 善衅( ic 1 ) 。荟嵋。 ) 加( 七) p 。；塞。啦( r ic 1 ) ；，妻，嵋q 一等三等 ( 3 4 ) ( 3 5 ) ( 3 7 ) ( 3 8 ) ( 3 - 9 ) 嵋 。v 白 嵋 i 。善 兰 肛 ” = 以 蜥 尿沉渣显微图像有形成分自动分割算法研究 第三章囤像分割 其中， ：是指阂值为k 时，整幅图像中属于类c 。的象素的概率； q ：闽值为k 时，整幅图像中属于类c 的象素的概率； ：概率值； 脚：整幅图像的平均灰度值； 地：属于c o 类的象素平均灰度值； 一：属于c 1 类的象素平均灰度值： 由( 3 - 4 ) 与( 3 - 5 ) 式我们可以得出下面这个等式关系： 心+ q h ，一 ( 3 1 0 ) 与q 分别是图像中c o 与c l 两类内部的均值和方差，其定义如下： 爵5 善( f 一盹) 2 p ( f ic 0 ) 4 荟。一) 2 只 ( 3 _ 1 1 ) 夺。蚤。一h ) 2 p a ic 1 卜。墨。g h ) 2 霉愚 ( 3 - 1 2 ) 上面公式中，p 代表c 0 或c 1 内象素值为i 出现的概率，与肫是类内均 值，所以等式盹+ q 以= 脚成立。0 t s u 【8 】定义根据以下等式来定义c 0 与c l 两 类的分离性。 类内方差： 露= + q 茸( 3 1 3 ) 类间方差： 司一( p 。一所) 2 + q ( h 一蜥) 2( 3 1 4 ) 总的方差： 霹一o 一蜥) 2 p 叫+ ( 3 1 5 ) 钉 以是类内( b e 狮e e nc l 嬲s ) 方差，砖是类间( w i t h i n d 晒s ) 方差，类c 0 与类c 1 分离的越好，则类内方差越小，类间方差越大。有以下三种方式来定义这种分 离性的好坏程度： a ；晶r = 司露吁= 以 ( 3 - 1 6 ) 屎沉渣显微图像有形成分自动分割算法研究 第三章图像分割 上述三个参数越大，表明两类的区分度越高。为了计算方便，我们选取叩作 为评价标准。取行为最大值时候，对应的灰度值k 作为二值化的闽值。 ，7 ) ； ) 司= 觜= 警 r 3 - 1 7 ) ( 3 1 8 ) 由于( 3 1 7 ) 式中，司并不因闽值k 的变化而变化，因此，7 取最大值时，以 也取最大值，故司取最大值时对应的k 即是我们要寻找的最佳阙值。 司 + ) = m a x ( 蠢 ) ) ( 3 1 9 ) k - 七一工 此时的+ 即是最佳阈值。 由上面的推导过程我们可以看出，0 t s u 充分考虑了象素值和它邻域内均值 的关系，比仅利用单个阈值进行分割具有更好的稳定性，但是它也有个缺点， 当图像中存在较大干扰或者噪声的时候( 比如光照不均匀导致的图像背景不均 匀) ，会导致分割效果变差，甚至失败，因为实际上现在图像中存在三类对象： 背景，前景，背景噪声。当背景噪声比较小的时候一般我们都能得到比较好的 结果，这也就是我们为什么要去背景的原因。 3 2 4 去除杂质 显微图像经过上面的步骤处理后，变为二值图像，但是由于水波纹以及波 片不清洁等因素的影响，背景区域还会有些白色斑点；同时由于有形态物体内 部和边缘本身也有些灰度变化，因此我们得到的二值图像中，感兴趣目标内部 可能有些空洞甚至边缘不连续。这些问题我们可以借用形态学的方法来解决。 数学形态学是一种应用于图像处理和模式识别领域的新的方法。它的基本 思想是利用一个称作结构元素的“探针”收集图像的信息。当探针在图像中不 断移动时，便可考察图像各个部分间的相互关系，从而了解图像各个部分的结 构特征。作为探针的结构元素，可直接携带知识( 形态，大小，以及灰度和色 彩信息) 来探测所研究图像的结构特点。数学形态学处理的对象可以是二值图 像，也可以是灰度( 多值) 图像，在有些文献中分别被称为二值形态学和灰度 2 1 ， 尿沉渣显微图像有形成分自动分割算法研究 第三章图像分割 形态学。形态学【9 l 是根据基元改变图像的拓扑结构，以便滤除杂质、填充空洞 等，从而获取图像的结构信息，其在图像处理中的主要应用有： 利用形态学的基本运算，对图像进行处理，从而达到改变图像拓扑结构的 目的，方便我们的后续处理； 描述和定义图像的各种几何参数和特征，包括面积、周长、连通度、骨架 和方向性等。 形态学处理是一种邻域运算，在每个象素位置上对结构单元对应的位置上 的象素进行逻辑运算，逻辑运算的结果存储在结构单元中心点对应的象素上。 运算结果仅取决于结构单元的大小、形状以及逻辑运算的性质。本论文在去除 杂质的方法上，就是利用了形态学中的腐蚀饵s i o n ) 与膨胀( d j l a c i o n ) ，将背景 中不必要的小斑点去掉。 ( 1 ) 腐蚀 腐蚀是消除图像中前景边界点的一种邻域操作，根据结构单元的形状和大 小，每做一次腐蚀可以让前景目标边界内缩n 个象素( 如果结构单元是2 n + 1 的方形模板，且单元中心在( n ，n ) ) 。这样我们用该模板对一幅图像进行腐蚀 处理的时候，前景中长宽小于2 n + 1 的前景物体将被腐蚀掉，我们就可以滤除 了图像中长宽小于2 n + 1 的噪声。腐蚀的数学定义如下： e ；z 丑= ，) ，) 1 膏 ( 3 2 0 ) 其中x 为待腐蚀图像集合，b 为结构单元，e 为腐蚀结果。也就是说用结 构单元b 对图像x 进行腐蚀操作的结果e 是满足以下条件的点单元集合：将结 构单元中心置于( x ，v ) ，如果结构单元中的所有点都属于x ，那么点( x ，v ) 也属于结果单元e 。 ( 2 ) 膨胀 膨胀是将与前景点边界相邻的背景点合并到前景当中的过程。其结果是使 得前景图像的面积增多了相应的点，如果前景图像是圆的，而且结构单元也是 圆形的，假设结构单元的直径是( 2 n + 1 ) ，单元中心在( n ，) ，用该模板对前 景图像进行一次膨胀，其结果就是前景图像半径增加n 。如果前景中任意两个 象素的距离小于n ，那么膨胀一次可以将这两个象素连接起来，我们在分割的 后处理中就用到了该算法来完成不连续边缘的连接。膨胀的集合表达式是： 尿沉渣显微图像有形成分自动分割算法研究 第三章图像分割 d = 盖。嚣= 缸，y ) i n x 乃( 3 2 1 ) 也就是说膨胀的结果d 是被膨胀图像x 中以下象素点的集合：将结构单元 的中心点移到( x ，y ) ，如果结构单元的点和x 的交集不为空，那么该象素点 ( x ，v ) 就属于膨胀结果d 。 ( 3 ) 开运算 对一幅图像先进行腐蚀操作，然后进行膨胀操作，称为开操作。开操作可 以去除较小的前景杂质，断开较细连接的前景单元，还可以平滑前景图像的边 界毛刺，同时又不明显改变前景图像的面积。我们用该操作去除较小的背景杂 质。 ( 4 ) 闭运算 对一幅图像先进行膨胀操作再进行腐蚀操作，称为闭运算。闭操作可以填 充图像内部空洞，连接临近象素，以及在不明显改变面积的情况下平滑边界轮 廓。在这里，我们利用闭运算消除细胞内部的空洞。 我们获取的显微图像由于光照不均匀、水波纹以及玻片不清洁等原因，会 导致二值化的图像内部有些细小的杂质点，有形物的边界也比较粗糙，这个时 候我们可以先进行连续几次的腐蚀，然后再连续几次的膨胀操作，可以很明显 的消除这些干扰，但是当细胞等有形态物体相邻比较近的时候相邻的细胞可能 会产生粘连，关于这一点，下文将有专门讲述。 3 2 5 轮廓跟踪