（通信与信息系统专业论文）基于计算机视觉的梨品质检测与分级系统研究.pdf

d i s s e r l a l i o nf o rl h em a s l e rd e g r e ei ne n g i n e e r n g s t u d yo nt h ep e a rq u a l i t y t e s t i n ga n dg r a d i n gs y s t e m b a s e do nc o m p u t e rv i s i o n t h e o r y c a n d i d a t e ： s u p e r 订s o r ： z h a n gj i 印e n g p r o f l iy a n z h a o a s s o c i a t ep r o f z h a oj i n g s h e n g a c a d e m i cd e g r e e a p p l i e df o r ：m a s t e r o fe n g i n e e r i n g s p e c i a l t y ： c o n u i 】u n i c a t i o na n di n f 6 m a t i o n e n g i n e e r i n g d a t e0 fo r a le x a m i n a t i o n ： j u n e2 0lo u i l i v e r s i t y ：q i n g d a ot e c h n o l o g i c a lu n i v e r s i t y 硕士学位论文 基于计算机视觉的梨品质检测 与分级系统研究 学位论文答辩日期： 指导教师签字： 答辩委员会成员签字： _-_1_j_1，_11 青岛理工大学工学硕士学位论文 目录 摘要i a b s t r a c t “ 第l 章绪论1 1 1 研究意义与目的1 1 2 基于计算机视觉的水果自动分级方法2 1 2 1国外研究情况2 1 2 2 国内研究情况3 1 3 本研究的主要内容一4 第2 章图像采集与处理系统构成5 2 1 硬件系统组成5 2 1 1 图像采集环境5 2 1 2 图像处理设备5 2 2图像获取5 第3 章图像的预处理。7 3 1 直方图7 3 2图像转换7 3 1 1图像的颜色空间7 3 1 2 颜色空间之间的转换“8 3 3 图像平滑9 3 3 1 邻域平均法9 3 3 2 形态学滤波1 0 3 4 图像分割1 0 3 4 1 阈值法1 l 3 4 2 轮廓提取1 2 3 4 3 轮廓跟踪12 3 5 边缘检测1 3 3 5 1梯度算子1 3 3 5 2 l a p l a c e 算子1 4 3 5 3 c a n n y 算子1 4 3 6 分析与实验1 5 3 6 1图像背景的去除1 5 青岛理工大学工学硕士学位论文 3 6 2 梨表面轮廓的提取1 7 3 6 3 表面斑点的去除1 7 3 6 4 缺陷部分的提取2 0 第4 章梨特征参数的提取“2 2 4 1 基本表面特征2 2 4 1 1 简单几何特征“2 2 4 1 2 色泽2 3 4 2 形状特征2 4 4 2 1不变矩“2 4 4 2 2 傅里叶描述子2 5 4 3 缺陷特征2 6 4 3 1 缺陷几何特征2 6 4 3 2 缺陷颜色“2 6 4 4 样本特征归一化2 6 4 5 分析与实验2 7 4 5 1 水果轮廓特征2 7 4 5 2 果面缺陷特征2 7 第5 章国标梨外观等级标准量化探讨2 9 5 1梨外观等级标准2 9 5 2 对于量化国家行业标准的探讨3 0 5 2 1 行业标准的参考意义3 0 5 2 2 量化的过程与结果3 0 第6 章基于b p 神经网络的梨外观等级判定3 3 6 1 人工神经网络模型3 3 6 1 1 人工神经元模型3 3 6 1 2 神经网络的激活转移函数3 4 6 2b p 网络及其改进3 5 6 2 1 b p 算法3 5 6 2 2b p 算法的改进3 7 6 3 分析与实验3 7 6 3 1 用于缺陷分级的b p 网络设计3 7 6 3 2 用于梨外观分级的b p 网络设计3 8 6 3 3 实验结果与分析3 9 第7 章总结4 0 梨果自动分级系统的研究和制造意义重大。目前国内主要靠人工和机械的方 法来对水果进行分级。手工分级效率低下且易受主观因素影响；机械分级一般功 能比较单一，且对水果有一定的破坏性。对于梨这种水果而言，设计一套快速高 效的分级系统的需求非常迫切。 计算机视觉技术的出现为实现水果的高效、无损检测开辟了广阔的研究空间。 本文旨在通过计算机视觉的方法，对梨果从果形、果重、色泽、缺陷等方面进行 自动化分级研究，使农产品达到便于运输和贮藏中的管理、提高其商业价值的目 的。 研究系统包括图像采集、预处理、特征提取和分级四部分。本实验所用图像 使用摄像装置在自制的灯箱内获取。在白色背景下，对单个梨采集四幅图像，以 取得其全表面。 将采集到得图像进行颜色空间转换、形态学滤波、图像分割、边缘检测等预 处理，得到便于进行特征提取的图像。其中在去除图像背景的过程中，提出了变 换颜色空间进行全局阈值分割的思想，效果明显优于传统基于灰度阈值分割的效 果；在消除梨表面斑点的过程中，对比研究了h s v 动态阈值分割和形态学滤波两 种方法，这两种方法均能实现良好的效果，但后一种方法效率更高。 通过对国家农业行业标准梨外观等级标准的研究发现，水果外观品质分 级过程的重点在于判定缺陷的严重程度和形状标准性上。本研究对国家标准进行 了一些量化的尝试，在颜色、形状描述、纹理等特性上对缺陷进行描述。在获取 上述特征的基础上，结合b p 神经网络分类器，对多个品种的梨外观进行分级，取 得了较为理想的结果。 关键词计算机视觉；b p 神经网络；梨外观分级；颜色空间；形态学滤波 青岛理工大学工学硕士学位论文 a b s t r a c t t h er e s e a r c ho fp e a l ra u t o m a l i cg r a d i n gs y s t e mi ss i g n i f l c a n c e c u 仃e n t ly p e o p l e u s u a l l yu s em a n u a ja i l d m e c h a n i c a l lm e t h o di ng r a d i n gf | u i t m a i l u a lc l a s s i f i c a t i o ni s i n e f f i c i e n ta n d l n e r a b l et 0s u b j e c t i v ef a c t o r s ；m e c h a n i c 2 l l 伊a d i n gh a sf e wf u n c t i o n s ， 锄dm a yb 陀a l 【t h ef m i t f o rp e 瓯i ti su 略e n tt od e s i g naf a s ta n de f ! f i c i e n tc l a s s i f i c a t i o n 墨y s t e m t h ee r n e 玛e n c e0 fc o m p u t e rv i s i o nt e c h n o l o g ym a k e sav a s ts p a c ef o rt h e a c l l i e v e m e n to ft h eh i 曲e f ! f i c i e n t ，n o n d e s t m c t i v ec l a s s i f y i n g t t l i sp a p e ra i m st o c o m p u t e rv i s i o nm e t h o d ，m a k er e s e a r c ho nt h e 卸t o m a t i o nc l a s s i f 姐n gs y s t e mb yt h e a s p e c to fs h a p ，w e i g h t ，c o l o ra i l dd e f e c t s ，s ot h a tt of a c i l i t a t et h et r a n s p o r ta n ds t o m g eo f a g r i c u l t u r a lp r o d u c t si nt h em a j l a g e m e n t ，a i l di m p r o v i n gi t sc o m m e r c i a jv a l u e t h es y s t e mi n c l u d e sf 研p a r t s ，w l l i c hi si m a g ea c q u i s i t i o n ，p r e p r o c e s s i n g ，f e a t u r e e x t r a c t i o na i l dc l a s s i f i c a t i o n p i c t u r e su s e di nm i sr e s e a r c ha r ep h o t o 铲印h e db yc 锄e r a i nas e l f - m a d el i g h tb o x w 色c o l l e c tf o u ri m a g e so nas i n g l ep e a ri n o r d e rt og e ti t s 如u s u r f a c ei naw m t eb a c k g r o u n d f i r s t l yw ed os o m ep r e p r o c e s s i n gp d o c e d u r es u c h a sc o l o rs p a c ec o n v e r s i o n ， f i l t e r i n g ，i m a g es e g m e n t a t i o na 1 1 de d g ed e t e c t i o n t h e nw em a k ef e a t u r ee x t r a c t i o nb y t h ei m a g e h lt h ep r o c e s so fr e i i l o v i n gi m a g eb a c k g r o u n dw eu s e9 1 0 b a lm r e s h o l d i n g m e m o di nat r a n s f o 珊e dc o l o rs p a c e ，w l l i c hm a k er e s u l tb e t t e rt h a nt h et r a d i t i o n 址铲a y t h r e s h o l ds e g m e n t a t i o n ；i nt h ep r o c e s so fe l i 血n a t i n gs p o t sp e a rs u r f a c e ，w em a 玉汜a c o m p a r i s o no ft w om e t h o d ，w h i c hi sm eh s vd y n 撇i ct h r e s h o l ds e g m e n t a t i o na n d m o 叩h o l o g i c a l ，b o t hi n e t h o d sc a i la c m e v ea c c e p t a b l er e s u l t s ，w 1 1 i l em el a t t e ro n ei s m o r ee m c i e n t b yt h es t u d yo fn a t i o n a la 鲥c u l t u r a ji n d u s 仃ys t a n d 砌”p e a u r 印p e a r a n c e 铲a d e s t a n c i a r d ”，w es h o u l df & u so nt h ed e f e c t sa i l ds h a p ee v a l u a t i o n t h i ss t u d ya t t e m p t st o q u a n t i f yt h en a t i o n a ls t a n d a r di nc o l o r s h a p ed e s c r i p t i o n ，t e x t u r ea i l do t h e r f e a t u r e so n t i l ed e 舭t w i t ht h e s ea c q u i s t e dc h a r a c t e r i s t i c s ，w eu s eb pn e u r a ln e t w o r kc l a s s i f i e r 伊a d i n gm u l t i p l ev 撕e t i e so fp e a r si na p p e a r a n c ea j l da c m e v e ds o i n ed e l i g h t f u lr e s u l t s k e yw o r dc o i n p u t e rv i s i o n ；b pn e u r a ln e t w o r k ；p e a ra p p e a r a i l c e 黟a d i n g ；c o l o rs p a c e ； m o 叩h o l o g i c a jf i l t e r i i 第1 章绪论 1 1 研究意义与目的 梨果自动分级系统的研究和制造意义重大。水果分级是水果进入流通前的最 后一个环节同时也是非常重要的环节，直接关系到水果的包装、运输、贮藏和销 售的效果和效益。比如说，水果上市前如不经分级处理，则品种混杂、质量优劣 ： 不齐，难以吸引消费者；水果上市前如不经分级处理，还有可能增加水果在贮藏 中的损失、加重病虫害的传播等。当前，由于我国在水果分选和检测手段的与国 外相比相对落后，致使国产水果的外观质量较差，同一批水果中良莠不齐、大小 不一，在国际市场上普遍缺乏竞争力，阻碍了我国国民经济的发展和农民收入的 提高。 目前，在国内普遍采用的分级方法为人工分级法。水果的人工分级法主要是 通过人对水果外形的视觉判断，按水果的颜色、大小将产品分为若干等级。人工 分级法虽然算得上是一种有效的分级法，但是用这种方法对水果进行分级，不但 需要大量的劳动力，劳动强度大，同时这种主观评定受个人视力、颜色鉴别力、 情绪、疲劳、光线等因素的影响，功效低，准确性差，不能保证严格按分级标准 对水果进行分级。 为了克服人工分级的缺陷，基于机器视觉的水果分级系统及设备正不断涌现 出来。运用计算机高速的数据处理能力，结合数字图像处理技术，使得人们可以 从水果的形体与色泽等方面自动、快速地对其外观质量进行分析、得出结论，并 且可以解决人工检测过程中存在的诸多问题，可以大大提高检测效率、严格控制 质量标准。 梨是水果的1 个种类，味甜多汁，果皮薄，果肉酥脆，口感很好；梨的吃法 很多，生食、榨汁、熬煮均可，且有食疗作用，营养价值很高。但是由于梨品种 繁多，果型异度大，目前国内外针对梨果的基于机器视觉的快速分级系统研究还 比较少，加上山东省是梨果生产和出口的大省，做好本课题的研究具有较高的理 论实践意义，也必将会带来较大的社会效益和经济效益。 本研究旨在通过计算机视觉的方法，对梨果从果形、果重、色泽、缺陷等方 青岛理工大学工学硕士学位论文 面进行自动化分级，使产品达到便于运输和贮藏中的管理、提高其商业价值的目 的。 1 2 基于计算机视觉的水果自动分级方法 1 2 1 国外研究情况 目前水果分级系统的研制和开发是当前数字图像处理技术领域的热点话题。 国外在上世纪8 0 年代以后开始着手研究利用计算机对果实、蔬菜进行自动检测识 别或分级的技术，他们在这一领域做出了卓越的贡献。 u m e t a n ij 和k t a g u c h i ( 1 9 8 1 年) 讨论了人用于识别形状的最基本的图像特 征。s a k e rn 和w 0 1 f er r ( 1 9 8 5 年) 凹。4 3 利用数字图像分析和模式识别技术研究了 一种用于新鲜市售西红柿的定向和根据尺寸、形状、颜色和表面缺陷分类的特殊 算法，并研究成功了一种具有定向机构和合适的照明装置的机器视觉市售西红柿 品质的分级装置，分级误差只有3 5 ，但速度较慢。w o l f e rr r 和 m s w 锄i n a t h a n ( 1 9 8 7 年) 畸1 利用在6 个正交方向上的环形h o u g h 变换和线性h o u g h 变换找到了胡椒的柄部和花萼，从而确定了胡椒的方位，并且提出双梯度法和中 轴技术为果蔬形状检测打下了基础。m a r c h a n t 等人( 1 9 8 8 年) 肺3 研制了一种根据尺 寸对马铃薯进行分级的计算机视觉系统，配备有并行处理器和数据采集卡，该系 统每秒钟可以对4 0 个马铃薯进行分级，但准确率有待提高。v a r g h e s ez ( 1 9 9 1 年) 口1 使用机器视觉系统对苹果进行了果型判别的研究，用矩方法在采集到的五幅不同 角度的图像中进行分析判决，但是苹果的旋转角度对分析结果的影响较大，判决 准确度较低。h o w a r t hm s 等( 1 9 9 2 年) 随1 求出了萝卜的外形曲率曲线，并根据萝 卜根部外形将其分成从尖到钝的5 个等级，分级准确率达到8 6 。v a nd ev o o r e n 等( 1 9 9 2 年) 阻1 利用机器视觉技术测定了蘑菇的各种形态学特征。t a o y 等( 1 9 9 5 年) n 们运用傅里叶变换技术对马铃薯形状进行分级，准确率达到8 9 2 。v a ne c k ， j w ( 1 9 9 8 年) n 利用图像技术对黄瓜进行了分析，准确率达到9 6 ，但是检测效率 极低。c a o 等( 1 9 9 9 年) n 2 1 基于机器视觉系统提出了一种提取草莓形状和方位的方 法，该方法使用一个l 水a 木b 的彩色模型，研究发现提取的特征不受环境照明的影 响。m a j u m d a rs 等( 2 0 0 0 年) n 3 1 对小麦、燕麦等谷物进行分级研究，提出2 4 个形 态参数，如谷物的面积、谷物的长宽比、椭圆的短轴长度、长轴长度、周长、最 2 青岛理工大学工学硕士学位论文 大半径、最小半径及半径标准差等。利用这些参数做了大量的试验，并给出了不 同的参数组合达到的识别率，识别率最高达1 0 0 ，总体识别率达到9 0 以上。l a y k i n s 等( 2 0 0 2 年) n 4 3 利用傅里叶变换提取西红柿圆度特征，实验效果较好，但该方法 需要事先固定好其位置，不适合在线分级。 综上所述，国外学者对果蔬外形的分析已取得了许多进展，近几年有些学者 已经开始尝试用水果的三维图像信息来分析以期得出更精确的分类结果。 1 2 2 国内研究情况 相对国外而言，国内一些学者对基于计算机视觉的水果的检测分级方面的研 究起步较晚，但也在该领域做了大量的工作并取得了一些成果。 其中，在水果果型检测方面，刘禾等人( 1 9 9 6 年) n 朝通过试验证明人工神经网 络分类器是一种用对苹果特征参数进行处理的有效手段，但是受限于当时硬件设 备的处理能力，其对苹果外观检测分级的准确率和速度均有待提高。陈晓光等人 ( 1 9 9 7 年) d 采用了退火演化算法及神经网络“融合方法建立了分级合作的层次 处理自动评价系统，能够对国光、富士和黄元帅三个品种的苹果进行较为快速和 准确的外形判别，但是没有说明水果图像的采集方式。潘伟( 2 0 0 0 年) n 7 1 用遗传算 法训练的神经网络对番茄果径变化特征进行了研究，识别率较高。应义斌( 2 0 0 1 年) n 蝴1 将神经网络和傅里叶描述子相结合，识别精度达9 0 。赵静等人( 2 0 0 1 年) 口门 在理论上提出若干水果分形指标，准确率较高，但没有实时分级的相关实验数据。 黄险峰( 2 0 0 3 年) 陴3 采用多种水果轮廓特征建立了水果果形特征库。冯斌( 2 0 0 5 年) 矧、袁金丽( 2 0 0 5 年) 、李秀智( 2 0 0 3 年) 2 5 1 、向光蓉( 2 0 0 3 年) 矧、林开颜( 2 0 0 5 年) 1 分别采用傅里叶半径描述子进行了水果形状分级的试验研究。黄星弈等人 ( 2 0 0 6 年) 采用一种几何方法来确定苹果的近似横径和纵径，然后利用线性回归 分析确定测量值和真实值之间的相关性，准确率较高。 在缺陷检测方面，刘禾等人( 1 9 9 8 年) 晒1 提出了一种基于知识的坏损点单调检 测方法以及坏损区域判别方法，准确率较高。张泰岭等人( 1 9 9 9 年) 啪1 应用计算机 视觉技术对梨碰压伤进行了检测研究，以碰压伤区域在梨的外形轮廓上对应的投 影弦玄长作为碰压伤的直径来计算碰压伤面积，测量误差可控制在1 0 以内。李庆 中( 2 0 0 0 年) b 门提出基于参考图像的缺陷分割方法，并为之选取了快速的计算方法， 完成了苹果表面真j 下缺陷与梗萼凹陷区的区别。章文英等人( 2 0 0 1 年) 口2 1 分析了苹 3 青岛理工大学工学硕士学位论文 果的坏损表面与非坏损表面的不同反射特性，以及不同灰度值像素点数的统计特 性，找出坏损区域，并从中分出果梗和花萼。冯斌( 2 0 0 2 年) 口3 3 用标准件球面的灰 度和水果灰度进行比较，使不同灰度级的缺陷一次分割成功。朱伟华( 2 0 0 3 年) m 1 将定义模糊颜色集并比较模糊颜色相似度的方法应用于检测西红柿缺陷上，准确 率达到9 6 。梁伟杰等人( 2 0 0 5 年) 5 3 利用多台摄像机对梨进行多角度拍摄，然后 对多幅图像进行切割分析的方法，对梨的坏损面积进行识别，准确率较高。刘禾 等人( 2 0 0 6 年) 啪1 利用二叉树将多模式分类分解为多级的相对简单的二类模式分类 问题，试验证明该方法可用于苹果缺陷的分类上。 在综合检测方面，徐娟( 1 9 9 7 年) 啪1 研究了静态条件下水果图像并行处理技术， 但并没有实现在线实时检测。景寒松等人( 1 9 9 8 年) 口7 1 研究了静态条件下黄花梨的 大小、形状、果梗、缺陷等检测方法，精确度较高。何东健( 1 9 9 8 年) 侧对静态苹 果综合分级的正确率在8 8 以上，处理一个水果的平均时间为0 4 8 7 秒。张书慧等 人( 1 9 9 9 年) 刚实现了对水果的表面颜色、形状、缺陷等综合品质的检测，对优等 果的判别准确率达到9 6 。籍保平等人( 2 0 0 0 年) m 1 研究了可按苹果的形状、尺寸、 色泽和缺陷进行检测分级机器视觉系统。龙满生等人( 2 0 0 1 年) h 妇研究了一个基于 遗传神经网络的苹果综合分级系统，可对苹果的形状、颜色和缺陷等综合品质进 行检测。另外，浙江大学在2 0 0 4 年研制出我国首条具有自主知识产权的水果检测 分级机h 羽，每小时能够检测和分级3 6 吨水果。 1 3 本研究的主要内容 ( 1 ) 制作灯箱，完成图像采集； ( 2 ) 使用传统的和改进的图像处理方法进行图像的预处理，主要工作内容有 去除背景、消除梨表面其它因素的干扰和分割缺陷； ( 3 ) 利用形状描述、纹理分析等方法对梨的外观特点进行量化，提取特征参 数； ( 4 ) 结合国家标准，设计用于形状判定、缺陷种类识别以及梨外观综合等级 判定的人工神经网络，选用b p 算法进行网络训练； ( 5 ) 对适合快速检测的理论与方法进行研究和实践； ( 6 ) 对于多图像结合的分析方法进行研究； ( 7 ) 分析各阶段实验结果，提高分级的准确率。 4 一 2 1 硬件系统组成 本实验硬件系统由图像采集系统、图像处理系统组成，由下图所示。 日 _ 计垩 n 笪 不 机 器 li 图2 1 硬件系统示意图 2 1 1 图像采集环境 一个稳定的图像采集系统对采集到的图像的质量具有重要意义。在基于计算 机视觉的研究中，要求待处理的图像的应有背景_ 二致、抑制光源不稳定性、低噪 声和对比度高等特点。 为了满足上述的几个因素，本研究使用摄像装置在自制的灯箱内进行图像采 集。灯箱的体积为2 0 术2 0 半3 0 c i n 3 ，四周封闭，上端安装相机一台，用以采集图像。 在相机周围安置环形灯管，为了减少管线的反射，灯箱内壁使用黑色吸光布覆盖。 实验相机采用奥林巴斯e 3 0 0 ，获得图像像素大小为5 0 7 3 8 0 像素。在上述环 境中获得图像后，通过u s b 数据线传输到计算机上，以备后续处理。 2 1 2 图像处理设备 本研究使用计算机为戴尔d e l lp m c i s i o n6 7 0 图形工作站。配置：c p uh t e x e o n2 8 g h z 双核，8 0 0 m h z 前端总线，2 5 1 2 m b 内存，显示卡为a t if i r e g l v 3 1 0 0 1 2 8 m b 显存。图像处理的过程均在m i c r o s o r s u a lc + + 6 o 环境内编程实现。 2 2 图像获取 图2 2 为使用上述图像采集设备获取的图片。 5 青岛理工大学工学硕士学位论文 一级在图像中 见，它可表示 式中，z 是一幅图像的总像素数；l 是灰度级总数；几是第足个灰度级； 级灰度的像素数。 3 2 图像转换 ( 3 - 1 ) ，l t 为第七 3 1 1图像的颜色空间 在对梨的外观评价标准中，色泽是重要的判定因素，它不仅能够反映水果的 成熟度，也是区分正常部分与缺陷的重要因素，是分级研究的重点之一。目前常 用的颜色空间有7 中，其中r g b 空间和h s v 空间在与水果数字图像处理相关的 研究中最为常见。 ( 1 ) r g b 颜色空间 人的眼睛通过三种可见光对视网膜的锥状细胞的刺激来感受颜色，这些光在 波长为6 3 0 i l i i l ( 红) 、5 3 0 n m ( 绿) 和4 5 0 n m ( 蓝) 时的刺激达到高峰。人们通过对光源中 这些刺激强度的比较，感受到光的颜色。这种视觉理论就是使用红、绿、蓝三种 基色来显示彩色的基础，称之为r g b 颜色模型。以r 、g 、b 三个参数为坐标， 可以得到如下的一个单位立方体来描述r g b 颜色模型，如图3 1 所示。 7 青岛理工大学工学硕士学位论文 图3 1r g b 颜色空间 ( 2 ) h s v 颜色空间 h s v 颜色空间是从人的视觉系统出发，用色调( h u e ) 、色饱和度( s a t u r a t i o n ) 和 明度( u e ) 来描述色彩。这个颜色空间可以用一个锥型的空间模型来表示，如图 一2 。 青 - v 喇崖 绿黄 r 、 胁 、 望i 玖。 图3 2h s v 颜色空间 在h s v 颜色空间中，色调h 是由颜色名称来辨别的，比如红、黄、青、绿灯， 它用o 。到3 6 0 。度量；明度v 是是颜色的明暗程度，用o ( 黑) 到l o o ( 白) 来 度量；色饱和度s 指颜色的深浅，用o ( 不饱和) 到l o o ( 完全饱和) 来表示。 3 1 2 颜色空间之间的转换 ( 1 ) r g b 到h s v 颜色空间的转换 【o ，l 】之间的r 、g 、b 值，其对应的h s v 空间中的h 、s 、v 分量可由下式计 算： 8 当h 在【1 2 0 。，2 4 0 。】之间时： 尺= v ( 1 一s ) 门。，| - ，。s ( 日- 1 2 0 。) 6 。y i1 + i 哥哥llc o s 【6 0 。一日) l b = 3 y 一( g + j r ) 当h 在 2 4 0 。，3 6 0 。】之间时： 3 3 图像平滑 g = v ( 1 一s ) 。，i ，s c o s ( h 一2 4 0 。) l 胙y l1 + 面亩爿l ic o s ij o u 一爿i 尺= 3 y 一( 曰+ g ) ( 3 - 3 ) ( 3 - 4 ) ( 3 5 ) 3 3 1 邻域平均法 邻域平均法是对含噪声的原始图像，( x ，) ，) 的每个像素点取一个邻域s ，计算s 中所有像素灰度级的平均值，然后将这个平均值作为该像素点的新灰度值。其数 学表达式如下所示： 9 青岛 其中，工= o ，1 ，2 ，一1 s 是以( 工，y ) 为中心的邻域内 3 3 2 形态学滤波 ( 1 ) 腐蚀 腐蚀是一种基本的数学 素s ，将s 在图像上移动。 图像的最大相关点集，称这个点集为s 对x 的腐蚀。 腐蚀运算在图像处理中用来消除图像边界点，其结果使剩下的图像沿其周边 比原来图像小若干个像素。假设结构元素取3 3 的像素块，腐蚀将使物体的边界 沿周边减少一个像素。如果图像在某处的像素很少，那么使用腐蚀运算后，图像 将会在该处变为非连通的，即变成两个独立的图像区域，而像素足够少的图像可 能被删除，从而达到去噪的目的。 ( 2 ) 膨胀 膨胀可以看做是腐蚀的对偶运算4 3 1 。它是将与目标物体接触的所有背景点合 并到物体中的过程，结果是目标增大，空洞缩小，填补目标中的空洞，形成连通 域。 ( 3 ) 开、闭运算 腐蚀和膨胀可以结合使用。在使用同一结构元素s 时，将图像先进行腐蚀再 进行膨胀的运算称为开运算；先对图像进行膨胀在对其进行腐蚀的运算称为闭运 算。 使用开运算的效果有：1 删除小物体；2 将物体拆分为小物体；3 平滑大物体 边界而不明显改变物体的面积。使用闭运算的效果有：1 填充物体的小洞；2 连接 相近的物体；3 平滑物体的边界而不明显改变物体的面积。 另外，开、闭运算具有等幂性，即一次操作就会把特定于结构元素的噪声滤 除干净，作重复的运算不会再有效果。 3 4图像分割 1 0 青岛理工大学工学硕士学位论文 3 4 1阈值法 阈值化是一种重要的常用的图像分割技术，操作比较简单，分割结果是一系 列连续区域。在针对单通道图像( 一般是灰度图像) 的操作中，针对直方图的不 同特征，使用全局阈值、局部阈值或动态阈值的思想来获取阈值。 如果图像和背景在直方图中所对应的两个单峰大小接近、方差较小且均值之 差较大，则该图像的直方图具有双峰性质，可以用全局阈值来区分图像与背景。 确定全局阈值的方法有很多，当直方图具有明显的双峰性质时，可直观的直接从 双峰间的波谷处选取一个阈值，也可以根据某个准则自动计算出阈值，常用的有： 极小点阈值法、迭代阈值法、最优阈值法等等。确定了阈值t 后，遍历图像中的 每一个像素，如果该单通道值大于t ，则将其置为1 ，否则置为o ，将图像分为目 标区域和背景区域。用公式可表示为： g ( 工，) ，) = 三；三：；三； c 3 - 7 ， 图像目标与背景面积差距较大或者图像中有各种干扰因素，都会使得直方图 上的双峰效果不明显。比如前一种情况，较小的波峰会被另一方“淹没”；后一种 情况可能会导致双峰间的波谷被“填平”。在这两种情况下，波谷难以被检测到， 这种情况下使用全局阈值获得效果难以被接受，如图3 3 。在这种情况下，可以考 虑使用局部阈值的方法来确定阈值，常用的方法有直方图变换法或散射图法。 j 青岛理工大学工学硕士学位论文 阈值，则分为目标像素，否则分为背景像素。 3 4 2 轮廓提取 轮廓提取和轮廓跟踪的目的都是为了获取目标区域的外部轮廓特征，为形状 分析和目标识别做准备。在本实验中，轮廓提取作为轮廓跟踪的前导操作来进行 的。如果没有这一步操作而直接进行轮廓跟踪，那么得到的物体的边缘就可能有 冗余信息，不利于提高获得物体轮廓的效率，甚至还会使轮廓跟踪的过程陷于死 循环。 一 对于二值图像来说，轮廓提取的算法很简单，就是掏空目标区域的内部点。 如果背景是黑色，目标像素是白色，遍历图像中的像素，如果一个像素是白色， 而且它的8 个邻点都是白色，那就将这个像素置为背景色。将所有像素执行该操 作将得到图像的轮廓。用这种方法，能够保证在轮廓跟踪时使用4 连通方向码是 安全的。 3 4 3 轮廓跟踪 轮廓跟踪就是从一个起点开始，根据轮廓进行游走，最后回到该起点的过程。 在图像中使用轮廓跟踪，不但可以跟踪出边界，还可以同时记录边界信息，用来 区别轮廓和物体内的其它部分。 在二值图像中，有基于4 方向码和8 方向码( 如图3 4 ) 的4 连通轮廓跟踪和 8 连通轮廓跟踪两种方法。不过对于大多数区域，不一定存在封闭的4 连通轮廓， 在这种情况下会导致基于4 方向码的轮廓跟踪失败。在本例中，由于结合了轮廓 提取的算法，保证了4 方向码轮廓跟踪的安全性，所以在阐述运算步骤的时候以4 方向的轮廓跟踪为主。 3 j 1 。 ： 6 ( a ) 4 连通方向码( b ) 8 连通方向码 图3 4 轮廓跟踪的方向码 步骤l ：首先按照从上到下、从左到右的顺序扫描图像，寻找第一个点作为边 j 青岛理工大学工学硕士学位论文 界跟踪的起始点，记为s 。定义一个搜索方向变量d i r ，用于记录从当前边界点搜 索下一个相邻边界点时所用的搜索方向码。初始d i r 为3 。如果当前搜索方向d i r 上的点不是边界点，则依次使搜索方向逆时针旋转一个方向，更新d i r ，直到搜索 到一个边界点为止。d i r 的更新公式可表示为： 疣，= ( 咖+ 1 ) m o d 4 ( 3 8 ) 步骤2 ：把上一次搜索到的边界点作为当前的边界点，以式( 3 9 ) 为搜索的起始 方向，在其3 3 邻域内按逆时针方向搜索新的边界点。 历，= ( 讲，+ 3 ) m o d 4 ( 3 - 9 ) 步骤3 ：如果搜索到的边界点就是第一个边界点a ，则停止搜索，结束跟踪， 否则重复步骤2 继续搜索。 当步骤3 完成后，从a 点开始，依次搜索到的边界点系列就构成了被跟踪的 边界。 3 5 边缘检测 3 5 1 梯度算子 边缘是像素的亮度值或灰度值不连续的结果。对一个边缘来说，它的灰度的 变化率和方向是表示其特征的重要特征，分别以梯度向量的幅度和方向表示。一 阶导数荨和荨分别代表灰度在x 和y 方向上的变化率，在方向a 上的灰度变化率 d xo 可以表示为： 鼍= 芸c 。s 口+ 善s t 咖 c 3 一t 。， 对于数字图像来说，方向差分为： 。，( f ，歹) = ，( i ，j ) c o s 口+ ，厂( f ，歹) s i n 口 ( 3 - 1 1 ) 方向导数的最大值i g l = ( 芸) 2 + ( 蒡 2 l ，2 为梯度模。利用梯度模算子来检测 边缘具有位移不变性。实际应用中，常用模板卷积来实现运算。s o b e l 是比较常用 的梯度算子，常用的模板如下所示： 1 3 青岛理工大学工学硕士学位论文 三三锢 三三三 3 5 2 l a p l a c e 算子 。j 虽三虽 - i 三三1 3 5 3 c a n n y 算子 虽然c a n n y 算子从效率上稍弱于前面的几种算子，但在实际应用中，c a n n y ( a ) s o b e l 算子边缘检测结果( b ) l a p l a c e 算子边缘检测结果( c ) c 卸n y 算子边缘检测结果 图3 5 三种边缘检测算子执行效果 1 4 1iiil 青岛理工大学工学硕士学位论文 从上面三幅边缘检测结果图我们可以看出，使用s o b e l 算子进行边缘检测，边 缘部分出现了不连续的情况，在梯度变化不明显的位置，使用s o b e l 算子难以保证 较好的边缘检测效果。使用l a p l a c e 算子虽然成功地获取到水果的轮廓边缘，但是 在水果图形的内部也出现了很多细小斑点和噪声的边缘。由此可以说明l 印l a c e 算 子对边缘是比较敏感的。对于梨这种水果来说，一般在其表面都会存在明显的斑 点，在这种情况下，l a p l a c e 算子比较较易受到噪声的影响，不利于取得良好的实 验结果。使用c a n n y 算子不仅取得了清晰完整的边缘信息，而且预先设定的阈值 很好地控制了其它因素的干扰，在这三种边缘检测算子中实际检测效果最佳。因 此本研究选用c a l l n y 算子进行边缘检测。 3 6 分析与实验 3 6 1 图像背景的去除 通过图像采集系统获取要处理的图像，如图3 6 。 图3 6 获取的梨外观图像 考察该图像的r 、g 、b 以及灰度直方图，如图3 7 所示： 厂 k 一- 叫 k i j ， 一，。7 ( a ) 图像的r 分量直方图 ( b ) 图像的g 分量直方图 1 5 青岛理工大学工学硕士学位论文 ( c ) 图像的b 分量直方图 ? ，、 ( d ) 图像的灰度直方图 图3 7 图像的r g b 及灰厦直方图 按照全局阈值的方法考察以上这四幅直方图，发现它们的双峰均不明显。如 果考虑使用局部阈值的方法来进行背景分割，不但难以取得较满意的效果，而且 实现起来也具有一定的复杂度，会使得图像预处理阶段的总体效率低下。 我们尝试观察该图像在h s v 颜色空间下的各分量直方图，观察结果如图3 8 所示： 。j 一几 ( a ) h s v 颜色空间的h 分量直方图( b ) h s v 颜色空间的s 分量直方图 ，、o l 一 ( c ) h s v 颜色空i 司的v 分量直方图 图3 8 h s v 颜色空间各分量直方图 从以上直方图中我们可以看出，h 直方图在中间和右边的位置分别有两处明 显的波峰，而且这两处波峰下降迅速，几乎没有抖动，具有十分强烈的双峰效果。 在h s v 颜色空间中，h 代表色调，从人眼观察图片和色调的直方图我们都能看出 背景和物体之间的区别是很明显的。由此也可以说明h s v 颜色空间与人对颜色的 识别方式是非常类似的。 结合h s v 颜色空间的特性，我们可以结合在狄度图像中利用全局阈值的思想 1 6 青岛理工大学工学硕士学位论文 来对待测图片进行背景分割。针对h s v 颜色空间的h 分量，假设当目标图像h 分量小于全局阈值时置为白色。按照这个规则遍历全部像素。分割背景的结果如 图3 9 所示： o 图3 9 去除背景的梨外观图像 由上图我们可以看出，