（农产品加工及贮藏工程专业论文）苹果动态图像实时采集装置研究及外观质量在线分级算法实现.pdf

江苏人学烦j ：学位论文 摘要 应用计算机视觉技术，研究节果外观质量在线分级算法，并研制出适合生产 实践的分级设备，有利于提高我国苹果产业的国际竞争力，利于扩大我国高档优 质节果的出口、增加果农收入，为国家赚取外汇收入，有着重大的意义。本研究 作为国家“8 6 3 ”重点资助项目“农畜产品品质快速无损检测技术”的重要组成 部分，以实现苹果外观品质的自动分级为目的，对分级的装置和分级的相关算法 进行了一定的研究。 本研究是要在动态情况下利用计算机视觉技术对苹果进行外观质量分级。为 了研究的顺利进行，研制了由旋转工作台、摄像头、图像采集卡、计算机等设备 组成的动态图像采集装置。利用研制的动态图像采集装置，对苹果的分级算法进 行了研究。在利用摄像头进行图像拍摄的时候，研究了四项关键技术：b a y e r 转 换技术、白平衡处理、g a m m a 校正及双缓冲技术。提出了包括图像背景的去除 方法、非模糊的滤波处理等预处理算法，并对包含三个苹果的图像进行了分割。 在苹果的特征提取算法研究中，基于快速而准确的原则，提出以节果的当量直径 作为苹果的果径，以苹果的圆形度作为果形参数，以果面平均色度值作为节果的 颜色参数；在缺陷识别上，通过扫描去背景后苹果上是否有大空洞判别苹果表面 是否存在大的损伤，并应用了一种全新的分割算法s u s a n 算子分割节果图 像，执行去边缘处理后，扫描剩余像素数目，根据果梗、果萼及缺陷之间的差异， 找出了其中的不同之处，从而达到识别的目的。通过提取这些外观特征参数，利 用一定的分级算法，从而达到对苹果分级的目的。研究的最后还对生产实践中系 统的工作模式进行了一定的讨论。 本研究研制完成了一个动态图像采集装置，并为装置编写了分级软件。本系 统已经能够完成苹果的外观质量实时分级。 关键词：苹果，实时，图像，分级，算法 江另：人学坝i 学位论义 a b s t r a c t a p p l y i n gt h et e c h n i q u eo fc o m p u t e rv i s i o n ，s t u d y i n gt h ea l g o r i t h m so fa p p l e a p p e a r a n c eq u a n t i t yo n - l i n ec l a s s i f i c a t i o n ，a n dd e v e l o p i n gt h ee q u i p m e n t st h a tc a nb e u s e di nt h ea p p l ei n d u s t r y ，w i l lb e n e f i tt ot h ei n t e r n a t i o n a lc o m p e t i t i o na b i l i t y ， i n c r e a s et h ee x p o r to fh i g h q u a l i t ya p p l ea n dt h ei n c o m eo ff r u i tg r o w e r ，e a r nm u c h m o r ef o r e i g ne x c h a n g ei n c o m e ，a n di th a sv e r yi m p o r t a n tm e a n i n g t h i sr e s e a r c hi sa n i m p o r t a n tp a r to fan a t i o n a l “8 6 3 ”i t e m ，t h eo b j e c t i v eo ft h i sr e s e a r c hi st or e a l i z et h e a u t o m a t i cc l a s s i f i c a t i o no ft h ea p p l ea p p e a r a n c eq u a l i t y ，p r o c e e d i n gw i t ht h er e l a t e d al g o r i t h ma n de q u i p m e n t ss t u d y i n g 。 t h er e s e a r c hi st ou s et h et e c h n i q u eo fc o m p u t e rv i s i o nt op r o c e e dt ot h ea p p l e a p p e a r a n c eq u a n t i t yo n - l i n ec l a s s i f i c a t i o n f o rt h es u c c e s so ft h er e s e a r c h ，w e d e v e l o p e dad y n a m i ci m a g eg r a b b i n gi n s t r u m e n tc o m p o s e do faw o r kt a b l et h a tc a n t u r n ，c c d ，f r a m eg r a b b e r ，c o m p u t e ra n ds oo n u s i n gt h ei n s t r u m e n t ，t h ea l g o r i t h m s o fa p p l ec l a s s i f i c a t i o nw a ss t u d i e d t a k i n gp i c t u r e sw i t ht h ec c dw eu s e d ，w eh a d u s e df o u ri m p o r t a n tt e c h n o l o g y ：b a y e rt r a n s f o r m ，w h i t e b a l a n c e ，g a m m ac a l i b r a t i o n a n dd o u b l eb u f f e r i n g s o m ep r e t r e a t m e n ta l g o r i t h mw a sa d v a n c e d i n c l u d i n gd i s p o s i n g o ft h eb a c k g r o u n do fa p p l ei m a g e s ，f i l t e ra l g o r i t h mw i t h o u tb l u r ，t h ed i v i s i o no fa p p l e i m a g ew i t ht h r e ea p p l e s w h e ns t u d y i n gt h ea p p l ea p p e a r a n c ec h a r a c t e r s ，t h ei d e a u s i n ge q u a ld i a m e t e ra sa p p l es i z e ，u s i n ga p p l er o u n d n e s sa sa p p l es h a p e ，u s i n g a v e r a g eho fa p p l ei m a g ea sa p p l ec o l o rw a sa d v a n c e d ；w h e ni d e n t i f y i n gt h eb i g d e f e c t ，i tc a nb ed e t e r m i n e di ft h e r ea r eb i gh o l ei nt h ei m a g e u s i n gan e w a l g o r i t h m - - s u s a na l g o r i t h ms e g m e n t a t i o nt h ea p p l ei m a g ea n dd i s p o s i n go ft h ee d g ea n d a c c o u n tt h er e m a i n e dp i x e l s ，u s i n gt h ed i f f e r e n c eo fs t e m ，c a l y xa n dd e f e c t ，a n d i d e n t i f yt h e m ，a n dt h es m a l ld e f e c tc a nb ef i n d u s i n gt h e s ea p p e a r a n c ec h a r a c t e r p a r a m e t e r sa n dt h es t a n d a r dw ed e f i n e d ，w ec l a s s if yt h ea p p l e 。 i nt h i sr e s e a r c h ，ad y n a m i ci m a g eg r a b b i n gi n s t r u m e n tw a sd e v e l o p e da n dt h e a p p l ec l a s s i f i c a t i o ns o f tw a sp r o g r a m m e d 。 k e y w o r d s ：a p p l e ，r e a l - t i m e ，i m a g e ，c l a s s i f i c a t i o n ，a l g o r i t h m 2 独创性申明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容以外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全 意识到本声明的法律结果由本人承担。 学位论文作者签名：恕志季 d 争年多月纠日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 保密囹 本学位论文属于 在弓年我解密后适用本授权书。 不保密口 学位论文作者签名：京之辱 指导教师签名： 矽午年歹月列日 u n i q 摄像头 m a t r o x 图像采集卡 计算机 謦够 幽2 2 计算机视觉系统 江苏人学坝i ：学位论义 2 2 1 摄像头 本研究通过图像的分级和计算达到对苹果外观质量分级的目的，因此，获 取图像的设备是本研究中非常关键的因素。本研究要拍摄动态的图像，因此需要 一个合适的摄像头。 c c d ( c h a r g ec o u p l ed e v i c e ，电荷耦合器) ，是摄像头的重要组成部分。 在计算机视觉系统中，c c d 是一个非常关键的硬件设备。c c d 是由很多感光半 导体元素( 像素) 构成的方形矩阵，将聚焦在像素上的入射光亮度转换成电荷， 通过扫描变成视频信号，信号强度随时问变化，视频信号伴随垂直同步信号( 定 义为屏幕的起始点v s y n c ) 和水平同步信号( 定义扫描线的起始点h s y n c ) ： c c d 成像的构成三要素是：信号强度、垂直同步、水平同步；其光学原理如下 图所示： 图2 3c c d 光学原理图 根据图像扫描方式的不同，c c d 可分为非交错式( 逐行) 扫描( n o n i n t e r l a c e d s c a n n i n g ) 和交错式( 隔行) 扫描( i n t e r l a c e ds c a n n i n g ) 。 根据相机的视频格式不同，c c d 可以分为： 1 单色相机：主要有两种制式，其中r s l 7 0 为3 0 帧秒，c c i r 为2 5 帧 秒； 2 复合彩色相机( 模拟信号= 亮度+ 色彩) ：其中n t s c 制式为3 0 帧秒，p a l 制式为2 5 帧秒； 3 倍速扫描相机( p r o g r e s s i v es c a nc a m e r a ) 非交错、逐行扫描，一般速度 为6 0 帧秒或者1 2 0 帧秒，适合高速运动物体捕捉； 4 线扫描相机( l i n e s c a i lc a m e r a ) ：由单列c c d 元件构成，适合高速运 动、很宽、很长、圆柱形物体的拍照。 江苏人学颀i j 学位论文 用一个形象的比喻来澄明，c c d 的结构就像一排排输送带上并列放置的“小 桶”，光线就像南滴撒入各个“小桶”中，每个“小桶”代表一个像素。快门开 启到关闭的拍摄过程，其实就是按一定的顺序测量某一短暂的时间中，“小桶 中落进了多少“光滴”，并形成相应的数据文件。一般的c c d 每原色的亮度用8 位数据来记录，即其“小桶”上的刻度有8 格，也有的是l o 位甚至1 2 位，更高 的色彩位数在记录色彩时可以更精确，尤其是在光线条件比较差时，能够记录下 丰富的暗部细节层次的信息。 在本研究中，苹果是处于运动状态的，为了拍摄运动的苹果，如果选用摄像 头不合适，获得的图像势必很模糊，处理这些模糊图像要花费很多时间，且处理 的效果很一般，影响下一步处理工作。在处理前要进行去模糊处理，这在很多程 度上增大了处理的难度，增加了处理的时间，从而给计算机视觉技术应用于苹果 外观质量在线检测的实际生产制造了障碍。在进行动念图像拍摄的时候，为了保 证图像的质量，本研究选用美国u n i q 公司生产一款摄像头。 这是一款高帧速，彩色数字式摄像头。c c d 带有r 、g 、b 原色马赛克滤光片。 像机有效像素为6 5 9x4 9 4 ，具有l o b i t r s 6 4 4 l v d s 数字输出，需通过图像采集卡 采集数字数掘并通过软件转换成彩色图像进行显示。此产品适用于需要彩色，高 帧速及高速度的应用，像机整帧快门，速度为1 6 0 - 1 6 0 ，0 0 0 ；扫描速度为11 0 帧秒。本产品具有外部异步采集功能，能够很容易的抓拍高速运动物体的图像。 其c c d 的方形的像素更适合用于处理、测量和分析方面的应用。本产品体积小、 重量轻( 外形尺寸为5 0 m m x 4 0 m m x 8 3 m m ，重量为2 0 0 克) ，其数字和模拟输出，快 门选择其后面板上的许多其它功能使用起来都十分简便。可应用在高速机械视 觉、自动检测、运动采集及分析医学影像、生物医学图像、非接触测量及很多其 它科学和工业领域内等需要彩色和高速的应用。 2 2 2 采集卡 与本研究选择的摄像头相匹配，我们选择加加拿大m a t r o x 公司的m e t e o ri i 系列的一款采集卡。 它可以用r s 一4 2 2 或l v d s 差分信号标准，采集黑自分量r g b ，面阵线阵信 号。将极具价值功能强大的函数扩展性能集成到了采集卡上。o e m s 和集成商使 用这项技术可以构建功能强大，价格低廉，基于p c 的图像系统。 江苏人学硕i j 学位论文 此采集卡可以将采集到的图像传输到系统内存( 主c p u ) 进行处理或显存 ( v g a ) ，以实时活动视频窗口进行显示，速率可达1 3 0 m b s 。 该采集卡的主要特点是： p c i 或p c 1 0 4 一p l u s 格式视频采集卡 采集数字面阵线阵信号，包括多抽头配置 3 2 _ b it 宽r s - 4 2 2 或l v d s 接口 采样率r s - 4 2 2 下达n j j 2 5 m h z ，l v d s 下达至i j 4 0 m h z 可配置l u t ( 4 个2 5 6x8 - b i t 或2 个4 kx1 6 - b i t ) 触发输入，时钟输出 p c i 总线主模式3 2 一b it 3 3m h z 实时传输到系统或显卡 扩展板上缓存，确保采集 支持p a c k e do rp l a n a r 传输彩色或多路黑白数据流 r s 一2 3 2 串口 板卡丌发软件有m a t r o xi m a g i n gl i b r a r y ( m i l ) ，a c t i v e m i l ，m i l - l i t e ， a c t i v e m i l l i t e 年i n a t r o xi n s p e c t o r 等 支持m i c r o s o f tw i n d o w sn t4 o ，w i n d o w s2 0 0 0 矛n w i n d o w sx p g i q n x 2 2 3 计算机设备 计算机在本研究中用于图像的获耿、数据的计算、信息的传输的作用，且要 达到实时处理分析的功能，计算机的速度的快慢对本研究非常重要。研究中使用 的计算机的c p u 是p i v2 4 g c ，主板是升技i s 7 e 型号，内存5 1 2 m ，显卡采用 耕升5 6 0 0 d t1 2 8 m ，硬盘8 0 g 。 2 3 光箱及光源 本研究中使用的光箱采用角钢做成框架，内部贴有一层黑纸。光源选择飞利 浦高效能荧光灯管，1 8 w 。4 根灯管御置在光线顶部的四周，结果检验，基本达 到实验要求的光线均匀。 替凡举7 配i ：学位论立 2 4 触发 本研究中要对旋转工作台上的运动的= i 5 = 果动态拍摄图像，对于拍摄的时机要 求很高。要对采集系统进行严格的控制，保证每个苹果经过某个位置的时侧系统 就发出一个信号给主机，从而主机发出拍摄图像的指令，为达到这一点，需要一 个位置传感器。本系统中选择对射式传感器作为触发信号，安装在旋转工作台的 中心，当节祟通过的时候，由于光信号被苹果阻挡，接收器接收不到信号，就触 发系统进行图像拍摄的工作。 2 5 动态图像实时采集装置 统。 由上述的计算机视觉系统和旋转工作台，构成了本研究的动态图像采集系 | 孥l 中：1 2 、3 为三个高速数字摄像头4 、无级调琏电极 i 圣| 2 a 果品外观品质，= ；_ 级快述分纽实验室袈置 该试验台工作面转速无级可调( 可模拟生产线速度) ，光照强度可调、光源布簧 灵活( 为生产线上光照环境设计提供俊搀) ，该试验台可布置三个摄像头，这是 掉人半删i 学位论文 为在线检测的研究提供必要的实验依据因为一个摄像头是无法得到节果的全表 面信息的真正的在线检测装置应该是安装有多个摄像头的。每个摄像头拍摄角 度、拍摄距离均可调( 为生产线上摄像头布鬣提供设计依据) 。动态图像的采集、 一幅图像上多个苹果的分割、苹果外观质量特征的提取、相关分缎算法的研究都 可以在此装置上进行。 2 6 软件介绍 硬件只有配合合适的软件，才能最大限度的发挥它的作用。考虑到v i s u a l c 十十编写的程序具有执行速度快、软件执行稳定的优点，而这正是本研究所必须 的，因此，选择开发的工具为m i c r o s o f t 公司的v i s u a lc 州0 ，系统环境为中文 w i n d o w s 2 0 0 0 。本研究开发的软件如下图所示： 母罩黑霉孽粤鼍呼孽孽陬i 鞋盥一二一。 r。u ? x ：。f 圆00 幽2 5 苹果动态幽像采集处理软什主界面 软件主要包括图像采集模块、图像预处理模块、特征提取模块以及分级模块。 程序启动后，进行初始化然后等待触发信号，如果有触发信号则系统发出拍 摄图像的指令，图像经过c c d 传输到内存的同时也显示在显示器上，对拍摄的 节果圈像要进行一系列的预处理步骤，包括背景的去除、滤波处理、苹果图像的 分割等：在预处理完成后就通过一定的算法提取苹果的尺寸特征、特色特征和 缺陷特征相关参数。完成对对苹果的外观特征提取；在提取都苹果的特征参数后， 芒瑟i 墨； 蕈冀至一墨喜雩一 圆0 n 眵 江券人学顾i ：学位论文 根据节果的分级标准，完成对苹果的外观质量分级。本课题软件涉及的具体过程 和算法将在后面章节作详细介绍。 2 7 本章小结 图2 6 软件执行流程图 本章主要介绍了苹果动念图像实时采集装置的组成： 1 介绍了旋转工作台 2 介绍了c c d 摄像头 3 介绍了实验使用的采集卡性能 4 简要介绍了实验使用的计算机、光源、触发等 5 动态图像采集装置介绍 6 介绍了本研究使用的软件及软件执行的流程 江苏人学硕l ：学位论文 第三章苹果动态图像的采集技术 本研究要达到对苹果分级的目的，需要把摄像头拍摄的图像传输到电脑，通 过电脑计算得出相关参数再进行判断，这些工作是建立在能讵确快速的拍摄到节 果图像的基础上。因此，动态图像采集技术是本研究的一个关键技术。 3 1 b a y e r 转换技术 本研究采用的摄像头，输出为1 0 b i t 的r s 6 4 4 信号( 图3 1 ) 。摄像头采集 到1 0 位的数据需要经过软件算法转化，才能成为2 4 位的彩色图像，这种转换的 算法就是b a y e r 转换技术。 g bb g bb rg rrg r g b b g bb rgrrg r 幽3 1 色彩编码幽 摄像头获取的图像是一个单色的具有彩色编码的图像( 称为b a y e r 图像) ， 它不同于普通的黑白图像，在其p , j 部包含有彩色的信息，但是需要m b u f b a y e r 函 数将这种图像转换位彩色的图像。 b a y e r 图像一般由2 2 个像素组合而成。如图3 2 所示，每组中包含一个r 像素，一个b 像素和两个g 像素组成。这些r 、g 、b 值用于计算目标彩色图像 中相应像素的r 、g 、b 值。一般，摄像头获取的图像般是下面四种模式中的 江另：人学坝i ：学位论义 一种组成： 圈困田困 图3 2b a y e r 图像的构成模式 在进行b a y e r 转换的时候，b a y e r 图像中源像素的值作为目标彩色图像像素 r 、g 、b 的相应的值中的一个，目标图像像素中另外两个颜色的值由源像素的 相应邻域的平均值求得。 如果源像素是g 值( 图3 3 ) ，则目标像素的r 、b 值由源像素的2 邻域的 平均值求得：如需将g 1 3 进行b a y e r 转换的时候，假设转换到目标像素为( r ，g ， b ) ，那么g = g 1 3 ；r = ( r 1 2 + r 1 4 ) 2 ；b = ( b 3 + b 2 3 ) 2 。 b g jb ， g g 阅 g n圈 日。，g b 。，g “ g ：；r 口g 。只， b g ； 缓 g 。 g r 。2 g n r 。 b ：g ，： 圜 g “ g ：，r g 。r 。 幽3 3 b a y e r 转换 黧 g 。豳g盛氇滋 g ， r 口g ， r 。 鬻 g 。 豳 g ，。 懿蕊也e ；| ；彗 g ：，r 口 g 。 r 。 ( a ) 源像素为r b ，q b ，色 g 围 g ，、 震 8 ，瓯 b de 。 g 。 阂 g ，： 阉 图3 4b a y e r 转换 ( b ) 源像素为b 如果源像素是r 或者是b ，那么其余两个颜色的目标像素值需要通过源像 江苏人学坝i j 学位论义 素的4 邻域的平均值求得：在图3 4 ( a ) 中，如需对r 1 2 像素进行b a y e r 转换，假 设转换到目标像素为( r ，g ，b ) ，则目标像素的三个值为：r = r 1 2 ， g = ( g 2 + g i , + g 1 3 + g 2 2 ) 4 ，b = ( b i + b 3 + b 2 i + b 2 3 ) 4 ；图3 4 ( b ) t 占况类似。 3 2 白平衡 摄像头采集的图像颜色往往与实际物体之间有较大的差别，这是由于光源和 光照等原因而造成了颜色的扭曲，这种颜色的扭曲可以通过对原始图像执行白平 衡操作而校j 下颜色。为了还原节果真实的颜色特征，以方便进一步处理，需要在 采集图像的同时对图像执行白平衡。 简单地说自平衡就是无论环境光线如何，仍然把”白”定义为”白”的一种功能。 在对源图像执行白平衡操作的时候，要对源图像的像素的三色乘以一个系数，以 保证其中的白色不包含任何色调。对于r 、g 、b 图像来说，这就意味着其中的 白色的r 、g 、b 的值是相等的。在经过白平衡处理后，白色将显示为纯白色， 而其他颜色将显示为较准确的颜色。经过白平衡处理后的颜色能更加准确的反映 出原物体的颜色。 自平衡也包含在m b u f b a y e r ( ) 函数中： 1 拍摄一幅狄度统一的图像。将一个扁平、光滑但不反光、具有统一狄度的 物体放置在摄像头前面，使物体的图像占据摄像头的全面视野。此物体的灰 度不能太接近白色( 太饱和) ，因为如果三色中一种以上颜色被转变为过饱 和时，就很难判断三色之间的不平衡性。 2 调用m i l 库函数m b u f a l l o c l d ( ) ，分配一个3 1 ( 或者6 1 ) 的m i l 数组， 其类型为mf l o a t ( m i l 库定义的浮点类型数据) 。 3 调用m i l 库函数m b u f b a y e r ( ) ，原狄度图像作为源图像，设置函数控制标 志参数m w h i t e b a l a n c e c a l c u l a t e 。此函数执行后，计算出白平衡 处理所需要的三个系数，并将计算出的参数写入步骤2 中分配的数组早面。 4 用摄像头再次拍摄图像 5 调用m i l 库函数m b u f b a y e r ( ) ，使用新的源图像，函数的参数中设置步骤 3 计算出的白平衡系数数组。 江苏人学顺i ：学位论文 3 3g a m m a 校正 有时候通过摄像头拍摄的图像的画面很暗或者过饱和，这就需要对图像进行 g a m m a 校正。g a m m a 是一个可以用来反映亮度的物理量。一个物理设备发出的 光的强度通常不是输入信号的线性输出。传统的c r t 具有对电压的功率反应：在 显示表面产生的亮度大约是输入电压的2 5 次方。这个数值通俗地称为g a m m a 。 为能产生j 下确的亮度必须对这一非线性进行补偿。 g 口m m 由6 艄亡h 曲m 口m t i 丘6 簧 0 ：- - 1 。_ 一l r - - ! 二一一f i 一一_ ，一o 芰 至 墓 5 耋 墓 g 矗f b l 吐 o h a 巾们删韶i 豳 ： z z ! 。 z o 5 ，f 黼 o 5 c o1 o g j m , n n n f u j 帆e 唧 g 啪曙n g u l 帅lc 咖 图3 5不同g a m m a 值的g a m m a 校止曲线 通过摄像头获取的幅图片，在显示器上显示。假设，0 表示“黑”，2 5 5 表示最大亮度。那么，用c c d 扫进的0 到2 5 5 之间的像素值直接在显示器上显 示，通常会发现和原图像的灰度并不一样。事实上，除了0 和2 5 5 外，其它中间 的灰度都不一样，这是因为不同的器件对光和电的转换特性不同，需要通过校正 才能恢复原来颜色。研究表明，它们之间存在着个指数关系： m 5 5 幸( 去) 渤珊4 ， 上式中，x 代表源图像像素值，y 代表目标像素值，g a m m a 代表g a m m a 值。 由公式3 1 可以看出，g a m m a 校正对图像的最暗部分和最亮部分影响不大， 其主要改变中间亮度的值。g a m m a 校正可以明显提高图像质量( 图3 6 ) 2 l 、毛一t专一，互j_簪暑e呼 d * “r # * ( a ) g a m m a 校l r 前 34 双缓州z ( b ) g a m m a 校n 。后 罔36g a m m a 校正效果图 本研究需要达到实时检测的目的，对速度的要求比较高。在拍摄图像的过程 中我们使用了双缓冲技术( d o u b l eb u f f e r i n g ) 柬提高系统的速度。 这罩所说的双缓冲技术，就是在调用m i i ，片函数中g r a b ( ) 拍摄图像的时候， 对其中d e s t i n a t i o n 属性轮流设置为两个图像，在拍摄的旧时对另幽像进行处理， 依次进行，从而节约系统时间，提高运算速度。 3 5 图像采集原理及1 ，要代码 m i l w b c o e f f i c i e n t s 0 2 m b u f a i l o c l d ( m s y s t e m l 一 m i l i d ，6 ，3 2 + mf l o a i m a r r a y ，m n u l l ) ；分配一个6 1 数组 f l o a t w b c o e f f i c i e n t s 6 2 27 1 10 0 ，13 9 0 04 5 ，04 5 ，04 5 ； “分配个维数组，前三位是白平衡系数，后面- 2 位g ：g a m m a 技1 f 系数 m b u f p u t ( m i w b c o e f l i c i e n t s 0w b c o e f f i c i e n l s ) ； w h i l e ( m s t o p p r o c e s s i n g ! m _ k i l l p r o c e s s i n g ) n l d i g i l i z e r l 一 i m a g e 2 mi m a g e 3 ； 7 啦定摄像头的目标幽像是n i m a g e 3 md i g i t i z e r l - g r a b ( ) ， 获取单幅图像 江功：人学硕一i ：学位论文 m b u t f b a y e r ( m 3 m a g e 3 - , m i l i d ，ml i n a g e 2 - m i l l d ，, m i l w b c o e f f i c i e n t s 0 ， m _ b a y e rg u ) ； 对m i m a g e 3 进行b a y e r 转换，目标图像是m i m a g e 2 mi m a g e 2 - - m o d i f i e d ( im c o n t e n t s ，0 , 0 ，6 4 0 ，4 7 4 ) ； 施知m i m a g e 2 其内容已经有变动 m _ i m a g e 7 一制r n a g e2 ，i m a l l b a n d s ) ； ，将mi m a g e 2 的内容复制给m _ i m a g e 7 ，m 一! m a g e 7 是显示的目标图像 m _ d i g i t i z e r l i m a g e 2 m 一i m a g e 1 ； 设定摄像头的目标图像是ml m a g e l m d i g i t i z e r l 一 g r a b 0 ； 获耿单幅图像 m b u r b a y e r ( m _ i m a g e l - m i l l d ，m j m a g e 2 - m i l i d ，, m i l w b c o e f f i e i e n t s 0 ， m _ b a y e rg b ) ； m _ i m a g e 2 - m o d i f i e d ( i m c o n t e n t s ，0 ，0 ，6 4 0 ，4 7 4 ) ； r n j m a g e 7 c o p y ( m _ i i n a g e 2 ，i m a l l b a n d s ) ； 3 6 本章小结 1 介绍了b a y e r 转换技术： 2 介绍了白平衡； 3 。g a 埘l l q a 校正技术； 4 双缓冲技术的介绍： 5 获取图像的主要代码。 2 3 江苏人学形ii j 学位论文 第四章图像的预处理 本研究在拍摄出苹果的图像后就需要对苹果图像进行特定的处理，以获取节 果的外观质量特征参数，并根据节果的分级标准，达到对： i ；= 果分级的目的。特征 的提取是本研究的一个关键点，为了获得准确的参数，需要高质量的图像质量和 一定的前期处理过程。因此，在拍摄得到的图像需要经过一定的预处理过程，包 括背景的去除、对图像进行滤波处理以及图像的分割过程，在预处理完成后才能 对苹果进行特征提取、分级等下一步的工作。 4 1 背景的去除 本研究中苹果图像的背景主要是实验平台，其与苹果的果梗、花萼区域的 颜色非常接近，如果背景的算法不合适，可能在这些区域形成空洞，影响下一步 分析和特征的提取；或者就是背景去除不完全，给苹果图像的分割造成很多的困 难。因此，有必要研究图像本身的特征，找出- g e 适合本研究的算法，以达到最 佳去背景的效果。 4 1 1 传统去背景算法 传统的去背景算法是对图像应用一个固定的阈值，根据图像的实际情况决定 高于阈值或者低于阈值的像素为背景区域。阂值的选择是去背景的算法中一个关 键的因素，可以采用固定阈值法和动念阈值法。固定阂值法需要对图像特征比较 了解爿能选择比较合适的阈值；动态阈值法是利用图像本身的特征，通过一定的 算法计算出一个闽值，算法执行过程中不需要人的参与。常见的动态阈值法为 o s t u 去背景法。 o s t u 算法是根据图像的每个像素的狄度特征计算出图像的直方图，由于 图像狄度直方图的形状是多变的，有双峰但无明显低谷或者是双峰和低谷都不明 显，而且背景和图像本身的面积难以确定的情况也常常出现，采用最大方差自动 获取阂值法能取得较为满意的效果。 江另：人学硕l ：学位论义 设l 为分禹背景和币果区域的l 鞫值。出直万图统计西 得被f 分禺后的区域1 、 区域2 占整幅图像的面积比以及整幅图像、区域1 和区域2 的平均灰度如下： 区域l 面积比b = 荟ii n j ( 4 1 ) 区域2 面积比咿萎等 ( 4 2 ) 整幅图像的平均狄度= 丢g - 1 ( ，詈) ( 4 3 ) 区域l 的平均狄度- = 击妾( 鲁) ( 4 4 ) 区域2 的平均次度：= 去萎( 鲁)(45)i+i 0 2l_h 式中，g 为图像的狄度级数。 整幅图像平均狄度与区域l 、区域2 平均狄度值之间的关系是： = 1 0 l4 - 2 0 2 ( 4 6 ) 同一区域常常具有灰度相似特征，而不同区域之间则表现为明显的灰度差 异，当被阈值，分离的两个区域问狄度差异较大时，这两个区域的平均狄度，： 与整幅图像的平均狄度之差也较大，区域问的方差就是描述这种差异的有效参 数，其表达式为： 万；= p 1 ( i 一) 2 + 0 2 ( 2 一) 2 ( 4 7 ) 式中，爵表示了图像被阈值，分割后两个区域之间的方差。显然，不同的t 值，就会得到不同的区域问的方差，也就是说区域间方差、区域1 均值、区域2 均值、区域1 面积比、区域2 面积比都是阂值，的函数，因此，上式可以写成： 万；o ) = 秒- ( ，) 【- ( ? 一】2 + 秒z ( ，) ；。) 一】2 ( 4 8 ) = 0 。( r ) 0 2 ( 饼i ( ，) 2 ( ，) 】2 被分割的两区域间方差酲( f ) 达到最大时，被认为是两区域的最佳分割状态， # 山i 咖确常阈佰丁。 2 5 江掉人学删1 学位论立 t = m a x 占；( f ) 】( 5 9 1 姒最大方差法训算得到的阈值不需要 - 为设定其他参数，这是一种自动选择 闽值的方法。 出o s t u 算法计算出合适的闽值t 后，根据本研究的特点对彩色图像j 每个点计算出其狄度，如果扶度值小于闽值t ，就将此点的r 、0 、b 值都臀为 2 5 5 就是将此点设置为白色的背景；如果扶度大于闽值t ，则不对此像素处理。 对整幅图像应用完此过程后，图像就可以将背景区域完全标识为白色的区域。 ( a ) 原蚓像 b ) 击背景幽像 綮 黔萄 刨4 i o s t u 算法古背景效果l 鍪l 从上面的图像去背景效果看，应用o s l u 虽然能去除背景但是节果上果梗 和花萼等区域出现了空洞现象，这不利于后期进行缺陷的识别，因此奉研究不能 应用o s t u 去除图像背景。 在研究了图像及其背景特点后，发现可以特图像转换到h i s 颜色空问，利用 s 对图像分割，再在r g b 颜色卒问利用 个固定的阚值去除剩余的一此点，以 鬈 江苏人学顾一1 ：学位论文 达到去除背景的目的。 在介绍去背景算法前，先介绍r g b 、h s i 两种颜色模型。 4 1 2r g b 颜色模型 颜色模型( 也称彩色空问或彩色系统) 的用途是在某些标准下用通常可以接 受的方式简化彩色规范。 r g b 颜色模型是一种面向硬件的( 如：彩色监视器和打印机) 的彩色模型。 在该颜色模型空间中的任一点代表一种颜色，由所对应的红、绿、蓝三种原色光 谱分量组成，这个模型基于笛卡儿坐标系统，考虑的颜色空间如图4 2 所示的立 方体。 r 骂g u ，b n 幽4 2r g b 颜色空间 在图4 2 中，r 、g 、b 位于三个角上；青( c y a n ) 、深红( m a g e n t a ) 和黄色( y e l l o w ) 位于另外三个角上，黑色( b l a c k ) 在原点处，白点( w h i t e ) 位于离原点最远的角上。 恢模型中，狄度等级( g r a ys c a l e ) 沿着这两点的连线分御。在本模型中，不同的颜 色处于立方体上或其内部，并可以用从原点分布的向量来定义。 在r g b 彩色模型中，所表示的图像由三个图像分量组成，每个分量图像 都是其原色图像。当传输r g b 彩色模型到监视器时，这三幅图像在荧光屏上混 合产生一幅合成的彩色图像。 4 1 3h s i 颜色模型 当入观察一个彩色的物体时，用色调、色饱和度和亮度来描述它。色调h ( h u e ) 又称为色相，指颜色的外观，用于区别颜色的名称或颜色的种类。色调可以用红、 江苏人学硕l j 学位论文 橙、黄、绿、青、蓝、靛、紫等来描述。饱和度s ( s a t u r a t i o n ) 是相对于明度的 一个区域的色彩，是指颜色的纯洁性，饱和度与所加白色的数量成反比，完全饱 和的颜色是指没有渗入白光所呈现的颜色，例如仅由单一波长组成的光谱色就是 完全饱和的颜色。亮度i ( i n s t a n s i t y ) 是一个主观的描述子，实际是不可能测量出的。 强度( 狄度) 是单色图像最有用的描述子，其是可测量并且容易解释的。本研究 在进行节果图像去除背景操作过程中使用了h s i 彩色模型，h s i 彩色模型对于 开发基于彩色描述的图像处理方法是一个理想的工具，这种彩色描述对人来说是 自然的、直观的。 o 加 b l u e m 雌i 1 a ( a ) c b )( c ) ( d ) 图4 3 h i s 彩色模型中色调和色饱和度 图4 3 显示了h i s 彩色模型中色调和色饱和度的关系。上图中给出了基于六边 形、圆形和三角形的h i s 彩色模型。在上图中可以看出原色( r 、g 、b ) 是按 1 2 0 度分隔的，二次色( 图4 3 中r 、g 、b 三原色之间的颜色) 与原色相隔6 0 度，这意味着二次色之间也是相隔1 2 0 度的。图4 3 ( b ) 显示的是六边形模型，其 中任意点的色调由与参考点的角度来决定，通常与红轴o 度角度指定为0 色调， 从这点丌始色调逆时针增长。饱和度( 距离直轴的距离) 是从原点到该点的向量 长度，其中原点就是图形的中心点。h i s 彩色空f b j 的重要分量就是垂直强度轴、 到一彩色点的向量长度和这一向量与红轴的角度。图4 4 显示了基于三角形平 面和圆形彩色平面的h i s 颜色模型，图中的黑点是一个任意的彩色点，与红轴的 夹角给出了色调，向量的长度是饱和度，在该平面中，所有的彩色的强度由平面 在垂直强度轴的位置给出。 江苏人学碰i 。学位论文 幽4 a 基丁三角形平面午吲形彩色平面的h i s 颤色模型 下面给出r o b 颜色空l 剀到h i s 颜色空间的转换关系： 给定一幅r g b 彩色格式的图像，每一个r g b 像素和h 分量可以用下面的 公式得到： 爿22 ”一目b 此处e = “，c c 。s i 一。2 ) r ：- ( g - 一b 2 v ( r4 - r 葛而b ig ) 2 ( 一口) ( g 一) i 色饱和分量与强度分别由下式给出： s ：i 一3 m _ i n ( r 一, g , b ) ( 41 2 ) + g 十b ，：! ! ! ! !3 1 假定r o b 值归一化为【0 ，1 范围内，角度日根据h s i 空间的红轴来度量。色 调可咀根据式( 4 i i ) 得到的值除以3 6 0 0 归一化为【o ，1 范围内。如果给出的r g b 江并 学q l 学镕立 值在 0 ，1 范围内，则其他两个h s l 分量已经在【0 ，1 范围内了。 4 1 4 去背景算法 本研究中，山于背景比较复杂，用传统的方法难以将背景去除干净，影响下 一步研究。经过反复的试验，发现一种适合本研究的去背景算法： 1从图像的左上角丌始，依次扫描图像上的点，取每个点的r 、g 、b 值。 2将该点的颜色从r g b 颜色空间转换到h i s 颜色空间，将步骤1 获得的 r g b 值带入公式( 41 2 ) ，计算出陵点的饱和度值s 。 3根据图像特点，设定个饱和度闽值对图像的像素点进行初步去背景处 理，判断谚点是苹果区域还是背景区域。设定的饱和度闽值为0 2 ，判 断步骤2 计算出的s 值，如果s 小于0 2 ，就将该点的原r 、g 、b 值同 时设最为2