（食品科学专业论文）基于动态序列图像的苹果外观品质在线检测与分级.pdf

江苏大学硕士毕业论文 摘要 苹果是我国加入w t o 后为数不多的具有国际竞争力的农产品之 一，但是由于种种原因苹果的出口量与生产量的比值远远低于一些发 达国家。本研究针对苹果产后的分级混乱以及分级技术落后、效率低 下等问题开发了一套苹果自动分级系统“鲫，这对于进步提高我国 苹果在国际市场上的竞争力以及为国家出口创汇等都有着现实意义。 相对人工分选精度低、速度慢、易受人为影响因素干扰等弊病， 自动分级系统精度高、速度快，客观性和稳定性都非常好1 3 1 1 。数字 视频的采集涉及到不同采集卡的特性，采集的原始图像一般都是黑白 的，需要经过相应的转换法则进行转换。动态图像的获取与处理是紧 密相关的步骤，本研究通过采用多线程缓冲技术设计了整个处理流 程。图像的连续抓拍形成了一组序列图像，各个单幅图像之间都有信 息的关联，本文对序列图像的处理设计是基于摄像头视野中三个不同 位置( 该位置有可能存在苹果，也有可能不存在) 的先后出现顺序进 行的。视野中的图像既包括待测物苹果，也包括生产线上的滚子以及 其他机械部件，背景较复杂，本文讨论了用多阈值法、图像相减法和 陷阱法等对背景进行去除。针对去除背景后的图像仍有可能存在的一 些噪声，本文采用了一些快速而稳定的去噪声方法。本系统的实时性 要求较高，后期的处理工作加强了抗干扰能力以应对各种噪声的出 现，很大程度上降低了对噪声的敏感度，所以去噪操作在本系统中是 一种可选操作。摄像头视野中最多有三个待测苹果，为取出各个苹果 的自身信息，单体分割操作则成为必然，本文讨论了快速而稳定的分 i 江苏大学硕士毕业论文 割方法。苹果的质量考核包括大小、形状、颜色、缺陷四个要素 2 1 。 大小采用了计算苹果当量直径的方法，误差在许可范围之内。形状参 数根据国家标准需要计算苹果的纵径与横径的比值h 1 ，在自动分选机 上苹果的摆放位置是随机的，无法方便的计算苹果的纵横径数据。本 文研究了旋转法和边缘4 定位法，基本实现了苹果纵横径比值的计 算。颜色参数在国家标准中指浓红色彩面积占整个苹果表面面积的比 例，本文把常规的r g b 颜色系统转化为符合人们观察习惯的h i s 颜 色系统，从而可以方便的计算颜色参数。缺陷部分涉及到区域的分割、 计数与识别，本文讨论了平均阈值法、自动取域法、区域生长法、s o b e l 算子法等多种方法进行斑点分割，然后对这些可疑斑点进行标记计 数，利用形状复杂度、色度、纹理、神经网络等对分割出的可疑标记 区域一一进行判别，识别率较高。本系统的运行是基于服务器一客户 端的网络结构的，所有的终端处理数据都要汇总，最终给出某一个待 检物的具体参数与级别。 本研究自行开发了一套应用软件系统，主要完成对生产线上苹果 的分选工作，界面友好，功能齐全。 关键词：苹果；图像；动态；分级 江苏火学硕士毕业论文 a b s t r a c t t h ea p p l ei so n eo ff e wa g r i c u l t u r a lp r o d u c t sw i t hi n t e r n a t i o n a lc o m p e t i t i v e n e s s a f t e rt h ea c c e s s i o nt ot h ew t o b u tt h er a t i o so ft h ee x p o r tq u a n t u mo ft h ea p p l ea n d a m o u n to fp r o d u c t i o na r ef a rl o w e rt h a ns o m ed e v e l o p e dc o u n t r i e sf o rv a r i o u sr e a s o n s t h i sr e s e a r c hh a sd e v e l o p e do n ea u t o m a t i ca p p l ec l a s s i f y i n gs y s t e ma i m i n gd i r e c t l ya t m a n yq u e s t i o n ss u c ha s c o n f u s e dc l a s s i f i c a t i o n ，b a c k w a r di n t e c h n i q u ea n dl o w e f f i c i e n c y t h i sw a yc a nf u r t h e ri m p r o v et h ec o m p e t i t i v e n e s si nt h ei n t e r n a t i o n a l m a r k e to fa p p l eo fo u rc o u n t r ya n da l s ot h e r ei sar e a l i s t i cm e a n i n gf o rn a t i o n a l f o r e i g ne x c h a n g ee a r n i n g t oa i md i r e c t l ya tl o w e rs e l e c t i n gp r e c i s i o n ，s l o w e rs p e e da n dm a n yo ft h e i n f l u e n c ef a c t o r sa r t i f i c i a l l y , t h ea u t o m a t i cc l a s s i f y i n gs y s t e m so b j e c t i v i t ya n ds t a b i l i t y a r ea l lv e r yg o o d t h ep r e c i s i o ni sf i n ea n dt h es p e e di sf a s t ，t o o t h ec o l l e c t i o no ft h e d i g i t a lv i d e oi n v o l v e s d i f f e r e n tc h a r a c t e r i s t i c so fg a t h e r i n gc a r d s g e n e r a l l y , t h e p r i m i t i v ei m a g e s a r ea l lb l a c k - a n d w h i t e ，n e e dc h a n g eb yt h ec o r r e s p o n d i n g c o n v e r s i o nr u l e t h eo b t a i n i n go fd y n a m i ci m a g ea n dp r o c e s s i n ga r eac l o s e l yl i n k e d s t e p t h i sr e s e a r c hd e s i g n st h ew h o l ep r o c e d u r et h r o u g hm u l t i p a lt h r e a d sb u f f e r i n g t e c h n i c a l c o n t i n u o u si m a g eg r a b i n gh a sf o r m e dag r o u po fs e q u e n t i a li m a g e s t h e r ei s r e l a t i o no fi n f o r m a t i o nb e t w e e ne a c hs i n g l ei m a g e i nt h i sp a p e rt h ep r o c e s s i n gd e s i g n o ft h es e q u e n t i a li m a g e si sb a s e do nt h et h r e ed i f f e r e n tp o s i t i o n sa p p e a r a n c eo fa p p l e s o n eb yo n e ( m a y b et h e r ea r ea p p l e si nt h i sp o s i t i o n ，m a y b en o t ) t h ei m a g e si nt h e f i e l do fv i e wi sn o to n l yt h ea p p l e sw a i t i n gf o rm e a s u r m e n tb u ta l s oi n c l u d i n gt h e r o l l e r si np r o d u c t i o nl i n ea n do t h e rm e c h a n i c a lp a r t sa b o v el i n e 。t h eb a c k g r o u n di s r e l a t i v e l yc o m p l i c a t e d t og e tr i do ft h eb a c k g r o u n d ，t h i sp a p e rh a sd i s c u s s e dt h e m u l t i p a lt h r e s h o l d sm e t h o d ，i m a g e ss u b t r a c t i o na n dt r a pm e t h o de t c t h e r em a y s t i l l b es o m en o i s e si nt h ei m a g ea f t e rg e t t i n gr i do ft h eb a c k g r o u n d ，s ot h i sp a p e r i n t r o d u c e ss o m ef a s ta n ds t e a d ym e t h o d st og e t t i n gr i do ft h en o i s e t h er e a l t i m e c h a r a c t e ro ft h i ss y s t e mi se x p e c t e dr e l a t i v e l yh i g h p o s t e r i o rw o r ko fp r o c e s s i n g s t r e n g t h e n st h ea n t i i n t e r f e r e n c ea b i l i t yt od e a lw i t hv a r i o u sk i n d so fa p p e a r a n c e so f n o i s e s ，w h i c hh a v i n gr e d u c e dt h es u s c e p t i b i l i t yt ot h en o i s et oag r e a te x t e n t s oi ti sa 江苏大学硕士毕业论文 k i n do fo p t i o n a lo p e r a t i o nt og e tr i do ft h en o i s e si n t h i ss y s t e m t h e r ea r et h r e e a p p l e sw a i t i n gf o rm e a s u r m e n ti nt h ef i e l do fv i e wa tm o s t i no r d e rt ot a k eo u to n e s o w ni n f o r m a t i o no ft h e i n d i v i d u a la p p l e ，s i n g l ed i v i s i o nh a sb e c o m ei n e v i t a b l e o p e r a t i o n t h i sp a p e rh a sd i s c u s s e daf a s t e ra n ds t e a d yd i v i s i o nm e t h o d t h e c h a r a c t e r i s t i cv a l u eo fa p p l e si n c l u d e st h ef o l l o w i n gf o u rv a l u e s ：t h es i z e ，t h ef o r m ， t h ec o l o ra n dt h ed e f e c t t h es i z eh a sa d o p t e dt h em e t h o do fc a l c u l a t i n gt h ea p p l e s e q u i v a l e n td i a m e t e ra n dt h ee r r o r i sw i t h i nt h er a n g eo fp e r m i t t i n g t h ef o r m p a r a m e t e ri so b t a i n e db yc a l c u l a t i n gt h er a t i oo fl e n g t h w a y sf o o t p a t ha n dt r a n s v e r s e f o o t p a t h o ft h ea p p l ea c c o r d i n gt ot h en e e d so fn a t i o n a ls t a n d a r d b e c a u s et h e l o c a t i o no ft h ea p p l ei sa tr a n d o mo nt h ea u t o m a t i cs o r t i n g p l a n e ，t h ed a t a o f l e n g t h w a y sf o o t p a t ha n dt r a n s v e r s ef o o t - p a t ho ft h ea p p l ea r eu n a b l et oc a l c u l a t e c o n v e n i e n t l y t h i sp a p e ra d o p t sr o t a t i n gm e t h o da n de d g e o r i e n tm e t h o d i ta c h i e v e s a p p l e sa s p e c tr a t i oo nt h ew h o l e t h ec o l o rp a r a m e t e rm e a n st h ep r o p o r t i o no ft h et h e a r e ao fd e n s er e dc o l o ra n dt h ea r e ao fw h o l ea p p l e ss u r f a c ea c c o r d i n gt ot h en a t i o n a l s t a n d a r d t h i sp a p e rt u r n sr o u t i n er g bc o l o rs y s t e mi n t oh i sc o l o rs y s t e ma c c o r d i n g t op e o p l e sc u s t o m s s oi tc a nc a l c u l a t ec o l o r p a r a m e t e rc o n v e n i e n t l y t h ed e f e c tp a r t i n v o l v e sd i v i s i o n 、c o u n tin ga n dd i s t i n g u i s h i n go ft h ea r e a t h i sp a p e rd i s c u s s e s m a n yk i n d so fm e t h o d st od i v i d es p o t ，s u c ha sa v e r a g et h r e s h o l dv a l u em e t h o d ， a u t o m a t i c a lt h r e s h o l ds e l e c t i n gm e t h o d ，a r e ag r o wm e t h o d ，s o b e lo p e r a t o rm e t h o de t c t h e nc a r r yo nm a r k i n ga n dc o u n t i n gt ot h e s es u s p i c i o u ss p o t s a f t e r w a r d ，w ec a l l u t i l i z et h ef o r mc o m p l e x i t y 、t h ec o l o rd e g r e e 、t h et e x t u r ea n dn e u r a ln e t w o r ke t ct o d i f f e r e n t i a t et h es u s p i c i o u sa r e at h a ti sd i v i d e d t h ed i s t i n g u i s hr a t ei sr e l a t i v e l yh i g h t h eo p e r a t i o no ft h i ss y s t e mi sb a s e do nt h en e t w o r ks t r u c t u r eo fc l i e n t s e r v e r a l l t e r m i n a lp r o c e s s i n gd a t as h o u l db eg a t h e r e df i n a l l yt op r o v i d eac e r t a i np a r a m e t e ra n d r a n ko ft h ea p p l ew a i t i n gt od e t e c t t h i sr e s e a r c h d e v e l o p sa na p p l i c a t i o ns o f t w a r es y s t e mb yo n e s e l f ，m a i n l y p e r f o r ms o a i n go ft h ea p p l eo nt h ep r o d u c t i o nl i n e t h ei n t e r f a c ei sf r i e n d l ya n dt h e f u n c t i o ni sm u l t i p l e ，t o o k e y w o r d s ：a p p l e ；i m a g e ；d y n a m i c ；g r a d i n g i v 独创性申明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容以外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期：。k 厂年么月，弓目 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存和汇编本学位论文。 保密囹 本学位论文属于 ，在弓年我解密后适用本授权书。 不保密口 学位论文作者签名： 嗡却 指导 幻年善月，弓日 枷声 钥伊 江苏大学硕j ：毕业论文 1 1 研究的目的和意义 第一章绪论 苹果是世界四大水果之一，据2 0 0 1 年世界粮农组织统计，近年来，我国的 苹果栽植面积、总产量居世界首位，但出口数量却很少，只占我国苹果生产总量 的1 5 左右，大约在4 万吨左右，这个出口量与发达国家相比较是非常小的， 如法国的出口比例占到本国的4 0 多，而出口量高达1 2 0 万吨。造成我国出口比 例比较小的主要原因，一个是目前我们国家苹果的种植不能做到适地适树，不是 生产在最适宜的区域罩。第二个问题，目前的果品质量比较差，通过对目f j i 国内 外的市场分析可知，我们国家的节果生产和苹果的价格，高档果品供不应求，价 格稳中有升，而低档果品存在着卖果难，农民销不出去的困境。就以价格为例， 2 0 0 1 年统计，我国的果品出口每吨的价格是3 2 4 5 美元，世界平均为4 4 3 美元， 同本为2 1 4 5 美元，美国为1 0 5 9 美元。就此情况分析，发展优质果品已成为迫在 眉睫的趋势了。 如何发展优质苹果当然有很多方面。首先，苹果品种是否优良，品种结构 是否合理，这主要包括早熟，中熟，晚熟三个品种，目前节果生产以晚熟品种比 例偏高，主要是以富士为主，这个比例可能占到我们整个节果量的8 0 以上；其 次是有没有采用先进的栽培技术，是否是区域化种植，产业化生产。目前就这一 点而言，我国与节果出口排在世界前三位的国家之间的差距还很明显。除此之外 我国节果的产后处理也存在很大问题，先进苹果生产国的鲜食苹果都需要经过机 械清洗、分级、包装等步骤，然后再投放市场，而我国经过此种处理的节果仅占 苹果总产量的1 左右。我国的= l ；= 果分级技术落后，大部分还是靠人工分选，少 部分采用半机器分选。人工分选效率很低，分选也很不准确，长时间用眼睛去识 别，容易形成视觉疲劳从而造成分选偏差，严重影响分选的准确性。且苹果分级 标准中有较多的量化要求，靠人眼睛是很难准确判断的。而机器分选方面，我国 目前主要采用的还是一些半机器分选设备，只能根据节果的大小、重量特征等进 行分级，对于缺陷以及着色面积等特征，还无法进行机器识别，仍然依赖人工参 与。从以上这些方面来讲，研究高效的苹果自动分级系统对于提高我国节果在国 际市场上的竞争力有着现实意义。 江苏人学硕：i 二毕业论文 1 2 机器视觉概述 机器视觉是指用计算机来实现人的视觉功能，也就是用计算机来实现对客 观的三维世界的识别。机器视觉是一门新兴的发展迅速的学科，七十年代初期在 遥感图片和生物医学图片分析两项应用技术取得卓有成效的成果后丌始崭露头 角。八十年代以来，机器视觉的研究已经历了从实验室研究走向实际应用的发展 阶段，从简单的二值图像处理到高分辨率多灰度的图像处理，从一般的二维信息 处理到三维视觉机理以及模型和算法的研究，这些都取得了很大的进展。机器视 觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。将近 8 0 的视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的 产品质量、采集产品数据等。机器视觉系统一般采用c c d 摄像头摄取检测图像 并转化为数字信号，再采用先进的计算机硬件与软件技术对图像数字信号进行处 理，从而得到所需要的各种目标图像特征值，并由此实现模式识别、坐标计算、 狄度分布图等多种功能。然后再根据其结果显示图像，输出数据，发出指令，配 合执行机构完成位置调整，好坏筛选，数据统计等自动化流程。与人工视觉相比 较，机器视觉的最大优点是精确，快速，可靠，以及数字化。现在，随着图像 处理技术的同趋先进与计算机硬件成本的下降和计算机处理速度的提高，在农 产品品质自动检测和分级领域应用机器视觉系统已变得越来越具有吸引力。农 产品在其生产过程中由于受到人为和自然等复杂因素的影响，产品品质差异很 大，如形状、大小、色泽等都是变化的，很难整齐划一，故在农产品品质检测与 分析时要有足够的应变能力来适应情况的变化。7 0 年代术以来国际上许多研究 人员已为丌发用于农产品品质自动识别和分级的机器视觉系统倾注了大量的心 血。 1 3 国内外研究现状及发展趋势 在进入二十一世纪前，国内的视觉系统大多随着国外跨国企业的生产线进 入中国，经过数年的发展，现在国内许多自动化设备制造商正将机器视觉技术用 于其产品设计以提高功能及性能档次，改善产品及加工质量。机器视觉最先应用 于工业，而随着生活水平的提高，人们也逐渐开始重视同常食用品的外观质量， 2 江苏大学硕士毕业论文 这在发达国家表现的尤为突出。在日本、美国等国家从七十年代开始就已经在农 业计算机视觉方面进行了广泛而深入的研究，涉及领域有获取作物生长状态信 息、农产品自动化收获、农产品品质鉴定等方面。这期间比较有代表性的是：1 9 8 4 年，t a y l o r 等首先报道了分别利用线扫描和模拟摄像机检测苹果损伤的试验，结 论为利用数字图像技术检测苹果损伤应该可以达到人工分级的精度。1 9 8 6 年， r e h k u g l e r 和k r o p 研究了利用机器视觉进行苹果表面碰压伤检测并依据美国苹 果标准进行了分级，研究试验取得了一定效果。1 9 9 7 年，n a k a n o 1 研究了红富 士苹果的颜色分级，采用二级神经网络，一级神经网络依据像素的色泽将每个果 面上的像素分为6 类，准确率为9 5 ，但容易将损伤表面误判为果梗区域b 1 ，二 级神经网络则依据整个果面的颜色状况及一级神经网络的输出值把苹果分成5 个 级别，准确率只有7 5 。1 9 9 8 年，l e e m a n s 1 将苹果上的每一个像素的r g b 值与 一个标准颜色参考模型作比较，从而对苹果图像进行缺陷分析。w e n s d t a o ”用 苹果的近红外图像对苹果进行缺陷分割，他们取得了每秒识n 5 个苹果的速度， 具有较高的识别率，但在识别果梗和果萼区域的时候有问题巧。在国内，计算 机视觉在农业方面的的应用起步比较晚，目前只有中国农业大学、浙江大学、江 苏大学和华南农业大学等单位进行了研究。方如明3 1 教授早在1 9 9 0 年就开始了 利用计算机视觉技术进行农产品品质的研究。1 9 9 7 年，陈晓光8 1 等设计了用于 综合评价苹果果型的计算机视觉系统。同年，杨秀坤踟等提出了应用计算机视 觉技术检测苹果表面缺陷的方法。1 9 9 9 年，王江枫、罗锡文等探讨了应用计算机 视觉技术进行芒果质量及果皮损坏检测的方法，分析了确立所需图像区域的算 法，建立了芒果质量与其投影图像的相互关系。2 0 0 0 年，中国农业大学的李庆中 7 1 博士对静态苹果的进行了检测和分级。其中用了一些创新性的思想如通过平 面镜的反射，反映苹果的所有表面，但平面镜在生产中容易被覆盖较多的灰尘， 在实际生产中并不是很合适。2 0 0 2 年，中国农业大学的冯斌“0 1 进行了较系统的 苹果分级研究。根据动态图像采集系统的要求，提出了动态图像采集、定位、分 割等处理过程。文中通过求得苹果的形心来确定轴向的算法是假设苹果形状对称 且处于理想位置，却没有考虑到实际生产中苹果的位置和形状的不确定性，从而 导致一些算法与实际脱节，但总体来讲已经有很大的进步。 江苏人学硕i ：毕业论义 1 4 本研究的主要内容 本研究是国家“8 6 3 ”重点资助项目“农畜产品品质快速无损检测技术”的 重要组成部分，主要用来对苹果进行快速分级。其分级依据是节果外观品质的分 析，本研究侧重于相应软件系统的开发。以下是主要的研究内容： 1 系统运行的载体涉及较多的硬件装置，本研究需要对不同的装置作相应的设 计和选型工作。 2 动态序列图像的处理本身比较复杂，本研究需要设计整个过程的结构框架和 处理流程。 3 本研究的图像采集设备其信号流不是标准的模拟传输格式，如何快速f 确的 采集图像需要结合摄像头和采集卡的特性作程序上的补充。 4 所获图像需要进行一定的预处理操作，且要结合本研究对象物的特点设计快 速而准确的预处理方法。 5 苹果的尺寸、形状、颜色和缺陷四个特征参数的提取是本研究的核心。既要 分级精度高，同时能与检测线的速度相适应。 6 为了能综合网络中所有终端的运算结果并结合国家质量判定标准而给出最 终判断，本研究需要解决如何组织多机通讯以及阶段性运算结果的实时存 储。 1 5 本章小结 1 叙述了目前我国苹果产业的现状，阐明了开发本系统的目的和意义。 2 介绍了机器视觉的一些概念。 3 介绍了国内外应用机器视觉技术对苹果进行质量分级的研究现状。 4 介绍本研究的主要内容。 4 苏犬# ml 毕n 丘 第二章苹果图像采集装置研究 图像采集装置是整个系统运行的薮体，主要涉及到生产线、光箱、光源、 摄像头、采集卡、触发器和计算机等。本研究采用的苹果是红富士系列，以不同 的等级( 人工分选) 从烟台苹果生产基地购得。整个装置是一个有机的整体，各 自承担不川的任务。 21 生产线简述 生产线在本系统【 l 是条多功能的输送带t 2 4 1 。节果一边随着输送带移动 边白转，使其整个表【自】充分无疑的展不在摄像头视野中。无级变速电机控制输送 带的传输速度和运转方向，从而根据需求可以作相应的改变。以下是研制的生产 线示意幽。 酣2 1 生产线 22 光源的选择和光箱的布置 照h 月足影响机器视觉系统输入的重要匹j 素“1 ，因为它直接影响输入数据的 质量。d 于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选 择相应的照明装置以达到最佳效果。光源的选扦需要考虑很多囡紊，常用的几 种可见光源是白帜妇、日光灯、卤索妇和l e d 等。在本研究中因为要考虑节粜表 面的颜色，所以整个系统的光源需选择白色光源。白色l e d 价格非常昂贵，而 且l e d 般只适合小守问的光照，光照弱，无法满足本研究的要求。自帜幻与 江苏大学硕士毕业论文 卤素灯是热光源，光照强但产生的光般带有桔黄色。日光灯是白色光源，光照 强，且价格适中，虽然日光灯的光能随着使用时间的增加会有所下降，没有l e d 等光源稳定，但对本研究精度已经足够，所以本系统采用目光灯作为光源。由于 环境光的存在会使输出的图像数据产生噪声，所以需要采用加防护屏的方法，减 少环境光的影响。光箱的作用就在于此，本研究中搭建的光箱其外部用遮光性很 好的遮光布蒙盖，基本杜绝了环境光的作用。考虑到苹果的特殊形状，为使其表 面能够均匀受光，光箱中的光源采用屋顶状位置排放。 2 3 摄像头 摄像头是原始图像信号的获取装置。目前摄像头种类繁多，按照内部传感器 的不同可以分为c c d 摄像头和c m o s 摄像头；按照采集的颜色可以分为单色摄 像头和彩色摄像头；按照信号的不同传输方式可以分为模拟摄像头和数字摄像 头。 c c d ( 电荷耦合器件，c h a r g ec o u p l e dd e v i c e ) ，是7 0 年代初发展起来的新 型半导体光电成像器件。美国贝尔实验室的w s b o y l e 和g e s m i t h 于1 9 7 0 年提 出了c c d 的概念，随后建立了以一维势阱模型为基础的非稳态c c d 的基本理 论。3 0 多年来，随着新型半导体材料的不断涌现和器件微细化技术的日趋完备， c c d 技术得到了较快的发展。c c d 是现在最常用的机器视觉传感器。上面分布 着光敏二极管的线性阵列或矩形阵列，通过一定顺序输出每个二极管的电压脉 冲，实现将图像光信号转换成电信号的目的，信号强度随时间变化，视频信号伴 随垂直同步信号( 定义为屏幕的起始点v s y n c ) 和水平同步信号( 定义扫描线 的起始点h s y n c ) 。输出的电压脉冲序列可以直接以r 5 - 1 7 0 制式输入标准电视 显示器，或者输入计算机的内存，进行数值化处理。现在市场上公开销售的c c d 摄像头，无论是在图像格式、分辨率还是敏感度等各个方面都有着广阔的选择空 间。c c d 摄像头所提供给我们的优越性能，可以满足9 9 的项目要求。 与c c d 摄像头相比，虽然c m o s 摄像头有着如：工艺简单、成本低廉、低 功耗、系统整合性好、区域读取图像灵活等诸多优点。但由于生产工艺上的差距， c m o s 目前在除噪及灵敏度方面仍逊于c c d ，因此使得c m o s 摄像头现在处于 民用阶段。 6 江苏人学硕士毕业论文 多数彩色c c d 摄像头所采用的技术，是在单一传感器前装置一系列彩色滤 片，从而令不同色彩的光进入到不同c c d 点象素中去，也就是说不同象素中所 感受到的只是某一种单色光的灰度。然后利用软件方法结合当前象素周边的象素 值计算当前象素的r g b 分量。就目前的生产工艺来说，由于使用滤片使得彩色 摄像头的灵敏度远低于单色摄像头。同时由于彩色摄像头中的象素只“存放”一 种色光的灰度值，因此彩色摄像头的分辨率也远远不及单色摄像头。这便使得彩 色摄像头只能用于需要“色彩认识”的系统，还不能被普通使用于高精度的测量、 定位等系统。但是在一些涉及到颜色研究对象上就必须要用到彩色摄像头，而且 随着工艺的进步和成本的降低，已经出现了三个采集芯片的摄像头，可以达到与 黑白摄像头同样的精度。 在模拟信号摄像头中，从传感器中传出的信号，被转换成模拟电压信号， 即普通视频信号，后再传到图象采集卡中。而在数字信号摄像头中，信号自传感 器中的每一个象素输出后，在摄像头内部就被数字化了，数字化之后的图象可直 接被计算机所接受。模拟信号摄像头的成本一般上低于数字信号摄像头。但是在 除噪、速度方面则比数字信号摄像头来得差。如我们常常听到的，e i a ，r s 一1 7 0 、 n t s c 、c c i r 、p a l ，都是常用模拟信号传输标准。数字信号摄像头除了在除噪 及速度方面优于模拟信号摄像头外，由于是数字信号传输方式，因此在计算机中 所得到的由数字信号摄像头拍出的图象，更加“逼真”。而且，数字信号摄像头 在分辨率及万象速度方面有更多选择。 为获取苹果表面尽可能多的信息，本研究采用了三个c c d 摄像头，从不同 的角度拍摄，视野中留有三个苹果的位置，当苹果进入视野时会做相应的自转， 这样每一个苹果都会被拍摄到9 幅图像。本研究选用美国的u n i q 数字摄像头， 该摄像头的相关特点如下： c c d 芯片：1 3 ”逐行扫描 有效象素：6 5 9 4 9 4 帧率：11 0 f p s 数字信号输出：1 0 一b i t ，r s 6 4 4 电子快门：1 11 0 1 6 2 0 0 0 可选 7 江苏大学硕士毕业论文 2 4 采集卡 图像采集卡是图像采集部分和图像处理部分的接口。图象经过采样、量化 以后转换为数字图象并输入、存储到帧存储器的过程，叫做采集、数字化。由于 图像信号的传输需要很高的传输速度，通用的传输接口不能满足要求，因此需要 图像采集卡。图像采集卡还提供数字i o 的功能。通过高速p c i 总线可实现直接 采集图象到v g a 显存或主机系统内存，这不仅可以使图象直接采集到v g a ，实 现单屏工作方式，而且可以利用p c 机内存的可扩展性，实现所需数量的序列图 象逐帧连续采集，进行序列图象处理分析。此外，由于图象可直接采集到主机内 存，图象处理可直接在内存中进行，因此图象处理的速度随c p u 速度的不断提 高而得到提高，因而使得对主机内存的图象进行并行实时处理成为可能。 根据实际情况，本研究采用加拿大m a t r o x 公司的m e t e o ri i 系列的采集卡。 该采集卡的主要特点如下： 采集数字面阵线阵信号，包括多抽头配置 3 2 一b i t 宽r s 一4 2 2 或l v d s 接口 触发输入，时钟输出 p c i 总线主模式3 2 - b i t 3 3m h z 扩展板上缓存，确保采集 2 5 触发器 摄像头的默认工作模式是连续拍摄，而实际的检测过程是针对某一幅适当的 图像而言，所以必须在摄像头的当前视野中出现我们需求的物体时进行瞬时捕 捉，这一切功能是由触发器完成的。触发器一般有发射端和接收端，当有物体切 断两端之间的光连通时，内部的发光二极管阻断电路，产生一个低电平信号，然 后采集卡捕捉到这个信号瞬时控制摄像头进行单幅图像拍摄。 2 6 本章小结 完整的图像处理系统离不开图像采集装置，而合理的硬件配置是整个系统稳 定运行的基础。在本研究中设计到的硬件设备较多，有些需要根据实际情况做相 应的设计，有些则要进行正确的选型。 苏土学碗# n 镕女 第三章苹果在线检测与分级的软件系统 较件系统包括总体的结构和流程设计”、快速高质量的图像获取、对所款 罔像进行必要的预处理操作、提取苹果的四个特征参数、在线分级以及运算结果 的宴时存储等几个部分。其运行界面如下： 31 软件系统的总体结构和流程设计“。1 本节利用多线程技术殴汁了整个系统运行的结构，考虑到其他各种吲素，该 结构采用了缓冲的处理方式。随着输送带的运转，不断有待测苹果进入摄像头视 野，本节由此建立一个苹果冒像的序列处理流程。”。以下对这两部分分别进行 介绍。 311 基于多线程的缓冲结构设计 3i 11 多线程技术简介 进程是正在执行的程序，而线程是程序中的个执行蹄径，它在进程的上f 江苏火学硕士毕业论文 文中执行。进程中的每个线程都独立执行。它们共享进程提供的各种资源：如代 码、数据、虚拟地址空间等，而且还有自己的状态和私有资源。每个线程都有自 己的一个私有堆栈，并维持一个指向该堆栈的堆栈指针。当操作系统创建了进程 后，就会相应创建一个线程执行进程中的代码，通常把这个线程称为该进程的主 线程。主线程在运行过程中可能会创建其他线程，由主线程创建的线程也可以创 建其他的线程。这样就使得多个线程在同一个进程空间中执行。 操作系统在需要处理器时间的线程之间分割可用处理器时间，并依据线程的 优先级轮流为每个线程分配处理器时间片。时间片结束，当前执行的线程被挂起， 调度发生，另一个线程继续运行。在切换线程时，操作系统将保存被抢占的线程 的线程上下文及重新被调度的线程上下文。上下文恢复后，线程就从上次被抢占 的位置继续执行。 在本系统中最典型的多线程技术运用就是实时拍摄( g r a b c o n t i n u o u s ) 。主线 程即用户线程，主要是支持用户操作的，比如响应键盘鼠标等。辅助线程则是用 来实时拍摄的，如果实时拍摄过程不是在辅助线程里，那所有的用户操作都将得 不到响应。 3 1 1 2 本系统的缓冲结构设计 缓冲器多是为了平衡速度不匹配而设计的。本系统中对于采集到的每幅图像 的处理任务并不一样，从而造成每幅图像的处理时间不等。而图像采集速度是一 定的，从而形成采集速度与处理速度之间的速度不匹配。该缓冲结构是基于多线 程技术的，且三个辅助线程并不是同时启动的，是在相应的条件满足之下，由某 个线程启动。 所谓动态图像的处理就是对连续采集到的图像进行连续的处理，但具体处理 的仍然是一幅幅静止的图像。所以摄像头的拍摄动作只在有用对象物进入视野时 才开始，而这个动作的开始就是一个触发过程。 本系统采用的触发装置是光电耦合传感器，有发射端和接收端。当系统开始 运行的时候，触发就进入一个无限等待状态，也即系统等待外界的中断而给出实 时响应的过程。节果随着生产线的移动，切断了发射端与接收端的光连通，因为 系统设置成从高电平到低电平的过程为有效，所以从连通到阻断就产生一个触发 信号，这个信号被系统捕捉到且同时通知摄像头进行拍摄动作。摄像头拍摄结束 1 0 江苏大学硕士毕业论文 马上又处于准备状态，等待系统发过来的下一个拍摄信号，如此周而复始。 这个等待触发的过程就是第一个辅助线程。 拍摄到的图像随后进入一个缓冲区，等待图像处理器的操作。图像处理器在 系统开始运行的时候也已经启动，也进入了一个无限等待状态，然后不断的探测 缓冲区，判断缓冲区是否有有效的信息。如果找到有效信息，就开始真正意义上 的图像处理操作。该操作是第二个辅助线程。 因为缓冲区的容量有限，所以处理结束的图像需要从缓冲区中删除。删除操 作也要进入一个无限等待状态，在缓冲区中有信息的时候进入，而等待的是图像 处理器在操作结束后发送过来的完成信号。删除操作是第三个辅助线程。整个过 程的程序流程图如下： 图3 1 系统流程图 江苏人学硕j ：毕业论文 3 1 1 3 几点注意 1 ) 关于临界变量 m _ i m a g e m o d i f y 是图像处理操作的一个全局变量，如果图像拍摄完进行存储 时也是用这个全局变量，就会造成临界变量的误用。当图像处理线程的时间片用 完时，处理状态是随机的，这样以一个随机的图像状态存储另一幅待处理的图像， 造成的结果是不可预料的。 2 ) 关于互相通信 当多个运行的任务存在一定的依赖关系或次序关系时，必须有一种机制使它 们相互通信，以确保它们的同步运行。图像处理线程先是查询是否有有效信号， 有则处理，无则等待，一旦有信号过来就要及时通知该线程开始工作。此处用了 一个信号量m _ e v e n t w a i t t r i g g e r 来同步线程的运行。 3 1 2 苹果图像的序列处理流程 3 1 2 1 序列图像简介 序列图像一般是对于某个连续事件的等时间段的快照组，为得到一种感觉上 的连贯性，时间段一般都是相等的，比如拍摄电影的时候就以固定的速度比如 2 4 帧s ，这样就不会出现跳跃的画面。当然如果不需要这种连贯性，快照组也 不需要等时间段。在本处理过程中，序列图像还有另外一层意思，即针对单个苹 果的图像序列。本研究中采用了三个摄像头从不同的位置拍摄，且每一个摄像头 的视野都有三个苹果，这样每一个苹果就有9 幅图像，但序列组并不包含所有的 9 幅图像，而是针对单个苹果的某一视野中的三个不同位置图像。 3 1 2 2 本系统序列处理路程设计 摄像头的视野图像中共有三个苹果，也就是说，对于某一个苹果，在摄像 头视野中将会出现三次(