计算机视觉技术在农业中的应用

计算机视觉技术在农业中的应用

农业基础研究领域随着科学技术的发展，计算机视觉技术的应用渗透到了不同的领域。目前,在农业中的应用主要有以下4个方面:(1)农产品的品质检测:水果、蔬菜的检测与分级;禽蛋、肉食类的检测与分级;经济作物的检测与分级,如烟叶、茶叶等;谷物籽粒的检测与分级,如大豆、花生、玉米、大米等。(2)收获机器人:日本在这方面的研究较多,如摘水果机器人,温室或大棚等设施农业中的番茄、蘑菇、黄瓜、卷心菜、葡萄收获机器人,挤奶机器人等。其机器视觉部分一般是CCD摄像机与激光扫描型距离传感器相结合,从而完成对物体的三维综合测量。(3)精细农业:所谓精细农业(3S农业)即把地理信息系统(GIS)、地面定位系统(GPS)及遥感技术(RS)有机组装在一起并应用到现代农业中,这是未来农业发展的方向。在3S农业中,机器视觉技术也起着重要作用,如利用多光谱遥感成像技术进行农作物产量的估测,为中耕服务的杂草识别技术,为植保服务的病、虫害识别与预报技术,以及大型牧场的管理等。此外,还有农业机械的自动化导向视觉技术、秧苗移栽机的视觉技术等。(4)生物生长状态的监控技术:利用计算机视觉在设施农业中进行植物生长状态的检测与控制、动物行为的监控、水产养殖中鱼苗及虾苗的监控,农业基础研究中生物细胞的检测及组织培养的检测等。目前国内外研究比较多的是农产品的品质检测。在水果品质检测方面,国外除了进行外部品质(如大小、形状、颜色、表面缺陷等)检测外,还进行其内部品质的无损检测,有些检测项目已经商品化,且能达到实时速度。在国内,水果的品质检测研究从90年代才开始,仅停留在外部的品质检测上,且远没达到实时检测分级的水平。我国水果的生产在整个农产品的生产中占有很大的比例,是重要的外贸出口产品。但由于产后处理不够,使得外销水果的品质难以保证,在国际市场上缺乏竞争力。其原因首先是检测与分选的手段落后。在我国,水果分级基本上仍由人工完成。人工分级的缺点主要有:劳动量大,生产率低,分级标准难以实现,分级精度不稳定。因为在水果分级标准中,着色面积和缺陷面积的度量,仅凭人的视觉难以精确区分,且人长时间用眼,会造成疲劳及情绪的不稳定,从而造成分级误差的波动。其次,水果的内部品质缺乏检测手段,使水果的内外品质无法保证。因此,研究和开发水果自动实时分级系统,选出高质量的水果,为国家创取外汇,在我国具有重要的经济价值和广阔的应用前景。1质的测定水果实时分级系统主要功能是水果外部品质和内部品质的自动检测。水果的外部品质检测的项目有大小、形状、颜色、表面缺陷等,内部品质无损检测的项目为水果的硬度、糖含量、酸度、口味及某些内部缺陷等。1.1自动化检测系统的缺陷水果的尺寸和颜色检测技术已比较成熟,且在国外已经实现自动化检测,在国内也有按重量或尺寸分级的系统。但果面的缺陷检测却一直成为水果实时分级的障碍。果面缺陷检测的技术比较复杂,目前存在以下几方面难题。1.1.1水果图像级别与旋转速度不一致在水果分选生产线上,输送机构输送水果并把水果整个表面呈现给摄像机,这是水果实时分级系统比较关键的组成部分,因为当水果通过时,要求视觉系统能快速检查每个水果的全部果面,即使很小的缺陷面积,也会使得水果级别发生很大变化。同时,设计的视觉分级系统必须满足高生产率的要求。在这方面,国外学者(Growe,1996,Tao,1996)采用滚子输送带使水果一边移动一边自身转动,从而使安装在输送带上方的摄像机能采集到水果的多个面的图像,达到全表面检测的目的。但由于水果大小和形状不规则,造成水果旋转速度不一致且难以保证按同一轴线旋转。此外,水果旋转两端的表面部分摄像机无法采集到,因此,分级误差较大。1.1.2梗、姜片和缺陷区的检测Miller等(1991)对桃子的分选试验表明:因不能正确区分水果表面的缺陷和梗、萼凹陷区,由此产生的分级误差为25%左右。Rehkugler等(1986)利用机械定向机构使苹果梗、萼处于垂直方向并绕梗萼轴旋转,CCD线扫描摄像机可扫描苹果的整个表面且形成一幅图像,该方法的特点是由机械定向机构定位水果梗、萼区,摄像机对此区不需要再检查。但因为受定向机构速度的限制,还达不到实时分级的速度,试验结果为每分钟选30个苹果。Yang(1996)利用结构光图像与散射光图像相结合来区分梗、萼区和缺陷区,综合两方面图像处理的结果,共抽取16个特征参数,再利用BP神经网络区分苹果的梗、萼区和缺陷区,分辨精度为95%,但还需要进一步把试验结果应用于实际水果分选生产线中。Growe等(1996)采取在780nm附近带域内,用结构光由一黑白摄像机进行水果表面的凹陷度检测;在750nm带域内的散射光照射下,由一黑白摄像机进行水果表面的可疑缺陷区检测。水果的输送旋转装置及摄像机布置如图1a所示,采用的双锥滚筒输送带可使水果一方面沿水平方向作平移运动,另一方面又绕自身水平轴作旋转运动。两个黑白CCD摄像机用来采集750nm附近的散射光图像和780nm附近的结构光图像,水果旋转一周摄取两次图像。两个黑白摄像机采集的图像经过设计的接口电路后,被合成为一幅黑白图像,合成过程如图1b所示。图像的处理由流水线图像处理系统完成。试验结果表明:每个水果采集两幅图像时,缺陷检测的速度可达5个/s,但误差较大,如对于苹果,碰伤检测的准确率仅为51%。试验表明,要想得到较高的检测精度,每个水果应采集5幅以上的图像,结构光至少6条以上。此外,由于水果尺寸不同所造成各个水果旋转速度的不一致,也是产生测量误差的原因。徐娟(1997)及Nakano(1997)利用人工神经网络法对缺陷区和梗萼区进行区分,试验表明神经网络的区分准确率较低。在果面各种缺陷的快速检测方面,Throop(1997)等人研究了多光谱测量技术,对10个品种的苹果的22种缺陷,在460～1030nm光谱范围内,每隔10nm试验测定了它们的反射光谱特性,其中对3种苹果同一种缺陷测量的结果如图2所示。图中纵坐标的马氏距离反映了水果缺陷区与正常区反射强度的差别程度,距离越大,两者差别越大。由图中曲线可看出:在中心为540nm、740nm、1030nm三波段附近,3种苹果同一缺陷与正常区的反射强度的差别表现为最大或最小值,最后通过对3个波段的图像进行简单的减法和阈值处理,即可得到检测的缺陷,下一步应考虑实际应用的实现。1.1.3缺陷透视的复杂模型校正Tao(1996)提出的球形变换法很好地解决了第一个问题。基本思想如图3所示:带缺陷的原始物体图像(OOI)与该物体反表面无缺陷的图像(IOI)相加得到变换后的物体图像(TOI),此图像具有平面物体图像的性质,而缺陷区低于该平面,然后经过简单阈值处理即可得缺陷区。何东健(1997)提出了缺陷透视图像面积发生畸变的校正方法,但对复杂形状的缺陷区进行校正,还存在一定的困难。Nakano(1997)利用一旋转平台使水果旋转,每旋转18°CCD摄像机采集一幅图像,苹果旋转一周可得20幅图像,为消除苹果球面面积的畸变,每幅图像只保留中间13cm宽度的幅面,再全部合成一幅苹果整个表面的展开图像,此法非常有效,但在分选生产线上实现比较困难。1.1.4苹果对策图像特征的提取国外一般采用高速图像处理硬件与简单有效的图像处理软件相结合的途径,来实现水果的实时分级。如Yang(1996)利用的是Transputer系统、结构光法和洪水算法;Growe等(1996)研制的系统,图像的大部分工作由流水线图像处理硬件系统完成;Tao(1996)采用的是专用Merlin图像处理系统和简单有效的球形变换法,研制的苹果分选系统已应用到水果分选生产线上,其分选速度可达3165个/min。国内研究者(刘禾,1998,徐娟,1997,杨秀坤,1997,何东健,1997)大多利用一般的微机和图像采集卡,开发了一些图像处理和模式识别的新算法,如把人工神经网络、模糊理论、遗传算法、图像形态学、分形理论、小波理论及人工智能理论用于图像特征的抽取和识别。但由于图像处理的硬件速度太低,故只能限于静态水果图像分选的算法研究。此外,水果分级的算法应具备人工分级的一些优良性能,如学习与记忆功能,因为目前的一些分级算法的训练样本都比较少,而要分级的水果品种多变且量大。1.2水果的内部质量分析反映水果内部品质的主要指标有硬度、糖含量、酸度、口味及内部缺陷等。目前国内外研究的主要方法和存在的问题如下。1.2.1超声波法水果的硬度可间接反映水果的成熟度、运输中的抗损坏性、储藏期等。目前用于水果硬度检测的方法主要有变形法和声学法。变形法就是在一定时间内给水果施加一定的动态力或冲击力,然后根据测得的变形量确定水果的硬度。如Schmilovitch等(1995)研制成功了枣子硬度自动检测系统,其原理是把枣子放在两平板之间,在上面板施加5～8N的动态力,根据所测变形量的大小把枣子分成4个硬度等级。Delwiche(1991)利用冲击法研制了苹果硬度自动检测系统,发现冲击力会造成苹果表面的轻微损伤。变形法只能测量水果表面的局部硬度,实际上,水果表面硬度变化较大,故限制了变形法的应用。声学法包括声波脉冲响应法和超声波法,声波脉冲响应法(20～1500Hz)就是利用一麦克风测量受轻微敲击水果的声波强度,由此确定水果的硬度。Armstrong等(1993)试验研究了所测声波强度与水果硬度的关系,发现二者有很好的相关关系。此法的优点是简单、无损,且能反映水果的整体硬度,缺点是必须注意周围噪声的绝缘及机械振动的消除,此外水果形状也影响测量精度。超声波(>20000Hz)法是根据超声波在水果等介质中传播时,能量衰减系数的大小来确定水果硬度。但由于水果内部含有较多气隙且各向异性,故超声波很难穿透整个水果。1.2.2超声波辅助测量糖含量、酸度比较有潜力的检测方法是近红外法(NIR)和磁共振法(MR)。近红外法又分穿透法、反射法和部分穿透法,部分穿透法原理如图4所示。穿透法对水果不适应,反射法一般用于水果表面特征的检测,因此常用的方法是部分穿透法。由图4可看出,在部分穿透法中,光线经过的路径比穿透法短,且入射光线与接收器有一夹角,此夹角的确定对测量起关键作用,此外二者之间必须加一隔板。884nm和834nm测得量的比值已用于桃子、苹果(Slaughter,1995)糖含量的自动测定。Slaughter等(1996)对西红柿,在400～1100nm的光谱范围内进行部分穿透性测量试验,结果表明:800～1000nm范围的信息对糖含量的确定最有用,测得的相关系数r=0.92,但酸度测量比较困难。Mizrach(1997)利用超声波法试验研究了超声波衰减系数和芒果硬度、糖含量、酸度的关系,但其超声波测量探头必须与果面接触,故限制了在线的应用。因此,利用近红外多光谱技术测定水果内部糖含量及其他成分是很有前途的,为达到实时应用的目的,应进一步确定最合适的一两个波段并与计算机视觉技术结合。磁共振及磁共振成像(MRI)技术也是测定水果内部成分的有效方法,其依据是物质内部的某些原子核(H、C、P等)在外部磁场作用下,可与射频区域的电磁波辐射相互作用。Chen等(1996)利用此法对鳄梨的成熟度和鲜杏梅的糖含量进行了一些研究,得到了较好的结果。此法的主要缺点是设备昂贵。与水果的口味相关的化学成分主要是可挥发性芳香化合物,当水果成熟时,就会在周围空气中散发这种挥发性芳香气体。Benady等(1995)研制的电子传感器可以测量这种气体的浓度。1.2.3他缺陷检测西瓜的内部空心用超声波检测已比较成熟。其他缺陷的检测,目前国外正研究利用X射线法、磁共振和磁共振成像技术等方法测量,因成本高及安全性等问题,故很难在农业中推广应用。2检测与品质的关系水果实时分级系统的进一步研究应从两方面入手,一方面要加快水果外部品质的计算机视觉实时分选技术的研究;另一方面也要进行水果内部品质的无损检测技术的研究。因为水果分级的主要目的是选出高质量的水果,故水果内外品质的检测技术都十分重要。在水果的外部品质检测方面,应进行多种技术集成的应用研究。(1)对于水果整个表面机器视觉快速检测的问题,可采用机械与光学技术相结合,设计合理的传送机构,既保证水果在传送带上比较平稳地移动,又可由视觉系统快速检测到水果的全部表面。尽量减小因水果不规则运动造成的分级误差、损伤及图像的模糊。(2)对于果梗、萼区与缺陷的检测与视觉区分方面,应采用多光谱技术与机器视觉技术相结合,研究水果图像上可疑缺陷区的关键特征参数的抽取方法,得到简单、有效、快速的图像处理和识别方法。(3)在球形果面造成的光反射强度呈曲面分布及曲面成像面积的畸变问题,可从光照设计、图像合成及软件补偿3方面综合考虑。光照的充分设计可解决第一个问题;多幅图像的有效合成,可解决畸变问题。我们通过试验表明:一个水果至少应采集5幅图像,然后再合成为一幅,可基本保证水果整个表面上缺陷的有效检测,以避免畸变误差。软件补偿的方法必须简单而有效,以适合高速的要求。(4)在实时系统的图像处理器硬件设计方面,首先应采取先进的并行CP