第2章 可见光分析技术 -

可见光表型分析技术HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节可见光成像原理第二节可见光表型检测参数第三节可见光表型应用案例第四节推荐阅读第五节思考与讨论2一、可见光成像原理可见光的定义可见光是电磁波谱中人眼可以感知的部分，主要光源包括太阳（天然）和白炽物体（人工，如白炽灯）。可见光成像原理光的直线传播定律光在均匀介质中沿直线传播，应用于物体成影和小孔成像等现象。光的独立传播定律光线传播互不干扰，各点的光线独立进入照相机镜头形成图像。光的折射与反射定律光在不同介质之间传播时会折射或反射，这一现象常用于拍摄成像。3可见光概念及成像原理可见光系统的组成与常用器件一、可见光成像原理可见光成像系统如图2-1所示，一个光电成像系统主要包含以下几个要素：视场，在显示器上看到的物体范围；分辨率，能够分辨的物体上两点间的最小距离；景深，成像系统能够保持聚焦清晰的最近和最远的距离之差；工作距离，镜头最后一面透镜顶点到被观察物体的距离；畸变，由镜头所引起的光学误差，使得像面上各点的放大倍数不同而导致的变形；视差，由传统镜头引起的在最佳聚焦点外物体上各点的变化；图像传感器尺寸，图像传感器（一般是CCD或CMOS）有效的工作区域，一般指的是水平尺寸。4可见光概念及成像原理可见光系统的组成与常用器件图2

–1可见光成像系统一、可见光成像原理可见光成像是基于电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）图像传感器（图2-2），它们对可见光波段（400～700nm）敏感。CCD是一种半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称为像素（pixel），一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CMOS是一种低成本的感光元件，接收外界光线后，可将光能转化为电能，再通过芯片上的模数转换器（analog-to-digitalconverter，ADC），将获得的影像讯号转变为数字信号输出。5可见光概念及成像原理可见光系统的组成与常用器件图2

–2CCD（上）和CMOS（下）二、可见光表型检测参数6可见光表型检测的范围与应用可见光表型检测的优势与特点可见光表型检测的范围基于成像传感器，实时、连续地获取植物生长图像，记录叶面积、种子形态、根系结构等属性。解析作物的结构、形态、颜色、纹理等多种表型参数，判断作物生长期及病虫害状况。应用为农业生产提供预测预警和辅助决策。基于RGB图像序列进行三维重建，提取更全面的植物性状参数（如叶片数、株型等），进行非破坏性采集光在均匀介质中沿直线传播，应用于物体成影和小孔成像等现象。三维重建技术硬件设备的3D光学成像：包括激光雷达、深度相机、CT、核磁共振等。基于计算机视觉的三维重建：如双目视觉、运动恢复结构、轮廓投影重建等。二、可见光表型检测参数7可见光表型检测的范围与应用可见光表型检测的优势与特点优势成本低、效率高，易于推广。克服了人工识别的主观性、分辨率低、精度差、持续性短等缺点。为植物表型提供快速、经济的测量方案。特点基于RGB相机的二维成像广泛应用于作物表型检测。在非破坏性高通量表型平台中发挥重要作用。大多数低成本的作物表型分析方法都依赖于可见光成像。三、可见光表型应用案例杨万里等（2021）以盆栽水稻为研究对象，利用可见光图像结合深度学习图像处理技术进行特征提取，获取了整株水稻的51个表型特征。他们利用FasterRCNN卷积神经网络对水稻穗数进行计数，同时使用SegNet网络框架对水稻稻穗进行分割，得到水稻穗部的二值图像，然后结合图像处理技术提取穗部的表型特征数据，包括颜色、形态、纹理共85个表型参数（图2-3）。8图2

–3

基于深度学习的水稻表型特征提取流程三、可见光表型应用案例李海涛和冯慧等（2020）利用高通量表型设备对油菜品种进行了动态筛选，通过图像分析方法对油菜发育过程中12个不同生长时间点量化各发展阶段的特征（如图2-4所示为7个不同生长时间点的图像），得到了传统表型方法无法检测到的动态特征，同时通过定位这些油菜的表型数量性状及基因型，寻找基因型和表型的对应关系。高通量表型为油菜生长和最终产量的动态遗传结构提供新的见解，负责产量指标的QTLs与最终产量指标一致，可能提供一种新的产量调节机制，为产量预测提供新思路。9图2

–4跨越12个时间点的油菜植株的侧视图（上）和俯视图（下）三、可见光表型应用案例黄成龙等（2017）使用自动表型平台对玉米重组近交系群体在16个发育阶段的106个性状进行了量化，通过高通量植物表型平台对玉米进行表型分析，图像分析步骤如图2-5所示。在16个时间点的试验阶段，每个时间点使用彩色成像相机对每一植株采集15个侧视图像和1个俯视图像。之后利用高密度遗传连锁图谱进行数量性状基因座（quantitativetraitloci，QTL）定位，揭示这些复杂农艺性状的遗传基础，利用早期生长阶段的解剖性状来预测生物量的积累和最终产量。10图2

–5高通量玉米植物表型分析三、可见光表型应用案例植物表型自动化检测技术在农业研究和作物育种的过程中发挥了重要作用，但目前受限于二维技术，三维特征很难被提取。株型是影响多分蘖作物产量的重要表型特征之一，如小麦的分蘖数、分蘖角和茎粗等参数。为了使作物育种研究中株型参数提取实现自动化，方伟等（2016）提出一种基于体素的高通量植株株型性状参数获取的快速三维重建方法（图2-6至图2-9）。11图2

–6快速三维重建方法处理流程图图2

–7图像采集模块图2

–8标定模板与特征点识别(a

)

原始图像；(b

)标定模板；(c

)特征点识别图2

–9三维重建结果三、可见光表型应用案例梁秀英等（2020）提出的基于运动恢复结构（structurefrommotion，SfM）的户外玉米植株三维重建方法，提出一种自动分割，提取玉米单株、茎秆、叶片的方法。该方法使用拍照小车在户外自动获取多视角玉米植株二维图像，采用SfM算法进行三维重建生成点云数据，运用直通滤波、圆柱拟合和条件欧氏聚类算法自动分割单株、茎秆和叶片等点云数据，基于距离最值遍历、三角面片化等算法实现株高、茎粗、叶面积等11个性状的准确、无损测量（图2-10、图2-11）。12图2

–10玉米植株三维重建过程(a

)二维图像；(b

)VisualSFM三维重建；(c

)原始三维点云图2

–11玉米三维点云分割流程(a

)原始玉米点云；(b

)分割后的玉米植株；(c

)单株玉米植株；(d

)单株玉米点云；(e

)玉米茎秆；(f

)非茎秆点云；(g

)去除噪声和局外点后的非茎秆点云；(h

)单片叶片三、可见光表型应用案例黄成龙等（2019）提出一种基于结构光三维成像的棉花幼苗叶片性状解析方法（图2-12，图2-13）。该方法首先采用结构光扫描仪获取棉花幼苗的三维点云数据；然后利用直通滤波、超体聚类、条件欧氏距离等算法实现点云的识别与分割；最后采用颜色分割等处理，快速、准确、无损提取叶面积、周长、生长角度、卷曲度、黄叶占比等参数。对40株棉花幼苗进行三维结构光成像试验，3D叶片面积、周长的测量具有较高的测量精度，还证明叶片卷曲度和黄叶占比能显著区分病叶和正常叶。13图2

–12棉花叶片三维点云分割流程图图2

–13棉花三维点云叶片分割效果(a

)原始点云；(b

)分割土壤与棉花幼苗；(c

)点云稀疏化；(d

)点云体素化；(e

)玉米茎秆；(f

)非茎秆点云；(g

)去除噪声和局外点后的非茎秆点云三、可见光表型应用案例英国NicolasVirlet团队研制了大型轨道式的全自动化田间作物表型平台FieldScanalyzer，可对较大种植面积作物进行全天候表型采集。该平台主体为安装于轨道的龙门架结构，系统通过软件计算坐标控制龙门结构运动，其传感器安装在固定轨道上，包括高分辨率可见光传感器、叶绿素荧光和热红外照相机、两个高光谱成像仪和双三维激光扫描仪。图2-14展示了使用FieldScanalyzer采集的RGB图像来监测2015—2016年冬季两种英国小麦品种的树冠发育过程。RGB图像数据处理的最新发展允许植物在各种环境光照条件下从背景中分离出来。14图2

–14使用FieldScanalyzer通过颜色阈值分割处理的小麦树冠发育过三、可见光表型应用案例爱荷华州立大学的YinBao等（2016）提出了一种基于田间收集三维信息的机器人系统。该系统是一辆公用拖拉机改装了自动导航系统，携带传感器，具有收集数据功能。它在人工设定路径的作物行之间移动，同时从车辆两侧使用三层立体摄像机头用来捕捉3m高的高粱样本的立体图像。摄像机固定在垂直传感器平台上，侧视高粱植物，能够允许覆盖高大的植物并减少遮挡（图2-15）。15图2

–15基于田间收集三维信息的机器人系统(a

)改装了自动制导系统的拖拉机；(b

)同一范围内相机采集的植物基线；(c

)植被凸面壳（表面表示法与线框表示法）利用改造的拖拉机进行测量，虽然能够携带大型仪器，但在采集数据之前必须先穿过现场并停在每个样本位置上，绘制坐标及其相对位置的地图，造成了时间的浪费，并且体积较大，消耗燃油较高，在各行间移动麻烦。三、可见光表型应用案例美国伊利诺伊大学香槟分校的SierraN.Young等（2019）设计了一款用于监测高粱表型的履带式机器人TERRA-MEPP，TERRA-MEPP包括桅杆、车身、轨道和GPS，GPS被安装在桅杆的顶部，而运动控制器和陀螺仪传感器被安置在机器人身体上的一个控制箱中。可变高度的桅杆（图2-16）可以根据作物高度调整RGB成像传感器位置，同时履带可以穿越作物之间的间隙，在整个生长季节进行测量，生成的三维图像收集高粱作物结构方面的详细信息，通过最佳拟合线方法大致重建了单个植物的结构（图2-17）。16图2

–16TERRA-MEPP表型平台的照片(a

)短桅杆用于生长季节早期的植物成像；(b

)完全伸长的桅杆，用于测量较高的高粱高度图2

–17使用最佳拟合角度对高粱分割步骤(a

)原始强度图像；(b

)覆盖最佳拟合线的差异图像；(c

)最佳拟合线的角度；(d

)分割结果显示确定的植物边界框三、可见光表型应用案例便携式表型工具随着计算机和信息化的发展而出现，它们通常采用人工手持式进行操作，具有简单、易携带等特点，常见的终端有智能手机等。周济团队使用无监督的机器学习、计算机视觉和图像分析算法建立了一个简单的分析框架Leaf-GP。Leaf-GP是一个基于移动智能设备的开源和易用软件，可以在不同的平台上安装运行，并且能够分析由低成本成像设备捕获的图像。该软件能从RGB相机大量的图像数据集中提取和比较多个生长类的相关表型，如投影叶面积、叶周长和宽度、结实性（%）、紧实度（%）、叶数和绿度（0～255）等参数。Leaf-GP可以量化不同实验条件下拟南芥的生长表型，图2-18是使用智能手机拍摄的拟南芥生长图像。17图2

–18使用Leaf-GP测量拟南芥生长表型(a

)通过阈值获得的各格掩膜；(b

)使用Scikit图像中的fnd_contours函数叶子区域生成轮廓；(c

)提取轮廓线包围的绿色像素，去掉周围区域；(d

)使用Scikit中的convex_hull_image函数，用一个凸多边形包裹属于植物的所有像素；(e

)(f

)凸多边形应用于二值化和原图中三、可见光表型应用案例利用无人机遥感技术，快速、无损和高通量地获取田间株高表型信息，具有效率高、成本低、范围广等优势，可实现对田间物种植信息快速精准获取，在精准农业信息获取方面大有用处。张建等（2020）开发了一个CNN模型来识别无人机图像中的叶片数量，并根据识别叶片的数量估计了油菜籽的幼苗数，图2-19展示了卷积神经网络（convolutionalneuralnetworks，CNN）的结果。利用GPS设备集成的相机，对图像进行地理标签并通过无线控制，每1.0s自动触发相机捕捉图像，当无人机在飞行期间达到油菜籽田最低点时拍摄RGB图像。18图2

–19使用CNN计数油菜籽叶苗四、推荐阅读LiL，Zhang