作物表型组学 课件 第1-8章 绪论、可见光表型分析技术-根系表型分析技术

绪论HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节表型组学定义第二节植物表型组学国内外研究进展第三节植物表型组学展望第四节推荐阅读第五节思考与讨论2一、表型组学定义概念起源与发展20世纪90年代兴起，1996年由StevenA.Garan首次提出。1997年NicholasJ.Schork强调其在复杂疾病研究中的重要性。2002年Niculescu和Kelsoe将其定义为连接表现型与基因型的桥梁。核心内容表型组学与表型鉴定研究相关，结合基因组和蛋白质组探究表型的本质及其相互作用，逐渐发展为生物学的重要分支。植物表型组学指从细胞水平、器官水平、植株个体水平及群体水平等多层次获取多维表型数据的新兴学科。在基因组水平上系统研究植物或细胞在不同环境条件下所有表型的学科，其研究利用的是多尺度、多维度的全方位数据，包括空间尺度上小至核苷酸序列和细胞，大至组织、器官、个体及群体，以及整个生育期的时间维度信息。3二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展2005年，比利时CropDesign公司研发世界上首套大型植物高通量温室表型平台——TraitMill。TraitMill在研究基因对植物表型的影响中发挥重要作用，可以实现对大规模转基因植物的评估，包括在最佳生长条件、不同非生物或养分胁迫条件下植物表型的检测，可检测的表型参数包括单株小花总数、单株饱满种子总数、结实率、千粒重、种子大小、种子尺寸（宽、长）、穗数、每穗花数、开花时间、最大地上植株生物量、幼苗地上植株生物量、收获指数、根系生物量、根冠指数、绿色指数（图1-1）等。4环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-1TraitMill检测的水稻绿色指数(

a)

(

c)分别表示未受盐胁迫和受盐胁迫下水稻的原始图像；(

b)

(d)分别表示经添加人工颜色处理后，未受盐胁迫和受盐胁迫下水稻的颜色可视化图像。衰老程度较高的叶片部分呈黄色，大部分绿色叶片则呈深蓝色，受盐胁迫的水稻植株衰老更加明显二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展德国LemnaTec公司抓住机遇研发出全自动高通量植物3D成像系统—Scanalyzer3D，该系统属于室内表型平台，通过传送带将植株输送至成像中心。随着技术进步，该产品的名称和功能也在发生变化（图1-2）。5环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-2Scanalyzer

3D名称变化过程二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展PhenoAlxpertHT具有先进照明和光学元件的成像室，搭载了更多成像传感器，并使用了先进的输送技术，使植物平稳输送以减少损伤。PhenoAlxpertHTC（图1-3）带有一个机柜，该机柜结合了与输送系统连接的多个成像站，将植物从一个成像站带到下一个成像站，将自动表型系统的成像灵活性与紧凑的结构相结合，是全自动空间要求严苛的、经济实惠的理想产品。可以对直径达195mm、高度达700mm、最大质量为10kg的盆栽植物，进行精确成像；同时，结合LemnaGrid分析软件进行图像处理，获取表型性。6环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-3PhenoAlxpert

HTC结构图(

a)整体系统框架图；(b)系统内部顶视图；(

c)系统内部侧视图二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展LemnaTec近年来还推出了PhenoAlxpert系列的其他产品，包括PhenoAlxpert、Pheno-AlxpertES和PhenoAlx-pertPro（图1-4)。7环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-4PhenoAlxpert系列产品图(

a)

PhenoAlxpert；(

b)

PhenoAlxpertES；(

c)

PhenoAlxpertPro图1-5PhenoAlxpert

系列产品成像(

a)

PhenoAlxpert识别培养皿中幼苗的芽和根；(b)PhenoAlxpertES对托盘中生长的拟南芥幼苗表型检测；(c)PhenoAlxpertPro对大豆胁迫响应的表型分析PhenoAlxpert可识别培养皿中生长的幼苗的芽和根，并测量芽面积、一级根长和次级根长（图1-5a）；PhenoAlxpertES可用于分析分子相互作用或植物-微生物相互作用（图1-5b）；PhenoAlxpertPro可采集盆栽植株的多视角图像（图1-5c）。二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展澳大利亚植物表型组研究所（AustralianPlantPhenomicsFacility，APPF）的高通量智能室（high-throughputsmarthouses，图1-6）是南半球最大的高通量表型设施，包含4个大型温室（每个温室可容纳600盆植株，每个盆栽可承重4.5kg），配备超过1km的传送系统及基于LemnaTecScanalyzer3D的成像站，可自动浇水与称重，并使用RGB（redgreenblue）、荧光和高光谱成像对植物的表型进行无损检测。8环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-6APPF高通量智能室(

a)传送系统与成像站；(

b)温室；(

c

)植物生长于水缸中；(

d

)顶部龙门架轨道搭载成像系统二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展PhenoSpex推出的PlantEye多光谱3D激光扫描仪（图1-7）可通过激光获取植物的3D点云信息，当前多应用于环境可控的室内表型分析。它将非常薄的近红外激光投射到植物或植物顶部上，然后通过安装在PlantEye传感器另一端的集成摄像头对激光光线进行反射和捕。通过3D模型可自动分析20多种植物参数，包括植株高度、3D叶面积、叶倾角、叶绿素含量、归一化植被指数（NDVI）、植被衰退指数（PSRI）等（图1-8）。此外，PhenoSpex研发的DroughtSpotter（图1-9）可完全自动和高通量评估植物的蒸腾速率及用水效率，其承重可高达300kg，可结合PlantEye进行植物抗旱研究。9环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-7PlantEye多光谱3D激光扫描仪示意图图1-8PlantEye采集的具有不同光谱扫描分析信息的番茄植株三维模型(

a

)RGB；(

b

)NIR；(

c

)NDVI图1-9PDroughtSpotter示意图(

a

)实验室；(

b

)实验田二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展PlantScanTM是一个集成的分析管道，将硬件和软件工具无缝集成，利用高分辨率相机和三维重建软件等尖端信息技术对植物结构（拓扑结构、叶片数量）、形态（叶片大小、形状、颜色、面积、体积）及生理功能进行自动化、无损检测分析。PlantScanTM表型平台配备（图1-10）：①2个微测辐射计传感器（型号A645，FLIRsystemsInc，MA，USA），以0.045°K的分辨率在7.5～14μm波段采集温度信息。②3个JAI3-CCD光学传感器（型号AT-200GE）和1个JAI4-CCDRGB/NIR光学线扫描仪（型号LQ-200CL），配备Fujinon变焦镜头（型号C22x17R2D-ZP1），采集可见光和近红外光谱信息。③2个同步光探测和测距（LiDAR）传感器（SICKLMS400），工作波长为650nm，扫频为70°，并以270Hz的速率收集飞行数据和反射率数据。其由双传送带组成，需要手动加载。将植物固定在盆栽中，单个植物由二维码标识。10环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-10PlantScanTM表型平台(

a)

PlantScanTM

表型平台示意图；(

b)二维码识别单株植物；

(

c)成像室及剪刀式升降平台二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展CabScan（图1-11）是一种机器人龙门系统，安装在两个Conviron生长室顶部，每个机器人由两个RGB成像系统和一个红外（IR）相机组成，每7min进行一次图像采集，适用于幼苗和小植株的表型检测。配置立体RGB摄像头使其可对植物进行3D重建，而红外图像与之共同配准。TrayScan（图1-12）是一个中小型高通量植物分析系统，该系统每小时可采集15个托盘的植株信息，每天可采集多达2500株植物信息，主要应用于拟南芥等小型植物。其结合了热成像、RGB和荧光成像，可对植物的光合性能进行检测，提供与植物生长和产量相关的信息11环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-11CabScan系统图1-12TrayScan系统二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展普渡大学（PurdueUniversity）的表型设施——AgAlumniSeedPhenotypingFacility（AAPF，图1-13）于2017年建成，并于2018年开始运营，有一个大型步入式Conviron控制的环境室。AAPF是一种自动化的表型设施，具有自动传送带，可进行精确的环境控制及精密灌溉。其搭载的RGB相机可量化株高、株宽、颜色和形状等随时间推移的表型性状，高光谱相机可显示植物营养成分、应激反应、疾病和昆虫感染等情况，而X射线CT根扫描仪则可以无损记录根的生长。2022年，IPKGatersleben推出新表型设施——植物栽培大厅（theplantcultivationhall，图1-14），这是一个占地面积为1000m2

的大型“物侯圈”，能够在严格控制的动态类田间环境条件（光、空气温度、湿度、CO2浓度、土壤温度、浇水和施肥）下进行植物栽培。12环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-13AAPF表型平台图1-14IPKGatersleben

新表型设施——植物栽培大厅二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展德国LemnaTec公司研发出FieldScanalyzer田间自动化高通量作物表型检测系统（图1-15），此系统带有一个集成表型传感器和环境传感器的传感器盒，传感器盒的天气屏蔽功能可在恶劣天气下保护电子设备。其表型传感器包括可见光成像、近红外成像、叶绿素荧光成像、高光谱成像、多光谱成像、红外热成像及3D激光扫描，相机盒的总有效载荷可达500kg，研究者可根据需要搭建相关成像传感器。此系统已广泛应用于田间表型检测。13环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-15FieldScanalyzer示意图图1-16PhenoRob

团队开发的田间表型设备(

a)

CP1新型地面和空中飞行器；(

b)

CP4田间地面机器人PhenoRob团队开发了新型地面和空中飞行器（图1-16a），这些飞行器可以自主运行，并提供从试验地块到田间规模的单个植物器官精确地理配准的表型数据。此外，还开发了自主田间地面机器人（图1-16b），能够检测和识别个体植物，并对田间杂草进行测绘，以微创、减少除草剂投入等方式进行除草。二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展PhenoMobile®

是一种田间轻巧型表型设施（图1-17），适用于高度小于1.5m的作物，由一个具有可调节轮距（适用于不同宽度的地块）的轻质框架组成，由单个电动轮驱动并由操作员从后面引导，从而实现平稳轻松的操作。PhenoAIR™pod采用标准检测中心（StandardsandtestingCentre，STC）认证的R44直升机舱，配备先进的成像载荷，搭载高分辨率的红外热成像仪（FLIRSC645）和3000万像素的RGB相机，集成了惯性测量单元和全球定位系统，适用于所有需要大面积、大尺度上测量冠层温度的作物表型检测（图1-18）。ArduCrop无线传感器网络（图1-19）由许多单独的传感器节点组成，这些节点不断从田间收集高精度温度数据，专门设计用于在田间环境的极端条件下测量作物冠层温度。14图1-17PhenoMobile®

示意图环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-18PhenoAIRTM

pod示意图图1-19大田中的ArduCrop传感器二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展BluVision是一种用于植物病理学微观和宏观图像的高通量图像采集和分析的软硬件框架（图1-20）。显微模块是基于一种先进的高通量显微镜扫描仪（ZeissAxioScan.Z1）（图1-21）。宏观模块基于自定义的全自动多光谱二维成像站（图1-22）。15图1-20BluVision

框架环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台显微表型平台IPKGatersleben开发了BluVision，包括BluVisionMicro（显微模块）和BluVisionMacro（宏观模块），用于在微观和宏观层面上研究植物-病原体的相互作用。图1-21BluVision

显微模块图1-22BluVision宏观模块二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展鲁汶大学（CatholicUniversityofLeuven）Draye等研发出Aeroponics平台（图1-23），主要用于获取根系的动态生长情况，结合图像分析管道获取根长最大值、主根伸长率、胚根数、侧根密度、凸包面积等根性状参数，同时可通过机器学习模拟根尖的时空分布及根系统重建等。此平台可容纳2×495株植株，植株的生长天数限制为21d（60cm的根），空间分辨率为35μm，时间分辨率为2h，成像采用的是灰度线性相机。如图1-24所示可看Aeroponics平台获取的根系十分清晰。16图1-23Aeroponics平台(

a)平台A视角；(

b)平台B视角；(

c)具有二维码编号的植株；

(

d)平台获取的植株根系环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-24Aeroponics平台根系图像二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展LICOR6400光合作用系统（图1-25）在便携式光合作用测量系统中占据世界领先地位，提供高水平的软件和硬件集成，坚固耐用，便于携带，可应用于田间或实验室光合作用测量。该系统可在同一叶片区域内同时测量荧光和气体交换，精确测量小光合作用速率及CO2浓度，适用于大多数植物。17图1-25LICOR6400光合作用系统(

a)仪器示意图；(

b)仪器工作图环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台便携式LI-3000C叶面积仪（图1-26）是一款轻巧便携、无损的叶面积测量仪器，非常适合在单个时间点或整个生命周期内对附着的叶片进行快速现场调查，可测量每片叶子的面积、长度、平均宽度和最大宽度。图1–26便携式LI-3000C叶面积仪(

a)仪器示意图；(

b)仪器工作图二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展PhotoynQMultispeQv1.0叶绿素荧光仪（图1-27）应用于大多数植物，可测量荧光碱基参数（qL、qP、ΦII、LEF和NPQ）、基于吸光度的参数（vH+、gH+、ECSt和相对叶绿素含量）及环境参数（温度、相对湿度、气压、叶片温度、光照强度、基本方向和倾斜度）。WALZMONITORING-PAM叶绿素荧光计（图1-28）用于无人值守、长期和多站点监测空气或水分下的叶绿素荧光检测。在量点，紧凑而坚固的发射器检测器单元测量调制的叶绿素荧光每个测并执行饱和脉冲分析。根据系统配置，每个MONITORING-PAM系统最多可以同时测量7个站点。18图1-27PhotoynQ

MultispeQv1.0叶绿素荧光仪环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-28WALZMONITORING-PAM叶绿素荧光计(

a)监测葡萄叶的光合作用；

(

b)发射器-探测器单元MONIHEAD/485的测量端，指示荧光激发、检测及环境光测量的光路二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展FieldScoutCM1000叶绿素计（图1-29）是一种手持式、非接触式快速叶绿素含量测量仪，配备内部数据记录仪和RS-232端口，其激光导轨可勾勒出被测样品区域的边缘，测量的时间间隔为2s，测量范围30.5～182.9cm的锥形区域，计算并显示多个读数的平均值，可记录3250次测量结果（添加GPS/DGPS时为1350次）。HandyFluorCamFC1000-H（图1-30）是一款轻巧的便携式设备，可在田间和实验室中对叶子、小植物、叶段、苔藓、地衣、种子、根、平板上的组织或藻类菌落进行时间分辨叶绿素荧光成像。19图1-29FieldScout

CM1000叶绿素计(

a)测量显示屏；(

b)叶绿素计大田工作图环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-30HandyFluorCamFC1000-H设备(

a)HandyFluorCamFC1000-H设备示意图；(

b)

HandyFluorCamFC1000-H可计算的参数二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展2022年9月，荷兰瓦赫宁根大学与乌得勒支大学联合研发综合型表型平台——NPEC（图1-31a）将正式开放。NPEC由6个模块构成，每个模块都提供一个专用的表型平台，并带有自己的测量系统：①Ecotron模块，由一系列完全封闭和受控的中宇宙系统组成，可实时进行真实的植物（农业）生态系统分析（图1-31b）。②植物-微生物相互作用表型分析系统，包含Helios表型分析设施（图1-31c）和Hades高通量体外根表型系统（图1-31d）。③多环境气候室可模拟自然光（图1-31e）。④高通量表型气候室中成像系统包括RGB成像、不可见光成像、叶绿素荧光成像、热成像和短波红外高光谱成像单元（图1-31f

）。⑤温室表型模块可生成植物的3D模型，并在几毫秒内准确确定叶子、茎的大小和形状，以及整体结构（图1-31g）。⑥开放式田间表型模块配备2个高光谱传感器、1个高分辨率RGB线扫描传感器、1个2D激光雷达传感器的小车，以及3架无人机（图1-31h）。20环境可控的表型平台田间表型平台显微表型平台根系表型平台便携式表型设备综合表型平台图1-31NPEC表型平台整体及其各模块示意图(

a)

NPEC表型平台整体示意图；(b)

Ecotron模块；(

c)

Helios表型分析设施；(

d)

Hades高通量体外根表型系统；(

e)多环境气候室；(

f)高通量表型气候室；(

g)温室表型；(

h)开放式田间表型二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展相对于国际植物表型组学，我国表型组学的起步较晚，但也取得了阶段性成果。经过8年的努力，华中农业大学作物遗传改良国家重点实验室和华中科技大学武汉光电国家研究中心联合研发团队成功研制出全生育期高通量水稻表型检测平台（HRPF，图1-32），其主要构成包括一套水稻自动化表型检测设备（RAP-1.0，图1-32a）和一套数字化水稻考种机（YTS，图1-32b）。该平台可以自动提取水稻株高、叶面积、分蘖数、生物量等15个参数，且该平台总计可容纳5472盆水稻种植，连续24h工作测量通量可达1920盆/d。此外，结合全基因组关联分析，该平台还可发掘新基因位点。21图1–32

全生育期高通量水稻表型检测平台（HRPF）(

a)水稻自动化表型检测设备（RAP-1.0），包括温室、检测暗室、自动输送区和栽培区，以及用户分析软；(

b)数字化水稻考种机（YTS），包括原型机和分析软件二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展2017年，南京农业大学成立了国内高校首个作物表型组学交叉研究中心，旨在组建跨学科研究团队，建设国际一流的作物表型组学研究国家平台。2019年，南京农业大学引进高通量多光谱植物激光三维扫描测量系统FieldScan（图1-34a）、温室传送型高通量植物表型平台PhenoConveyor（图1-34b）和高通量小型植物光合表型测量系统PhenoMate（图1-34c）。22图1–33Crop3D高通量作物三维测量平台(

a)平台整体结构和暗室系统；(

b)传感器模块；(

b)控制模块；(b)平台安装和调试2016年，中国科学院植物研究所郭庆华等自主研发出高通量作物测量平台——Crop3D，系统集成了激光雷达（FaroFocus3DX120）、CCD（chargecoupleddevice）工业相机（PointGreyFL3）、高光谱成像仪（BaySpecOCI-UAV-1000）和热红外成像仪（KeiiMC1-640），分用于采集三维点云数据、二维真彩色影像、作物冠层高光谱数据及热红外数据（图1-33）。图1–34南京农业大学引进的表型平台(

a)高通量多光谱植物激光三维扫描测量系统FieldScan；(

b)温室传送型高通量植物表型平台PhenoConveyo；(

b)高通量小型植物光合表型测量系统PhenoMate二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展2019年，南京农业大学周济团队报道一个自动化的开源分析平台——AirSurf-Lettuce（图1-35），该平台是为超大规模空中表型和与产量相关的表型分析而开发的。AirSurf-Lettuce结合计算机视觉算法和深度学习分类器对数百万棵生菜进行评分与分类，精度高达98%以上。23图1–35AirSurf-Lettuce的高级分析工作流程(

a)步骤1，接受原始NDVI图像作为输入图像数据（具有极高NDVI信号的像素溢出）；(

b)步骤2，预处理原始NDVI图像，以校准强度分布并校正溢出像素；(

c)、(

d)步骤3，进行基于ML的性状分析，以量化生菜数量并对给定NDVI图像中的头部大小进行分类；(

e)步骤4和5，可视化和导出性状分析检测的统计数据，包括与产量相关的表型，如生菜计数、生菜大小分布和收获区域，以及相关的GPS坐标二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展2020年，周济团队自主开发了自动化表型采集和分析平台SeedGerm，该平台结合了经济高效的硬件和开源软件，可用于番茄、辣椒、油菜、小麦和玉米的种子发芽测试及表型检测（图1-36）。24图1–36南京农业大学自动化表型采集和分析平台SeedGerm(

a)安装在冷藏室中的一套成像装置，用于在实验期间获取种子发芽图像；(

b)微型龙门架设计在发芽箱顶部，装有一个无失真的广角镜头相机，用于记录长期发芽实验的图像，并通过无线网络连接传输数据；(

c)SeedGerm设备与计算机连接，以允许设备配置和成像数据传输，并在简短实验中监测的一组芸苔属植物说明了各阶段的发芽过程二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展2017年，华中农业大学杨万能团队设计了一种可以动态无损测量水稻表层根系的方法，将水稻植株种植于透明PMMA管中，利用可见光成像并结合OTSU算法、聚类算法、最大熵算法、背景校正算法、Niblack算法，以及合并最大熵和背景校正算法进行根系分割（图1-37），计算获得27个水稻表层根系性状，包括根系总面积、不同区域根系密度（即根系占所在区域总面积的比例）、不同区域根系面积、最大扎根区域、根系结构质心等。25图1–37动态无损测量水稻表层根系系统(

a)系统结构图；(

b)透明根管设；(

c)不同算法根系分割结果二、植物表型组学国内外研究进展国际植物表型组学研究进展国内植物表型组学研究进展中国农业大学研究人员开发了一种用于自动分析植物根系生长规律的机器人监测平台——RhizoChamber-Monitor。RhizoChamber-Monitor平台包括一个自动成像系统、一个自动灌溉系统和一个灵活的遮阳顶棚（图1-38a），其中自动成像系统用于获取在自定义根盒中生长的根系的连续图像。同时，该团队开发了一种定制化图像处理软件，利用多株植物根系生长的时间过程图像分析根系生长的时空动态。该软件可以量化根系的整体生长情况，并自动提取主根和单个侧根的详细生长特征（如根长和茎粗的动态变化，图1-38b），还可以半自动识别侧根的局部生长特征（伪平均长度和伪最大长度）。26图1–38RhizoChamber-Monitor平台(

a)3D示意图，包括一个长方体主体框架、根盒框架（RF）、H-型线性运动机架（用于驱动根盒和成像设备）、灌溉循环系统和综合遮阳系统；(

b)棉花根系时序图像的一个例子，红线为主根（PR）骨架，蓝线为侧根（LR）骨架三、植物表型组学展望研究进展概述温室/室内表型研究成熟，而无损根系表型、非生物胁迫表型、田间表型仍在探索阶段。无损根系表型当前评估根系的有效方法存在损害，缺乏合适技术，而WISH-ROOT项目启动，汇集多国科学家探讨小麦根系对土壤健康的影响。除此之外，还可使用GrowScreenRHIZOⅢ设备进行早期根系无损表型鉴定。非生物胁迫表型高通量平台和图像分析用于提取胁迫相关2D/3D表型性状。如研究干旱响应，可将其分解为简单的基于图像的特征。而深度学习模型可应用于生物胁迫与病害检测，未来可与遗传信息整合。田间表型无人机设备迅速发展，成为田间表型应用的主要技术，而大数据时代的植物表型组学具有多领域、多层次和多尺度特征。现如今，需要人工智能技术支持大数据管理平台的开发，以实现数据整合与共享。27四、推荐阅读胡伟娟，傅向东，陈凡，等.新一代植物表型组学的发展之路［J］.植物学报，2019，54（5）：558-568.本文从3个阶段阐述了植物表型组学的发展历程，详细阐述了表型组学设施的发展、国际上代表性的设施平台情况，以及表型采集传感器和图像数据分析方法的发展，展望了植物表型组学未来的研究方向。ZhaoC，ZhangY，DuJ，etal.Cropphenomics：currentstatusandperspectives［J］.FrontiersinPlantScience，2019，10.本文概述了作物表型组学的相关研究，重点通过各种传感器采集表型数据及表型数据分析两部分展开论述，并讨论了作物表型组学面临的挑战和发展前景，以期通过作物表型组学为挖掘重要农艺性状相关的基因提供新的方案，为精准育种提供智能化解决方法。28五、思考与讨论复习思考题试述试述植物表型组学概念阐述最新的国内外表型设施及其应用情况开放性讨论谈谈对未来作物表型组学发展的认识29可见光表型分析技术HUAZHONGAGRICULTURALUNIVERSITY30目录CONTENTS第一节可见光成像原理第二节可见光表型检测参数第三节可见光表型应用案例第四节推荐阅读第五节思考与讨论31一、可见光成像原理可见光的定义可见光是电磁波谱中人眼可以感知的部分，主要光源包括太阳（天然）和白炽物体（人工，如白炽灯）。可见光成像原理光的直线传播定律光在均匀介质中沿直线传播，应用于物体成影和小孔成像等现象。光的独立传播定律光线传播互不干扰，各点的光线独立进入照相机镜头形成图像。光的折射与反射定律光在不同介质之间传播时会折射或反射，这一现象常用于拍摄成像。32可见光概念及成像原理可见光系统的组成与常用器件一、可见光成像原理可见光成像系统如图2-1所示，一个光电成像系统主要包含以下几个要素：视场，在显示器上看到的物体范围；分辨率，能够分辨的物体上两点间的最小距离；景深，成像系统能够保持聚焦清晰的最近和最远的距离之差；工作距离，镜头最后一面透镜顶点到被观察物体的距离；畸变，由镜头所引起的光学误差，使得像面上各点的放大倍数不同而导致的变形；视差，由传统镜头引起的在最佳聚焦点外物体上各点的变化；图像传感器尺寸，图像传感器（一般是CCD或CMOS）有效的工作区域，一般指的是水平尺寸。33可见光概念及成像原理可见光系统的组成与常用器件图2

–1可见光成像系统一、可见光成像原理可见光成像是基于电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）图像传感器（图2-2），它们对可见光波段（400～700nm）敏感。CCD是一种半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称为像素（pixel），一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CMOS是一种低成本的感光元件，接收外界光线后，可将光能转化为电能，再通过芯片上的模数转换器（analog-to-digitalconverter，ADC），将获得的影像讯号转变为数字信号输出。34可见光概念及成像原理可见光系统的组成与常用器件图2

–2CCD（上）和CMOS（下）二、可见光表型检测参数35可见光表型检测的范围与应用可见光表型检测的优势与特点可见光表型检测的范围基于成像传感器，实时、连续地获取植物生长图像，记录叶面积、种子形态、根系结构等属性。解析作物的结构、形态、颜色、纹理等多种表型参数，判断作物生长期及病虫害状况。应用为农业生产提供预测预警和辅助决策。基于RGB图像序列进行三维重建，提取更全面的植物性状参数（如叶片数、株型等），进行非破坏性采集光在均匀介质中沿直线传播，应用于物体成影和小孔成像等现象。三维重建技术硬件设备的3D光学成像：包括激光雷达、深度相机、CT、核磁共振等。基于计算机视觉的三维重建：如双目视觉、运动恢复结构、轮廓投影重建等。二、可见光表型检测参数36可见光表型检测的范围与应用可见光表型检测的优势与特点优势成本低、效率高，易于推广。克服了人工识别的主观性、分辨率低、精度差、持续性短等缺点。为植物表型提供快速、经济的测量方案。特点基于RGB相机的二维成像广泛应用于作物表型检测。在非破坏性高通量表型平台中发挥重要作用。大多数低成本的作物表型分析方法都依赖于可见光成像。三、可见光表型应用案例杨万里等（2021）以盆栽水稻为研究对象，利用可见光图像结合深度学习图像处理技术进行特征提取，获取了整株水稻的51个表型特征。他们利用FasterRCNN卷积神经网络对水稻穗数进行计数，同时使用SegNet网络框架对水稻稻穗进行分割，得到水稻穗部的二值图像，然后结合图像处理技术提取穗部的表型特征数据，包括颜色、形态、纹理共85个表型参数（图2-3）。37图2

–3

基于深度学习的水稻表型特征提取流程三、可见光表型应用案例李海涛和冯慧等（2020）利用高通量表型设备对油菜品种进行了动态筛选，通过图像分析方法对油菜发育过程中12个不同生长时间点量化各发展阶段的特征（如图2-4所示为7个不同生长时间点的图像），得到了传统表型方法无法检测到的动态特征，同时通过定位这些油菜的表型数量性状及基因型，寻找基因型和表型的对应关系。高通量表型为油菜生长和最终产量的动态遗传结构提供新的见解，负责产量指标的QTLs与最终产量指标一致，可能提供一种新的产量调节机制，为产量预测提供新思路。38图2

–4跨越12个时间点的油菜植株的侧视图（上）和俯视图（下）三、可见光表型应用案例黄成龙等（2017）使用自动表型平台对玉米重组近交系群体在16个发育阶段的106个性状进行了量化，通过高通量植物表型平台对玉米进行表型分析，图像分析步骤如图2-5所示。在16个时间点的试验阶段，每个时间点使用彩色成像相机对每一植株采集15个侧视图像和1个俯视图像。之后利用高密度遗传连锁图谱进行数量性状基因座（quantitativetraitloci，QTL）定位，揭示这些复杂农艺性状的遗传基础，利用早期生长阶段的解剖性状来预测生物量的积累和最终产量。39图2

–5高通量玉米植物表型分析三、可见光表型应用案例植物表型自动化检测技术在农业研究和作物育种的过程中发挥了重要作用，但目前受限于二维技术，三维特征很难被提取。株型是影响多分蘖作物产量的重要表型特征之一，如小麦的分蘖数、分蘖角和茎粗等参数。为了使作物育种研究中株型参数提取实现自动化，方伟等（2016）提出一种基于体素的高通量植株株型性状参数获取的快速三维重建方法（图2-6至图2-9）。40图2

–6快速三维重建方法处理流程图图2

–7图像采集模块图2

–8标定模板与特征点识别(a

)

原始图像；(b

)标定模板；(c

)特征点识别图2

–9三维重建结果三、可见光表型应用案例梁秀英等（2020）提出的基于运动恢复结构（structurefrommotion，SfM）的户外玉米植株三维重建方法，提出一种自动分割，提取玉米单株、茎秆、叶片的方法。该方法使用拍照小车在户外自动获取多视角玉米植株二维图像，采用SfM算法进行三维重建生成点云数据，运用直通滤波、圆柱拟合和条件欧氏聚类算法自动分割单株、茎秆和叶片等点云数据，基于距离最值遍历、三角面片化等算法实现株高、茎粗、叶面积等11个性状的准确、无损测量（图2-10、图2-11）。41图2

–10玉米植株三维重建过程(a

)二维图像；(b

)VisualSFM三维重建；(c

)原始三维点云图2

–11玉米三维点云分割流程(a

)原始玉米点云；(b

)分割后的玉米植株；(c

)单株玉米植株；(d

)单株玉米点云；(e

)玉米茎秆；(f

)非茎秆点云；(g

)去除噪声和局外点后的非茎秆点云；(h

)单片叶片三、可见光表型应用案例黄成龙等（2019）提出一种基于结构光三维成像的棉花幼苗叶片性状解析方法（图2-12，图2-13）。该方法首先采用结构光扫描仪获取棉花幼苗的三维点云数据；然后利用直通滤波、超体聚类、条件欧氏距离等算法实现点云的识别与分割；最后采用颜色分割等处理，快速、准确、无损提取叶面积、周长、生长角度、卷曲度、黄叶占比等参数。对40株棉花幼苗进行三维结构光成像试验，3D叶片面积、周长的测量具有较高的测量精度，还证明叶片卷曲度和黄叶占比能显著区分病叶和正常叶。42图2

–12棉花叶片三维点云分割流程图图2

–13棉花三维点云叶片分割效果(a

)原始点云；(b

)分割土壤与棉花幼苗；(c

)点云稀疏化；(d

)点云体素化；(e

)玉米茎秆；(f

)非茎秆点云；(g

)去除噪声和局外点后的非茎秆点云三、可见光表型应用案例英国NicolasVirlet团队研制了大型轨道式的全自动化田间作物表型平台FieldScanalyzer，可对较大种植面积作物进行全天候表型采集。该平台主体为安装于轨道的龙门架结构，系统通过软件计算坐标控制龙门结构运动，其传感器安装在固定轨道上，包括高分辨率可见光传感器、叶绿素荧光和热红外照相机、两个高光谱成像仪和双三维激光扫描仪。图2-14展示了使用FieldScanalyzer采集的RGB图像来监测2015—2016年冬季两种英国小麦品种的树冠发育过程。RGB图像数据处理的最新发展允许植物在各种环境光照条件下从背景中分离出来。43图2

–14使用FieldScanalyzer通过颜色阈值分割处理的小麦树冠发育过三、可见光表型应用案例爱荷华州立大学的YinBao等（2016）提出了一种基于田间收集三维信息的机器人系统。该系统是一辆公用拖拉机改装了自动导航系统，携带传感器，具有收集数据功能。它在人工设定路径的作物行之间移动，同时从车辆两侧使用三层立体摄像机头用来捕捉3m高的高粱样本的立体图像。摄像机固定在垂直传感器平台上，侧视高粱植物，能够允许覆盖高大的植物并减少遮挡（图2-15）。44图2

–15基于田间收集三维信息的机器人系统(a

)改装了自动制导系统的拖拉机；(b

)同一范围内相机采集的植物基线；(c

)植被凸面壳（表面表示法与线框表示法）利用改造的拖拉机进行测量，虽然能够携带大型仪器，但在采集数据之前必须先穿过现场并停在每个样本位置上，绘制坐标及其相对位置的地图，造成了时间的浪费，并且体积较大，消耗燃油较高，在各行间移动麻烦。三、可见光表型应用案例美国伊利诺伊大学香槟分校的SierraN.Young等（2019）设计了一款用于监测高粱表型的履带式机器人TERRA-MEPP，TERRA-MEPP包括桅杆、车身、轨道和GPS，GPS被安装在桅杆的顶部，而运动控制器和陀螺仪传感器被安置在机器人身体上的一个控制箱中。可变高度的桅杆（图2-16）可以根据作物高度调整RGB成像传感器位置，同时履带可以穿越作物之间的间隙，在整个生长季节进行测量，生成的三维图像收集高粱作物结构方面的详细信息，通过最佳拟合线方法大致重建了单个植物的结构（图2-17）。45图2

–16TERRA-MEPP表型平台的照片(a

)短桅杆用于生长季节早期的植物成像；(b

)完全伸长的桅杆，用于测量较高的高粱高度图2

–17使用最佳拟合角度对高粱分割步骤(a

)原始强度图像；(b

)覆盖最佳拟合线的差异图像；(c

)最佳拟合线的角度；(d

)分割结果显示确定的植物边界框三、可见光表型应用案例便携式表型工具随着计算机和信息化的发展而出现，它们通常采用人工手持式进行操作，具有简单、易携带等特点，常见的终端有智能手机等。周济团队使用无监督的机器学习、计算机视觉和图像分析算法建立了一个简单的分析框架Leaf-GP。Leaf-GP是一个基于移动智能设备的开源和易用软件，可以在不同的平台上安装运行，并且能够分析由低成本成像设备捕获的图像。该软件能从RGB相机大量的图像数据集中提取和比较多个生长类的相关表型，如投影叶面积、叶周长和宽度、结实性（%）、紧实度（%）、叶数和绿度（0～255）等参数。Leaf-GP可以量化不同实验条件下拟南芥的生长表型，图2-18是使用智能手机拍摄的拟南芥生长图像。46图2

–18使用Leaf-GP测量拟南芥生长表型(a

)通过阈值获得的各格掩膜；(b

)使用Scikit图像中的fnd_contours函数叶子区域生成轮廓；(c

)提取轮廓线包围的绿色像素，去掉周围区域；(d

)使用Scikit中的convex_hull_image函数，用一个凸多边形包裹属于植物的所有像素；(e

)(f

)凸多边形应用于二值化和原图中三、可见光表型应用案例利用无人机遥感技术，快速、无损和高通量地获取田间株高表型信息，具有效率高、成本低、范围广等优势，可实现对田间物种植信息快速精准获取，在精准农业信息获取方面大有用处。张建等（2020）开发了一个CNN模型来识别无人机图像中的叶片数量，并根据识别叶片的数量估计了油菜籽的幼苗数，图2-19展示了卷积神经网络（convolutionalneuralnetworks，CNN）的结果。利用GPS设备集成的相机，对图像进行地理标签并通过无线控制，每1.0s自动触发相机捕捉图像，当无人机在飞行期间达到油菜籽田最低点时拍摄RGB图像。47图2

–19使用CNN计数油菜籽叶苗四、推荐阅读LiL，ZhangQ，HuangDF.Areviewofimagingtechniquesforplantphenotyping［J］.Sensors，2014，14（11）：20078-20111.本文综述了当前各种成像技术在植物表型研究中的应用，并对相关特点进行了描述和讨论。这些成像技术包括可见光成像（机器视觉）、成像光谱（多光谱和高光谱遥感）、热红外成像、荧光成像、3D成像和层析成像。HumplikJF，LazarD，HusickovaA，etal.Automatedphenotypingofplantshootsusingimagingmethodsforanalysisofplantstressresponses-areview［J］.PlantMethods，2015，11：29.本文重点介绍了开发用于高通量植物表型的综合自动化平台的最新进展，该平台采用多个传感器同时分析植物芽生长情况，传感器包括RGB成像、叶绿素荧光成像、热成像和高光谱成像，并进一步概述了如何以及在多大程度上使用集成的自动化室内表型平台来研究植物对各种变化环境的反应。48五、思考与讨论复习思考题简述可见光成像系统组成及其优缺点可见光成像表型设施有哪些？开放性讨论阐述提高可见光成像表型检测精度和通量的方法总结可见光成像表型数据的处理方法，包括图像处理方法与数据分析方法49三维成像表型分析技术HUAZHONGAGRICULTURALUNIVERSITY50目录CONTENTS第一节三维激光扫描技术第二节基于多视影像的三维重建技术第三节三维成像表型典型案例分析第四节推荐阅读第五节思考与讨论51一、三维激光扫描技术三维成像技术三维数据点云数据作物点云聚类点云数据分析三维性状提取52

从光学测量的角度而言，三维成像技术可以分为主动方法和被动方法。主动方法通过硬件设备主动发射信号，利用信号的传播特性和目标表面的反射特性，直接获取目标表面的三维信息；被动方法通常利用相机从多个视角获取目标的序列影像，通过计算机视觉原理重建目标三维结构。一、三维激光扫描技术53激光扫描系统一般包括：激光发射器、激光接收器、时间计数器、马达控制可旋转的滤光镜、CCD及软件等。根据扫描距离的远近，激光扫描系统可分为三种类型：手持式、近景式和中远距离激光扫描系统。三维成像技术激光扫描仪点云数据作物点云聚类点云数据分析三维性状提取一、三维激光扫描技术54（1）深度图（depthmap）：深度图以二维图像中的灰度图形式表示，每个像素对应的灰度值代表目标点到相机（即视点）的距离。（2）体素（voxel）即体积元素，代表了三维场景中最小单元的划分，通常指代一个小立方体单元，与二维图像中的像素概念类似。（3）点云（pointcloud）以三维空间中的离散点形式表示，也可以包含坐标、色彩、光强或反射强度等信息。（4）网格（mesh）是三维形体中表面模型的一种常用表示形式，通常以多边形呈现。三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取离散点云是表示三维形状或特征的多个点的数据集合，也是激光扫描系统获取数据的最常见形式，部分设备的输出数据中除了包含三维坐标值，还包含反射强度（intensity）和颜色（red，green，blue，RGB）等属性。三维数据的常用表示形式一、三维激光扫描技术55从应用作物对象的尺度上，点云数据可分别应用于单株、区块和田间作物。应用分析可包括干旱响应、性状分析、长势分析、产量估计、数量性状基因座（quantitativetraitlocus，QTL）分析和生物量估算等。三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取点云数据的用途一、三维激光扫描技术56三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取八叉树组织：八叉树是一种树数据结构，可用于三维点云的空间划分，随着树深度的增加，内部节点表示三维空间的较小分区（图3-5）。该方法的优势是简单易实现，但它是一种不平衡的分层数据结构，点云的遍历、搜索效率较低。K-D树组织：K-D树是一种空间分区的数据结构。K-D树递归地使用垂直于坐标轴且经过其划分范围的中间点的平面切分三维空间，构成一系列的三维立方体区。该方法可以达到数据的最小细分，得到平衡的数据结构，能够实现更高效的最邻近搜索算法。点云数据的组织一、三维激光扫描技术57三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取点云的后续处理要求对离散点云中各点所具备的特性进行比较分析，从而区分出不同类型的点。因此，需要对各个点的局部特征进行量化计算。点的法向量点的法向量的精确估计可以为后续的点云去噪和分割等方法提供基础的特征描述。点的曲率估计由协方差矩阵C的特征值可计算出曲率。点的密度特征点云密度的计算方法主要有分区统计法和邻域统计法。分区统计法将点云所在空间划分成为大小一致的立方体单元，该立方体单元内部的每个点的密度特征一致，统计立方体单元内部的点数即可；邻域统计法以每一个离散点为中心，统计给定半径邻域范围内的点数。快速点特征直方图快速点特征直方图（fastpointfeaturehistograms，FPFH）是对点特征直方图的加速计算，参数化点云中当前点与邻近点之间的空间区别度后，形成一个33维的特征向量描述当前点局部特征。点特征描述一、三维激光扫描技术58三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取作物点云中伴随的大量不相关或位置有偏移的杂点称为噪声。在保持原始作物模型几何特征不变的情况下，需要对点云数据进行滤波处理，以获得干净的点云数据。适用于作物点云的滤波方法主要为以下两种。直通滤波：由用户指定区域范围，将指定区域范围外的所有点剔除，仅保留区域内的离散点。该方法简单便捷，适用于包含大量与目标物无关的点云场景。基于统计的滤波法：该类方法通过计算所有输入点与临近点间的距离的分布完成（图3-9）。该算法的前提是：点和临近点的距离值呈高斯分布，平均距离值和标准差均可计算出。若某点与临近点的距离值超出用户定义的阈值范围，将被视为异常值，并从数据集中剔除。其算法原理如下：点云数据去噪一、三维激光扫描技术59

点云分割是一种聚类，其目的是将属于同一类别的离散点云聚类，从而表示一个对象或目标。适用于作物点云分割的算法主要有以下三类：三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取基于区域的方法利用邻域信息结合具有相似属性的邻近点进行点云分割。在点云分布较均匀的情况下，区域增长过程可以使用点云表面的连通性和平滑性来完成，即通过计算相邻点的法向量和欧氏距离来完成点云间相似性的度量。基于模型拟合的方法若待分割目标包含了可以用表达式描述的几何形体，如平面、直线段、圆柱体、球体等，则可采用模型拟合的分割算法。基于机器学习的方法此类分割方法主要通过机器学习方法实现，最具代表性的算法包括层次聚类、k-means聚类、Mean-shift聚类、支持向量机、深度学习等。一、三维激光扫描技术60三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取

为了研究同一株作物生长变化及相邻时期表型参数动态变化，需要将不同时期的作物点云数据进行配准。相邻两个生育期作物点云数据的配准包括两个步骤：第一步是将同一株作物相邻时期点云数据对齐；第二步是在相邻时期点云数据对齐的基础上，建立作物植株叶片器官间的一一对应关系。粗配准精配准一、三维激光扫描技术61三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取体积提取：通常在三维空间中寻找最近似的几何体来解决作物的体积计算问题。凸包法：最小包围凸包常用来表示三维空间中作物植株的体积。其实现过程可通过增量法或分治法完成。最小外接立方体法：即给定三维坐标中的X、Y、Z三个坐标轴上的最大坐标值和最小坐标值定义的立方体。该立方体的体积即可用来指代植物的体积。体素法：它代表了三维空间点云数据划分的最小单位，可以用划分后的体素数量的大小来指代作物的体积。一、三维激光扫描技术62三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取株高提取：株高可通过两种方式完成计算：用提取主干过程中得到的作物主干部分来测量作物的株高。分别获取主干的最低点和最高点的三维坐标，两者作物之间的欧氏距离即为植株高度。借助作物最小外接立方体的高来表示。叶长、叶宽提取：可采用逐渐逼近的方法来测量叶片长度和宽度。叶面积提取：可通过统计表面模型表示法中所有面片的面积之和来完成。二、基于多视影像的三维重建技术63数据采集方式数据采集条件三维重建方法是否需要标定固定相机采集借助旋转平台、步进电机等辅助设备基于特征匹配的方法基于侧影轮廓的方法需要移动相机采集保持作物静止，在场景中移动相机即可运动恢复结构法不需要适用于植物表型研究的主要方法是多视影像三维重建，即仅通过一台相机获取目标的多视影像，得到目标的三维信息。相机成像模型相机标定三维重建方法介绍二、基于多视影像的三维重建技术64

针孔成像模型中，光线穿过光圈，在相机的另一侧投射出反转图像（图3-12）。其中，光圈所在位置为焦点，成像平面到焦点的距离为焦距。将三维世界中的一个三维点投影到二维成像平面的几何投影过程，涉及的坐标系包括：世界坐标系、相机坐标系、图像像素坐标系和图像物理坐标系。相机成像模型相机标定三维重建方法介绍二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍65二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍66理想的成像模型中，相机没有镜头。实际上，相机的镜头由透镜构成，这会带来失真现象。为了精确地表示真实的相机模型，需要考虑畸变，包括径向畸变和切向畸变。当光线在透镜边缘的弯曲程度大于它在透镜光学中心的弯曲程度时，就会发生径向畸变（图3-15）。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍67当透镜和图像平面不平行时，会发生切向畸变。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍68原理：在预处理阶段把重建物体所在的空间剖分成一系列立方体体素，算法执行过程中通过计算体素关于每一个成像平面的投影，并检测其是否落在前景轮廓里来实现视锥体求交，最后得到重建物体的体素集合。基于侧影轮廓的三维重建二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍69特征匹配：根据图像中特征提取后获得的数据，建立各特征间的对应关系，将同一个空间点在不同视角的图像中的特征点对应起来，从而得到视差图像，获取匹配点的深度信息。相机标定特征提取特征匹配三维重建一旦获取每幅图像的特征点，将会在每组立体像对中进行特征匹配。所有立体像对完成特征匹配后，连续的多幅影像中会出现共同的匹配特征点，将这些多视匹配特征点利用三角化过程进行约束，即可得到准确的三维点。具体步骤如下：基于特征匹配的三维重建点特征由于具有较好的辨识性、局部性和高效性等优势，常常用于三维重建过程中的特征表示。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍70运动恢复结构（structurefrommotion，SfM）能够通过序列影像估计相机参数及目标场景的三维信息。SfM流程包括以下步骤：特征检测（featuredetection）、特征匹配（correspondenceestablishment）、恢复相机参数和场景几何结构、光束法平差优化等。其中，光束法平差（bundleadjustment，BA)不是SfM过程的必须步骤，但是优化SfM模型的常见步骤。投影点和图像上提取出的特征点之间会存在偏差（图3-18）为了得到相机参数和场景坐标的最优解，可引入约束条件优化，使得所有点的反投影偏差平方和达到最小，利用非线性最小二乘法完成该求解过程，即光束法平差。运动恢复结构二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍71

多视角立体视觉（multi-viewstereo，MVS）用于从大量的图像中密集重建出静态场景。输入是静态场景的序列影像及对应的相机内外参数，输出则是场景的密集点云。具体步骤如下：利用SfM输出的相机参数对立体图像进行立体校正提取图像特征点利用极线约束等方法完成影像匹配利用三角化过程生成稠密点云多视角立体视觉二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍72极线约束是SfM-MVS算法实现的重要理论依据。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍73传统的三维重建算法：在特征提取和影像匹配方面均需要设计特定的准则，虽然能够获得目标的较密集点云，但是存在一定的局限性，如目标表面缺乏纹理，或表面具有高反射性，则影像匹配的结果会在一定程度上受到影响，导致生成的三维模型不完整。基于深度学习的三维重建：香港科技大学YaoYao等于2018年提出了一种基于深度学习的端到端的深度估计框架网络MVSNet，该网络遵循了传统的多视角影像重建的理论。为了提升逐点匹配的效率，MVSNet通过构建立方损失计算视差，后续CasCade-MVSNet则在匹配代价体的构造方式上做出了改进，使得利用深度学习方法估深度度时，可以在较低的图形处理器消耗下得到更高精度的深度图。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建74结合超体素和区域增长的点云分割算法：首先利用超体素算法将原始点云过分割为超体素，以超体素中心点代表该超体素，同时保留边界信息；再针对超体素中心点引入欧式距离和法向量差异两个约束，结合超体素特征自适应选取参数，利用区域增长算法合并超体素，最终得到具有特定意义的点云子集。图3-20各算法分割效果图从左至右分别为区域增长算法、K均值聚类算法和融合了超体素的区域增长分割效果图三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建75由于棉花主干呈直立状态，利用RANSAC算法完成主干模型拟合则成为首选方法。多时序的棉花植株间各叶片的对应关系建立结果如图3-22所示，不同时序点云中的同一叶片采用同一颜色渲染。可以注意到，顶部的新生叶片未能在前期数据中找到对应叶片，而植株底部的红色叶片随着植株的长大成为老叶脱落。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建76常用的SfM软件主要有：VisualSfM、ColMap、Bundler、OpenMVG等。SfM算法在实现过程中，完全依赖于图像中局部特征的检测和匹配过程，而且这些特征需要具备唯一性，只有当图像间能够匹配出较多的同名特征时，才能够计算出图像间的变换矩阵，从而有效地恢复出不同影像、相机间的三维位置关系。所以SfM重建仅能得到较稀疏的点云。为了得到稠密的三维点云，需要通过多视角立体视觉技术来完成。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建77以VisualSfM为例来说明重建过程。该软件实现了SfM的完整流程。