第3章 三维表型技术 -

三维成像表型分析技术HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节三维激光扫描技术第二节基于多视影像的三维重建技术第三节三维成像表型典型案例分析第四节推荐阅读第五节思考与讨论2一、三维激光扫描技术三维成像技术三维数据点云数据作物点云聚类点云数据分析三维性状提取3

从光学测量的角度而言，三维成像技术可以分为主动方法和被动方法。主动方法通过硬件设备主动发射信号，利用信号的传播特性和目标表面的反射特性，直接获取目标表面的三维信息；被动方法通常利用相机从多个视角获取目标的序列影像，通过计算机视觉原理重建目标三维结构。一、三维激光扫描技术4激光扫描系统一般包括：激光发射器、激光接收器、时间计数器、马达控制可旋转的滤光镜、CCD及软件等。根据扫描距离的远近，激光扫描系统可分为三种类型：手持式、近景式和中远距离激光扫描系统。三维成像技术激光扫描仪点云数据作物点云聚类点云数据分析三维性状提取一、三维激光扫描技术5（1）深度图（depthmap）：深度图以二维图像中的灰度图形式表示，每个像素对应的灰度值代表目标点到相机（即视点）的距离。（2）体素（voxel）即体积元素，代表了三维场景中最小单元的划分，通常指代一个小立方体单元，与二维图像中的像素概念类似。（3）点云（pointcloud）以三维空间中的离散点形式表示，也可以包含坐标、色彩、光强或反射强度等信息。（4）网格（mesh）是三维形体中表面模型的一种常用表示形式，通常以多边形呈现。三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取离散点云是表示三维形状或特征的多个点的数据集合，也是激光扫描系统获取数据的最常见形式，部分设备的输出数据中除了包含三维坐标值，还包含反射强度（intensity）和颜色（red，green，blue，RGB）等属性。三维数据的常用表示形式一、三维激光扫描技术6从应用作物对象的尺度上，点云数据可分别应用于单株、区块和田间作物。应用分析可包括干旱响应、性状分析、长势分析、产量估计、数量性状基因座（quantitativetraitlocus，QTL）分析和生物量估算等。三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取点云数据的用途一、三维激光扫描技术7三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取八叉树组织：八叉树是一种树数据结构，可用于三维点云的空间划分，随着树深度的增加，内部节点表示三维空间的较小分区（图3-5）。该方法的优势是简单易实现，但它是一种不平衡的分层数据结构，点云的遍历、搜索效率较低。K-D树组织：K-D树是一种空间分区的数据结构。K-D树递归地使用垂直于坐标轴且经过其划分范围的中间点的平面切分三维空间，构成一系列的三维立方体区。该方法可以达到数据的最小细分，得到平衡的数据结构，能够实现更高效的最邻近搜索算法。点云数据的组织一、三维激光扫描技术8三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取点云的后续处理要求对离散点云中各点所具备的特性进行比较分析，从而区分出不同类型的点。因此，需要对各个点的局部特征进行量化计算。点的法向量点的法向量的精确估计可以为后续的点云去噪和分割等方法提供基础的特征描述。点的曲率估计由协方差矩阵C的特征值可计算出曲率。点的密度特征点云密度的计算方法主要有分区统计法和邻域统计法。分区统计法将点云所在空间划分成为大小一致的立方体单元，该立方体单元内部的每个点的密度特征一致，统计立方体单元内部的点数即可；邻域统计法以每一个离散点为中心，统计给定半径邻域范围内的点数。快速点特征直方图快速点特征直方图（fastpointfeaturehistograms，FPFH）是对点特征直方图的加速计算，参数化点云中当前点与邻近点之间的空间区别度后，形成一个33维的特征向量描述当前点局部特征。点特征描述一、三维激光扫描技术9三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取作物点云中伴随的大量不相关或位置有偏移的杂点称为噪声。在保持原始作物模型几何特征不变的情况下，需要对点云数据进行滤波处理，以获得干净的点云数据。适用于作物点云的滤波方法主要为以下两种。直通滤波：由用户指定区域范围，将指定区域范围外的所有点剔除，仅保留区域内的离散点。该方法简单便捷，适用于包含大量与目标物无关的点云场景。基于统计的滤波法：该类方法通过计算所有输入点与临近点间的距离的分布完成（图3-9）。该算法的前提是：点和临近点的距离值呈高斯分布，平均距离值和标准差均可计算出。若某点与临近点的距离值超出用户定义的阈值范围，将被视为异常值，并从数据集中剔除。其算法原理如下：点云数据去噪一、三维激光扫描技术10

点云分割是一种聚类，其目的是将属于同一类别的离散点云聚类，从而表示一个对象或目标。适用于作物点云分割的算法主要有以下三类：三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取基于区域的方法利用邻域信息结合具有相似属性的邻近点进行点云分割。在点云分布较均匀的情况下，区域增长过程可以使用点云表面的连通性和平滑性来完成，即通过计算相邻点的法向量和欧氏距离来完成点云间相似性的度量。基于模型拟合的方法若待分割目标包含了可以用表达式描述的几何形体，如平面、直线段、圆柱体、球体等，则可采用模型拟合的分割算法。基于机器学习的方法此类分割方法主要通过机器学习方法实现，最具代表性的算法包括层次聚类、k-means聚类、Mean-shift聚类、支持向量机、深度学习等。一、三维激光扫描技术11三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取

为了研究同一株作物生长变化及相邻时期表型参数动态变化，需要将不同时期的作物点云数据进行配准。相邻两个生育期作物点云数据的配准包括两个步骤：第一步是将同一株作物相邻时期点云数据对齐；第二步是在相邻时期点云数据对齐的基础上，建立作物植株叶片器官间的一一对应关系。粗配准精配准一、三维激光扫描技术12三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取体积提取：通常在三维空间中寻找最近似的几何体来解决作物的体积计算问题。凸包法：最小包围凸包常用来表示三维空间中作物植株的体积。其实现过程可通过增量法或分治法完成。最小外接立方体法：即给定三维坐标中的X、Y、Z三个坐标轴上的最大坐标值和最小坐标值定义的立方体。该立方体的体积即可用来指代植物的体积。体素法：它代表了三维空间点云数据划分的最小单位，可以用划分后的体素数量的大小来指代作物的体积。一、三维激光扫描技术13三维成像技术激光扫描仪

点云数据作物点云聚类点云数据分析三维性状提取株高提取：株高可通过两种方式完成计算：用提取主干过程中得到的作物主干部分来测量作物的株高。分别获取主干的最低点和最高点的三维坐标，两者作物之间的欧氏距离即为植株高度。借助作物最小外接立方体的高来表示。叶长、叶宽提取：可采用逐渐逼近的方法来测量叶片长度和宽度。叶面积提取：可通过统计表面模型表示法中所有面片的面积之和来完成。二、基于多视影像的三维重建技术14数据采集方式数据采集条件三维重建方法是否需要标定固定相机采集借助旋转平台、步进电机等辅助设备基于特征匹配的方法基于侧影轮廓的方法需要移动相机采集保持作物静止，在场景中移动相机即可运动恢复结构法不需要适用于植物表型研究的主要方法是多视影像三维重建，即仅通过一台相机获取目标的多视影像，得到目标的三维信息。相机成像模型相机标定三维重建方法介绍二、基于多视影像的三维重建技术15

针孔成像模型中，光线穿过光圈，在相机的另一侧投射出反转图像（图3-12）。其中，光圈所在位置为焦点，成像平面到焦点的距离为焦距。将三维世界中的一个三维点投影到二维成像平面的几何投影过程，涉及的坐标系包括：世界坐标系、相机坐标系、图像像素坐标系和图像物理坐标系。相机成像模型相机标定三维重建方法介绍二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍16二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍17理想的成像模型中，相机没有镜头。实际上，相机的镜头由透镜构成，这会带来失真现象。为了精确地表示真实的相机模型，需要考虑畸变，包括径向畸变和切向畸变。当光线在透镜边缘的弯曲程度大于它在透镜光学中心的弯曲程度时，就会发生径向畸变（图3-15）。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍18当透镜和图像平面不平行时，会发生切向畸变。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍19原理：在预处理阶段把重建物体所在的空间剖分成一系列立方体体素，算法执行过程中通过计算体素关于每一个成像平面的投影，并检测其是否落在前景轮廓里来实现视锥体求交，最后得到重建物体的体素集合。基于侧影轮廓的三维重建二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍20特征匹配：根据图像中特征提取后获得的数据，建立各特征间的对应关系，将同一个空间点在不同视角的图像中的特征点对应起来，从而得到视差图像，获取匹配点的深度信息。相机标定特征提取特征匹配三维重建一旦获取每幅图像的特征点，将会在每组立体像对中进行特征匹配。所有立体像对完成特征匹配后，连续的多幅影像中会出现共同的匹配特征点，将这些多视匹配特征点利用三角化过程进行约束，即可得到准确的三维点。具体步骤如下：基于特征匹配的三维重建点特征由于具有较好的辨识性、局部性和高效性等优势，常常用于三维重建过程中的特征表示。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍21运动恢复结构（structurefrommotion，SfM）能够通过序列影像估计相机参数及目标场景的三维信息。SfM流程包括以下步骤：特征检测（featuredetection）、特征匹配（correspondenceestablishment）、恢复相机参数和场景几何结构、光束法平差优化等。其中，光束法平差（bundleadjustment，BA)不是SfM过程的必须步骤，但是优化SfM模型的常见步骤。投影点和图像上提取出的特征点之间会存在偏差（图3-18）为了得到相机参数和场景坐标的最优解，可引入约束条件优化，使得所有点的反投影偏差平方和达到最小，利用非线性最小二乘法完成该求解过程，即光束法平差。运动恢复结构二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍22

多视角立体视觉（multi-viewstereo，MVS）用于从大量的图像中密集重建出静态场景。输入是静态场景的序列影像及对应的相机内外参数，输出则是场景的密集点云。具体步骤如下：利用SfM输出的相机参数对立体图像进行立体校正提取图像特征点利用极线约束等方法完成影像匹配利用三角化过程生成稠密点云多视角立体视觉二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍23极线约束是SfM-MVS算法实现的重要理论依据。二、基于多视影像的三维重建技术相机成像模型相机标定三维重建方法介绍24传统的三维重建算法：在特征提取和影像匹配方面均需要设计特定的准则，虽然能够获得目标的较密集点云，但是存在一定的局限性，如目标表面缺乏纹理，或表面具有高反射性，则影像匹配的结果会在一定程度上受到影响，导致生成的三维模型不完整。基于深度学习的三维重建：香港科技大学YaoYao等于2018年提出了一种基于深度学习的端到端的深度估计框架网络MVSNet，该网络遵循了传统的多视角影像重建的理论。为了提升逐点匹配的效率，MVSNet通过构建立方损失计算视差，后续CasCade-MVSNet则在匹配代价体的构造方式上做出了改进，使得利用深度学习方法估深度度时，可以在较低的图形处理器消耗下得到更高精度的深度图。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建25结合超体素和区域增长的点云分割算法：首先利用超体素算法将原始点云过分割为超体素，以超体素中心点代表该超体素，同时保留边界信息；再针对超体素中心点引入欧式距离和法向量差异两个约束，结合超体素特征自适应选取参数，利用区域增长算法合并超体素，最终得到具有特定意义的点云子集。图3-20各算法分割效果图从左至右分别为区域增长算法、K均值聚类算法和融合了超体素的区域增长分割效果图三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建26由于棉花主干呈直立状态，利用RANSAC算法完成主干模型拟合则成为首选方法。多时序的棉花植株间各叶片的对应关系建立结果如图3-22所示，不同时序点云中的同一叶片采用同一颜色渲染。可以注意到，顶部的新生叶片未能在前期数据中找到对应叶片，而植株底部的红色叶片随着植株的长大成为老叶脱落。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建27常用的SfM软件主要有：VisualSfM、ColMap、Bundler、OpenMVG等。SfM算法在实现过程中，完全依赖于图像中局部特征的检测和匹配过程，而且这些特征需要具备唯一性，只有当图像间能够匹配出较多的同名特征时，才能够计算出图像间的变换矩阵，从而有效地恢复出不同影像、相机间的三维位置关系。所以SfM重建仅能得到较稀疏的点云。为了得到稠密的三维点云，需要通过多视角立体视觉技术来完成。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建28以VisualSfM为例来说明重建过程。该软件实现了SfM的完整流程。图3-24是通过VisualSfM对输入的148幅图像进行稀疏重建的结果。在稀疏重建结果图示中（图3-24b），上半部分是恢复的相机位置，下半部分是运动恢复结构的目标点云结果。可以看出，重建的目标点云较稀疏，远远不能满足植物三维表型测量的要求，进行稠密重建的任务是十分必要的。三、三维成像表型典型案例分析油菜幼苗叶片激光点云分割方法多时相棉花点云数据处理基于图像的三维重建29

分别利用三维重建软件VisualSfM中集成的PMVS和深度学习CasCade-MVSNet完成了生菜的三维重建（图3-25）。与SfM重建结果相比，深度学习的重建效果更好，生菜结构完整，表面细节丰富，而且漏洞较少，细节缺失问题得到了很大的改善。四、推荐阅读PaulusS.Measuringcropsin3D：usinggeom