（正式版）DB6111∕T 175-2021 《智慧农业果实三维数字化数据采集及建模技术规范》

ICS65.020.99CCSB07DB6111杨凌农业高新技术产业示范区地方标准SmartAgriculture-Specificationfor3DDigitalDataCollectionandModeli杨凌示范区市场监督管理局发布IDB6111T/175—2021本文件依据GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》起草。本文件由杨凌示范区农业标准化技术委员会提出并归口。本文件起草单位：西北农林科技大学、陕西贞观实业有限公司、陕西杨凌田上农业科技有限公司、陕西美好家园农业科技发展股份有限公司、杨凌锦田果蔬专业合作社。本文件主要起草人：杨会君、王昕、于启瑞、李劲波、雷鸣、张田龙、李海平本文件首次发布。本文件由西北农林科技大学负责解释。联系人：杨会君联系方式：yhj740225@联系地址：陕西省杨凌示范区西农南路3号邮政编码：712100DB6111T/175—20211智慧农业果实三维数字化数据采集及建模技术规范本文件规定了果实三维数字化数据采集及建模的术语与定义、缩略语、果实图像数据的采集、果实三维重建和精细度评估及三维模型发布与应用。本文件适用于智慧果园苹果、猕猴桃、桃子等鲜果果实三维数字化的点云数据采集、建模、处理，得到干净、准确的果实模型数据。不适用于干果品质评测过程中的形态特征获取、色泽和水分含量测定。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T2822-2005标准尺寸GB/T8170-2008数值修约规则与极限数值的表示和判定GB/T18784CAD/CAM数据质量GB/T24734.1-2009技术产品文件数字化产品定义数据通则第1部分：术语和定义GB/T26099.1-2010机械产品三维建模通用规则第1部分：通用要求GB/T31053-2014机械产品逆向工程三维建模技术要求GB/T38368-2019产品几何技术规范（GPS）基于数字化模型的测量通用要求3术语和定义GB/T26099.1-2010、GB/T31053-2014和GB/T38368-2019界定的以及下列术语和定义适用于本文件。3.1果实三维数字化Fruit3DDigitization用三维重建和分析工具获取、创建、修改、完善、分析果实数字模型的系列技术。3.2点云数据采集PointCloudDataCollection用三维扫描仪、深度相机、RGB相机等获取果实点云形态的形状（几何构造）和外观信息（如颜色、表面反照率等）过程。3.3场景图SceneGraph24缩略语——CAD--计算机辅助设计(Comput5果实多视角图像数据采集设备选型距离范围拍摄设备和图像关系限单个设备连续拍摄多视角照片目标占比摄像头内部参数由摄像头本身元件所确定。计算方法见公式(1)。参数通常包含于图像EXIF信息中，若缺失，也可5.2采集环境3图1图像数据采集路径标定板(红色为俯视图，蓝色为侧视图)5.3拍摄与数据存储方案参照图1所示的位置关系，确定拍摄视角，具体方案如下：a)根据环境和拍摄果实实际尺寸确定标定板的具体大小，并打印图1所示数据采集标定方案图。b)将拍摄目标放在标定板的正中心，找到果实中心轴，在距离果实中心轴30cm的斜上方30°角以及斜下方30°角拍摄，每拍摄一次旋转角度小于等于18°,所得图像应连续且有重叠，每一方位拍摄至少20张多视角图像。c)建立新文件夹，以存储拍摄的多视角果实图像，具体参照6.2中重建执行流程。5.4预处理5.4.1背景预处理按照5.3拍摄得到的多视角图片示例参见图2。用OpenCV库中的K-均值聚类或分水岭算法预处理果实图像背景，最终以离散背景点少、果实边缘完整、基本无阴影、除去速度较快、保留果实特征信息为原则判定处理效果。jpgjpgjpgjpgjpgjpgjpgjPgjpgjpgjpg图2规范采集的多视角图像示例(部分数据)5.4.2图像预处理4采取具有迭代重构分量的顺序处理管道——增量式b)过滤特征点并精确定位。利用黑塞(Hessian)矩阵处理并确定某像素点是否为特征点，特征点0.993648,-0.0203235,-0.0940343,--2.82532,-0.719142,-2663601.594515,1710.000000,1710.000000.913088,-0.13921,0.359863-1.80516,-1.31125,25根据得到相邻两幅图像的显著特征点，利用特征点及征。特征匹配的输入是提取到的特征点，输出是重叠的到所有图像输入并优化完成。最终得到如图4的摄像头位姿信息与稀疏三维点云场景图，如图初始化一组与突出图像区域相关的稀疏面片patb)通过求解PnP问题将新图像配准到稀疏模型；c)使用特征对应法对已配准的图像中的点进行三角化(2D-3D对应),并利用2D-3D对应关系配准(a)稀疏重建的场景图(b)稠密化重建点云采用Patch-Match方法估计密集点云6DB6111T/175—20216.2果实重建处理流程6.2.1配置及处理要求通过开源库Colmap实现果实稀疏三维点云重建，Patch-Match实现稠密重建。配置和处理过程请参见附录A。6.2.2准备操作mkdircolmap_data//新建colmap_data文件夹,作为重建操作的主文件夹cdcolmap_data//进入colmap_data目录mkdirimages//新建子文件夹images，存储输入的多视角图片。mkdirdatabase.db//新建子文件夹database.db,存储输出的特征点信息。6.2.3稀疏重建colmapfeature_extractor--database_pathdatabase.db--image_pathimages//执行特征提取命令colmapexhaustive_matcher--database_pathdatabase.db//执行特征点匹配命令colmapmapper--image_pathimages--database_pathdatabase.db–output_pathsparse//在colmap_data目录下新建sparse文件夹，并存储稀疏重建结果。在sparse文件夹中生成三个bin文件，包括相机内参：cameras.bin、相机位姿：images.bin和稀疏3D点：points3D.bin。6.2.4信息转换稀疏重建获得相机位置照片，图片信息，以及稀疏点云之后，用OpenVMS和colmap转换得到sence.mvs文件。6.2.5生成稠密点云DensifyPointCloudscene.mvs//执行命令,使用OpenVMS生成深度图从而得到稠密点云。7精细度评估7.1误差来源果实点云获取过程中的误差来源包括：a)设备误差：因采集设备自身性能限制产生；b)环境误差：因拍摄场景复杂多变，光照变化等影响产生；c)系统误差：因不同的软件版本等产生的误差；d)计算误差：因采用的算法不同产生的误差；e)近似误差：因系统计算时得到的近似值产生的误差；f)模型误差：实际问题抽象为数学模型本身含有的误差；g)其它误差：因人为因素或偶然原因引起的其它误差。7.2评估指标选择7DB6111T/175—2021通常包括整体指标、局部指标、量化指标和非量化指标。评估指标选择应满足GB/T8170-2008中的下列要求：a)整体指标：评估真实果实和果实数字化三维模型的偏差，如整体几何大小、目标占比、模型点数等；几何特征间的几何约束关系；目标、相机之间的角度、距离、定位关系等；b)局部指标：评估曲面与真实果实对应曲面的偏离程度；c)量化指标：评估点云模型点数值偏差；d)非量化指标：曲面属性评估果实数字化三维模型表面的光顺性，如曲面的高斯曲率分布、光照效果、法向量和主曲率图等。7.3评估要求果实数字化形成的三维模型精度评价应遵循以下原则：a)果实数字化三维模型的数据质量应满足GB/T18784的要求；b)果实数字化三维模型应具备实用性。可根据数字化果实模型，判断果实成熟情况，得到果实详细的表型信息等；c)果实数字化三维模型与真实果实的实际误差不得超过4%；d)果实数字化三维模型应具有对真实果实细节表达能力，满足真实果实表型生物量计算的精度需8三维模型发布和应用三维点云模型的发布与应用应满足GB/T24734.1-2009中对三维模型的发布、应用要求和GB/T38368-2019中对三维模型的通用要求。DB6111T/175—20218（规范性附录）环境配置A.1COLMAP的安装配置A.1.1运行环境Ubuntu16.04。A.1.2在GitHub上下载COLMAP源代码gitclone/colmap/colmapA.1.3安装Ubuntu存储库的依赖项sudoapt-getinstallgitsudoapt-getinstallcmakesudoapt-getinstallbuild-essentialsudoapt-getinstalllibboost-program-options-devsudoapt-getinstalllibboost-filesystem-devsudoapt-getinstalllibboost-graph-devsudoapt-getinstalllibboost-regex-devsudoapt-getinstalllibboost-system-devsudoapt-getinstalllibboost-test-devsudoapt-getinstalllibeigen3-devsudoapt-getinstalllibsuitesparse-devsudoapt-getinstalllibfreeimage-devsudoapt-getinstalllibgoogle-glog-devsudoapt-getinstalllibgflags-devsudoapt-getinstalllibglew-devsudoapt-getinstallqtbase5-devsudoapt-getinstalllibqt5opengl5-devsudoapt-getinstalllibcgal-devA.1.4安装CGALQt5软件包sudoapt-getinstalllibcgal-qt5-devA.1.5安装CeresSolversudoapt-getinstalllibatlas-base-devlibsuitesparse-devgitclone/ceres-solvercdceres-solvergitcheckout$(gitdescribe--tags)#CheckoutthelatestreleaseDB6111T/175—20219mkdirbuildcdbuildcmake..-DBUILD_TESTING=OFF-DBUILD_EXAMPLES=OFFmake-jsudomakeinstallA.1.6配置和编译COLMAPcdcolmapgitcheckoutdevmkdirbuildcdbuildcmakemake-jsudomakeinstallA.1.7运行COLMAPcolmap–hcolmapguiA.2OpenMVS的安装配置A.2.1运行环境Ubuntu16.04（参考网站）A.2.2在GitHub上下载OpenMVS源代码gitclone/cdcseacave/openMVS.gitA.2.3环境配置sudoapt-getupdate-qq&&sudoapt-getinstall-qqsudoapt-get-yinstallgitcmakelibpng-devlibjpeg-devlibtiff-devlibglu1-mesa-devmain_path='pwd'gitclone/libeigen/eigen.git--branch3.2#Eigen(Required)mkdireigen_build&&cdeigen_buildcmake.../eigenmake&&sudomakeinstallcd..sudoapt-get-yinstalllibboost-iostreams-devlibboost-program-options-devibboost-system-devlibboost-serialization-dev#Boost(Required)sudoapt-get-yinstalllibopencv-dev#OpenCV(Required)sudoapt-get-yinstalllibc