机器视觉技术(HALCON版·微课视频版)7 3D视觉

73D视觉GPNU潜龙2024.3.15主要内容7.1相机模型的成像原理7.2相机标定实现7.33D物体模型处理7.43D匹配7.53D重建3D视觉机器视觉系统通过相机获取3D世界的二维图像，这个过程实际是通过相机模型将3D世界坐标投影到二维图像坐标来实现的，因此二维图像中每个像素点都有一个3D世界中的点与之对应，相机标定的作用就是建立3D世界与二维图像之间所对应的投影关系，而经过标定的特定相机系统通过3D重建技术便可以实现3D世界的还原。3D视觉的任务是通过相机标定和3D重建技术获取3D物体模型，从而进行3D定位和3D检测等任务。7.1相机模型的成像原理面阵相机

3D点到像素点的映射过程刚性变换齐次变换矩阵表示：位姿表示：投影针孔相机模型：远心相机模型：畸变转换除法模型：多项式模型：相机外参刚性的变换参数，以位姿表示：相机内参投影+畸变+转换参数：

7.2相机标定实现标定板带有六边形排列标记的标定板点阵矩形排列的标定板create_caltab：生成标定板图像文件（*.ps）和标定板描述文件（*.cpd）gen_caltab：生成标定板图像文件（*.ps）和标定板描述文件（*.descr）可大于视野范围，至少一个标识器在视野内可见整块标定板都必须在视野内可见标定板使用注意事项在标定的前后，都必须保证相机的光圈、位置和焦距都不在调整，否则都需要重新标定。对标定板的打光要均匀，避免反射，浅色部分的灰度值变化范围不应超过45；也要避免过度曝光，浅色部分的灰度值不应超过240；同时标定板的明暗区域之间至少要有100以上的灰度值差异。对标定板的对焦要清晰，图像中标记点的边缘应该清晰可辨。标定板的摆放应该多样化，视场内各个位置都应该有所覆盖，且应该包含不同方向倾斜摆放的标定板图像，标定板的倾斜范围应该控制在30~45°，如果景深不够，在其景深范围内，也应该包含尽量倾斜的标定板图像。如果使用带有六边形排列标记的标定板，应该至少采集6张有效图像，且至少要包含4张倾斜摆放的标定板；如果使用点阵矩形排列的标定板，则应该至少采集15张有效图像。标定过程准备相机、镜头、光源、标定板相机型号：MV-CE050-31GC像元尺寸：2.2μmⅹ2.2μm镜头FA镜头8mm焦距光源环形光源标定板型号：HC070-3.5使用标定助手进行标定一、打开标定助手二、在标定助手中进行标定7.33D物体模型处理3D物体模型是HALCON中描述3D物体的统一数据结构表达，3D物体模型可以是点云（以空间3D坐标点的集合），可以是3D基本体（包含箱体、球体、圆柱体和平面结构体），也可以是CAD模型，根据获取方式的不同，其包含的数据类型和信息也会不同，且对3D物体模型的不同处理对3D模型的内容和属性也有不同的要求。3D物体模型的获取通过创建获取创建空的3D物体模型gen_empty_object_model_3dset_object_model_3d_attrib创建由点组成的点云模型gen_object_model_3d_from_points创建箱体模型gen_box_object_model_3d创建球体模型gen_sphere_object_model_3dgen_sphere_object_model_3d_center创建圆柱体模型gen_cylinder_object_model_3d创建平面模型gen_plane_object_model_3d创建的模型通过CAD数据获取CAD模型，可作为HALCON的3D物体模型进行读取，通过算子read_object_model_3d可以实现CAD可用模型的读取，该算子支持*.om3、*.dxf、*.off、*.ply、*.obj和*.stl格式的3D模型读取，其中*.om3是HALCON原生的3D模型格式，CAD可用模型必须是该算子支持的一种格式。CAD模型通过3D重建获取HALCON支持使用经过标定的立体视觉、线激光三角测量和焦距深度等3D重建方法显式或隐式地获取3D物体模型，显式方法是直接获取物体的点云模型，隐式方法是获取X、Y和Z图像或者深度图，再通过算子xyz_to_object_model_3d生成点云模型。Z图点云3D物体模型的属性信息类型属性含义点云三角形表示三角形的3D点的索引线表示折线的3D点的索引面表示面的3D点的索引法线法向量xyz映射一个3D点到图像坐标的映射基本体基本体类型基本体类型(平面、球体、箱体、圆柱体)基本体位姿描述基本体的位置和方向的位姿基本体均方根基本体参数的精度扩展属性属性名为3D物体模型定义的扩展属性的名称属性类型为3D物体模型定义的扩展属性的类型附加属性基于形状的数据指示3D物体模型是否已准备好进行基于形状的3D匹配的标志距离计算指示3D物体模型是否已准备好进行距离计算的标志3D物体模型的修改添加属性set_object_model_3d_attrib添加或修改3D物体模型的属性surface_normals_object_model_3d添加法线属性到3D物体模型triangulate_object_model_3d添加三角形属性到由点和法线组成的3D物体模型fit_primitives_object_model_3d获取与3D基本体相关的属性，拟合3D基本体修改select_points_object_model_3d对3D物体模型的属性应用阈值reduce_object_model_3d_by_view从3D物体模型中移除给定投影视图区域之外的所有点sample_object_model_3d采样一个3D物体模型，对点云均匀采样可降低点的密度simplify_object_model_3d简化三角化的3D物体模型，减少三角化3D物体模型的点数smooth_object_model_3d平滑3D物体模型的3D点分割segment_object_model_3d将3D物体模型分割成具有相似特征的子集connection_object_model_3d将3D物体模型分割成由连接组件组成的部分组合union_object_model_3d将多个3D物体模型合并为一个新的3D物体模型变换rigid_trans_object_model_3d对3D物体模型应用刚性3D变换affine_trans_object_model_3d对3D物体模型应用任意仿射3D变换projective_trans_object_model_3d对3D物体模型应用任意投影3D变换3D物体模型的特征提取显式特征提取与筛选get_object_model_3d_params3D物体模型本身包含显示的属性特征select_object_model_3d3D物体模型中包含一组特征不一的模型隐式特征计算area_object_model_3d计算3D物体模型所有面的面积distance_object_model_3d计算一个3D物体模型的点到另一个3D物体模型的距离max_diameter_object_model_3d计算一个3D物体模型的最大直径moments_object_model_3d计算3D物体模型的二阶平均值或中心矩基本体smallest_bounding_box_object_model_3d计算3D物体模型点周围的最小边界框smallest_sphere_object_model_3d计算3D物体模型点周围的最小边界球体volume_object_model_3d_relative_to_plane计算一个3D物体模型的体积扩展属性intersect_plane_object_model_3d计算3D物体模型与平面的交集convex_hull_object_model_3d计算一个3D物体模型的凸包附加属性edges_object_model_3d在3D物体模型中查找边缘3D物体模型的可视化静态式可视化disp_object_model_3d静态显示render_object_model_3d静态显示渲染成图片场景式可视化create_scene_3d创建一个3D显示的场景add_scene_3d_camera为3D场景添加相机set_scene_3d_camera_pose设置相机位姿add_scene_3d_light在3D场景中添加光源基本体set_scene_3d_light_param设置光源参数add_scene_3d_instance将一个3D物体模型实例添加到3D场景中set_scene_3d_instance_param设置3D物体模型实例参数扩展属性add_scene_3d_label向3D场景添加文本标签set_scene_3d_label_param设置文本标签附加属性display_scene_3d可视化3D场景render_scene_3d3D场景渲染成图片交互式可视化visualize_object_model_3d交互式显示7.43D匹配3D物体模型可以通过3D匹配实现空间物体的识别和定位，即3D匹配可以实现物体的3D位姿估计。3D匹配的基本过程是先通过已知的3D物体模型创建用于匹配的3D匹配模型，然后使用匹配模型在场景的图像或3D物体模型中进行查找匹配。用于创建匹配模型的3D物体模型可以通过CAD模型、3D重建或3D传感器获取，CAD模型可以创建直接可用的匹配模型，而3D重建和3D传感器获取的3D物体模型一般是不完整且包含背景的，可以通过多角度拍摄物体再通过3D配准获取较为完整的模型，然后从背景中分离模型得到可用的匹配模型。3D配准配准方法HALCON提供了直接匹配相同物体在不同视点下点云的功能，即可以利用3D重建或3D传感器获取物体表面的点云，通过不同角度拍摄物体的多个点云数据，匹配计算点云的重叠部分从而获取较为完整的物体表面点云，这种匹配被称为点云的3D配准。一：成对配准二：全局配准register_object_model_3d_pairregister_object_model_3d_global成对配准是先确定一个3D物体模型的初始位姿，然后两个3D物体模型之间进行匹配，通过连续改进匹配效果，使两个3D物体模型的重叠部分之间的差异变得最小，匹配得到的最终位姿可用于将第一个3D物体模型转换为第二个3D物体模型的坐标系。全局配准用于改进和细化多个3D物体模型之间的匹配位姿，即多个成对配准的结果可以通过全局配准进行优化，

经过多个成对配准组成的重叠的3D物体模型，通过全局配准计算和优化，可以获得更好的对齐结果，实现所有3D物体模型之间最小的相互匹配差异配准案例例程：reconstruct_3d_object_model_for_matching.hdev不同视角下的万向节一、成对配准二、全局配准配准案例三、组合成一个模型四、均匀采样后五、三角化六、连接组件七、通过配准后提取的万向节表面模型基于形状的3D匹配基本步骤3D匹配中基于形状的匹配方法，是通过3DCAD模型创建3D形状模型来实现在二维图像上的3D匹配，与二维图像上基于形状的模版匹配类似，基于形状的3D匹配用于识别图像中的物体，不同之处在于，3D形状模型由一组不同视点下3DCAD模型的二维投影组成，并且3D匹配结果返回的不是图像中物体的位置，而是3D物体模型的3D位姿。第一步：读取用于匹配的CAD3D物体模型read_object_model_3d第二步：从CAD3D物体模型创建用于3D匹配的3D形状模型create_shape_model_3d第三步：使用3D形状模型在图像中进行匹配识别物体find_shape_model_3d基于表面的3D匹配基本步骤基于表面的3D匹配方法，实现了3D表面模型在3D场景中的匹配。3D表面模型由点云及其点法线组成，点云模型可以由3DCAD模型、3D重建或其他3D传感器获取，通过获取的点云模型可以创建用于表面匹配的3D表面模型。3D表面模型用于在3D物体模型中实现最佳的3D匹配，匹配结果返回3D表面模型在3D物体模型中的位姿。第一步：读取创建3D表面模型所需的3D物体模型read_object_model_3dxyz_to_object_model_3d第二步：从3D物体模型创建用于3D匹配的3D表面模型create_surface_model第三步：使用3D表面模型在3D物体模型中进行匹配识别物体find_surface_model基于可变形表面的3D匹配基本步骤基于可变形表面的3D匹配与基于表面的3D匹配十分相似，不同之处在于，基于可变形表面的3D匹配可以匹配场景中产生变形的物体；可以在可变形表面模型中定义参考点，即使变形后也可以识别出参考点的位置；并且可变形表面模型可以不断更新，根据匹配出的变形物体形状更新完善可变形表面模型。第一步：读取创建可变形表面模型所需的3D物体模型read_object_model_3dxyz_to_object_model_3d第二步：从3D物体模型创建用于3D匹配的3D可变形表面模型create_deformable_surface_model第三步：在可变形表面模型中设置参考点add_deformable_surface_model_reference_point第四步：使用可变形表面模型在3D物体模型中匹配识别物体find_deformable_surface_model第五步：获取匹配结果扩展可变形表面模型get_deformable_surface_matching_resultadd_deformable_surface_model_sample7.53D重建3D重建是获取测量目标3D物体模型的方法，HALCON中提供了实现立体视觉（双目和多目）、光度立体法、焦距深度法和激光三角测量的方法，其中双目立体视觉和激光三角测量是比较容易集成为单体传感器使用的3D重建方法，因此，由这两种3D重建方法制造的双目相机和线激光相机是工业中比较常见的3D传感器。双目立体视觉双目原理

点P在两个相机成像平面的点称为共轭点或同源点，同源点在两成像平面之间的距离称为视差：理想双目模型实现双目立体视觉包含5个过程：搭建双目相机系统、双目标定、图像对校正、立体匹配和立体3D重建双目立体视觉标定双目标定模型方法一：使用通用相机标定数据模型方法二：使用双目系统专用的标定数据模型calibrate_camerasbinocular_calibration立体图像对校正校正图像对根据标定结果，gen_binocular_rectification_map生成校正的映射关系map_image执行校正双目立体匹配立体匹配算法优点缺点算子基于相关性的立体匹配①匹配速度快②自动并行处理③对灰度值的变化具有不变性①仅适用于纹理明显的区域，没有足够纹理的区域无法重建视差：binocular_disparity距离：binocular_distance多网格立体匹配①可以根据周围区域插值无纹理区域的3D信息②精度高于基于相关性的立体匹配③分辨率高于基于相关性的立体匹配①对灰度值的变化只有部分不变性②边缘有些模糊③不能自动并行化视差：binocular_disparity_mg距离：binocular_distance_mg多扫描线立体匹配