CN114092550B 一种基于立体视觉的预制混凝土构件装配过程监控的方法 （东南大学）

号一种基于立体视觉的预制混凝土构件装配本发明公开了一种基于立体视觉的预制混2步骤1，分别在既有结构和预制构件上粘贴不同种类的靶标各3个所述双目相机的内外参数通过如下数学模型得根据既有结构上的靶标建立参考坐标系o-xyz，根据预制构件上的靶标建立构件坐标P＝RP/+T其中，R为参考坐标系与构件坐标系的旋转矩阵，T为参考坐标////////32.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征设计制作6种类型的靶标，分别采集这6种靶标在不同背景下的200张图片和30张图片练集对Yolov4-tiny网络模型进行训练，并利用验证集进行验证，得到预先训练好的3.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征对于靶标的初始位置，通过灰度矩边缘检测方法检测靶标的边缘，4.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征′lvl′5.根据权利要求1所述基于立体视觉的预制混凝土构件装配过程监控的方法，其特征4如LVDT(linearvariabledifferentialtransformer)具有精度高和可在恶劣环境中工以对结构振动时各点的三维位移进行监测，且测量结果和LVDT和LDV传感器进行对比的标5训练好的Yolov4-tiny网络模型对图像中的靶标进行分类识别，得到靶标的初始位置和类[0017]作为本发明的一种优选方案，步骤2所述双目相机的内外参数通过如下数学模型点到光心的距离在光轴方向的投影，[RT]为由旋转矩阵R和平移向量T组成的左相机外参[0021]设计制作6种类型的靶标，分别采集这6种靶标在不同背景下的200张图片和30张6的训练集对Yolov4-tiny网络模型进行训练，并利用验证集进行验证，得到预先训练好的[0024]作为本发明的一种优选方案，步骤4所述通过双目立体视觉模型得到靶标的三维[0029]根据既有结构上的靶标建立参考坐标系o-xyz，根据预制构件上的靶标建立构件7[0053]如图1所示，为本发明基于立体视觉的预制混凝土构件装配过程监控的方法框架[0054](1)首先对需要监测的对象的控制点进行不同种类靶标的粘贴，构件两侧的靶标8[0055](2)采用双目相机对上一步布置的带有靶标的构件进行图像采集，使用Yolov4-[0057](4)根据上一步双目相机采集到的图像得到的控制点的相机坐标系下的测量值，进行椭圆中心检测。利用轻量级Yolov目标检测网络训练出具有高置信度且轻量的靶标识变相地增加了训练过程中batch的数量，降低了对于硬件的要求。用制作好的数据集和Yolov4-tiny网络，训练的靶标检测模型。将双目相机所采集的图片输入到训练好的[0060]如图2所示，Yolov4-tiny网络结构可以划分为CSPDarkNet53-tiny、FPN和YoloHead三个部分。Yolov4-tiny的主干网络使用CSPDarkNet53-tiny来代替Yolov4的CSPDarkNet53。CSPDarkNet53-tiny网络仍使用CSPBlock模块，相对于Yolov3-tiny的作为CSPDarkNet53-Tiny网络中的激活功能。同时Yolov4-tiny使用特征金字塔网络(FPN)9移向量都为0，而右相机的旋转矩阵和平移向量为右相机坐标系相对左相机坐标系的旋转[0090]下面利用一个典型立柱吊装实施例来说明所发明的基于立体视觉的预制混凝土图7(a)展示了立柱微调过程各控制点平面坐标变化，图7(b)-图7(f)展示了最后10次控制