CN110285793A 一种基于双目立体视觉系统的车辆智能测轨迹方法 （中原工学院）

一种基于双目立体视觉系统的车辆智能测本发明提出了一种基于双目立体视觉系统入SSD神经网络得到车牌识别模型；对双目立体视觉系统进行标定，拍摄运动的目标车辆的视利用基于特征的匹配算法对同一相机的前后帧和左右路对应视频帧图像中车牌位置进行立体匹配，通过单应性矩阵过滤后保留正确的匹配置最接近车牌中心的匹配点作为当前帧中目标2步骤三：利用步骤一训练好的车牌识别模型对步步骤四：利用基于特征的匹配算法对同一相机步骤五：利用双目立体视觉系统测距的方法对步骤四过滤后的匹配点进行进一步筛步骤六：利用双目立体视觉系统对筛选后的匹3.根据权利要求1或2所述的基于双目立体视觉系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库以及自行拍摄的1000张车3建立目标夹角的变换模型，同一空间点在两部相机内对应点，左对应点和右对应点分别为左目相机、右目相机的光轴与各自图像平面的交点；光轴垂直于各自的图像平面，光心到目标点的连线称为对应周，对应l通过目标点P的深度计算模型计算x的世界坐标：同理可得z根据左对应点和右对应点在图像坐标系的关系及图像坐标系与世界坐标系的关系可4每次从所有的匹配点中选出4对，计算单应,8.根据权利要求1或7所述的基于双目立体视觉系统的9.根据权利要求1或7所述的基于双目立体视觉系统的5将Z分数Zi绝对值大于1的m1个匹配点剔除，并将余下的N-m1个的匹配点中位置最接近10.根据权利要求8所述的基于双目立体视觉系统的车辆智能测轨迹方法，其特征在车辆位置为P3＝(x3,y3,z3)，以此类推；根据时间顺序即6[0002]传统的交通监控系统通常是通过安装在道路上方或者侧面的摄像设备对道路进[0008]步骤三：利用步骤一训练好的车牌识别模型对步骤二获取的视频帧进行车牌检7[0012]所述步骤一中的SSD神经网络时在经典SSD神经网络的基础上，去除了卷积层[0013]所述步骤一中的数据集包括北京理工大学提供的BIT-Vehicle数据集、广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库以及自行拍摄的[0014]所述双目立体视觉系统包括两部相机和上位机，两部相机均采用flea2工业摄像8[0032]根据左对应点和右对应点在图像坐标系的关系及图像坐标系与世界坐标系的关9[0046]所述步骤五中双目立体视觉系统测距的方法为：分别计算所有N个匹配点的距离接近车牌中心的匹配点i的坐标作为当前帧中目练的SSD神经网络自动识别和定位车辆位置，通过图像匹配算法对双目立体视频中的相同[0072]图14为第一组实验对左右目对应视频帧车牌区域匹配的示意图，(a)为左目视频[0074]图16为第二组转向实验左右目视频部分对应截图(每3帧取1帧)来实现视频中车辆目标的自动检测及定位。训练一个基于SSD神经网络算法的车牌识别模更好的获取匹配点的位置进行三维信息测量。不同于传统基于图像处理的车牌检测方法，数据集包括利用北京理工大学提供的BIT-Vehicle数据集，广东省智能交通系统重点实验室主持的OpenITS研究计划提供的车牌公开数据库(/)以及本发明频中的车牌目标进行自动识别和定位。通过SSD神经网络训练的车牌识别模型可以对视频[0086]使用了两部POINTGRAY公司的flea2工业摄像机以及一台笔记本电脑搭建双目立正友标定法标定操作，便可以获取双目立体视觉系统中右目相机的相对平移向量T1＝(l,即两目相机的之间间距以及两目相机之间的光轴夹角ε,相机外参[0090]在获取到基线长度和变换角度之后，即可计算目标夹角c以及目标物体的深度信应点LCP和右对应点RCP。而LPP和RPP分别为左、右目相机的光轴与各自图像平面的交点。[0100]如上可以计算得到x的世界坐标。目标待测点通过映射关系在左摄像机里面的投左图像坐标系内，左对应点LCP与左主点LPP处于v方向(图像坐标系的纵向)上的像素差值只需要有超过两对准确检测的图像帧即可完成车辆轨迹及转了SURF特征进行视频图像特征提取及匹配。SURF描述子对视频图像的局部特征进行描述，[0111]如图8所示，利用SURF算法在单路视频中对检测到的车牌进行匹配以实现对多个[0113]利用单应性矩阵描述针对同一事物，在不同的视角下拍摄的两幅图像之间的关[0120]每次从所有的匹配点中选出4对，计算单应性矩阵H，然后选出内点(即准确匹配[0134]为了便于观测和计算车辆在水平面的转向情况，将车辆运行3D轨迹投影到XOY平结果作为车辆轨迹真实值进行对比。该设备利用GPS+GLONASS双卫星定位系统的数据进行图像。利用步骤五中方法进行匹配点筛选之后，以每3帧为一个时间节点计算车辆转弯状1234567890.44