《机器视觉技术》课件-第9章相机标定

机器视觉技术1——程光主编李一男副主编2目录1机器视觉概述2机器视觉系统构成3NI视觉平台的搭建4LabVIEW编程环境与基本操作5LabVIEW编程结构6LabVIEW数组、簇、图形编程7字符串、文件I/O和属性节点编程8图像的采集保存与读取9相机标定10图像处理11视觉分拣12基于OpenCV的视觉分拣第九章相机标定39.1相机标定原理在图像处理中，我们最常做的就是物体尺寸的测量和定位。然而，相机采集到的尺寸是以像素值为单位。因此，我们有必要对相机进行标定，将像素值转换为常用的物理值，如毫米、厘米等单位。在标定的过程中，如果图像没有产生畸变，则可以使用标定当量进行标定，而如果图像产生畸变，且精度要求较高，则需要使用图像标定。图像标定的目的是利用给定物体的参考点坐标（x，y，z）和它的图像坐标（u，v）来确定摄像机内部的几何和光学特性（内部参数）以及摄像机在三维世界中的坐标关系（外部参数）。内部参数包括镜头焦距f，镜头畸变系数（k、s、p），坐标扭曲因子s，图像坐标原点（u0，v0）等参数。外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。第九章相机标定4首先，我们来了解下视觉系统的三大坐标系：世界坐标系、摄像机坐标系和图像坐标系。如图9-1所示。其中，图像坐标系(x,y)/(u,v):其是以摄像机拍摄的二维照片为基准建立的坐标系。用于指定物体在照片中的位置。(x,y)是连续图像坐标或空间图像坐标，(u,v)是离散图像坐标系或者是像素图像坐标系。(x,y)坐标系的原点位于摄像机光轴与成像平面的焦点O1(u0,v0)上，单位为长度单位(毫米)。(u,v)坐标系的原点在图片的左上角（其实是存储器的首地址），单位为数量单位(个)。(x,y)主要用于表征物体从摄像机坐标系向图像坐标系的透视投影关系。而(u,v)则是实实在在的，我们能从摄像机中得到的真实信息。图9-1视觉系统的三大坐标系第九章相机标定5(x,y)与(u,v)存在如下转换关系：dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。(u0,v0)称为图像平面的主点，也是摄像机的内参数。其实相当于对x轴和y轴的离散化。其可以运用齐次坐标，将上式写成矩阵形式，如下：摄像机坐标系与图像坐标系转换：摄像机坐标系：O-XcYcZc，图像坐标系：O1-XY根据三角形相似原理，有上式可表示为下面的矩阵：第九章相机标定6摄像机坐标系与世界坐标系转换：刚体变换:三维空间中，当物体不发生形变时，对一个几何物体作旋转、平移的运动，称之为刚体变换。我们想把世界坐标系下的坐标转换到摄像机坐标下的坐标，如图9-2所示，可以通过刚体变换的方式。图9-2刚体变换其中，XC代表摄像机坐标系，X代表世界坐标系。R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数。第九章相机标定7R为分别绕XYZ三轴旋转的效果相乘：Rx×Ry×Rz摄像机坐标系向世界坐标系的变换，包括X、Y轴和Z轴的旋转以及坐标平移，故根据以上坐标变换知识可得摄像机坐标系和世界坐标系的齐次坐标系变换矩阵：最终，我们可以将图像坐标系转换到世界坐标系，圈出的部分即为相机的内外参数。第九章相机标定89.2pointDistanceCalibration点距标定在NIVision中已经为我们准备好了标定工具ImageCalibration。该工具可以在【视觉与运动--》VisionExpress--》VisionAssistants--》ProcessingFunctions：Image--》ImageCalibration】中找到。在NIVisionAssistant里打开ImageCalibration工具，如图9-3所示。点击【NewCalibration】，即可进入标定训练接口。图9-3标定界面第九章相机标定99.2pointDistanceCalibration点距标定进入标定界面后，NIVision根据应用场景的不同，提供了5种标定方法，分别是pointDistanceCalibration,PointCoordinatesCalibration,DistortionModeling,CameraModeling,MicroplaneCalibration。如图9-4所示：图9-4相机标定初始界面第九章相机标定109.2pointDistanceCalibration点距标定本节主要介绍两种标定场景：pointDistanceCalibration（点距标定）和DistortionModeling（畸变模式）。如图9-4所示，首先在SelectCalibrationType中选择第一个PointDistanceCalibration点距标定。该标定方法是根据一个已知的距离直接将像素坐标转换到真实坐标。点击Next，进入下一步的设置。图9-5第二步SelectImageSource选择图像源第九章相机标定119.2pointDistanceCalibration点距标定如图9.5所示，要求选择图像源。图中使用标定板进行标定。NIVision提供了特定的圆形网格图案作为标定用的模板，本节也采用了同样图案的打印纸，将其粘贴到了一块硬板上，保证所有圆点处在一个平面上。圆点中心到相邻的圆点中心的距离为10mm。将粘贴了网格的硬板放置在待测量区域，并保证待测区域与硬板距离相机像头距离相等。选择好图像后，点击Next，进入下一步。图9-6第三步SpecifyReal-WorldDistance指定真实距离第九章相机标定12如图9-6所示，点距标定第三步是指定真实距离。其中上面有一条提示信息用于SpecifyadifferentscalefortheYaxis对于Y轴指定不同的比例，大概意思为对于Y轴指定一个不同的比例，当你的传感器是长方形像素时，或者你仅仅想考虑一个方向时，可以使能下面的SpecifyadifferentscalefortheYaxis选项，然后当前的点会变成X轴的点距离，点击Next时则会指定Y轴的点距离。这里为了清楚说明每一步，使能对于Y轴指定不同的比例（虽然大部分的传感器像素都是正方形的）。下面一条信息为通过点击图像选择两点，然后指定两点间的距离使用真实的单位。可以选择下面列表中的点来调整X、Y的坐标。使能对于Y轴指定不同的比例后，Step3变为指定距离在X轴上。这里我们在图像上延X轴方向找两个点（不一定非要在一条水平线上，因为Y坐标在这里是不考虑的）。图9-7第三步指定X轴上两点并指定其距离第九章相机标定13如图9-7所示，首先在图像中指定了两个点。如果单击列表中的某个点，其X的坐标是可以调整的，但是Y的表示是灰色禁止调整的。也就是指定X轴距离时，只考虑X轴的坐标。在Distance距离中，有dx即X轴的变量值，Image即显示两点在图像中的距离，RealWorld则用于指定两点的真实距离。Unit单元置顶里图像中的单位为Pixel像素，而真实距离的单位，需要由用户自己定义。可以使用下拉列表，其中有微米、毫米、厘米、米、千米、寸、码等长度单位。这里我们使用毫米单位，并且制定两点间的真实距离为10mm。点击Next进入下一步：图9-8第四步指定Y轴上两点并指定其距离第九章相机标定14如图9-8所示，指定Y轴上的两点，并且指定其真实距离。从中可以看到，点阵列表中还包含了前面的X轴上的两点。这里与指定X轴上的点时大致一样，只是这是能调整的只有点的Y坐标值，X坐标值是无法调整的，而且这里的距离中的真实值单位已经固定了不能再修改。下面在点击Next进入下一步。图9-9第五步ComputeDistortionModel计算畸变模式第九章相机标定15如图9-9所示，如果图像有较大的畸变失真，则需要使能ComputeDistortionModel计算畸变模式，然后进入后面的即便校正步骤。畸变模式稍后介绍，这里直接点击Next，进入下一步。如图9-10所示，提示信息显示选择起始标定轴并且指定X轴相对于图像的水平轴的角度。用户可以在图像中画一条线来制定起点和X轴角度。AxisOrigin轴（X）原点：指定X轴的原点。下面有User-Defined用户自定义，没有其他选项。系统默认的原点是X、Y都为0，即图像的原点。图9-10第六步SpecifyCalibrationAxis指定标定轴第九章相机标定16AxisAngle轴（X）角度：用于指定X轴的角度，有两种方式，一种是使用AngleValue角度值，在下面可以指定XAxisAngle（degrees）X轴的角度和AngleOffset角度偏移；另一种是XAxisPointX轴上的点，因为我们已经指定了X轴的原点，再加上X轴上的另一点，则利用两点连成一条直线，则可以确定X轴的直线与角度了。AxisReference轴参考方向：有两种方式，一种是X向右、Y向下；另一种是X向右、Y向上。确定好数据后，再点击Next，进入下一步：如图9-11所示，概括中显示了标定后的数据，并且提示标定已经成功学习。点击OK，进行保存。保存的图像文件类型为PNG，因为只有PNG可以包含图像的信息。至此，点距标定介绍完毕。图9-11第七步Summary概括第九章相机标定179.3DistortionModeling畸变模式畸变模式的作用是修正镜头畸变或传感器中心线不重合。如桶形、枕形变形等。如图9-12所示。选中【DistortionModel】，然后点击Next，如图9-13所示。图9-12桶形、枕形畸变图9-13畸变模式第九章相机标定189.3DistortionModeling畸变模式Step2为选择图像源，如图9-14所示，选好后点击Next。在Step3：ExtractGridFeatures中，首先利用提供的ROI工具，选择有效的图像识别范围，以减少识别误差，不选则默认为使用整个图像。下面是Selectthresholdparametersforeachgridimage选择远阈值参数对于每张栅格图像。图9-14选择图像源第九章相机标定199.3DistortionModeling畸变模式在Image中，因为只选择了一张图像，因此是灰色不可选状态。LookFor查找对象，有DarkObjects黑色目标、BrightObjects白色目标和GrayObjects灰色目标。Method为使用的阈值方法，有ManualThreshold手动阈值、AutoThreshold自动阈值、LocalThreshold局部阈值等方法。此处使用局部阈值，ROISize为兴趣区域大小，KernelSize为内核尺寸，用于指定每个像素的邻域从而计算局部阈值中像素的平均亮度值。其大小应与要分离的目标大小相同。DeviationFactor为偏差因素，用于指定NiBlack阈值算法的灵敏度，值越小对噪声越敏感。具体设置如图9-15所示。图9-15提取栅格特征第九章相机标定209.3DistortionModeling畸变模式Step4中，需要指定栅格参数。单位为毫米，如