计算机视觉 课件 第三章 图像变换与标定2

计算机视觉第三章图像显示、变换和相机标定复习实例：在二维空间，欲求某点关于直线y=ax+b的对称点，试写出对应的变换矩阵总变换M=T2•R2•SYx•R1•T1本节学习目标01投影变换原理深入理解三维空间点如何通过相机模型投影到二维图像平面，建立空间几何与像素坐标的映射关系，这是计算机视觉测量与定位的理论基础。02视觉系统硬件架构剖析工业相机、光学镜头、图像采集卡等核心硬件组件的选型原则与关键参数，掌握成像系统的搭建、调试与性能优化方法。03光源设计与打光技术掌握针对不同检测对象的光源选型与布光策略，通过合理的光影控制消除干扰，最大化图像对比度，清晰勾勒出目标特征。04相机标定与畸变校正学习相机标定的核心算法，消除镜头畸变带来的系统误差，精确求解相机内参与外参矩阵，为高精度测量提供数据支撑。💡核心价值：这些知识是计算机视觉应用的基石，直接决定了视觉系统的精度、稳定性与可扩展性，是实现精确测量与智能识别的必经之路。目录CONTENTS01投影变换的原理深入解析世界、相机、图像等核心坐标系的转换关系，探究针孔相机模型与透视投影的数学原理，以及镜头畸变的成因与校正方法。02视觉系统的图像采集剖析机器视觉系统的硬件架构，详解光源类型、工业镜头参数与相机选型要点，以及图像采集卡在信号传输中的关键作用。03工业视觉打光技巧掌握背光、同轴光、环形光等基础照明方式，学习针对金属、玻璃、塑料等不同材质的打光策略，以及缺陷检测的照明优化方案。04相机标定与精度评估深入理解张正友标定法的原理与实施步骤，掌握相机内参、外参的求解方法，以及如何对标定结果进行精度分析与误差验证。01投影变换计算机视觉的核心基石·探索三维空间点到二维图像平面的映射规律与数学本质四个核心坐标系01世界坐标系(World)描述真实世界中物体绝对位置的全局参考系，是所有坐标变换的起点，定义了物理空间中的绝对尺度。表示：

P_w=(X_w,Y_w,Z_w)

|单位：米(m)02相机坐标系(Camera)以相机光心为原点的三维坐标系，描述物体相对于相机的方位与距离，是连接三维世界与二维图像的关键。表示：

P_c=(X_c,Y_c,Z_c)

|转换：

P_c=R·P_w+t03图像物理坐标系(ImagePlane)以相机主点（光轴与成像平面交点）为原点的二维平面，反映成像的物理尺寸，是三维到二维投影的直接结果。表示：

p=(x,y)

|转换：

x=f·X_c/Z_c04像素坐标系(Pixel)图像数字化后的二维离散坐标系，原点位于图像左上角，单位为像素，是计算机视觉算法实际处理的最终坐标。表示：

p=(u,v)

|转换：

u=x/dx+u₀三维观察过程：用户（世界）坐标系→观察坐标系（投影平面）投影：把n维空间中的点投射到小于n维的空间中去投影的形成：1.在三维空间中确定一个投影中心和一个投影平面，2.形体上的每一点与投影中心相连，这些连线称为投射直线，它们与投影平面相交，在投影平面上就形成了形体的投影。投影中心投影平面投射直线投影中心与投影平面之间距离为dd无限平行投影，当投影中心与投影平面的距离为无穷远时，投射直线成为一组平行线.投射线平行，立体感差，能保持比例关系投影平面投影平面投影方向投影中心与投影平面之间距离为dd有限透视投影，当投影中心与投影平面的距离是有限数值时，投射直线交于一点，形成灭点.立体感强，更真实，但不能保持原来的比例关系投影平面投影中心投影平面投影中心投影投影平面正投影投影平面斜投影正投影垂直于投影平面斜投影倾斜于投影平面1.平行投影（正投影和斜投影）1.平行投影（正投影和斜投影）（1）正投影投影方向与投影平面的法向相同常见的正投影是正视投影、顶视投影和侧视投影

如果投影平面Z=0，投影方向是沿Z轴,设三维空间中有普通坐标为(x,y,z)的一点P，投影后，成为点P’，普通坐标为(x’,y’,z’)可知：正视图顶视图侧视图垂直于投影平面的投影方向正投影xyz正投影:投影平面垂直于坐标轴的正交投影。等轴投影:投影平面的法线方向，即投影方向与三个坐标轴的夹角都相等。这种投影能使在三个坐标轴方向上有相等的透视缩短。

投影平面斜投影

2.斜投影

当平行投影中投影平面的法线方向与投影方向不同时就得到斜交投影。在斜交投影中，投影平面一般取坐标平面。XYZ

设三维空间中有普通坐标为的任意一点，经斜交投影后所得投影点普通坐标为。显然，有：OzxP(0,1)Q(lcosα,0)(x’,0)(x,z)(x,0)斜二测投影:垂直于投影平面的线段长度缩短为原来的一半;斜交投影中两个比较重要的情形是斜二测投影和斜等轴投影。斜二测投影:垂直于投影平面的线段长度缩短为原来的一半;斜等轴投影:使垂直于投影平面的线段仍保持长度.斜等轴投影投影方向(45)斜二测投影投影方向(63.4)2.透视投影性质：任意一组平行直线，如果平行于投影平面，则经透视投影后所得到的直线或者重合，或者仍保持平行；如果不平行于投影平面，将不再保持平行，并且必会汇聚于同一点，这个点称为消失点，也称为灭点。空间中可以取得任意多组不平行于投影平面的平行直线，所以消失点也可以取得任意多个。主消失点：平行于一个坐标轴中的一组平行线对应的消失点称为主消失点。因为只有三个坐标轴，所以最多只有三个主消失点。根据主消失点的数目，透视投影可以分为一点透视、二点透视、三点透视。如果投影平面截Z轴并与它垂直，这时就只能在Z轴方向上有主消失点。利用后两个图中三角形的相似关系，可以得出：

单消失点的透视投影计算左手坐标系投影中心是坐标原点投影平面垂直于Z轴

设投影平面位于处Z=d，可设d>0。对空间中任意一点P，其普通坐标为(x,y,z)，它在投影平面上的投影点P’的普通坐标为(xp,yp,zp)

使用齐次坐标可以得出：对齐次坐标进行规范化后得：透视投影相机与平行投影相机透视投影相机(PerspectiveProjection)平行投影相机(OrthographicProjection)结构图结构图实物图核心特点：•光线经光心汇聚投影，近大远小•物距变化影响放大倍率•存在透视畸变与视差典型应用：常规检测、识别、场景理解实物图核心特点：•光线平行投射，无近大远小•放大倍率恒定，无视差•测量精度高，畸变小典型应用：高精度尺寸测量、PCB检测普通工业镜头+工业相机远心镜头(TelecentricLens)针孔相机模型与透视投影图示展示了三维空间点P经过针孔O投影到像平面Π'形成点P'的几何关系，是透视变换的直观几何基础。针孔相机模型是计算机视觉中理解透视投影的基石。它将复杂的光学成像过程抽象为线性几何变换，通过数学模型将三维世界坐标映射到二维像素坐标，是相机标定、三维重建与视觉测量的理论基础。s·[u,v,1]ᵀ=K·[R|t]·[Xw,Yw,Zw,1]ᵀ整合内参与外参，实现从世界坐标系到像素坐标系的完整映射。内参矩阵(K)包含焦距、像素物理尺寸及主点偏移，是相机的固有属性，反映了相机自身的光学特性。外参矩阵([R|t])由旋转矩阵R和平移向量t组成，描述相机在世界坐标系中的位置与朝向，随相机姿态变化而改变。镜头畸变理想的针孔相机模型仅存在于理论中。在现实世界里，光学镜头因物理构造和制造工艺的限制，会使成像产生几何失真，表现为画面中的直线呈现出弯曲状态。这种畸变不仅影响视觉效果，更是计算机视觉领域中进行精确测量和三维重建前必须校正的关键误差源。01径向畸变(RadialDistortion)源于镜头透镜的物理曲率，是最常见的畸变类型。表现为像素点沿径向产生位移：•桶形畸变：中心放大、边缘内收，常见于广角镜头。•枕形畸变：中心缩小、边缘外扩，常见于长焦镜头。02切向畸变(TangentialDistortion)源于镜头与图像传感器的安装误差或光学元件的非完美平行。表现为图像中的直线出现倾斜或非对称的弯曲，使得画面中的物体看起来像是被“拉扯”了一样。这种畸变通常由镜头组装过程中的机械偏差引起，需通过相机标定参数进行精确校正。畸变校正公式畸变可通过数学模型进行精确校正，核心在于通过相机标定确定公式中的畸变系数，从而还原真实的成像坐标，消除镜头带来的几何失真。01径向畸变校正x'=x(1+k₁r²+k₂r⁴+k₃r⁶)

y'=y(1+k₁r²+k₂r⁴+k₃r⁶)针对镜头形状引起的畸变，其中r²=x²+y²为像素到图像中心的距离平方。系数k₁、k₂、k₃通过标定实验获取，主要用于修正图像的“桶形”或“枕形”失真。02切向畸变校正x'=x+[2p₁xy+p₂(r²+2x²)]

y'=y+[p₁(r²+2y²)+2p₂xy]源于镜头与成像平面的安装误差或镜头制造缺陷。系数p₁、p₂用于修正像素的切向偏移，确保成像的几何线性，是实现高精度视觉测量的关键参数。核心要点：上述畸变系数无法直接获取，必须通过相机标定实验结合特定算法计算得出。02视觉系统的图像采集光源系统提供稳定均匀的照明，凸显被测物体特征，消除环境光干扰。光学镜头聚焦成像的核心部件，决定视野范围、分辨率及成像质量。工业相机系统的“眼睛”，将光信号转换为数字图像，输出至处理单元。智能处理高性能计算平台，实时分析图像数据，实现快速识别与决策。光源(Lighting)光源是机器视觉成像的核心前提，直接决定图像质量的好坏。合理的光源设计能有效提升成像对比度，为后续算法处理奠定坚实基础。照亮目标，保障成像基础确保相机采集到充足光线，避免因曝光不足导致图像模糊或噪点，是高质量成像的先决条件。强化对比，凸显关键特征通过控制光线角度与强度，让目标的边缘、纹理与背景形成鲜明反差，大幅提升特征辨识度。消除干扰，提升图像质量有效抑制阴影、镜面反光及环境杂光干扰，减少图像噪声，确保成像的稳定性与一致性。形态丰富多样包含环形、条形、面光源、同轴光、背光源等，适配不同检测视野与安装空间。光谱灵活选择覆盖白、红、蓝、绿可见光，以及红外、紫外等特殊波段，满足不同材质的成像需求。（1）

图像采集-光源LED光源特点1.可制成各种形状、尺寸及各种照射角度;2.可根据需要制成各种颜色，并可以随时调节亮度;通过散热装置，散热效果更好，光亮度更稳定;3.使用寿命长(约3万小时，间断使用寿命更长);4.反应快捷，可在10us或更短的时间内达到最大亮度:5.电源带有外触发，可以通过计算机控制，启动速度快，可以用作频闪灯;6.运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势;7.可根据客户的需要，进行特殊设计光源选型对成像影响实例03打光技巧光线是机器视觉系统的核心要素，直接决定图像质量的上限。通过科学的布光方案，能够有效增强目标与背景的分离度，还原物体真实纹理，为后续的特征提取与算法识别奠定坚实基础。增强对比度消除阴影干扰，强化主体与背景的明暗差异，提升图像层次感与可读性。还原细节纹理精准勾勒物体轮廓与表面质感，让微小特征清晰可见，避免关键信息丢失。降低算法难度减少图像处理复杂度，大幅提升算法的识别精度、稳定性与运行效率。五种核心打光方式详解明场照明(BrightField)原理:光线从相机同侧高角度照射，亮背景上形成暗特征。应用:字符识别、表面污渍、平面定位。优势:通用性强，调试简单。暗场照明(DarkField)原理:光线从侧面低角度掠射，暗背景上形成亮特征。应用:微小划痕、边缘定位、压印字符。优势:对比度极高，凸显微小缺陷。背光照明(BackLight)原理:光源置于工件后方，形成黑色剪影。应用:尺寸测量、轮廓检测、有无检测。优势:不受表面特征影响，精度高。同轴照明(Coaxial)原理:光线与镜头同轴垂直照射，抑制反光。应用:镜面缺陷、高反光表面字符。优势:照明均匀，适合镜面检测。穹顶照明(Dome)原理:半球形漫射光，消除阴影和反光。应用:曲面检测、复杂结构、高反光物体。优势:成像均匀，无阴影反光。打光方式效果示例01明场照明光线垂直照射，清晰呈现电路板字符与表面细节，是机器视觉检测中最基础的打光方式。02暗场照明光线低角度侧射，凸显金属表面的细微划痕、裂纹及凹凸瑕疵，形成强烈的明暗反差。03背光照明光源置于被测物后方，利用透射光精准勾勒物体轮廓，常用于检测齿轮、密封圈的尺寸。04同轴照明光线与镜头同轴，有效抑制镜面反光，清晰捕捉玻璃、晶圆等光滑表面的微小缺陷。05穹顶照明提供均匀柔和的漫射光，消除阴影与反光，完美呈现轴承、精密铸件等复杂曲面的质感。打光方式对比总结打光方式核心逻辑主要应用优势局限性明场照明亮背景，暗缺陷字符识别、表面污渍、平面定位通用性强，调试简单高反光表面易过曝暗场照明暗背景，亮缺陷微小划痕、边缘定位、压印字符对比度极高，凸显微小缺陷对角度敏感，无法检测颜色背光照明轮廓剪影尺寸测量、轮廓检测、有无检测不受表面特征影响，精度高无法检测表面特征同轴照明垂直照明，抑制反光镜面缺陷、高反光表面字符照明均匀，适合镜面检测结构复杂，成本较高穹顶照明均匀漫射光，消除阴影曲面检测、复杂结构、高反光物体成像均匀，无阴影反光体积大，亮度相对较低镜头(Lens)图示为工业远心镜头，专为高精度测量设计，能有效消除透视畸变，确保测量数据的准确性。镜头是机器视觉系统的“眼睛”，负责将外界光线汇聚到图像传感器上。其光学性能直接决定了图像的分辨率、对比度、畸变控制以及最终的成像质量。01核心性能指标焦距(FocalLength)决定视野范围与成像比例，是选型核心依据。视场(FieldofView)相机实际覆盖的物理区域，需匹配被测物尺寸。工作距离(WorkingDistance)镜头前端到被测物的距离，影响安装空间。景深与光圈(DOF&Aperture)控制进光量与清晰范围，保障成像稳定性。02镜头选型指南定焦镜头：

成本低、成像锐利，适合固定视野检测。变焦镜头：

灵活调整倍率，适配多规格产品检测。镜头是与相机配套使用的一种成像设备作用包括:①成像:没有镜头，摄像机不能采集到任何图像,输出被噪声淹没②聚焦:当镜头成像平面不在摄像机像面上时，输出图像模糊不清③曝光:改变光积分时间/曝光量---改变灰度(人眼所不具备的功能)④变焦:改变镜头的焦距---改变成像大小(人眼所不具备的功能)镜头分类(按视场)1.标准镜头：视角约50度，也是人单眼在头和眼不转动的情况下所能看到的视角。2.广角镜头：视角90度以上，适用于拍摄距离近且范围大的景物，又能刻意夸大前景，表现强烈远近感（透视）。3.长焦距镜头：适于拍摄距离远的景物，景深小，容易使背景模糊主体突出。4.微距镜头：极近距离的微距摄影5.远心镜头远心镜头使用一个28mm焦距的镜头拍摄距离10m外，高3米的物体，该物体的成像尺寸为多少？如果换成一个焦距为150mm的镜头，成像尺寸为多少？作答正常使用主观题需2.0以上版本雨课堂主观题3分工业相机与图像采集卡01工业相机(IndustrialCamera)机器视觉的“眼睛”，负责将光学图像转换为数字电信号。核心分类包括CCD（高画质）与CMOS（高性价比）传感器，以及面阵（静态捕捉）与线阵（动态扫描）相机。关键参数如分辨率、帧率和动态范围，直接决定了成像质量与系统的检测精度。连接相机与处理平台的“高速桥梁”，确保海量图像数据稳定、低延迟地传输，是实现实时视觉处理的关键环节。02图像采集卡(FrameGrabber)提供高带宽的数据传输通道，主流接口包括GigEVision（千兆以太网）、USB3Vision（高速通用）以及CameraLink（工业标准）。它不仅负责数据传输，还能提供相机控制信号，保障系统的同步性与稳定性。04视觉标定技术构建三维物理空间与二维图像之间的精准映射，消除畸变误差，是机器视觉感知的基础与前提。视觉标定技术深度解析标定的意义：为何需要标定？•畸变修正：矫正镜头畸变，确保测量准确性。•尺寸恢复：建立像素与物理尺寸的对应关系。•参数求解：获取相机内参、外参和畸变系数。标定技术发展简史•传统标定：依赖高精度三维标定物，精度高但成本昂贵。•自标定：无需标定物，利用自然特征，但精度较低。•张正友标定法：1998年提出，使用平面棋盘格，兼顾高精度与灵活性，成为行业标准。张正友教授简介•个人简介：1965年生，浙江温岭人，世界著名计算机视觉专家，腾讯首席科学家。•学术贡献：发明张正友标定法，获IEEEHelmholtz时间考验奖，入选斯坦福全球前2%顶尖科学家榜单。4相机标定（calibration）许多不同的标定概念(calibration)辐射定标Radiometriccalibration颜色校准Colorcalibration几何校准Geometriccalibration噪声校准Noisecalibration透镜像差校准Lensaberrationcalibration

相机标定（calibration）

几何标定Geometriccalibration在图像测量过程中，为了确定空间物体表面某一点的三维几何位置与图像中对应点的相互关系，要建立相机成像的几何模型。求解这些几何模型的参数的过程就称之为相机的几何标定（1）标定程序和步骤（2）两级标定法（3）张正友标定（4）自适应标定单个摄像头的标定需要计算摄像头的内部参数及外部参数。内部参数：是摄像机固有的参数，从出厂时刻就伴随而来。如果不发生硬件系统的改变，内参数标定获得之后，可以长期使用

焦距和成像原点（cx，cy），五个畸变参数（k1，k2，k3，p1，p2）外部参数：反映摄像机在物理世界坐标系中的位置和姿态参数，是一个和观测任务和观测场景相关的参数双目摄像头还需标定右摄像头相对左摄像头的旋转矩阵R，平移向量t。内参数是摄像机固有的参数在透视投影成像的过程中，常见相机使用镜头增加进入成像平面的光亮度因此减少了光线传输所需的能量。实际，镜头是要使用多个透镜组成，因此透镜的成像效果不会像小孔成像那样完全符合线性模型的特点。光线传输穿过透镜会在感光器件平面上产生非线性的失真，将其称为图像的失真畸变。焦距越短，这些失真就越明显。相机畸变径向畸变：径向畸变产生的主要原因是镜头径向曲率的不规则变化，它会导致图像的扭曲变形，例如：桶形畸变、枕形畸变切向畸变由于透镜不是完美地平行于图像平面，所以存在切向畸变。这种