计算机视觉 课件 第二章 图像边缘与角点检测

机器视觉第二章：图像边缘与角点检测本章目录01图像文件结构•边缘的基本概念与物理原理•Sobel算子梯度计算详解•Canny边缘检测的三大准则02图像边缘检测•边缘的基本概念与物理原理•Sobel算子梯度计算详解•Canny边缘检测的三大准则03图像角点检测•角点的几何特征与定义•Harris角点检测的数学模型•Shi-Tomasi改进算法与应用从基础算法原理到物联网场景落地，构建完整的机器视觉知识体系2.1图像文件结构位图（Bitmap）由像素构成，每个像素实际上采用二进制位（bit）表示，常见有8bit，16bit，24bit8bit=256色16bit=65536色24bit=16777216色（真彩色）32bit--RGBA（alpha通道一般用作不透明度参数。如果一个像素的alpha通道数值为0%，那它就是完全透明的）颜色模型-RGB400nm700nm紫外光红外光546.1nm435.8nm780nm

三色学说颜色具有具有恒常性，混合性。牛顿在十七世纪后期用棱镜把太阳光分散成光谱上的颜色光带，用实验证明了白光是由很多颜色的光混合而成；十九世纪初，Yaung提出某一种波长的光可以通过三种不同波长的光混合而复现出来的假设，红（R）、绿（G）、蓝（B）三种单色光可以作为基本的颜色－原色，把这三种光按照不同的比例混合就能准确的复现其他任何波长的光，而它们等量混合就可以产生白光。后来Maxwell用旋转圆盘所作的颜色混合实验也验证了Yaung的假设。1862年，Helmhotz进一步提出颜色视觉机制学说，即三色学说，也称为三刺激理论。到现在，用三种原色能够产生各种颜色的三色原理已经成为当今颜色科学中最重要的原理和学说400nm700nm紫外光红外光546.1nm435.8nm780nm近代的三色学说研究认为，人眼的视网膜中存在着三种椎体细胞，它们包含不同的色素，对光的吸收和反射特性不同，对于不同的光就有不同的颜色感觉，研究发现，第一种椎体细胞是专门感受红光的红胞，相似的，第二和第三种椎体细胞则分别感受绿光和蓝光。视觉锥细胞、柱细胞CIE色度图400nm700nm紫外光红外光546.1nm435.8nm780nm

RGBCMY89补色指完全不包含另一种颜色互补色2.CMY颜色模型以红、绿、蓝的补色青（Cyan）、品红（Magenta）、黄（Yellow）为原色构成的CMY颜色模型，常用于从白光中滤去某种颜色，又被称为减性原色系统。CMY颜色模型对应的直角坐标系的子空间与RGB颜色模型所对应的子空间几乎完全相同。差别仅仅在于前者的原点为白，而后者的原点为黑。前者是定义在白色中减去某种颜色来定义一种颜色，而后者是通过从黑色中加入颜色来定义一种颜色。位图的结构BMP文件由文件头、位图信息头、颜色信息和图像数据四部分组成。文件头主要包含文件的大小、文件类型、图像数据偏离文件头的长度等信息；位图信息头包含图象的尺寸信息、图像用几个比特数值来表示一个像素、图像是否压缩、图像所用的颜色数等信息。颜色信息包含图像所用到的颜色表，显示图像时需用到这个颜色表来生成调色板，但如果图像为真彩色呢？图像数据表示图像的相应的像素值。（1）图像的像素值在文件中的存放顺序为从左到右，从下到上。（2）文件存储图像的每一行像素值时，如果存储该行像素值所占的字节数为4的倍数，则正常存储，否则，需要在后端补0，凑足4的倍数文件头：typedefstructtagBITMAPFILEHEADERWORDbfType;//位图文件的类型，必须为“BM”DWORDbfSize;//位图文件的大小，以字节为单位WORDbfReserved1;//位图文件保留字，必须为0WORDbfReserved2;//位图文件保留字，必须为0DWORDbfOffBits;//位图数据的起始位置，以相对于位图文件头的偏移量表示，以字节为单位}BITMAPFILEHEADER;该结构占据14个字节。位图信息头颜色表typedefstructtagRGBQUAD{BYTErgbBlue;//蓝色的亮度(值范围为0-255)BYTErgbGreen;//绿色的亮度(值范围为0-255)BYTErgbRed;//红色的亮度(值范围为0-255)BYTErgbReserved;//保留，必须为0}RGBQUAD;

GIF图像格式和JPEG压缩GIF（GraphicsInterchangeFormat）图形交换格式常用于以超文本标志语言（HypertextMarkupLanguage）方式显示索引彩色图像，在因特网和其他在线服务系统上得到广泛应用。包括87a和89a两种格式，GIF采用的是Lempel-Zev-Welch（LZW）压缩算法，最高支持256种颜色JPEG标准（JointPhotographicExpertsGroup）该标准由国际标准化组织（ISO）制订，是面向连续色调静止图像的一种压缩标准。其主要是采用预测编码（DPCM）、离散余弦变换（DCT）以及熵编码的联合编码方式，以去除冗余的图像和彩色数据，属于有损压缩格式，压缩比通常为（10：1~40：1）01图像边缘检测边缘是图像中局部亮度、颜色或纹理发生剧烈变化的位置，构成了不同区域间的天然边界。它不仅是物体轮廓的直接体现，更是承载形状、结构与深度信息的关键视觉特征，是计算机视觉中特征提取与图像理解的基础。01台阶边缘(StepEdge)理想状态下的边缘模型，像素灰度值在单像素宽度内发生阶跃式突变，呈现出极其陡峭的边界过渡，是边缘检测算法设计的理论参照。02斜坡边缘(RampEdge)真实物理世界中最普遍的边缘形态，灰度值在数个像素宽度内平滑渐变。这种渐变源于光照衰减、阴影过渡及物体表面的物理特性。03屋顶边缘(RoofEdge)灰度值先上升至峰值后回落，形成类似屋顶的对称轮廓。常见于细长线条、条纹状物体或物体表面的凸起结构中。模型可视化解析图示直观对比了三种模型的灰度剖面：台阶边缘为垂直阶跃，斜坡边缘为线性过渡，屋顶边缘则呈对称的峰值形态。深入理解这些模型，有助于针对不同场景选择最优的边缘检测算子（如Sobel、Canny），提升图像处理的准确性。边缘检测的基本原理图示：无噪声斜坡边缘及其一阶、二阶导数的关系，直观展示了灰度变化与微分的对应关系。一阶导数(梯度)衡量灰度变化的速率，在边缘区域梯度幅值会出现局部最大值，是识别边缘存在的关键特征。二阶导数(拉普拉斯)衡量灰度变化率的变化，其二阶导数的零交叉点精准对应边缘的中心位置，实现更精细的定位。边缘检测通用执行流程01图像平滑使用高斯滤波器等手段抑制噪声，避免伪边缘干扰，为后续计算奠定干净的数据基础。02计算梯度应用微分算子（如Sobel、Prewitt）计算图像在水平和垂直方向上的灰度变化梯度。03边缘定位通过阈值化筛选或非极大值抑制算法，精准提取并细化边缘点，形成最终的边缘轮廓。Sobel算子：经典的一阶微分算子Sobel算子巧妙融合了高斯平滑与微分求导的特性，在有效抑制噪声干扰的同时，能够精准捕捉图像的边缘方向信息，是数字图像处理领域中边缘检测的基础且高效的经典算法。01核心原理：双卷积核边缘检测水平卷积核(Gx)[-101]

[-202]

[-101]

→捕捉垂直方向的边缘变化垂直卷积核(Gy)[-1-2-1]

[000]

[121]

→捕捉水平方向的边缘变化02梯度计算：量化边缘强度与方向梯度幅值MM=√(Gx²+Gy²)

数值越大，边缘对比度越强梯度方向θθ=arctan(Gy/Gx)

用于确定边缘的具体走向角度图示为Sobel算子处理后的老虎轮廓效果。通过算法提取，图像中的灰度变化被转化为清晰的黑白边缘，精准还原了动物的形态与纹理细节。Canny边缘检测：Canny算法通过四个核心步骤实现高精度的边缘提取，旨在满足三大关键目标：低错误率、高定位精度、单响应，是计算机视觉领域公认的经典算法。01高斯滤波(GaussianFiltering)目的：去除图像噪声，平滑图像，防止噪声被误判为边缘。

方法：使用二维高斯核对图像进行卷积，对像素邻域进行加权平均，有效抑制高频噪声干扰。02计算梯度(CalculatingGradient)目的：检测图像中灰度变化剧烈的位置，识别潜在的边缘像素。

方法：利用Sobel算子分别计算水平和垂直方向的梯度，进而得到梯度的幅值与方向。03非极大值抑制(Non-MaximumSuppression)目的：消除非局部最大值的像素，细化边缘线条，避免边缘出现“粗边”现象。

方法：沿梯度方向比较当前像素与相邻像素的幅值，仅保留局部最大值点作为边缘候选。04双阈值检测与连接(DoubleThresholding)目的：区分真实边缘与伪边缘，完成边缘的最终筛选与连接。

方法：设定高低阈值，强边缘直接保留，弱边缘仅在与强边缘相连时才被保留，排除孤立噪声点。滞后阈值（双阈值）作用：获取连续边界，去除干扰因素方式：设置maxVal，minVal原理：与maxVal以上像素相连，则保留全部区域没有超过maxVal，则去除Canny算法效果展示Canny算法是图像处理领域的经典边缘检测算子，能够生成高质量、单像素宽度的边缘，定位精准且抗噪能力强。它通过多阶段的精细处理，实现了低误检率与高定位精度的完美平衡，被誉为边缘检测的“黄金标准”。左图为原始图像，右图为算法处理后的边缘轮廓，清晰还原了物体的形态细节与结构特征。边缘检测算法对比直观对比：左侧为Sobel算子效果，边缘较粗且有毛刺；右侧为Canny算子效果，边缘更细腻、连续且为单像素宽度。Sobel算子原理：

基于一阶微分的梯度计算，计算简单快速。特性：

边缘较粗，抗噪能力一般，定位精度中等。场景：

实时性要求高的场景，如视频流处理、实时监控。Canny算子原理：

多阶段优化（滤波、非极大值抑制、双阈值）。特性：

边缘细腻（单像素），抗噪性强，定位精度高。场景：

对边缘质量要求高的场景，如精密图像分析。💡决策建议：

优先考虑效率选Sobel；追求精度和边缘质量，Canny是行业标准选择。什么是角点：三种局部区域的判别平坦区域：窗口向任意方向移动，灰度几乎不变边缘区域：沿边缘方向移动无变化，垂直方向变化剧烈角点区域：沿任意方向移动，灰度都发生明显变化角点定义：在图像两个正交方向上都具有显著灰度变化的局部点，是纹理最丰富、信息最集中的位置。应用价值：图像拼接、目标跟踪、三维重建、特征匹配——角点对旋转、平移、光照变化具有鲁棒性。角点检测·三种区域判别·Harris角点检测基础02图像角点检测一、角点检测·02Harris原理：滑动窗口与灰度变化核心思想用窗口w(x,y)在图像上平移[u,v]，计算平移前后灰度差的平方和E(u,v)E(u,v)大→角点E(u,v)小→平坦单方向大→边缘公式推导对E(u,v)做一阶泰勒展开：E(u,v)≈[uv]M[uv]ᵀ其中M为2×2结构张量：M=Σw(x,y)·[Iₓ²IₓIᵧ;IₓIᵧIᵧ²]Iₓ、Iᵧ为x、y方向的梯度HarrisCornerDetection·E(u,v)灰度变化函数·结构张量M一、角点检测·03Harris响应函数：用特征值判定角点结构张量M的特征值λ₁,λ₂λ₁、λ₂表示两个正交方向上的灰度变化强度响应函数R=det(M)−k·trace(M)²det(M)=λ₁·λ₂，trace(M)=λ₁+λ₂，k≈0.04~0.06特征值关系区域类型R值λ₁、λ₂都小平坦区域≈0λ₁≫λ₂或反之边缘区域<0λ₁、λ₂都大角点区域大且为正判定规则：对每个像素计算R值，取R>阈值的局部极大值点作为角点。通常取R>0.01×R_max。OpenCV调用：cornerHarris(gray,blockSize=2,ksize=3,k=0.04)，再配合dilate膨胀与阈值化提取角点坐标。算法步骤①计算图像梯度Iₓ、Iᵧ→②计算Iₓ²、Iᵧ²、IₓIᵧ→③高斯加权求和得到矩阵M④计算响应函数R→⑤阈值化+非极大值抑制（NMS）→输出角点坐标HarrisResponseR=λ₁λ₂−k(λ₁+λ₂)²·特征值分析·NMS非极大值抑制一、角点检测·04Harris角点检测示例：棋盘格角点检测效果绿色方框标记了所有棋盘格交叉点——这些位置在水平和垂直方向都有强烈的灰度变化，正是典型的角点。边缘（黑线两侧）未被标记，平坦区域（方块内部）也未被标记。OpenCV实现gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)dst=cv2.cornerHarris(gray,2,3,0.04)img[dst>0.01×dst.max()]=[0,255,0]典型应用：相机标定（棋盘格角点是标定板的标准特征点）、图像配准、三维重建中的特征匹配。Harris角点检测示例·棋盘格标定板·cv2.cornerHarris一、角点检测·05Shi-Tomasi与FAST：两种角点检测改进Shi-Tomasi（GoodFeaturestoTrack）改进点：不使用Harris响应函数R，直接取两特征值较小值min(λ₁,λ₂)作为评分。判定规则：若min(λ₁,λ₂)>阈值，则认为是角点。优势：对阈值选择更鲁棒，角点更均匀稳定，适合视觉跟踪。OpenCV：goodFeaturesToTrack()FAST快速角点检测核心思想：在候选点周围半径3的圆上取16个像素，连续N个点（通常N=12）比中心亮t或暗t即为角点。优势：速度极快（比Harris快一个数量级），适合实时视频跟踪。不足：对噪声敏感，不产生多尺度角点，需配合BRIEF/SIFT描述子。OpenCV：FastFeatureDetector_create()Shi-Tomasi:min(λ₁,λ₂)>threshold·FAST:圆周16点连续N点亮度突变·实时跟踪首选FAST二、霍夫变换·06霍夫变换：从图像空间到参数空间的对偶对偶性原理图像空间中的一个点(x₀,y₀)，映射到参数空间是一条正弦曲线。图像空间同一条直线上的多个点，在参数空间对应的多条曲线相交于同一点。核心思想：将"在图像中寻找直线"的问题，转化为"在参数空间中寻找交点最多的点"的问题。通过投票累加，天然容忍噪声和边缘断裂。适用对象：直线（2参数ρ,θ）、圆（3参数a,b,r）、椭圆等可解析描述的几何形状。算法流程：边缘检测（Canny）→参数空间离散化为累加器网格→每个边缘点映射投票→寻找峰值→逆变换回图像空间。HoughTransform·图像空间↔参数空间对偶·投票累加机制·Canny边缘输入二、霍夫变换·07霍夫线变换：极坐标表示与投票机制极坐标方程普通直线y=kx+b在竖直线时k→∞，无法表示。改用极坐标：ρ=x·cosθ+y·sinθρ：原点到直线的垂直距离θ：法线与x轴夹角（0°~180°）投票累加机制①将参数空间(ρ,θ)离散化为网格累加器②对每个边缘点(x,y)，遍历θ计算ρ③对应网格计数器+1（投票）④计数值超过阈值的网格=检测到的直线方法特点OpenCV函数标准霍夫变换SHT遍历所有θ，计算量大，准确但慢HoughLines()累计概率霍夫变换PPHT随机采样，输出线段端点，速度快HoughLinesP()多尺度霍夫变换多分辨率精化，兼顾精度与速度HoughLines()参数说明：rho（ρ步长，通常1像素）、theta（θ步长，通常π/180）、threshold（累加器阈值，决定检测灵敏度）、minLineLength、maxLineGap（PPHT专用）。ρ=x·cosθ+y·sinθ·PPHT累计概率霍夫变换·cv2.HoughLinesP二、霍夫变换·08霍夫线变换示例：从图像到参数空间三阶段：左图输入图像（3条直线）→中图参数空间(ρ,θ)中的正弦曲线交点→右图检测到的直线（蓝色叠加）左：InputImage·中：HoughTransform(ρ,θ)·右：DetectedLines二、霍夫变换·09霍夫圆变换：三维参数空间与梯度方法圆的参数方程圆方程：(x−a)²+(y−b)²=r²其中(a,b)为圆心，r为半径。与直线（2参数）不同，圆有3个参数，参数空间为三维(a,b,r)。三维累加器计算量极大，需优化。HoughGradient两阶段法①2D圆心检测：利用边缘点梯度方向，沿法线方向在a-b平面投票找圆心②1D半径统计：对检测到的圆心，统计边缘点到圆心的距离直方图找半径rOpenCV调用：cv2.HoughCircles(gray,cv2.HOUGH_GRADIENT,dp,minDist,param1,param2,minRadius,maxRadius)关键参数：dp（累加器分辨率与图像比值，dp=1表示相同分辨率）、minDist（圆心最小距离）、param1（Canny高阈值）、param2（圆心投票阈值，越小检测到越多圆）、minRadius/maxRadius（半径范围）。预处理要求：霍夫圆变换对噪声敏感，通常先高斯模糊（GaussianBlur）再边缘检测，最后HoughCircles。光照不均会导致误检。(x−a)²+(y−b)²=r²·HoughGradient两阶段法·cv2.HoughCircles二、霍夫变换·10霍夫圆变换示例：硬币检测检测结果5枚硬币全部被红色圆圈正确检出，圆心用绿色点标记。实现代码circles=cv2.HoughCircles(gray,cv2.HOUGH_GRADIENT,1,100,param1=100,param2=30,minRadius=20,maxRadi