计算机视觉-第05章1-图像特征提取和匹配

人工智能学院人工智能视觉课程

图像特征提取和匹配01项目导入02项目任务03项目目标04知识链接05项目准备06任务实施07任务拓展08项目小结第三章和第四章2024/1/153项目导入2024/1/154课堂讨论2024/1/155我们人类怎么判断两张图片中的物体是否相似？项目导入-百度以文字搜图2024/1/156项目导入-淘宝以图搜图2024/1/157项目导入-淘宝以图搜图2024/1/158课堂讨论2024/1/159计算机怎么判断两张图片中的物体是否相似？项目导入2024/1/1510特征点=[5,50,200]特征点=[5,200,20]特征点=[5,50,200]特征点=[5,50,200]01项目导入02项目任务03项目目标04知识链接05项目准备06任务实施07任务拓展08项目小结在Windows操作系统上使用Anaconda和PyCharm基于opencv-python库让电脑具有查找和定位视频中给定品牌Logo的能力项目任务2024/1/151201项目导入02项目任务03项目目标04知识链接05项目准备06任务实施07任务拓展08项目小结知识目标了解图像搜索的概念和作用了解一些经典的特征检测算法及其优缺点：SIFT、SURF、FAST、BRIEF、ORB了解常用匹配算法及其优缺点：暴力匹配，KNN，FLANN技能目标掌握特征描述符计算和匹配算法在opencv中的调用方式掌握基于特征匹配的目标检测和定位方法掌握定位结果的可视化方法项目目标2024/1/1514职业素养目标培养学生严谨、细致、规范的职业素质培养学生团队协作、表达沟通能力培养学生跟踪新技术、创新设计能力培养学生的技术标准意识、操作规范意识、服务质量意识等项目目标2024/1/151501项目导入02项目任务03项目目标04知识链接05项目准备06任务实施07任务拓展08项目小结能够在其他含有相同场景或目标的相似图像中以一种相同（或非常相似）的不变形式表示图像或目标同一个物体或场景，从不同的角度采集多幅图片，有些地方能够被识别出来是相同的这些具有‘尺度不变性的点或块’称为特征点经常出现在图像中拐角、纹理剧烈变化等地方不仅仅是一个点，还包括一系列局部的信息，本身可能是具有面积的一小块区域知识链接-特征点2024/1/1517计算机中的图像只是一串数据对图像进行特征分析才能进一步去识别图像中的物体知识链接-特征点的意义2024/1/1518以图像拼接为例需要有一种统一的计算方法能够告诉计算机不同图片中同一物体的特征点，也就是得到了物体的位置和形态经过提纯模型进一步对所获得的点进行建模这样可以获得两幅图片之间较为精确的位姿关系，从而对准知识链接-特征点的意义2024/1/1519特征提取特征点查找描述符生成特征匹配知识链接-图像匹配2024/1/1520

…

…描述符描述符知识问答2024/1/1521想要匹配两张图片，需要进行下述哪些活动？HarrisSIFTSURFFASTBRIEFORB知识链接-特征提取方法2024/1/1522讲深了全是数学知识课堂比较枯燥效果也差我们尽量用图和从代码的角度来讲会掺部分理论知识知识链接-特征提取方法2024/1/1523角点一类具有特定特征的点（特征点的一种）通常意义上来说，角点就是极值点即在某方面属性特别突出的点是在某些属性上强度最大或者最小的孤立点、线段的终点知识链接-Harris算法2024/1/1524课堂讨论2024/1/1525角点让我们想起了什么？角点让我们想起了边缘，想起了导数、偏导数和梯度一阶导数(即灰度的梯度)的局部最大所对应的像素点两条及两条以上边缘的交点图像中梯度值和梯度方向的变化速率都很高的点角点处的一阶导数最大，二阶导数为零，指示物体边缘变化不连续的方向知识链接-Harris算法2024/1/1526Harris算法关注的就是角点知识链接-Harris算法2024/1/1527cv2.cornerHarris()用于进行角点检测img-数据类型为float32的输入图像blockSize-角点检测中要考虑的邻域大小ksize-Sobel算法中使用的窗口大小k-Harris角点检测方程中的自由参数,取值参数为[0,04,0.06].知识链接-Harris算法2024/1/1528知识问答2024/1/1529Harris算法关注的是？去百度图片上搜索“棋盘格”，下载该图片，使用Harris算法检测图片的角点，显示检测出来的角点课堂练习2024/1/1530课堂练习2024/1/1531课堂练习2024/1/15322024/1/1533前面我们学习了角点还有另一种特征点斑点斑点通常是指与周围有着颜色和灰度差别的区域斑点是一个区域，比角点的稳定性好知识链接-斑点SIFT（ScaleInvariantFeatureTransform）最早解决了图片旋转、仿射变换、亮度变换和视角变换情况下，特征点数值差异过大的问题精度高，速度慢知识链接-SIFT算法2024/1/1534知识问答2024/1/15351999年，谁首先提出了尺度不变特征变换（SIFT）方法？知识链接-SIFT算法-从流程角度2024/1/1536知识链接-SIFT应用实例2024/1/1537课堂讨论2024/1/1538视频中，他们都用到了哪些技术？知识链接-SIFT算法2024/1/1539热闹看完了还是要来点理论知识链接-SIFT算法-从技术角度2024/1/1540使用不同参数进行高斯模糊构建尺度空间保证尺度不变性知识链接-SIFT算法-从技术角度2024/1/1541

像人眼一样越远越模糊越近越清楚SIFT利用高斯函数进行逐步模糊处理，从而产生尺度变换的假象其中σ就是尺度空间因子决定图像模糊平滑程度知识链接-SIFT算法-从技术角度2024/1/1542

SIFT中的尺度空间层（Octave）尺度（scale）有多层每层有多张（不断模糊）也有的地方用“组”即有多组每组有多层知识链接-SIFT算法-从技术角度2024/1/1543第一层第二层第三层第四层缩小一半大小知识链接-SIFT算法-从技术角度2024/1/1544以一个512*512的图像I为例金字塔的层数=log2512-3=9-3=6a在0−log2min(m,n)之间取值每层6张（也可以改，比如3）课堂讨论2024/1/1545在上述例子中，为什么我们要通过log2512来计算层数？512*512的图像知识链接-SIFT算法-从技术角度2024/1/1546构建第0层，将图像的宽高都增加一倍为1024*1024（I0）第0张，I0

*G(x,y,20σ0)第1张，I0

*G(x,y,20kσ0)第2张，I0

*G(x,y,20k2σ0)构建第1层，对I0降采样，变为512*512（I1）第0张，I1

*G(x,y,21σ0)第1张，I1

*G(x,y,21kσ0)第2张，I1

*G(x,y,21k2σ0)......知识链接-SIFT算法-从技术角度2024/1/1547计算高斯差异Difference

ofGaussianDoG（这个要记一下，别到时不知道是啥）一层中已经高斯模糊的图片，两两相减注意：在同一层内，不同图像的尺寸一样，后一张图像的高斯平滑因子σ是前一张图像平滑因子的k倍（不断模糊）知识链接-SIFT算法-从技术角度2024/1/1548计算高斯差异的公式知识链接-SIFT算法-从技术角度2024/1/1549知识链接-SIFT算法-从技术角度2024/1/1550找到特征点特征点由DoG空间的局部极值点组成找到DoG图像中的最大/最小值中间的检测点和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点共26个点比较确保在尺度空间和二维图像空间都检测到极值点DoG图像像素的强度低于某个阈值的去除知识链接-SIFT算法-从技术角度2024/1/1551计算特征点方向对于在DoG金字塔中检测出的特征点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征梯度模值如下公式知识链接-SIFT算法-从技术角度2024/1/1552计算特征点方向统计以特征点为原点，一定区域内的图像像素点使用直方图统计邻域内像素的梯度和方向知识链接-SIFT算法-从技术角度2024/1/1553计算特征点方向梯度直方图将0~360度的方向范围分为36个柱，其中每柱10度直方图的峰值方向代表了特征点的主方向为了增强匹配的鲁棒性，只保留峰值大于主方向峰值n％（如80%）的方向作为该特征点的辅方向任何后面的计算都相对于这个方向进行，这确保了旋转不变性知识链接-SIFT算法-从技术角度2024/1/1554对于每一个特征点，都拥有位置、尺度以及方向三个信息为每个特征点建立一个描述符，用一组向量将这个特征点描述出来使其不随各种变化而改变，比如光照变化、视角变化等这个描述子不但包括特征点，也包含特征点周围对其有贡献的像素点知识链接-SIFT算法-从技术角度2024/1/1555Lowe实验结果表明描述子采用4×4×8＝128维向量表征综合效果最优（不变性与独特性）知识链接-SIFT算