计算机视觉案例实战 课件 张腾龙 项目1-3 计算机视觉概述-图像特征提取

计算机视觉案例实战人工智能系列教材PraticalComputerVisionCases配套课件项目1计算机视觉概述·任务1计算机视觉入门·任务2计算机视觉的主流方法及前沿技术02/138项目1计算机视觉概述·任务1计算机视觉入门任务目标（1）了解计算机视觉的基本概念（2）了解计算机视觉的发展历史03/138项目1计算机视觉概述·任务1计算机视觉入门1.计算机视觉的基本概念基本概念：使用计算机及相关设备模拟生物视觉，实现类似人类观察世界的过程。作用：代替人眼完成机械性任务，弥补人类视觉的局限，完成单靠人眼难以完成的任务。组成：拍摄设备采集图像，计算机利用人工智能技术进行识别、跟踪、测量和处理。图1-1鸟类的数量能在短时间内准确估计两幅图中鸟的数量吗？04/138项目1计算机视觉概述·任务1计算机视觉入门2.计算机视觉的发展历史萌芽：20世纪50年代：探索生物视觉的工作原理，产生第一张数字图像。发展：20世纪60年代：由二维场景扩展到三维场景，形成新的研究领域。成长与成熟：20世纪70—80年代：计算机视觉理论逐步建立，研究开始向应用发展。新阶段：21世纪：基于特征的对象识别得到应用，深度学习推动图像分类与目标检测的发展。05/138项目1计算机视觉概述·任务2计算机视觉的主流方法及前沿技术任务目标（1）了解计算机视觉的主要研究方向（2）熟悉图像分割的方法、目标检测的算法06/138项目1计算机视觉概述·任务2计算机视觉的主流方法及前沿技术1.计算机视觉的主要研究方向图像分割与图像分类：图像分割提取感兴趣的区域。图像分类依据图像特征与规则确定类别。图像生成与目标追踪：图像生成产生特定内容或风格的图像。目标追踪预测后续帧中的目标位置。目标检测：找出图像中感兴趣的目标，确定目标的位置和类别。图1-2计算机视觉的研究方向及方法07/138项目1计算机视觉概述·任务2计算机视觉的主流方法及前沿技术2.图像分割的方法：传统方法阈值分割：用一个或几个阈值划分灰度。计算简单、速度快，适用于目标与背景差异较大的图像。区域分割：通过分裂或合并，把性质相近的像素连接成区域。可获得区域结构，但可能出现过度分割。边缘分割：利用区域边缘处灰度变化较大的特点，以一阶或二阶微分算子检测边缘。边缘不连续时效果受限。08/138项目1计算机视觉概述·任务2计算机视觉的主流方法及前沿技术2.图像分割的方法：深度学习方法FCN：以卷积层替代传统CNN后的全连接层，恢复每个像素所属的类别，将图像级分类扩展到像素级分类。MaskR-CNN：面向实例分割，识别图像中的对象并生成像素级掩膜。ROIAlign用于改善区域对齐。SegNet：采用编码器与解码器结构，在解码器中通过去池化进行上采样，并保留分割细节。09/138项目1计算机视觉概述·任务2计算机视觉的主流方法及前沿技术3.目标检测的算法Two-Stage：先生成可能包含目标的预选框，再通过卷积神经网络进行分类。典型算法有R-CNN、SPP-Net、FastR-CNN。One-Stage：直接通过网络提取特征，预测目标类别与位置。典型算法有OverFeat、YOLO、SSD。教材中的比较：两类方法在检测精度与检测速度上各有侧重，需要结合应用场景理解其流程差异。10/138项目2视觉图像预处理·任务1了解图像基础概念·任务2实践：使用Python实现图像变换·任务3了解图像点运算和图像灰度化·任务4实践：使用Python实现图像灰度化·任务5了解降噪技术·任务6实践：使用Python实现图像去噪·任务7了解图像增强技术·任务8实践：使用Python实现图像增强11/138项目2视觉图像预处理·任务1了解图像基础概念任务目标（1）了解基本图形元素的概念（2）熟悉二维基本图形元素和三维基本图形元素（3）熟悉二维坐标变换方法和三维坐标变换方法12/138项目2视觉图像预处理·任务1了解图像基础概念1.了解基本图形元素基本概念：基本图形元素又称图元，可分为二维基本图形元素和三维基本图形元素。点、线和平面构成几何形状。二维图元：二维点可用一对坐标值或齐次坐标表示。二维直线可用齐次坐标表示，曲线可用多项式方程等描述。三维图元：三维点用于描述空间位置。对图元的表示和变换，是后续图像分析与操作的基础。13/138项目2视觉图像预处理·任务1了解图像基础概念2.二维坐标变换平移与欧式变换：平移只改变位置。欧式变换改变位置和方向，保持形状与大小。相似变换：保持形状不变，可以改变位置、大小和方向。仿射变换：可改变形状、位置、大小和方向，但保持直线及平行关系。投影变换：又称透视变换或单应性变换，可改变位置与形状，但不能把直线变为曲线。14/138项目2视觉图像预处理·任务1了解图像基础概念3.三维到二维的投影投影任务：将三维基本图形元素映射到二维图像平面，可使用三维到二维的线性投影矩阵。正交投影：没有近大远小的透视收缩效果，变换后平行线仍保持平行。透视投影：远处物体的投影较小、近处物体的投影较大，接近人眼或相机镜头的成像效果。15/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换任务目标（1）了解OpenCV计算机视觉和图像处理库（2）使用Anaconda创建虚拟环境（3）使用Python实现图像平移变换（4）使用Python实现图像缩放变换（5）使用Python实现图像旋转变换（6）使用Python实现图像仿射变换（7）使用Python实现图像透视变换16/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换1.什么是OpenCV库的作用：OpenCV是开源的计算机视觉和图像处理库，提供图像与实时视频处理的函数和工具。主要能力：支持图像处理、特征提取、目标检测、物体跟踪、机器学习、深度学习等视觉任务。开发特点：支持多种操作系统，底层采用优化的C/C++实现，并提供Python编程接口。本书实践环境：教材采用Windows11，建议使用Python3.8.5与PyCharmCommunity，并在Anaconda虚拟环境中开展实践。17/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换2.Anaconda环境：创建与激活独立环境：Conda可管理Python版本和包依赖，使不同项目使用各自的环境。创建环境：打开命令提示符或AnacondaPrompt，输入condacreate-n环境名python==3.8.5，按提示确认。检查与激活：用condaenvlist查看环境，再用condaactivate环境名进入工作环境。图2-5创建环境并安装相关依赖18/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换2.Anaconda环境：配置项目解释器打开设置：在PyCharm右下角打开解释器列表，选择“解释器设置”。选择环境：将带有工作环境名称的解释器设为项目解释器。补充路径：若列表没有目标解释器，打开“全部显示”并添加虚拟环境解释器路径，完成后重新选择。图2-9、图2-10解释器设置与选择19/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换2.Anaconda环境：安装OpenCVPyCharm安装：在目标解释器的软件包界面搜索opencv-python，选择后安装。终端安装：激活同一工作环境，执行pipinstallopencv-python。后续使用：安装完成后，在Python脚本中导入cv2，调用OpenCV图像处理函数。图2-13选择opencv-python软件包20/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换3.使用Python实现图像平移变换变换含义：按照给定平移量，移动图像中的所有像素点。设置矩阵：教材示例采用M=np.float32([[1,0,50],[0,1,100]])，水平平移50像素、垂直平移100像素。执行变换：读取图像并取得rows、cols，调用cv2.warpAffine(src,M,(cols,rows))，显示处理前后的图像。图2-16平移变换前后结果21/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换4.使用Python实现图像缩放变换指定大小：使用cv2.resize(src,dsize)，以dsize设置目标图像的宽度和高度。指定比例：使用cv2.resize(src,None,fx=0.7,fy=0.7)，将两个方向缩小为原来的0.7倍。插值与比例：interpolation用于选择插值方法。宽高缩放比例不一致时，图像会发生形变。22/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换4.缩放结果的并列显示颜色转换：用cvtColor()交换颜色通道，为matplotlib显示准备图像。创建子图：利用pyplot.figure()创建画布，通过subplot(1,2,1)与subplot(1,2,2)并列放置图像。观察结果：设置标题和坐标轴后显示，便于在同一画布中比较原图与缩放图。图2-18使用subplot()显示缩放前后结果23/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换5.使用Python实现图像旋转变换旋转参数：旋转围绕指定中心进行。center表示中心，angle表示角度，scale表示比例因子。求取矩阵：教材以图像中心为旋转中心，调用getRotationMatrix2D()，逆时针旋转30°。生成结果：把得到的矩阵M传入warpAffine()，再显示旋转前后的图像。图2-19图像旋转变换前后结果24/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换6.使用Python实现图像翻转变换变换方式：图像翻转包括水平方向和垂直方向的翻转，使用cv2.flip(src,flipCode)实现。教材实例：分别设置flipCode为0、1、-1，生成三种翻转结果，并和原始图像并列显示。实践练习：按照书中练习，对四张图像进行缩放、翻转，并拼接在一张图像中。图2-21原始图像与三种翻转结果25/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换7.使用Python实现图像仿射变换变换含义：仿射变换是在一次线性变换之后接上平移，可实现旋转、拉伸等效果。对应点：选取原图中三个不共线点，以pos1、pos2表示变换前后的对应坐标。执行步骤：用getAffineTransform(pos1,pos2)求矩阵，再用warpAffine()生成图像。调整对应点可获得不同效果。图2-22图像仿射变换前后结果26/138项目2视觉图像预处理·任务2实践：使用Python实现图像变换8.使用Python实现图像透视变换变换含义：将原始图像投影到一个新的视平面，图像的大小和形状可以发生变化。对应点：用四组对应点描述变换前后的坐标，通过getPerspectiveTransform()求取矩阵M。执行步骤：调用warpPerspective(src,M,(cols,rows))。教材进一步提出交换对应点、观察图像校正效果的思考题。图2-23图像透视变换前后结果27/138项目2视觉图像预处理·任务3了解图像点运算和图像灰度化任务目标（1）了解图像点运算（2）了解图像灰度化28/138项目2视觉图像预处理·任务3了解图像点运算和图像灰度化1.图像点运算基本定义：逐点变换图像像素的灰度值，输出像素的灰度由对应的输入像素决定。运算特点：本质是灰度到灰度的映射，与相邻像素之间没有运算关系。处理目的：通过线性或非线性映射增强或减弱灰度，是一种简单、有效的图像处理方法。29/138项目2视觉图像预处理·任务3了解图像点运算和图像灰度化2.图像灰度化灰度化含义：将彩色图像转换为灰度图像，以黑到白的不同明暗层次表示图像。灰度范围：教材采用0～255的灰度值，0表示黑色，255表示白色，数值越大越亮。颜色空间：除灰度图像外，图像处理中还会使用二值图像以及HSV、HSI等颜色空间表示。图2-24各类颜色空间下的图像30/138项目2视觉图像预处理·任务3了解图像点运算和图像灰度化2.常用灰度处理方法最大灰度值处理：取R、G、B三个分量中的最大值作为灰度值，即Gray=max(R,G,B)。平均灰度处理：将三个颜色分量求和后取平均值。加权平均灰度处理：按不同权重组合颜色分量，即Gray=i×R+j×G+k×B。教材还介绍浮点、整数及移位形式。31/138项目2视觉图像预处理·任务4实践：使用Python实现图像灰度化任务目标（1）使用Python实现图像灰度化（2）使用Python将图像转换为其他颜色空间表示32/138项目2视觉图像预处理·任务4实践：使用Python实现图像灰度化1.使用Python实现图像灰度化准备图像：将bird1.jpg与脚本放在同一文件夹，用cv2.imread()读取原图。灰度转换：调用cv2.cvtColor(src,cv2.COLOR_BGR2GRAY)，生成灰度图像。显示与用途：用imshow()对照显示原图和灰度图。灰度表示便于后续亮度、对比度等图像处理。图2-25图像灰度化处理前后结果33/138项目2视觉图像预处理·任务4实践：使用Python实现图像灰度化2.使用Python转换其他颜色空间统一入口：读取img_BGR，使用cvtColor(img_BGR,转换标识)实现不同的颜色空间转换。转换标识：教材依次使用COLOR_BGR2RGB、COLOR_BGR2HSV、COLOR_BGR2YCrCb、COLOR_BGR2HLS、COLOR_BGR2XYZ、COLOR_BGR2LAB和COLOR_BGR2YUV。结果比较：将BGR、RGB、GRAY、HSV、YCrCb、HLS、XYZ、LAB、YUV九种表示放入subplot(3,3,i+1)中显示并观察差异。34/138项目2视觉图像预处理·任务5了解降噪技术任务目标（1）了解图像噪声的来源（2）了解图像降噪的作用（3）掌握图像降噪的常用方法35/138项目2视觉图像预处理·任务5了解降噪技术1.图像噪声的来源采集设备：传感器材料、电子元器件和电路结构等会影响采集质量。采集环境：光线、温湿度等因素可能引入噪声，教材列举热噪声、暗电流噪声、光子噪声等。信号传输：传输、记录设备及网络等因素，也可能在数字图像传输过程中引入噪声。36/138项目2视觉图像预处理·任务5了解降噪技术2.图像降噪的作用基本含义：图像降噪又称图像去噪，是减少数字图像中噪声的过程。预处理作用：降噪是重要的预处理步骤，其效果会直接影响后续图像处理。处理目的：针对采集和传输引入的噪声改善图像质量，使图像更加清晰、真实。37/138项目2视觉图像预处理·任务5了解降噪技术3.图像降噪的常用方法空间域滤波：直接对图像灰度值进行运算，包括阈值滤波、偏分方程、变差法及形态学降噪。变换域滤波：先把图像变换到其他域，处理后再返回空间域，常用傅里叶、小波和余弦变换。协同滤波：结合空间域和变换域方法，例如偏分方程与小波变换结合。后续任务重点实践阈值化与形态学方法。38/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪任务目标（1）使用阈值化降噪方法进行图像去噪（2）使用形态学方法进行图像去噪39/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪1.阈值化去噪：固定阈值化处理思路：以统一阈值划分像素，将目标、背景与噪声进行区分。关键参数：threshold()的thresh表示阈值，maxval表示最大值，type表示阈值类型。教材实例：先用COLOR_BGR2GRAY灰度化，再以阈值127、最大值255和THRESH_BINARY处理，观察目标轮廓。图2-26二进制阈值化处理前后结果40/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪1.阈值化去噪：固定阈值类型二进制及反二进制：教材列出THRESH_BINARY和THRESH_BINARY_INV两种相反的二值化处理方式。截断阈值化：THRESH_TRUNC对超过阈值的灰度进行截断。其他类型与练习：还包括THRESH_TOZERO、THRESH_TOZERO_INV。按照书中练习，尝试不同类型和阈值，比较去噪效果及适用图像。41/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪1.阈值化去噪：自适应阈值化适用情况：同一图像各区域亮度不同，统一阈值的处理效果可能不理想。局部阈值：adaptiveThreshold()分别计算局部区域阈值，可使用邻域均值或加权平均。教材参数：采用ADAPTIVE_THRESH_MEAN_C、THRESH_BINARY、邻域大小15、常数C=6，分离鸟类与背景。图2-27自适应阈值化处理前后结果42/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪2.形态学去噪：腐蚀与膨胀基本作用：腐蚀缩小高亮区域，膨胀扩大高亮区域。形态学处理用于保留基本形状并去除不相关结构。实现函数：创建5×5的卷积核，分别调用erode(src,kernel)和dilate(src,kernel)。观察结果：比较手写字符的原图、腐蚀、膨胀及组合处理结果，观察噪点与字符形状的变化。图2-28腐蚀与膨胀处理前后结果43/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪2.形态学去噪：开运算运算顺序：先腐蚀，再对腐蚀结果进行膨胀。去噪作用：可平滑轮廓、削弱狭窄部分、去掉较细的突出，并去除微小噪声。教材实现：使用10×10的卷积核，调用morphologyEx(src,cv2.MORPH_OPEN,kernel)，并尝试调整卷积核大小。图2-29开运算处理前后结果44/138项目2视觉图像预处理·任务6实践：使用Python实现图像去噪2.形态学去噪：闭运算运算顺序：先膨胀，再对膨胀结果进行腐蚀，与开运算顺序相反。去噪作用：适用于内部存在小孔、窄缺口或轮廓缝隙的图像。教材实现：使用10×10的卷积核，调用morphologyEx(src,cv2.MORPH_CLOSE,kernel)，比较处理前后字符。图2-30闭运算处理前后结果45/138项目2视觉图像预处理·任务7了解图像增强技术任务目标（1）了解图像增强的定义（2）了解图像增强的相关方法46/138项目2视觉图像预处理·任务7了解图像增强技术1.图像增强的定义增强目标：通过计算机技术或光学设备改善清晰度，突出图像的某些特征。处理思路：增强有效信息或感兴趣部分，抑制不需要的信息与噪声。方法选择：需要同时考虑处理目的和图像特点，单一方法难以适应所有场景。47/138项目2视觉图像预处理·任务7了解图像增强技术2.图像增强方法：空域增强灰度变换：压缩或伸展原始图像灰度值，拉伸对比度，使特征更明显。直方图修正：利用灰度范围、亮度均值和灰度级分布描述图像，再强化关键信息、抑制噪声。处理取舍：空域增强需要在细节增强与噪声抑制之间进行选择。48/138项目2视觉图像预处理·任务7了解图像增强技术2.图像增强方法：频域增强频域滤波：图像边缘细节对应高频分量，可通过抑制低频平滑部分、增强高频部分突出边缘细节。同态滤波：先以对数变换把乘性噪声转为加性噪声，用线性滤波器抑制噪声，再通过指数变换回到空间域。应用考虑：根据图像特点与增强目的选用方法，并同时观察噪声抑制和细节保留效果。49/138项目2视觉图像预处理·任务8实践：使用Python实现图像增强任务目标（1）使用Python实现灰度图像直方图均衡化图像增强（2）使用Python实现彩色图像直方图均衡化图像增强（3）使用Python实现CLAHE均衡化图像增强50/138项目2视觉图像预处理·任务8实践：使用Python实现图像增强1.灰度图像直方图均衡化使用情景：图像模糊、昏暗或目标细节不突出时，可利用直方图均衡化增强图像。实践步骤：读取图像，调用cvtColor()灰度化，再用cv2.equalizeHist(gray)得到增强结果。结果观察：并列显示灰度图与均衡化图，比较目标细节及明暗对比。图2-32灰度图像直方图均衡化前后结果51/138项目2视觉图像预处理·任务8实践：使用Python实现图像增强2.彩色图像直方图均衡化通道分离：使用b,g,r=cv2.split(src)，分别取得三个颜色通道。分别均衡化：对b、g、r各自调用equalizeHist()，得到bH、gH、rH。合并与显示：通过cv2.merge((bH,gH,rH))合并通道。教材展示增强后颜色与除雾效果的变化。图2-33彩色直方图均衡化前后结果52/138项目2视觉图像预处理·任务8实践：使用Python实现图像增强3.CLAHE均衡化图像增强全局均衡化的局限：不同区域的灰度分布差异较大时，统一变换可能使局部增强效果不理想。CLAHE的思路：采用局部直方图均衡化，并限制对比度增强幅度，减少噪声放大和过度增强。教材实现：createCLAHE(clipLimit=2,tileGridSize=(10,10))创建对象，再用apply(gray)处理灰度图。图2-34CLAHE图像增强前后结果53/138项目3图像特征提取·任务1了解图像特征的基本定义·任务2实践：使用Python实现图像特征的提取54/138项目3图像特征提取·任务1了解图像特征的基本定义任务目标（1）了解什么是图像特征（2）了解主流的图像特征（3）了解特征提取的方法（4）理解卷积神经网络特征提取55/138项目3图像特征提取·任务1了解图像特征的基本定义1.什么是图像特征特征含义：图像特征是用于辨认图像自身，或区分不同图像的差异，如形状、颜色、纹理及空间关系。抽象特征：教材指出，较抽象、不直观的特征往往具有较好的目标判别能力。具体特征：具体、直观的特征通常对目标空间位置信息保留得更好。特征的选用要结合识别任务。56/138项目3图像特征提取·任务1了解图像特征的基本定义2.主流图像特征：颜色特征描述对象：描述图像或区域对应物体的表面颜色性质，是一种全局特征。常用表达：颜色直方图是常见表达方法，不受旋转、平移影响，结合归一化可减弱尺度变化的影响。局限性：颜色直方图没有表达颜色的空间分布。只依赖颜色特征，可能检索到不需要的图像。57/138项目3图像特征提取·任务1了解图像特征的基本定义2.主流图像特征：纹理特征描述对象：描述景物表面性质，需要在包含多个像素的区域内进行统计计算。特征作用：区域统计有利于模式匹配，对局部偏差和噪声具有一定抵抗能力。局限性：分辨率、光照和反射变化可能影响纹理计算，二维图像也未必呈现物体真实的三维表面纹理。58/138项目3图像特征提取·任务1了解图像特征的基本定义2.主流图像特征：空间关系特征关系类型：描述多个目标之间的位置、方向，以及邻接、重叠和包含关系。位置信息：相对位置强调上下左右等关系，绝对位置强调距离大小与方位。应用特点：可以加强图像内容描述，但对旋转、反转和尺度变化较敏感，通常需要与其他特征配合。59/138项目3图像特征提取·任务1了解图像特征的基本定义2.主流图像特征：形状特征两类描述：轮廓特征描述物体边界，区域特征描述物体内部形状，均可用于目标检索。局部与全局：形状特征既可以体现整体轮廓，也可以表示局部结构。局限性：目标变形、视点变化及二维投影失真会影响检索。全面描述形状还可能增加计算与存储开销。60/138项目3图像特征提取·任务1了解图像特征的基本定义2.特征描述与提取方法单一特征的限制：物体移动或变换后，仅依靠某一种直观特征可能难以识别目标。常见描述方法：教材列举SIFT、HOG、LBP和SURF等方法，用于获得稳定、具有区分性的特征描述。特征向量：计算机把数字图像看作像素矩阵，特征提取可理解为求取用于区分图像的特征向量集。61/138项目3图像特征提取·任务1了解图像特征的基本定义3.卷积提取特征的基本过程局部计算：卷积核中的权值依次与图像对应位置的像素作用，卷积核滑过图像后形成特征图。教材实例：二值图像一侧为255、另一侧为0，用[-1,1]的卷积核计算后，可以突出图像边界。特征含义：不同卷积核提取的特征不同，例如某个方向的边缘。图3-1、图3-3图像、卷积核及特征图62/138项目3图像特征提取·任务1了解图像特征的基本定义3.不同卷积核的特征提取效果sharpen卷积核：教材以人脸图像展示锐化卷积的过程及结果。outline卷积核：对鸟类图像进行轮廓提取，观察卷积核与输出特征之间的关系。观察练习：改变卷积核的取值，比较提取到的特征，理解权值组合的作用。图3-4、图3-5sharpen与outline卷积示例63/138项目3图像特征提取·任务1了解图像特征的基本定义3.卷积神经网络的深层特征提取图像与特征图：数字图像由像素值构成。卷积核作用于局部像素区域，形成表示某种特征的特征图。特征提取过程：通过多次卷积、激活和池化，逐步提取更深层、更抽象的图像特征。特征的使用：提取的深度特征可用于分类与目标检测，教材用手写字符识别展示各层特征图。图3-6卷积神