《计算机视觉》 课件 1、绪论

计算机视觉主编胡永利副主编段福庆王爽参编王少帆权豆姜华杰郭岩河战略性新兴领域“十四五”高等教育系列教材机械工业出版社1、绪论人类视觉计算机视觉计算机视觉的发展经典计算机视觉理论计算机视觉的应用和挑战课程内容及要求人类视觉人类约有80%的信息是通过视觉系统获取的人类视觉的生理基础：周围环境中的物体在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号，经神经纤维传入大脑皮层进行处理与理解。人类视觉电信号首先通过视神经传递到大脑的初级视觉皮层（V1区），位于枕叶。随后，这些信号被传递到次级视觉皮层（如V2、V3），在这些区域中，信号被用来解析更复杂的图像属性。进一步的视觉信息传递到视觉联合区域，如V4和V5，分别处理更细致的颜色和运动信息。大脑的颞叶和顶叶参与信息整合，颞叶处理面孔和物体识别，而顶叶处理空间定位和物体运动。1、绪论人类视觉计算机视觉机器视觉的发展经典机器视觉理论机器视觉的应用和挑战课程内容及要求计算机视觉计算机视觉是是一门致力于使计算机能够从图像或视频中“看”和“理解”现实世界的科学。计算机视觉试图实现人类视觉的信息获取和处理的全过程，通过对图像和视频的分析处理，实现类似人类视觉感知功能。输入：图像（images）或视频（video）输出：对象的恢复以及对对象信息的使用图1-3计算机处理图像的基本过程计算机视觉通过对图像和视频信号进行描述、存储、识别与理解，感知三维环境中物体的几何信息，包括形状、位置、姿态、运动等。视觉机理视觉信息获取（图像获取）采样、量化、表示视觉信息处理（图像处理）图像预处理、滤波、变换、分割、特征表示和检测视觉信息理解（图像理解）三维信息恢复和重建、运动信息提取研究目标：使机器像人那样，通过视觉观察和理解世界，具有自主适应环境的能力。1、绪论人类视觉计算机视觉计算机视觉的发展经典机器视觉理论机器视觉的应用和挑战课程内容及要求计算机视觉的发展启蒙阶段（1960s-1980s）：

计算机视觉基础理论探索与建立的阶段LarryRoberts的博士论文标志性地提出了从二维图像中提取三维形状的方法。重构主义阶段（1980s-2000s）：

传统计算机视觉算法快速发展的阶段建立专家系统来存储先验知识，然后与实际项目中提取的特征进行规则匹配。开创了以理解三维场景为目的的三维视觉研究DavidG.Lowe提出了基于知识的视觉(Knowledge-basedVision)的概念ChrisHarris和MikeStephens提出Harris角点检测算法DavidLowe在1999年提出的SIFT（尺度不变特征变换）算法计算机视觉的发展分类主义阶段（2000s-2010s）：

计算机视觉技术的成熟与应用探索阶段一系列关键技术的成熟以及新应用的探索PaulViola和MichaelJones提出的Viola-Jones人脸检测算法成为了第一个能够在实时环境中进行人脸检测的算法支持向量机（SVM）和随机森林等机器学习算法特征提取技术如HOG（方向梯度直方图）和LBP（局部二值模式）大数据、大模型和大算力阶段（2010s-至今）：

大数据和大算力支撑下的深度学习技术迅猛发展并出现大模型的阶段随着计算机运算能力的指数级增长和ImageNet、PASCAL等超大型图片数据库的出现，深度学习技术带领计算机视觉开启了一个新阶段

FasterR-CNN、YOLO、GANBERT、GPT等大型预训练模型的适配和优化，如OpenAI提出的CLIP模型[17]，展示了跨模态学习的巨大潜力。1、绪论人类视觉计算机视觉计算机视觉的发展经典机器视觉理论机器视觉的应用和挑战课程内容及要求Marr计算视觉理论DavidMarr(1945-1980)是英国心理学家。他将心理学、人工智能和神经生理学的结果结合起来，对视觉的研究做出了重要贡献。他是计算视觉的奠基人。1982年马尔(DavidMarr)《视觉》一书的问世，首次提出了视觉计算理论，是第一个系统的计算机视觉理论框架。Marr视觉理论(1) 计算理论：视觉系统的主要任务是从视网膜捕获的二维图像中重构出物体的三维表面形态，这一过程通常被称为“三维重建”。Marr将计算视觉分为三个层次：计算理论、表达与算法以及算法实现。(2) 表达与算法(2) 算法实现低层视觉中层视觉高层视觉图像特征“要素图”2.5D描述3D描述假定视觉系统是对视觉环境的被动响应假定视觉计算是由局部信息到整体信息的单向过程马尔视觉计算理论认为，物体的表达形式为该物体的三维几何形状。（不完全正确）软件和硬件Marr视觉理论信息处理的三个阶段低层视觉（Low-levelvision）构成要素图（primalsketch），要素图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成。Marr视觉理论信息处理的三个阶段中层视觉（Intermediate-levelvision）构成对环境的2.5维描述，在以观察者为中心的坐标系中描述部分的、不完整的三维信息。Marr视觉理论信息处理的三个阶段高层视觉（High-levelvision）从2.5维描述得到物体的完整三维描述，三维结构在以物体为中心的坐标系中表示。主动视觉理论Marr计算理论的不足：

缺乏灵活性和适应性；缺乏明确的目的性和主动性宾夕法尼亚大学的Bajcsy提出了“主动视觉”概念，强调视觉过程应融入人与环境的交互。马里兰大学的Aloimonos主张视觉应具目的性，指出在许多应用场景中，严格的三维重建并非必需，并提出了“目的和定性视觉”的理念。主动视觉理论主动视觉：重点研究“视觉注意力”机制，即脑皮层高层区域到低层区域的反馈机制。基于强化学习、可变形模型、生物启发模型以及交互式视觉机制构建视觉系统，以增强视觉系统的任务驱动能力和适应性，包括任务驱动的视觉模型、端到端学习、优化视觉注意力分配、反馈机制以及多任务学习等。主动视觉的挑战在于“如何根据特定任务优化视觉系统”其关键是能够识别和优先处理对完成特定任务的视觉信息。多视几何视觉理论多视几何：多视几何主要研究两幅图像对应点之间的对极几何约束,三幅图像对应点之间的三焦张量约束，空间平面点到图像点，或空间点为平面点投影的多幅图像点之间的单应约束等。摄像机标定：为了提高三维重建的精度，需要对相机内参数进行估计。相机标定包含二方面的内容：“成像模型选择”和“模型参数估计”。（根据具体相机和具体应用确定）基于学习的视觉理论流形学习：流形学习就是从图像表达学习其内在流形表达的过程，这种内在流形的学习过程一般是一种非线性优化过程。流形学习一个困难的问题是没有严格的理论来确定内在流形的维度。深度学习：ImageNet等大规模图像数据集的出现VGG、AlexNet、ResNet等深度学习网络模型LLMs1、绪论人类视觉计算机视觉计算机视觉的发展经典机器视觉理论计算机视觉的应用和挑战课程内容及要求计算机视觉的应用领域安全监控工业检测军事国防遥感气象医学诊断文化教育智能交通娱乐影视……安全监控工业检测军事国防遥感气象医学诊断计算机视觉面临的挑战

人类视觉机理还不是完全清楚视觉感知技术有待变革多模态融合需要深入探索面向复杂开放场景的模型泛化性亟待提高……1、绪论人类视觉计算机视觉计算机视觉的发展经典机器视觉理论计算机视觉的应用和挑战课程内容及要求课程内容和安排章节名称教学内容及重点（▲）、难点（★）第一章

绪论1.1机器视觉1.2计算机视觉▲1.3机器视觉的发展▲1.4经典机器视觉理论▲1.5计算机视觉的应用与挑战▲第二章

图像表示和处理2.1图像表示▲2.2图像的基本性质▲2.3图像处理数学基础▲2.4图像处理▲第三章

点特征表示3.1图像点特征表示▲★3.2图像特征点检测算法

3.3图像点特征应用▲★第四章线特征表示4.1边缘检测4.2Snake模型▲4.3ASM/AAM模型

4.4霍夫变换第五章区域分割5.1区域分割的定义5.2传统数字图像区域分割算法▲★5.3基于深度学习的区域分割算法▲★章节名称教学内容及重点（▲）、难点（★）第六章纹理分析6.1纹理的概念▲★6.2经典纹理分析方法▲★6.3基于深度学习的纹理分析方法▲★第七章摄像机成像模型7.1成像原理▲★7.2摄像机成像模型▲7.3摄像机标定▲★第八章三维立体视觉重建8.1三维重建介绍▲★8.2多视几何▲★8.3三维重建技术▲★8.4其他三维重建技术▲★第九章运动分析9.1运动分析简介▲9.2时间差分法▲★9.3背景减除法▲9.4光流法▲★第10章计算机视觉应用10.1图像分类▲10.2目标检测▲10.3目标跟踪▲课程要求基础知识数学、图像处理、图形学、模式识别、人工智能、机器学习C/C++,matlab，Python程序设计参考文献ComputerVision:AModernApproach,D.A.ForsythandJ.Ponce,2003,PearsonEducation；ImageProcessing,Analysis,andMachine,M.Sonka,V.Hlavac,andR.Boyle,2004,ThomsonLearning;ComputerVision:AlgorithmsandApplications,2ndEdition,RichardSzeliski,2022,Springer;计算机视觉——计算机理论与算法基础，马颂德，张正友，1998，科学出版社;计算机视觉——算法与系统原理，高文，陈熙霖，1999，清华大学出版社，广西科学技术出版社CVPR,ICCV，ECCV，ACCV；IJCV机器视觉与其他学科的关系图像处理(ImageProcessing)图像处理，人是最终的解释者计算机视