《人工智能通识与进阶》 第八章 视觉计算-从人工到深度学习(第一讲)

第十章

视觉计算：从人工到深度学习（第一讲）1问题与导读：为什么视觉对智能至关重要视觉不仅仅是“看见”，更是“理解”，也是人类理解世界与推理的重要基础。通过视觉，人类可以：

识别物体和场景：分辨出这是一只猫、那是一张桌子，以及我们身处办公室还是厨房？

把握上下文和关系：看到一个人伸手去拿水杯，我们能推断出他“可能渴了”。这种对物体间关系和事件因果的理解是高级智能的核心。

进行空间推理：判断一个物体能否放进一个箱子里，或者规划从A点到B点的路径，都严重依赖视觉提供的空间信息。23问题与导读：为什么视觉对智能至关重要问题与导读：为什么视觉对智能至关重要工业是我国国民经济的主导，我国积极抢抓以人工智能为驱动的新一轮科技产业变革

的机遇，工业视觉智能成为了国家及业界高度重视的领域方向。4智能缺陷检测智能识别分拣智能尺寸检测智能生产安全巡检工业智能视觉系统工业成像设备+AI视觉分析软件=火眼金睛5玻璃瓶表面质量检测汽车仪表盘缺陷检测二维码/条形码识别产品颜色智能识别生成现场智能巡检环境数据智能读取问题与导读：为什么视觉对智能至关重要视觉检测设备+AI视觉分析软件=火眼金睛问题与导读：为什么视觉对智能至关重要6

视觉计算是遥感对地观测等重要的分析任务，地物和目标等对象的检测、分割提取、动态目标跟踪等都涉及大量的视觉计算问题，AI+遥感已成为地球科学的重要研究方向遥感探测成像设备+AI视觉分析软件=火眼金睛本章目录8.1视觉计算导论8.2图像：视觉计算的基础8.3从图像到特征：经典视觉表征8.4特征工程的得与失1本章目录8.1视觉计算导论8.2图像：视觉计算的基础8.3从图像到特征：经典视觉表征8.4特征工程的得与失1920世纪80年代初，麻省理工学院（MIT）人工智能实验室的DavidMarr出版了著作《视觉》（Vision：AComputationalInvestigationintotheHumanRepresentationandProcessingofVisualInformation）（Marr,1982）马尔认为，要理解如此复杂的系统，我们必须从三个层次来分析：（1）计算理论层：系统要解决什么问题？为什么要解决它？（2）表示与算法层：解决这个问题需要什么数据表示和计算步骤？（3）硬件实现层：这些计算在物理上如何实现？8.1视觉计算导论Marr视觉10视觉计算典型任务与目标1.重建：精准地还原世界2.识别：准确地辨别万物3.理解：深入地解读语义4.交互：智能地与环境互动视觉计算任务8.1视觉计算导论115.生成与创造：从理解到创造

视觉生成大模型（Sora、智谱等）可以生成非常逼真的视频能AI对话、写作与画图生成工具的领先方案/new-video视觉计算任务8.1视觉计算导论12Marr视觉第一步：初始简图—提取二维要素第二步：2.5维草图—重建表面深度第三步：三维模型表示—识别物体本质

“轮廓

→立体

→概念”8.1视觉计算导论本章目录8.1视觉计算导论8.2图像：视觉计算的基础8.3从图像到特征：经典视觉表征8.4特征工程的得与失1图像数字化表示8.2视觉计算基础：图像

经过采样和量化，可以得到数字图像。

数字灰度图像用数字矩阵或2维数组表示，矩阵中的行和列对应元素称为像素（Pixel,来自术语“PictureElement”），其值对应该像素值。

像素是广泛应用于表示数字图像元素的词汇，是图像的最小单元。

数字图像按照2维数组（矩阵）形式进行存储1415数字二值图像

如果

，

则称图像

为二值图像。这是一类特殊的图像，此时像素值的量化比特数为1，图像像素取值要么为0（黑色），要么为1（白色）。数字灰度图像

一幅数字灰度图像表示为

，

，其像素此时B表示像素的量化比特数，通常取B=8，此时灰度的等级

，0表示最灰度等级（最黑），255表示最大灰度等级（最亮）。（a）（b）数字二值图像数字灰度图像8.2视觉计算基础：图像图像数字化表示16数字彩色图像

彩色图像具有三个通道，分别是红、绿和蓝通道，表示

，

其中各个通道均为一幅灰度图像。

三种类型的图像例子8.2视觉计算基础：图像图像数字化表示178.2视觉计算基础：图像

图8.5数字图像处理系统

图像处理系统可以建模为一种输入输出关系：

图像处理系统18线性系统遵循两大基本原则：（1）可加性：

两个输入叠加后通过系统的输出，等于它们分别通过系统后的输出之和。（2）齐次性：

输入放大K倍，输出也相应放大K倍。

不满足上述条件的系统为非线性系统图像处理系统8.2视觉计算基础：图像198.2视觉计算基础：图像知识库预处理图像获取识别与解释分割表示与描述问题结果低级处理中级处理高级处理图8.6

经典的图像处理系统及其处理层次第一阶段：任务定义与图像采集第二阶段：图像预处理（底层视觉计算）第三阶段：图像目标检测与分割（中层视觉计算）第四阶段：表示与描述（中层视觉计算）第五阶段：模式识别与理解（高层模式分析）图像处理系统208.3从图像到特征：经典视觉表征特征工程（FeatureEngineering）

是传统计算机视觉流程中的核心环节，其目标是通过人为设计和提取一系列具有区分度的数值或符号，将原始的、无结构的图像数据转换为一个能够被机器学习模型（如SVM、随机森林等）有效理解和处理的特征表示，最终有利于图像分类或识别等高层模式分析任务。

特征工程+监督学习进行模式分类视觉特征计算21特征工程的四大目标：降维与简化：从数百万像素的图像中提取出少量但信息丰富的特征，大幅减少数据冗余和计算负担。不变性：使特征对光照、平移、旋转等变化不敏感，提升模型鲁棒性。区分性：确保提取的特征能够有效地区分不同类别的物体，例如“猫”和“狗”的特征应有明显差异。语义化：尽管是手工设计，但好的特征应尽可能对应图像中有意义的视觉模式，如边缘、角点、纹理等。8.3从图像到特征：经典视觉表征视觉特征计算228.3从图像到特征：经典视觉表征

代表性特征-边缘：

通常而言，边缘是图像灰度产生突变位置的像素，可以对应目标的轮廓，具有一定的方向性和连续性

其途径是采取边缘检测算法，是图像处理和计算机视觉的经典问题。

边缘检测238.3从图像到特征：经典视觉表征边缘检测：常见方法是采取求取图像亮度微分，通过求取梯度模值的极大值（对应突变或奇异性点）来确定(a)灰度图(b)亮度变化曲线梯度模极大值点(c)梯度模极值点方法原理：梯度向量包含水平和垂直方向的偏导数，利用差分【求相邻像素的左右和上下的亮度差】边缘检测24

边缘细化边缘图YESNO非边缘像素图8.8边缘检测算法8.3从图像到特征：经典视觉表征边缘检测25

角点检测8.3从图像到特征：经典视觉表征角点检测：角点检测是计算机视觉和图像处理中的一种基本技术，用于识别图像中特征点（或称兴趣点）的位置。这里的“角点”并不是严格的数学上的角，而是指图像中在两个或多个方向上像素强度（颜色、亮度）变化都非常剧烈的点。268.3从图像到特征：经典视觉表征

角点检测Harris角点检测，核心思想是：用一个小的滑动窗口在图像上移动，观察窗口向各个方向移动时，窗口内像素灰度值的变化情况，可分为三类：

平坦区域：无论窗口往哪个方向移动，窗口内的灰度值都没有明显变化.

边缘（边界）：沿着边缘方向移动窗口，灰度值变化不大；但垂直于边缘方向移动窗口，灰度值变化剧烈。

角点：窗口向任何方向移动，窗口内的灰度值都会发生剧烈变化。直观结论：角点是在任何方向上移动窗口，灰度都会剧烈变化的点。它们通常是物体轮廓的拐角、纹理丰富的交点等，是图像中非常稳定且具有代表性的“关键锚点”278.3从图像到特征：经典视觉表征

纹理表征纹理：是一种描述图像表面局部区域内在重复性、规律性模式的重要视觉特征。与关注轮廓的边缘检测和关注关键交汇点的角点检测不同，纹理特征旨在量化区域的平滑度、粗糙度、规律性等感知特性。28经典的局部二值模式（LocalBinaryPattern,LBP）算子：定义在一个3×3的像素块内。其计算过程选择中心与邻域：对于图像中的每一个像素，以其作为中心点，并选择一个3×3的邻域窗口。阈值化（二值化）：将邻域内8个周围像素的灰度值，分别与中心像素的灰度值进行比较。如果周围像素值大于或等于中心像素值，则该位置被标记为1。如果周围像素值小于中心像素值，则该位置被标记为0。生成二进制模式：将这8个二进制位（0或1）按一个固定的顺序（比如顺时针方向）串联起来，形成一个8位的二进制数。转换为十进制标签：将这个二进制数转换为一个十进制数，这个十进制数就是中心像素的LBP编码值（范围在0到255之间）。8.3从图像到特征：经典视觉表征

纹理表征295460586159555257560101*0000顺时针顺序（从左上开始）得到的二进制序列为：01000010。将其转换为十进制：=66。

该中心像素的LBP编码值为66。例子：LBP计算示例

纹理表征8.3从图像到特征：经典视觉表征30纹理特征抽取可以广泛应用于生物特征识别等领域指纹识别掌纹识别虹膜识别8.3从图像到特征：经典视觉表征

纹理表征31虹膜识别8.3从图像到特征：经典视觉表征

纹理表征32方向梯度直方图HOGHOG是一个特征描述符，用于自动检测图像中的对象；HOG描述符对图像中局部部分的梯度方向的分布进行编码；核心思想：通过边缘方向的直方图来描述图像内的对象外观和形状。主要步骤梯度计算单位直方图块描述符块归一化8.3从图像到特征：经典视觉表征

方向梯度直方图338.3从图像到特征：经典视觉表征

方向梯度直方图HOG描述符34

3220S3064-101-101水平和垂直梯度其实就是按照如下方式得到：

8.3从图像到特征：经典视觉表征

方向梯度直方图HOG描述符计算过程：

梯度计算35将图像按照8×8大小的单元进行切割。每个单元都有固定数量的梯度方向区间均匀分布在0~180°之间或0~360°之间例如，对于原尺寸为64×128的图像，会被切成8×16个单元。HOG描述符计算过程：单元分块8.3从图像到特征：经典视觉表征

方向梯度直方图36梯度直方图是以格子为单位进行的。由于10°和0°以及20°都接近，所以它们各自增加数值2。HOG描述符计算过程：8.3从图像到特征：经典视觉表征

方向梯度直方图37HOG描述符计算过程：形成单元方向直方图计算规则是循环的，当度数位于160°~180°时，那么按照比例分摊到0°和160°8.3从图像到特征：经典视觉表征

方向梯度直方图38为了处理关照和对比度的变化，通过将单元组合在一起形成更大的空间上相连的块，局部地归一化梯度强度。HOG描述符计算过程：描述符块8.3从图像到特征：经典视觉表征

方向梯度直方图39归一化因子算法：或或HOG描述符计算过程：

块归一化8.3从图像到特征：经典视觉表征

方向梯度直方图408.3从图像到特征：经典视觉表征

方向梯度直方图HOG描述符计算可视化结果41核心概念SIFT是基于尺度空间的，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征描述算子；尺度不变特征变换SIFT主要步骤建立尺度空间关键点精确定位关键点方向分配关键点描述符8.3从图像到特征：经典视觉表征SIFT428.3从图像到特征：经典视觉表征SIFT图8.13创建由梯度的模加权的所有梯度方向直方图，在该分布中找到显著峰值，估计主方向进阶难点：SIFT关键步骤图8.12

使用子八度高斯差分金字塔进行尺度空间特征检测，(a)子八度高斯金字塔的相邻相减以产生高斯差分，(b)将像素与其26个邻居比较以检测极值43特征特点稳定性，局部特征对平移、旋转、缩放甚至仿射变换保持稳定性独特性，适用于在海量特征数据库中进行快速、准确的匹配多量性，即使是一个很小的物体也可以产生大量的SIFT特征高速性，经优化的SIFT匹配算法可以达到实时的要求尺度不变特征变换SIFT8.3从图像到特征：经典视觉表征SIFT44尺度不变特征变换SIFTSIFT8.3从图像到特征：经典视觉表征458.3从图像到特征：经典视觉表征加速鲁棒特征SURF是SIFT描述符的加速版(HerbertBay,2008)。在SIFT中高斯拉普拉斯算子用高斯差分近似，以构造尺度空间。SURF描述符通过盒式滤波器来近似高斯拉普拉斯算子，以实现加速。比较：SURF相较于SIFT的主要优势在于速度更快，适合实时特征检测。其通过积分图和盒式滤波器优化了计算效率，同时减少了描述子的维度（从SIFT的128维降至64维），在匹配过程中进一步提升了性能。SURF本章目录8.1视觉计算导论8.2图像：视觉计算的基础8.3从图像到特征