人工智能通识教程（理工版）课件 第8章 人工智能与计算机视觉

人工智能通识（理工科）(仅用于个人学习，请勿上传网络，水平有限，难免有错，请不吝赐教，若因使用该课件造成不良后果，由使用人承担)主要内容计算机视觉原理计算机视觉关键技术计算机视觉应用案例8.1计算机视觉原理计算机视觉概念计算机视觉发展计算机视觉概念人类能够轻易地理解他们所看到的内容对图片或者视频的理解计算机视觉是人工智能的一个分支，致力于使计算机能够“看见”并“理解”世界，即从图像或视频中提取信息并解释这些信息。计算机视觉概念“看见”和“理解”两个过程“看”由眼睛完成“理解”由大脑完成视觉从眼睛开始，但真正起作用的却是我们的大脑计算机视觉概念计算机怎么“看见”？通过监控摄像头或者照相机获取视觉数据计算机视觉概念计算机怎么“理解”？计算机视觉技术计算机视觉概念计算机视觉发展技术驱动：从手工特征→深度学习→多模态大模型应用扩展：工业检测→医疗→安防→通用场景理解8.2计算机视觉技术基础数据增强技术从数据角度人工神经网络卷积神经网络从计算角度典型神经网络数据增强技术人类视觉能力：视角不变性（自动3D重建）、遮挡鲁棒性、场景迁移、部分-整体推理计算机视觉任务中，数据增强常用于扩展数据集和提升模型的鲁棒性和泛化能力几何变换，主要包括旋转，缩放，翻转，裁剪等操作，通过几何变换，能够增强模型对不同角度、大小、方位等因素的鲁棒能力颜色增强，对图像的颜色属性进行调整，能够模拟不同光照和环境条件，增强模型对不同颜色条件下的泛化能力，主要包括亮度、对比度调整、Gamma校正、色彩抖动等数据增强技术-几何变换裁剪前后图像对比180度旋转前后图像对比等比例缩小对比数据增强技术-颜色增强改变图像的噪声对比度调整数据增强技术imgaug：用于图像数据增强的Python库（https:///aleju/imgaug

）几何变换：旋转、缩放、平移、翻转、裁剪等颜色变换：亮度、对比度、饱和度、色调的变化等模糊与噪声：应用模糊、添加噪声等变形操作：例如图像的拉伸、扭曲等非线性变换随机遮挡：模拟目标被遮挡的情况数据增强是计算机视觉领域中低成本、高效能的关键技术。本质是在有限数据下，逼近真实数据分布，从而缩小训练与测试场景的差距。卷积神经网络卷积神经网络（ConvolutionalNeuralNetworks,CNN）深度学习模型，广泛应用于图像处理、语音识别、自然语言处理等领域。CNN的主要特点是能够通过卷积层提取数据的局部特征，并通过多层次的网络结构捕捉更高层次的特征。卷积神经网络杨立昆（YannLeCun，法国）是卷积神经网络发展历程中的核心奠基人，其贡献不仅在于发明了现代CNN的基本架构，更推动了其从理论到工业应用的跨越，2018年图灵奖获得者受Hubel-Wiesel视觉层级理论启发，将生物神经机制转化为可训练的数学模型（卷积+反向传播）开发的LeNet系列（1989-1998）首次实现CNN的工业应用（银行支票识别），奠定了现代深度学习的基础架构成立及领导Facebook（Meta）AI研究院，推动开源（如PyTorch、LLAMA系列模型）卷积神经网络LeNet5卷积层检测边缘/纹理卷积层响应物体部件全连接层整合全局语义层级化的特征组装：边缘→局部部件→整体物体卷积计算通过滑动窗口（卷积核）对输入数据局部区域进行加权求和，从而提取特征的数学运算卷积核的取值：与该层的功能高度相关CNN中卷积操作的特点局部连接：每个神经元仅与输入数据的局部区域（感受野）连接，而非全连接适合处理图像等具有空间局部相关性的数据图像的空间联系：是局部的像素联系较为紧密，而距离较远的像素相关性则较弱矩阵乘法（点乘）卷积神经网络卷积的过程就是多维数组运算的过程：矩阵乘法与矩阵加法3个3×3卷积核3通道3个特征图特征整合1通道卷积神经网络卷积：局部连接：卷积核提取局部特征（如边缘、纹理）权值共享：同一卷积核在全图滑动，减少参数量池化降维：减小特征图的尺寸，同时保留了最显著的特征提高特征的抽象程度逐步提取特征、进行更高级的抽象全连接层：将卷积和池化层提取到的特征进行整合，连接到输出决策池化层池化：对不同位置区域提取出有代表性的特征（进行聚合统计，如最大值、平均值等），池化的过程通常也被称为特征映射的过程随着模型网络不断加深，卷积核越来越多，要训练的参数依然很多用卷积核提取的特征直接训练容易出现过拟合作用特征降维：减少计算量（将输入图像进行缩小，减少像素信息，只保留重要信息），避免过拟合平移不变性：无论输入图像如何平移，输出结果（如分类标签）保持不变，即弱化特征的位置信息，聚焦语义内容池化层池化分类最大值池化：取窗口内最大值，保留最显著特征，抑制噪声平均值池化：取窗口内均值，平滑特征，对微小变形更加鲁棒最大池化平均值池化窗口大小=2全连接层特征整合、特征降维和分类决策每个神经元都会与前一层的所有神经元相连接8.2.3典型神经网络LeNet-5AlexNetVGGGoogLeNetResNet模型层数结构错误率AlexNet(2012)8层16.4%VGGNet(2014)19层7.3%GoogLeNet(2014)22层6.7%ResNet(2015)152层3.57%典型神经网络-LeNet-51998年LeCun等人提出，第一个证明CNN在真实任务中有效的模型，至今仍是CNN的基础模板技术点：权值共享（对比全连接）、层级特征提取（模拟生物视觉的层次处理）、端到端训练（首次实现从原始像素到分类结果的完整梯度反向传播）成功部署于美国银行支票识别系统，手写字体识别任务错误率<1%[LeCunetal.,ProceedingsoftheIEEE1998GoogleCitation:50000+]典型神经网络-AlexNet[Krizhevskyetal.,NIPS2012]GoogleCitation:120,000+2012年Krizhevsky等人提出，ImageNet冠军：15.3%(2nd

为26.2%)5个卷积层，3个全连接层ReLU激活函数：替代传统的Sigmoid/Tanh，解决梯度消失问题（正区间梯度恒为1），加速训练；计算量仅为Sigmoid的1/4（无需指数运算）Dropout正则化：在全连接层以0.5概率随机丢弃神经元，有效防止过拟合，成为深度学习标准技术典型卷积神经网络-VGGNet

[Simonyanetal.,arXiv2014]GoogleCitation:90000+2014ImageNet亚军：6.8%以64通道的隐层数据为例（64卷积核→64通道）2个3*3的卷积核 1个5*5的卷积核2*3*3*64参数

5*5*64参数典型神经网络-GoogLeNet2014ImageNet冠军：6.7%典型神经网络-GoogLeNet[Szegedyetal.,CVPR2015]GoogleCitation:40000+Inception模块（多尺度特征融合）并行多分支结构1×1卷积保留局部信息，降维1×1卷积→3×3卷积降维、捕获中等范围特征1×1卷积→5×5卷积降维、提取全局上下文3×3MaxPooling→1×1卷积保持平移不变性、降维典型神经网络-ResNetResNet（ResidualNeuralNetwork，残差神经网络）由微软研究院的KaimingHe等人于2015年提出[Heetal.,CVPR2016]GoogleCitation:60000+2015ImageNet冠军何恺明AlexNet(2012)VGG16(2014)GoogLeNet(2014)152layers!3.5%16.4%7.3%6.7%ResidualNet(2015)典型神经网络-ResNet残差(Residual)学习：解决深度网络训练退化的问题。在计算机视觉领域，成为图像分类、图像检测、图像分割的骨干网络。普通网络(PlainNet)：56层比20层训练误差更高（退化问题）梯度值逐层指数衰减，导致浅层权重几乎不更新典型神经网络-ResNet跨层恒等映射即使

很小，梯度仍能通过

+1

项有效回传，缓解梯度消失典型神经网络-ResNet直接学习H(x)复杂度高，将学习目标改为残差F(x)，易于学习图像处理中，相邻层特征具有局部相关性，深层网络对特征的调整是渐进的（微小变化），因此H(x)≈x，残差F(x)接近零，优化更简单学习残差相当于对输入x做微调，而不需要从头开始学习整个特征跨层恒等映射典型神经网络-GAN对抗生成网络（GenerativeAdversarialNetworks，GANs）是一种深度学习模型，由IanGoodfellow等人在2014年提出GAN的核心思想是让生成器学习到数据的分布，从而能够生成新的、类似于训练数据集的数据样本计算机视觉经典神经网络模型特点贡献LeNet-5首个工业级CNN（支票识别）奠定CNN基础架构AlexNetReLU激活、Dropout正则化2012ImageNet冠军（错误率16.4%）VGGNet堆叠3×3小卷积核参数量少，特征表达能力强GoogLeNetInception模块（多尺度卷积）通过Inception模块提高计算效率和精度ResNet残差连接（解决梯度消失）152层深度网络（错误率3.57%）8.3计算机视觉技术应用手写数字分类数据集准备及数据预处理MNIST数据集，60000张用作训练集，10000张用作测试集模型构建选择LeNet5卷积神经网络作为手写数字识别模型。模型训练迭代训练，直到损失函数值趋于收敛。模型评估及部署模