计算机视觉 课件 第五章 图像分割

计算机视觉第五章图像分割目录一、分割基础与评价指标01·什么是图像分割02·语义/实例/全景分割03·评价指标PixelAccuracy/IoU/Dice二、传统CV分割方法04·阈值分割与OTSU大津法05·边缘检测与区域生长06·聚类分割（K-Means/MeanShift）07·GraphCut/GrabCut08·分水岭算法三、深度学习分割模型09·FCN全卷积网络10·U-Net/U-Net++11·DeepLabv3+与ASPP12·MaskR-CNN实例分割13·SAM分割一切模型四、实现案例与总结14·案例一：U-Net医学图像分割15·案例二：街景语义分割16·损失函数与模型选型一、分割基础·01什么是图像分割定义：图像分割是将数字图像划分为多个像素级区域（segment）的过程，为每个像素分配一个类别标签，使同一类别的像素具有相同语义。与目标检测的区别：检测输出边界框（物体在哪），分割输出像素级掩码（物体精确轮廓）。任务输出粒度典型应用图像分类整图一个类别标签图像级图片检索、内容审核目标检测边界框+类别+置信度区域级人脸识别、车辆检测语义分割每个像素一个类别像素级自动驾驶、医学影像实例分割每像素类别+实例ID像素级机器人抓取、视频编辑一、分割基础·02三种分割任务：语义/实例/全景语义分割只区分类别，不区分个体·同一类别的所有物体用同一种颜色·图中两个人都是"人"类别，无法区分·两个相邻的同类物体合并为一个区域代表模型FCN,U-Net,DeepLab应用自动驾驶可行驶区域、遥感地物分类实例分割区分类别，也区分个体·每个物体实例都有独立掩码·图中两个人各有不同颜色·背景不分割代表模型MaskR-CNN,YOLOv8-seg应用机器人抓取、视频实例分割全景分割语义+实例的统一·背景（stuff）按类别分割·物体（thing）按实例分割·每个像素都有标签，无遗漏代表模型PanopticFPN,SegFormer应用自动驾驶全景感知、机器人场景理解一、分割基础·03评价指标（一）：PixelAccuracyPixelAccuracy（像素准确率）PA=分类正确的像素数/总像素数逐像素统计预测类别与真实类别一致的比例，是最直观的分割精度指标。优点·计算简单直观·适用于类别均衡的场景缺点·类别不均衡时失真·若背景占90%，全预测背景也有90%PA·忽略了小目标类别的分割质量mPA（MeanPA）对每个类别分别计算PA，再取平均：mPA=(1/K)*sum(PA_k)K为类别总数弥补类别不均衡问题，小类别也能得到公平评价。一、分割基础·04评价指标（二）：IoU与mIoUIoU（IntersectionoverUnion，交并比）IoU=预测区域与真实区域的交集/预测区域与真实区域的并集衡量两个区域的重叠程度，取值[0,1]，越接近1分割越精准。mIoU（meanIoU）——分割任务最核心指标对每个类别分别计算IoU，再取平均：mIoU=(1/(K+1))*sum(IoU_k)，k=0,1,...,K（0为背景）典型参考值·弱模型：mIoU50%以下·良好模型：mIoU60%~70%·优秀模型：mIoU75%+（Cityscapes基准）IoU阈值：目标检测中IoU>0.5视为TP，分割中直接以IoU值评价质量。一、分割基础·05评价指标（三）：Dice系数DiceCoefficient（骰子系数/F1ScoreforSegmentation）Dice=2*|交集|/(|预测|+|真实|)=2TP/(2TP+FP+FN)与IoU的关系：Dice=2*IoU/(1+IoU)，是分割任务常用损失函数和指标。指标特点适用场景PixelAccuracy简单直观，但类别不均衡时失真类别均衡的简单场景IoU/mIoU最权威，考量重叠程度，国际竞赛标准Cityscapes,PASCALVOC等基准Dice与IoU正相关，可微，常用作损失函数医学图像分割（小目标、类别不均）二、传统方法·00传统CV分割方法vs深度学习分割对比维度传统CV方法深度学习方法特征提取人工设计特征：灰度、边缘、纹理、梯度CNN/Transformer自动学习层次化特征原理基于阈值、边缘、区域、聚类、图论等显式规则端到端学习像素到类别的映射鲁棒性差，对光照、噪声、背景复杂敏感强，大量数据训练后泛化能力好多类别通常只做二分类（前景/背景）支持多类别语义分割、实例分割计算量小，CPU实时可运行大，需要GPU加速代表方法OTSU、Canny、区域生长、GraphCut、分水岭FCN、U-Net、DeepLab、MaskR-CNN、SAM二、传统方法·01阈值分割：全局阈值与OTSU大津法基本原理选择一个灰度阈值T，将像素分为两类：g(x,y)=0iff(x,y)<T（背景）g(x,y)=255iff(x,y)>=T（前景）适用于前景与背景灰度差异明显的图像。OTSU大津法（最大类间方差）自动遍历所有可能阈值T，计算前景与背景的类间方差，使方差最大的T即为最佳阈值。无需人工设定阈值，对双峰直方图图像效果最佳。OpenCV调用_,binary=cv2.threshold(gray,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)多阈值分割自适应阈值：cv2.adaptiveThreshold()，按局部邻域计算阈值，适合光照不均图像。二、传统方法·02基于边缘的分割：Canny边缘检测Canny边缘检测五步流程①高斯滤波：5x5高斯平滑去噪，减少噪声对边缘的干扰②计算梯度：Sobel算子计算Gx、Gy，得到梯度幅值和方向③非极大值抑制（NMS）：沿梯度方向保留局部最大值，细化边缘④双阈值筛选：高阈值（强边缘）+低阈值（弱边缘），过滤假边缘⑤边缘连接：弱边缘若与强边缘连通则保留，否则丢弃局限：边缘闭合不完整时无法直接得到区域掩码，需配合边缘闭合或区域生长使用。OpenCV：edges=cv2.Canny(gray,50,150)#low=50,high=150二、传统方法·03区域生长法原理从一组种子点出发，将相邻且灰度/纹理相似的像素合并到同一区域，逐步"生长"出完整区域。·种子点可人工指定或自动选取·相似性准则：灰度差阈值、欧氏距离·终止条件：无新像素可加入优缺点优点：能得到连通区域，边界封闭缺点：·依赖种子点选择·对噪声敏感，可能产生过分割·计算量大，效率较低区域分裂与合并四叉树方法：将图像递归分裂为子块，若子块内像素不相似则继续分裂；相邻相似子块则合并。是区域生长的改进版，无需指定种子点，但计算复杂度更高。二、传统方法·04聚类分割：K-Means原理将每个像素的灰度/颜色作为特征向量，K-Means将所有像素聚为K个簇，每个簇对应一个分割区域。迭代步骤：初始化质心→分配像素到最近质心→更新质心→重复直到收敛优缺点优点：简单快速，无需种子点缺点：·需预先指定K值·聚类结果不一定空间连续·对初始质心敏感MeanShift均值漂移无需指定K值：从每个像素出发，沿概率密度梯度方向漂移，收敛到密度局部最大值，相同收敛点的像素属于同一类。适合颜色/纹理自然分布的图像。二、传统方法·05GraphCut与GrabCut交互式分割GraphCut图割将图像建模为图论中的最小割问题：·像素为节点，边权为灰度相似度·构建源点（前景）和汇点（背景）·最小割算法将像素分为前景/背景需用户标记部分前景和背景像素。GrabCut（OpenCV）用户只需画一个矩形框住目标：·矩形外自动为确定背景·矩形内用GMM（高斯混合模型）迭代优化·反复估计前景/背景颜色分布直到收敛是PPT/Photoshop抠图的经典算法。OpenCV调用mask=np.zeros(img.shape[:2],np.uint8)#初始化掩码cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)仅需一个矩形框即可完成高质量前景抠取。二、传统方法·06分水岭算法（Watershed）原理：将灰度图像视为地形地貌，灰度值为海拔。从局部最小值（种子点）开始"灌水"，不同流域相遇处建坝，形成分水岭。步骤：①距离变换：计算每个前景像素到背景的距离②标记种子点：距离局部最大值标记为确定前景③分水岭分割：在种子点间建立分水岭，分离粘连物体④应用：细胞计数、粘连物体分离、颗粒分析局限与改进：对噪声敏感，易过分割（每个小噪声都成为种子点）。改进：先用OTSU阈值+距离变换确定种子标记，再做分水岭，可显著减少过分割。OpenCV：cv2.watershed(img,markers)二、传统方法·07传统分割方法对比总结方法核心思想优点局限OTSU阈值最大类间方差自动阈值，简单快速仅二分类，光照不均失效Canny边缘梯度+NMS+双阈值边缘定位精准边缘不闭合，非区域分割区域生长种子点相似性扩展连通区域，边界封闭依赖种子点，噪声敏感K-Means颜色/灰度聚类无监督，多区域空间不连续，需指定KGraphCut图论最小割全局最优，交互式需交互标记，速度较慢分水岭地形灌水+标记分离粘连物体过分割，需预标记三、深度学习·00深度学习分割的演进历程年份模型核心贡献里程碑意义2015FCN全卷积网络，将分类网络改造为像素级预测开创深度学习语义分割2015U-NetU型编解码+跳跃连接，医学影像标杆小数据集也能高精度2017MaskR-CNN检测框架上增加Mask分支，实例分割实例分割开山之作2018DeepLabv3+空洞卷积+ASPP，多尺度上下文语义分割精度巅峰2021SegFormerTransformer编码器+轻量解码头Transformer进入分割2023SAM分割一切，提示驱动，零样本泛化分割的GPT时刻三、深度学习·01FCN：从分类到分割的革命三大创新①全卷积：去掉全连接层，全部用卷积，接受任意尺寸输入②上采样：转置卷积将特征图恢复到原图尺寸③跳跃连接：融合深层语义与浅层细节核心思想分类网络提取特征→1x1卷积预测类别→反卷积上采样→像素级输出FCN-32s/16s/8s：32倍下采样后直接上采样为32s；融合pool4特征为16s；再融合pool3特征为8s。跳级越多，细节越丰富，精度越高。三、深度学习·02FCN网络结构详解编码器（VGG16）conv1~pool1:1/2conv2~pool2:1/4conv3~pool3:1/8conv4~pool4:1/16conv5~pool5:1/32解码器fc6/fc7→1x1卷积2x反卷积(2x)+pool4融合→2x反卷积+pool3融合→8x反卷积→原图尺寸输出跳跃连接作用：深层特征感受野大但分辨率低、边缘模糊；浅层特征保留空间细节但语义弱。融合两者兼得——大物体靠深层语义，小物体靠浅层细节。三、深度学习·03U-Net：医学图像分割的基石U型对称结构左：编码器每级两次3x3卷积+MaxPool通道:64→128→256→512→1024右：解码器2x转置卷积+concat跳跃连接+两次3x3卷积1x1卷积将64通道映射为类别数优势小数据集即可训练三、深度学习·04U-Net编码器与解码器块详解编码器块Conv2D(3x3)+BN+ReLUConv2D(3x3)+BN+ReLUMaxPool(2x2)下采样→输出跳跃连接特征图解码器块转置卷积(2x2)上采样与编码器对应层concatConv2D(3x3)+BN+ReLUConv2D(3x3)+BN+ReLU跳跃连接将编码器浅层特征直接拼接到解码器对应层，保留细粒度空间信息，避免上采样丢失边缘细节。三、深度学习·05U-Net++：密集跳跃连接改进U-Net局限编码器与解码器之间只有同尺度直接连接，语义鸿沟大——编码器特征已被多次池化，与解码器上采样特征分布不一致。U-Net++改进在跳跃路径中增加密集卷积块，让编码器特征经过额外卷积后再与解码器融合，缩小语义鸿沟。支持深监督，可提前剪枝加速推理。其他变体·3DU-Net：用于三维医学影像（CT/MRI）分割，将2D卷积改为3D·AttentionU-Net：在跳跃连接中加入注意力门，让模型聚焦目标区域，抑制无关背景·TransUNet：编码器替换为Transformer，结合CNN的局部性与Transformer的全局感受野三、深度学习·06DeepLab系列：空洞卷积与多尺度上下文三大技术支柱①空洞卷积（AtrousConvolution）：在卷积核元素间注入空格，不增加参数即可指数级扩大感受野，不降低分辨率②ASPP（空洞空间金字塔池化）：并行多个不同rate的空洞卷积，捕捉多尺度上下文信息③Encoder-Decoder：深层语义特征上采样后融合低层边缘细节三、深度学习·07空洞卷积与ASPP模块空洞卷积原理普通3x3卷积感受野=3rate=2空洞卷积感受野=5rate=4空洞卷积感受野=9不损失分辨率，不增加参数ASPP并行分支①1x1卷积②rate=6空洞卷积③rate=12空洞卷积④rate=18空洞卷积⑤全局平均池化各分支concat+1x1卷积融合作用：同时捕捉大物体（大rate）和小物体（小rate）的多尺度信息，解决多尺度分割难题。三、深度学习·08DeepLabv3+完整结构EncoderBackbone:Xception/ResNet输出高层特征+ASPP多尺度Decoder高层特征4x上采样与低层特征concat3x3卷积细化4x上采样到原图精度CityscapesmIoU85%+三、深度学习·09PSPNet与SegNetPSPNet（金字塔池化）核心创新：金字塔池化模块（PPM）将特征图分别用1x1、2x2、3x3、6x6不同大小的池化核做全局池化，获得多尺度全局上下文。解决问题FCN缺乏全局信息，容易将相似物体误分类（如牛和马）。优势融合局部与全局信息，提升类别区分度。SegNet（池化索引）核心创新：编码器MaxPool时记录最大值位置索引，解码器用这些索引做非线性上采样。与U-Net区别U-Net用卷积学习上采样权重，参数多；SegNet直接复用池化索引，参数少，适合内存受限场景。优势节省显存，推理快，边缘定位精准。三、深度学习·10MaskR-CNN：实例分割开山之作三分支结构①Box分支：边界框回归②Class分支：类别分类③Mask分支：每个RoI输出小尺寸掩码（FCN）关键改进ROIAlign替代ROIPool：用双线性插值对齐坐标，消除量化误差，提升掩码精度。损失L=L_cls+L_box+L_mask三分支联合训练。三、深度学习·11MaskR-CNN工作流程流程：输入图像→Backbone(ResNet+FPN)提特征→RPN生成候选框→ROIAlign对齐→Box/Class/Mask三分支并行输出三、深度学习·12语义分割vs实例分割模型对比模型类型Backbone核心创新速度FCN语义VGG16全卷积+跳跃连接慢U-Net语义自定义U型对称编解码中DeepLabv3+语义Xception空洞卷积+ASPP中MaskR-CNN实例ResNet+FPNROIAlign+Mask分支慢YOLOv8-seg实例DarkNet端到端实时分割快SAM通用ViT-H提示驱动+零样本慢(预计算)三、深度学习·13SAM：SegmentAnythingModelMetaAI2023年发布，"分割领域的GPT时刻"·训练数据：1100万张图像，11亿个掩码（SA-1B数据集）·支持多种提示：点、框、文本、掩码，零样本泛化到未见过的物体·图像编码器计算一次后，提示编码器+掩码解码器仅需约50ms即可输出掩码·无需针对特定任务微调，可直接作为分割基础模型使用三、深度学习·14SAM三模块架构详解①ImageEncoderViT-H大模型，将图像编码为256x64x64嵌入，计算量大（~500ms），但只需算一次②PromptEncoder编码点/框/文本/掩码提示，加入位置编码③MaskDecoderTransformer解码器，跨注意力融合图像嵌入与提示，输出掩码+置信度设计哲学：重编码器（预计算）+轻解码器（快速响应），实现"一次编码，多次提示"的高效交互分割。三、深度学习·15SAMMaskDecoder细节两层解码器更新①图像嵌入→提示token（image-to-tokenattention）②提示token→图像嵌入（token-to-imageattention）交替进行，跨注意力双向融合输出·上采样图像嵌入→动态预测掩码·MLP预测IoU置信度分数·模糊提示输出多个候选掩码训练数据引擎人工→半自动→全自动三阶段，持续迭代提升模型。三、深度学习·16分割常用损失函数损失函数公式/原理适用场景交叉熵LossCE=-sum(y*log(p))，逐像素分类类别均衡的通用语义分割DiceLossDL=1-2|交集|/(|预测|+|真实|)，直接优化Dice系数医学图像（小目标、类别极度不均）FocalLossFL=-alpha(1-p)^gamma*log(p)，降低易分样本权重前景背景极度不均衡的实例分割ComboLossL=CE+DiceLoss，兼顾像素准确率与重叠度U-Net医学分割最常用组合BoundaryLoss显式惩罚边界偏差，增强边缘清晰度对边缘精度要求高的场景三、深度学习·17Transformer分割：SegFormerSegFormer(2021)两大设计①HierarchicalTransformerEncoder类似CNN的金字塔结构，输出多尺度特征图（1/4,1/8,1/16,1/32），而非ViT的单尺度。位置编码无显式位置偏置，对不同分辨率鲁棒。②All-MLPDecoder轻量解码头，融合多尺度特征后直接上采样，无需复杂ASPP。优势·全局感受野：自注意力直接建模长距离依赖·复杂度线性：Hierarchical结构避免O(N²)·对局部噪声鲁棒·语义漂移小变体规模B0~B5，从轻量（100FPS）到高精度（mIoU84%+）代表意义证明Transformer在分割任务上可以超越CNN，且更高效。三、深度学习·18数据增强与训练技巧技巧方法适用场景几何增强随机翻转、旋转、缩放、弹性形变所有分割任务，小数据集必用光度增强亮度/对比度/饱和度抖动、高斯模糊街景等光照变化大的场景混合增强CutMix、MixUp、Copy-Paste实例分割，增加小目标样本在线难例挖掘只回传难分类像素的损失类别极度不均衡多尺度训练随机输入尺寸训练，提升多尺度泛化物体尺寸变化大的场景半监督/自训练用SAM/现有模型伪标注无标注图标注数据稀缺时三、深度学习·19分割后处理：CRF与形态学优化CRF条件随机场问题：CNN输出的分割图边缘常模糊、不平滑。原理：将CNN输出作为Unary能量项，引入像素间二元势函数（颜色相似+位置相近的像素倾向同一标签），做全局优化。效果：细化边缘，消除分类噪声，DeepLab早期版本标配。形态学后处理·开运算：去除小噪点·闭运算：填补小洞·连通域分析：去除面积过小的孤立区域·多尺度NMS：去除重叠掩码OpenCVcv2.morphologyEx(mask,cv2.MORPH_OPEN,kernel)n,labels,stats,_=cv2.connectedComponentsWithStats(mask)四、实现案例案例一：U-Net医学图像分割应用场景·细胞核/细胞分割·器官/肿瘤CT/MRI分割·视网膜血管分割为什么选U-Net·医学图像数据少（数百张）·需精准轮廓，边缘要求高·U-Net跳跃连接保留细节U-Net在ISBI2012神经元分割竞赛中夺冠，此后成为医学图像分割的事实标准。典型数据集：ISBI2012、DSB2018（细胞核分割）、Cityscapes（街景，非医学）案例一·01数据集、预处理与网络配置数据集·ISBI2012：30张512x512透射电镜神经元图像·DSB2018：670张细胞核显微图像·训练集/验证集=8:2预处理·灰度归一化[0,1]·弹性形变数据增强·随机旋转/翻转/缩放网络配置输入：1x572x572灰度图编码器：64→128→256→512→1024解码器：1024→512→256→128→64输出：2x388x388（2类：前景/背景）损失：BCE+DiceLoss优化器：SGD,lr=0.01,momentum=0.99关键代码（PyTorch核心结构）classDoubleConv(nn.Module):...#Conv-BN-ReLUx2classUNet(nn.Module):def__init__(self,in_ch=1,out_ch=2):self.enc1,self.enc2,self.enc3,self.enc4=...self.up1,self.up2,self.up3,self.up4=...#转置卷积+catdefforward(self,x):...#跳跃连接拼接后解码案例一·02训练结果与效果分析指标FCNU-NetU-Net++IoU0.780.890.91Dice0.880.940.95训练数据量数千张仅30张+增强30张+增强经验总结·数据增强（弹性形变）对小数据集医学分割至关重要·DiceLoss+BCE组合损失比单独BCE收敛更快、小目标召回率更高·跳跃连接保留的高分辨率特征使细胞边界清晰，减少粘连误分割·U-Net仅用30张训练图（数据增强后）即可达到SOTA，体现了其在小样本场景的优势四、实现案例案例二：自动驾驶街景语义分割应用场景·可行驶区域识别·车道线/人行道分割·行人/车辆/骑行者分割为什么选DeepLabv3+·大场景多尺度（远车小、近车大）·ASPP多尺度感受野·Cityscapes基准SOTA街景分割是自动驾驶环境感知的核心任务，需要在复杂天气、光照和遮挡下实时分割19~34个类别。典型数据集：Cityscapes（50城市5000张精细标注）、CamVid、BDD100K案例二·01Cityscapes数据集与模型选择Cityscapes：5000张精细标注（train/val/test=2975/500/1525），19个类别，1024x2048分辨率。模型对比：FCN-32smIoU=63.4%→FCN-16s=69.4%→FCN-8s=71.6%→DeepLabv3+=82.1%。跳跃连接和多尺度上下文显著提升精度。案例二·02街景分割效果对比效果分析：从左到右依次为原图、人工标注、模型预测。道路、建筑、车辆、天空、植被等类别边界清晰。夜间/雨天/逆光等极端场景仍有误分割，需结合时序融合和多传感器（雷达/激光雷达）提升鲁棒性。案例二·03全景分割：语义+实例的统一什么是全景分割·Stuff（背景类）：天空、道路、建筑——按类别·Thing（物体类）：车辆、行人、路标——按实例·每个像素都有标签，无遗漏评价指标PQ=SQ××RQ分割质量×识别质量代表模型PanopticFPN、UPSNet五、总结选型如何选择分割模型：选型决策树场景需求推荐模型理由数据少（<100张），二分类U-Net数据增强即可训练，医学影像首选多类别语义分割，追求精度DeepLabv3+ASPP多尺度，CityscapesSOTA需要区分不同个体MaskR-CNN/YOLOv8-seg实例分割，各物体独立掩码实时性要求高（30FPS+）YOLOv8-seg/SegFormer-B0端到端实时分割，适合车载无标注/快速原型SAM提示驱动零样本，无需训练简单二值分割，CPU实时OTSU+分水