基于图像处理的皮肤镜智能辅助诊疗研究

AIMEDICALIMAGING基于图像处理的皮肤镜智能辅助诊疗研究分割·分类·辅助诊断·多模态汇报人待定日期2026年10月研究导览01临床需求与背景皮肤镜诊断的痛点与智能辅助价值02病变分割算法从U-Net到CNN与Transformer混合架构03病变分类算法CNN主流模型与集成可解释框架04临床应用与突破从单任务工具到多模态基础模型05挑战与未来方向数据、可解释性与标准化瓶颈01临床需求与背景早诊一刻，生存倍增从黑色素瘤威胁到智能辅助诊断的临床价值黑色素瘤威胁与早诊价值早诊一刻，生存倍增全球疾病负担沉重，早诊一刻，生存倍增32.4万例新发黑色素瘤死亡

57034人，死亡率高达

17%119万例非黑色素瘤皮肤癌新发全球疾病负担沉重早期发现显著提升生存5年相对生存率93%早期治疗优势早期治疗成本更低、方案更简单，预后显著改善诊断依赖经验，智能辅助提效传统皮肤镜诊断痛点3项诊断高度依赖医生专业经验主观性强不同医生诊断准确性存在差异一致性低病例数量增加，人工判读耗时难以满足需求智能辅助诊断的价值4项皮肤镜图像提供更多颜色与纹理信息非侵入性诊断工具计算机辅助诊断系统提高检测效率与准确率更精准的分割帮助医生与系统做出更好决策为患者争取宝贵治疗时间提升早期筛查可及性02病变分割算法精准分割是诊断第一步从U-Net基石到CNN与Transformer融合U-Net是分割的基石模型编码器解码器加跳跃连接，奠定医学分割范式四大改进方向深度与宽度优化增强复杂病变特征学习注意力机制增强跳跃连接，强化关键特征传递多尺度融合提升边界与小目标检测精度损失函数优化缓解类别不平衡典型方案电子科技大学提出ResNet编码器+金字塔池化模块，引入Swish激活函数与惩罚边界损失函数ISIC2017·JaccardIndex0.7601混合架构大幅提升分割精度98.30%准确率达98.30%·Dice93.48%ESC-UNET融合预训练

EfficientNetB5

与

SwinTransformer，引入

CBAM

与

ASPP，显著优于U-Net与TransUNet等传统模型。ISIC2017分割性能对比CNN分支提取局部空间特征Transformer分支捕捉全局语义信息双分支互补，实现分割精度跃升数据来源：模型对比表Ghost卷积与注意力门控优化准确率突破96.05%ISIC201697.88%ISIC201798.29%ISIC201894.36%Dice系数SOTA优于多种方法增强型TransUNetGhost卷积替代传统卷积层，生成更丰富特征图Transformer模块对特征图token化，捕捉全局上下文信息注意力门控优化跳跃连接路径的特征表示Swin-UNet窗口注意力与移位窗口机制，计算复杂度从平方级降至线性级归纳偏置更强、收敛更快，成为近两年热门方案双编码器与新兴架构探索双编码器方案融合局部特征与全局上下文双编码器方案DuaSkinSeg：融合MobileNetV2局部特征与ViT-CNN全局上下文在

ISIC2016/2017/2018

三个数据集验证新兴架构探索Mamba

视觉状态空间模型探索生成对抗网络

与

扩散模型

引入分割主要挑战低对比度图像

与

毛发伪影

影响分割效果病变形态多样性

制约模型泛化能力03病变分类算法从识别到可解释CNN主流模型与集成可解释框架的性能对比CNN是分类的主流模型HAM10000准确率对比模型性能概览96项纳入系统综述的研究中，CNN是最常见的模型类型90.1%ResNet50以

90.1%

准确率领先灵敏度范围

0.69至1.00特异性范围

0.36至0.98混合/集成模型优于传统集成可解释框架提升可信度MultiExCam集成ResNet50深度特征与传统机器学习方法，在三个数据集上均取得87%以上的F1分数，兼顾性能与可信度各数据集F1分数对比可解释性设计MultiExCam集成ResNet50深度特征与传统机器学习方法，在三个数据集上均取得87%以上的F1分数，兼顾性能与可信度。结合Grad-CAM与SHAP技术，实现图像级与特征级双分支解释：Grad-CAM定位病变关键区域，SHAP量化特征贡献度。集成优化提升黑素瘤识别率数据不平衡挑战挑战合并ISIC2016、2019、2020约

5.9万张

图像构建基础数据集合并后黑素瘤阳性率仅

8.9%，ISIC2020阳性率低至

1.8%→集成优化成果成果基于ISIC数据集构建黑素瘤二分类系统集成优化后验证集AUC提升至

94%

以上，敏感度超

90%可解释性探索可解释框架辅助医生验证模型判断，减少误诊风险；模块化设计便于适配不同医学图像场景04临床应用与突破从实验室走向诊室多中心验证与多模态基础模型的里程碑突破MEL-IA嵌入医院信息系统从实验室模型走向诊室里的数字助手西班牙阿利坎特大学研发MEL-IA智能辅助系统，五大病变分类引擎驱动临床辅助决策已嵌入医院信息系统，亚秒级返回分析结果自动记录病变演变过程，实现临床数据高效流转系统能力3项核心研发主体西班牙阿利坎特大学研发MEL-IA智能辅助系统训练数据超15000张皮肤镜图像，结合患者年龄、性别、病变部位训练分类能力可对黑色素瘤、痣、基底细胞癌、光化性角化病、良性角化病五类病变分类86%整体准确率全类病变分类准确率92%基底细胞癌灵敏度88%黑色素瘤灵敏度高危病变检测灵敏度多中心验证揭示人机协同价值德国癌症研究中心前瞻性多中心研究，覆盖8所大学医院、4种皮肤镜设备、1910个临床可疑皮损高灵敏度以牺牲部分特异性为代价，可能带来更多虚惊8所大学医院4种皮肤镜设备1910个临床可疑皮损多中心前瞻性研究性质ADAE集成算法平衡准确率79.8%灵敏度92.2%特异性67.3%医生平衡准确率78.1%灵敏度73.4%特异性82.8%AI在高灵敏度方向具备优势，适合作为医生筛查助手；人机协同可提升检出率，但需平衡特异性PanDerm实现多模态全能诊断从单任务工具迈向全科决策支持系统210万张真实皮肤影像训练规模全球11家机构四大影像模态4类📷

全身摄影🔬

皮肤病理📸

临床照片🔍

皮肤镜临床增益10.2%超越医生早期黑色素瘤检测准确率+11%/+16.5%▲

提升辅助医生诊断准确率·非专科医生更高128种皮肤病仅需10%标记精准诊断·超越现有模型77.5%vs32.6%首次拍摄识别黑色素瘤·人类医生平均05挑战与未来方向瓶颈即方向数据、可解释性与标准化构成的核心挑战四大瓶颈制约临床落地从图像、数据、可解释性、标准化四方面系统剖析临床落地障碍从图像、数据、可解释性、标准化四维瓶颈切入，剖析AI辅助诊断走向临床的核心障碍前瞻验证不足：仅有少数研究进行前瞻性实际应用验证图像层面2项低对比度、毛发伪影等干扰因素影响成像质量病变边界模糊与形状不规则难以判读数据层面2项公开数据集规模与质量不足难以满足训练需求类别严重不平衡黑素瘤阳性样本占比偏低可解释性层面1项模型黑盒特性可解释性不足，制约临床应用标准化层面2项数据集多样、基准参考不一致缺乏统一评估口径缺乏标准化报告格式难以跨中心比对与复用四大方向引领未来发展架构融合Skip-Connecting

与

Atrous-Convolution

成为两大主流方向Transformer

与传统深度学习模型将进一步耦合优化可解释分割基于

SAM