基于深度学习的皮肤镜图像分析研究综述

基于深度学习的皮肤镜图像分析研究综述皮肤癌是全球范围内发病率增长最快的恶性肿瘤之一，其中黑色素瘤的致死率占皮肤癌相关死亡总数的75%以上。早期诊断和干预能够将黑色素瘤患者的5年生存率提升至90%以上，而皮肤镜作为一种非侵入性的皮肤成像技术，能够放大观察表皮、真皮乳头层等肉眼无法识别的亚微观结构，已成为皮肤癌早期筛查的核心工具。传统皮肤镜诊断依赖医师的临床经验，诊断准确率受主观因素影响较大，不同医师对同一图像的判读一致性仅为60%~75%。深度学习技术的兴起为皮肤镜图像的自动化、智能化分析提供了全新解决方案，相关研究在近十年取得了突破性进展，已逐步从实验室走向临床应用场景。一、皮肤镜图像分析的核心任务皮肤镜图像分析的研究围绕临床诊断全流程展开，主要包括四大核心任务，各任务的技术需求和应用场景存在显著差异。图像预处理是所有分析任务的基础，核心目标是消除成像过程中的噪声干扰、提升图像质量。皮肤镜图像在采集过程中容易出现毛发遮挡、气泡、反光伪影、光照不均等问题，其中毛发遮挡是最常见的干扰因素，约30%的临床皮肤镜图像存在不同程度的毛发覆盖，直接影响后续特征提取的准确性。早期预处理方法多采用传统图像滤波、形态学操作等方式去除伪影，近年来基于生成对抗网络（GAN）的图像修复技术逐渐成为主流，能够在去除毛发的同时最大程度保留病灶区域的纹理细节，修复后图像的特征保留率可达95%以上。此外，不同品牌皮肤镜设备的成像参数存在差异，导致图像色彩、对比度分布不均，跨设备的图像标准化也是预处理的重要方向，目前基于风格迁移的标准化方法能够将不同设备的图像映射到统一特征空间，使后续模型的跨设备泛化能力提升20%以上。病灶分割任务旨在自动定位图像中的病变区域，将病灶与正常皮肤组织分离。精准分割是后续特征提取和分类诊断的前提，分割边界的误差会直接导致诊断准确率下降。传统分割方法多基于阈值、区域生长或活动轮廓模型，对边界模糊、颜色不均的病灶分割效果较差。目前基于深度学习的分割模型主要分为两大类：一类是以U-Net为代表的编码器-解码器结构，通过跳跃连接保留高分辨率的空间特征，在公开数据集上的平均交并比（mIoU）可达92%以上，各类改进版本如AttentionU-Net、TransUNet等进一步提升了对边界区域的分割精度；另一类是基于Transformer的分割模型，能够捕捉长距离的上下文依赖关系，对大面积、形态不规则的病灶分割效果更优。临床场景中，部分病灶与周围正常皮肤边界模糊，且存在色素沉着、湿疹等干扰区域，如何提升小病灶和边界模糊病灶的分割精度，是当前该领域的研究难点。特征提取任务聚焦于挖掘与皮肤病诊断相关的关键视觉特征，对应皮肤镜诊断中的经典模式识别规则，包括颜色、纹理、结构三大类特征。颜色特征方面，病灶区域出现的黑色、蓝色、白色、红色、棕褐色等异常颜色是诊断的重要依据，深度学习模型能够自动提取不同颜色通道的统计特征和空间分布特征，对异常颜色区域的识别准确率可达90%以上。纹理特征方面，网状结构、颗粒状结构、条纹结构等纹理模式与病变类型高度相关，基于卷积神经网络的底层特征图能够有效捕捉这些微纹理信息，相比传统人工设计的纹理特征，区分度提升30%以上。结构特征方面，不对称性、边界不规则、伪足、蓝白幕等结构特征是判断良恶性的核心指标，近年来通过注意力机制引导模型关注这些关键结构区域，能够有效提升模型的可解释性，使诊断结果与临床规则的契合度提升至85%以上。分类诊断是皮肤镜图像分析的最终目标，即根据提取的特征判断病灶的良恶性以及具体疾病类型。目前分类任务主要包括二分类（良性/恶性）和多分类（区分黑色素瘤、基底细胞癌、脂溢性角化病等十余种皮肤病）。2017年国际皮肤成像合作组织（ISIC）举办的皮肤癌分类挑战赛中，深度学习模型的分类准确率首次超过了平均水平的皮肤科医师，Top-1准确率达到76%，后续随着模型结构的优化和数据集规模的扩大，目前二分类任务的AUC值已可达0.98以上，多分类任务的Top-3准确率超过90%。但临床实际应用中，罕见病种类数据样本不足、不同疾病的特征重叠度高，仍然是限制分类性能提升的主要瓶颈。二、主流深度学习模型架构及应用进展深度学习技术在皮肤镜图像分析领域的应用经历了从卷积神经网络到Transformer，再到多模态大模型的发展历程，不同架构的模型各有技术优势，适用场景也存在差异。卷积神经网络（CNN）是最早应用于皮肤镜图像分析的深度学习架构，其中ResNet系列、DenseNet系列是最常用的骨干网络。ResNet通过引入残差连接解决了深层网络训练中的梯度消失问题，能够提取更丰富的高层语义特征，在ISIC2018分类挑战赛中，基于ResNet50的模型取得了87%的分类准确率，超过同期其他传统机器学习方法20个百分点以上。针对皮肤镜图像的细粒度特征识别需求，研究者对CNN架构进行了多方向改进：通过多尺度输入模块捕捉不同尺寸的病灶特征，使模型对直径小于2mm的微小病灶识别准确率提升15%；引入注意力机制模块，自动加权关键特征区域，抑制无关背景噪声的干扰；结合类别不平衡损失函数，缓解良性样本数量远多于恶性样本的问题，使模型对少数类恶性病灶的召回率提升至93%。目前CNN架构由于参数规模小、推理速度快、部署成本低，仍然是临床辅助诊断设备中应用最广泛的模型架构。Transformer架构凭借强大的全局特征建模能力，近年来在皮肤镜图像分析领域取得了显著进展。VisionTransformer（ViT）将图像切分为多个Patch进行序列建模，能够有效捕捉病灶区域的全局上下文依赖关系，对结构不规则、特征分布分散的病灶分类效果优于传统CNN模型。在分割任务中，Swin-Transformer通过分层窗口注意力机制，在保持全局建模能力的同时降低了计算复杂度，基于Swin-Transformer的分割模型在2023年ISIC分割挑战赛中以94.2%的mIoU取得冠军，相比同期CNN-based模型提升了2.3个百分点。此外，Transformer架构天然支持多模态数据融合，能够轻松将皮肤镜图像与患者临床信息（年龄、性别、病灶位置、病史等）进行融合建模，进一步提升诊断准确率。目前Transformer架构的主要局限是需要大规模预训练数据，且推理速度较慢，在边缘设备上的部署仍存在一定挑战。生成式模型是近年来皮肤镜图像分析领域的新兴研究方向，主要包括生成对抗网络（GAN）和扩散模型两大类。GAN的应用主要集中在三个方向：一是数据增强，通过生成高质量的皮肤镜图像样本，缓解罕见病数据不足的问题，研究表明将GAN生成的样本加入训练集，能够使罕见病分类准确率提升10%~15%；二是图像到图像的转换，如实现普通皮肤照片到皮肤镜图像的转换，在没有皮肤镜设备的场景下也能辅助诊断；三是可解释性分析，通过生成病灶区域的特征热力图和反事实图像，展示模型判断的关键依据，提升临床医师对模型结果的信任度。扩散模型相比GAN生成的图像质量更高、多样性更好，目前已被用于生成不同疾病发展阶段的皮肤镜图像，用于辅助医师预测病变进展，相关研究在2024年取得了突破性进展，生成图像的临床保真度可达89%。多模态大模型是当前皮肤镜图像分析的最前沿研究方向。传统模型大多仅能处理单一皮肤镜图像数据，而临床诊断中医师需要结合患者病史、临床症状、实验室检查等多源信息综合判断。多模态大模型能够统一处理图像、文本、数值等多类型数据，通过大规模预训练学习到丰富的医学知识，实现更精准的诊断。目前国内外多个研究团队已经开发了皮肤病领域的多模态大模型，支持输入皮肤镜图像和临床描述文本，直接输出诊断结果和治疗建议，在包含50余种皮肤病的真实临床数据集上，诊断准确率可达88%，接近副主任医师的平均水平。此外，多模态大模型还具备强大的对话交互能力，能够针对诊断结果进行解释，回答医师和患者的相关问题，有望成为未来皮肤病智能诊断的核心技术底座。三、领域面临的核心挑战与研究热点尽管深度学习在皮肤镜图像分析领域已经取得了显著进展，但要实现大规模临床落地应用，仍然面临诸多技术挑战，也催生了一系列研究热点。数据层面的挑战是制约模型性能的首要因素。一是标注数据稀缺，皮肤镜图像的标注需要专业皮肤科医师完成，标注成本高、周期长，目前公开数据集中标注完整的样本量不足10万，且大部分为常见皮肤病样本，罕见病样本量不足100例，导致模型对罕见病的诊断准确率不足60%。针对这一问题，半监督学习、弱监督学习、自监督学习成为研究热点，其中自监督学习通过在大量未标注的皮肤镜图像上进行预训练，学习通用的视觉特征，仅需要少量标注数据微调即可取得较好效果，研究表明采用自监督预训练的模型在标注数据量减少50%的情况下，性能仍能保持原有水平的90%以上。二是数据集偏差问题，目前公开数据集的样本主要来自欧美人群，亚洲人群的皮肤镜图像特征存在差异，针对亚洲人群的模型泛化能力不足20%，建立不同人群、不同设备来源的大规模多元化数据集，是未来该领域的重要基础工作。三是数据隐私问题，皮肤镜图像包含患者的生物特征信息，数据共享和使用受到严格的隐私法规限制，联邦学习技术能够在不共享原始数据的前提下实现多中心联合训练，成为解决数据孤岛问题的主流方案，目前已有多个基于联邦学习的皮肤镜诊断模型在多中心临床验证中取得了与集中式训练相当的性能。模型的可解释性不足是临床应用的核心障碍。深度学习模型的“黑箱”特性导致其诊断结果缺乏可解释性，医师难以判断模型判断的依据是否符合临床逻辑，这是阻碍模型进入临床的最大瓶颈。目前可解释性研究主要分为两个方向：一是事后可解释性方法，通过类激活映射（CAM）、注意力热力图等方式展示模型关注的关键区域，验证模型是否聚焦于病灶区域的关键诊断特征；二是内置可解释性模型，在模型设计阶段就融入临床诊断规则，强制模型按照临床常用的ABCDE规则（不对称性、边界、颜色、直径、演变）提取特征并输出诊断依据，使模型的决策过程与临床诊断逻辑保持一致。2023年发表在《自然·医学》的一项研究表明，具备可解释性输出的模型能够使医师对诊断结果的接受度提升40%以上，大大提升了模型的临床实用性。模型的泛化能力不足是实际应用中的突出问题。实验室训练的模型在公开测试集上表现优异，但应用到真实临床场景中时，由于设备差异、人群差异、成像条件差异等因素，性能往往会出现大幅下降，准确率下降幅度可达20%~30%。领域自适应技术是解决这一问题的核心方法，通过学习不同域之间的不变特征，减小源域和目标域的数据分布差异，目前无监督领域自适应方法已经能够在没有目标域标注数据的情况下，使模型在目标域上的性能恢复至源域的90%左右。此外，持续学习技术也是研究热点，使模型能够在新数据上不断学习更新，而不遗忘之前学习的知识，适应临床场景中不断变化的数据分布。临床落地的应用模式创新也是当前的研究重点。目前深度学习皮肤镜分析系统主要有两种应用模式：一是辅助医师诊断模式，在医师判读图像时提供参考意见和特征提示，研究表明该模式能够将基层医师的诊断准确率提升15%~20%，判读效率提升30%以上；二是基层筛查模式，部署在社区医院、体检中心等缺乏专业皮肤科医师的机构，对高风险人群进行初步筛查，识别可疑恶性病灶并建议转诊，能够有效提升皮肤癌的早期筛查覆盖率。2022年以来，国内已有多款基于深度学习的皮肤镜辅助诊断产品获得医疗器械三类证，开始在临床中正式应用，覆盖全国超过300家医疗机构。未来随着技术的进一步成熟，皮肤镜图像分析系统有望向便携化、移动端方向发展，集成到手机等消费电子设备中，实现用户居家自我筛查，进一步扩大应用范围。四、未来发展趋势未来3~5年，基于深度学习的皮肤镜图像分析将朝着“更精准、更可解释、更易落地”的方向发展，三大趋势值得关注。一是多模态融合诊断成为主流。单纯基于皮肤镜图像的诊断存在固有局限，未来的模型将融合皮肤镜图像、临床文本、患者病史、基因检测等多源信息，结合大规模