基于对比语言-图像预训练模型的零样本异常检测方法研究综述

基于对比语言-图像预训练模型的零样本异常检测方法研究综述一、零样本异常检测的发展背景与核心挑战异常检测作为计算机视觉领域的经典任务，旨在识别数据中偏离正常分布的样本，广泛应用于工业缺陷检测、医疗影像诊断、视频监控、金融反欺诈等场景。传统监督式异常检测方法依赖大量标注的异常样本进行训练，但在实际工业场景中，异常样本通常稀缺且类型多样，部分高风险场景（如航空航天部件检测、罕见病影像诊断）甚至无法获取足够的异常样本，这一现实限制了监督式方法的落地应用。为解决这一痛点，半监督与无监督异常检测方法逐渐成为研究主流，这类方法仅利用正常样本训练模型，通过学习正常数据的分布特征，将与分布差异较大的样本判定为异常。然而，传统半监督/无监督方法存在泛化能力弱的缺陷：针对特定类别训练的模型难以迁移到其他类别，每新增一个检测类别都需要重新收集该类别的正常样本进行训练，适配成本极高。零样本异常检测（Zero-ShotAnomalyDetection,ZSAD）的提出正是为了打破上述限制，其核心目标是：模型无需针对目标类别进行任何训练或微调，仅通过通用知识即可实现对任意类别的异常检测。在对比语言-图像预训练（ContrastiveLanguage-ImagePre-training,CLIP）模型出现之前，零样本异常检测的研究进展十分缓慢，早期方法主要依赖手工特征或通用视觉特征提取器，特征的语义表征能力不足，难以建立不同类别正常与异常的通用判别标准，在跨类别检测场景下性能往往出现断崖式下降。2021年CLIP模型的推出为零样本异常检测带来了全新的技术路径，该模型通过大规模图文对预训练，学习到了语言和视觉的统一语义空间，具备强大的跨模态语义对齐能力和零样本泛化能力，研究者发现CLIP的特征空间中天然包含“正常”与“异常”的语义区分度，无需针对特定任务微调即可迁移到异常检测任务中，由此开启了基于CLIP的零样本异常检测研究热潮。当前基于CLIP的零样本异常检测仍面临三大核心挑战：第一，预训练分布与任务分布的偏移问题。CLIP预训练使用的是大规模开放域图文数据，而异常检测场景中的数据（如工业缺陷、医疗影像）通常属于细分领域，预训练特征在细分场景下的语义判别力不足，难以区分细粒度的正常样本与异常样本；第二，空间定位精度不足。CLIP是为图像级分类任务设计的，其全局特征缺乏细粒度的空间信息，难以实现像素级的异常定位，而工业缺陷检测等场景往往需要精确指出异常的位置和区域；第三，异常语义的适配问题。CLIP的预训练数据中“异常”相关的图文对较少，且异常的表述高度依赖上下文，如何构建合适的语言提示、引导CLIP输出符合任务需求的异常判别特征，是提升模型性能的关键。二、基于CLIP的零样本异常检测主流技术路线2.1提示工程主导的零样本异常检测方法提示工程是最早应用于CLIP零样本异常检测的技术路线，其核心思路是通过设计合理的文本提示，将异常检测任务转化为CLIP擅长的图文匹配任务，无需对CLIP模型进行任何修改，即可实现零样本检测。早期的提示设计较为简单，通常采用“一个正常的[类别]”和“一个异常的[类别]”作为正负提示词，计算图像特征与两个文本特征的相似度，将与异常提示相似度更高的样本判定为异常。这类方法实现简单，但性能上限较低，原因在于单一的提示难以覆盖复杂多样的异常场景，且“异常”本身是一个高度抽象的概念，不同类别的异常表现差异极大，通用的异常提示无法适配所有检测类别。为提升提示的适配性，研究者提出了多提示ensemble方法，即针对同一类别构造多个不同表述的提示，例如“一个有缺陷的[类别]”“一个损坏的[类别]”“一个不规则的[类别]”等，将多个文本提示的特征进行融合，再与图像特征计算相似度。部分研究进一步引入了提示学习技术，通过少量辅助数据学习与任务相关的提示向量，而不是使用手工设计的固定提示。例如，有学者提出使用少量公开的正常样本数据，学习类别无关的提示前缀，在不泄露目标类别信息的前提下，提升CLIP对异常的判别能力。还有研究针对工业检测场景，将缺陷类型的语义信息融入提示中，例如针对金属零件检测，构造“有划痕的金属零件”“有凹痕的金属零件”等提示，进一步提升对特定类型异常的敏感度。提示工程类方法的优势在于无需训练、部署成本极低，适合快速落地场景；其劣势在于性能高度依赖提示的设计质量，对于细粒度异常的检测能力不足，难以应对复杂的工业检测需求。当前这类方法的研究重点在于如何构建通用、无需手工设计的自适应提示，例如利用大语言模型自动生成针对不同类别的异常提示，进一步降低提示设计的成本。2.2特征适配与空间增强类方法针对CLIP全局特征空间定位能力不足的问题，特征适配与空间增强类方法通过改进CLIP的特征提取方式，或者引入外部特征增强模块，提升模型对细粒度异常的检测和定位能力。这类方法通常保留CLIP的预训练权重，仅对特征处理流程进行修改，避免微调破坏CLIP的泛化能力。在空间特征增强方向，最具代表性的思路是切片特征匹配。CLIP的全局特征会丢失局部细节信息，因此研究者将输入图像切分为多个大小相同的patch，提取每个patch的CLIP特征，同时提取正常样本库中对应位置patch的特征，通过计算局部patch的特征相似度来判断是否存在异常。例如，PatchCore方法的零样本版本将CLIP的局部特征与记忆库中的正常局部特征进行比对，通过K近邻算法计算异常得分，在多个工业检测数据集上取得了优于纯提示工程方法的性能。还有研究将CLIP特征与传统的局部特征（如SIFT、HOG）进行融合，弥补CLIP在边缘、纹理等低层次特征上的不足，提升对微小缺陷的检测能力。在特征适配方向，研究者通过特征变换将CLIP的预训练特征映射到更适合异常检测的特征空间。例如，有学者提出使用自监督学习的方式，在无标注的正常样本上训练一个轻量级的特征适配器，将CLIP特征转换为具有类内紧凑性、类间区分性的特征，同时保持CLIP的零样本泛化能力。这类适配器的参数量通常远小于CLIP模型本身，仅需极少量的正常样本即可完成训练，且可以适配多个不同的检测类别。还有研究引入了特征白化、归一化等预处理操作，降低CLIP特征中的冗余信息，突出与异常相关的特征维度，进一步提升异常判别精度。特征适配与空间增强类方法兼顾了零样本泛化能力和检测精度，是当前工业落地场景中应用最广泛的技术路线。这类方法的局限性在于仍需要少量辅助数据用于构建记忆库或训练适配器，完全零数据的场景下性能会有所下降。2.3轻量级微调与知识蒸馏类方法为了进一步提升CLIP在特定领域的异常检测性能，同时保留其零样本泛化能力，部分研究探索了轻量级微调与知识蒸馏技术，在不破坏CLIP预训练知识的前提下，让模型学习异常检测的任务相关知识。这类方法与传统全参数微调的区别在于，仅调整极少量的参数，或者利用知识蒸馏将异常检测知识注入模型，避免过拟合到特定类别。参数高效微调（Parameter-EfficientFine-Tuning,PEFT）是当前的研究热点，其中LoRA（Low-RankAdaptation）技术应用最为广泛。研究者在CLIP的视觉编码器和文本编码器中插入低秩矩阵，仅训练这些低秩矩阵的参数，参数量仅为全参数的0.1%左右。训练数据通常使用多个公开数据集的正常样本，通过构造对比学习任务，让模型学习“正常样本特征与正常提示更相似、异常样本特征与异常提示更相似”的判别规则。研究表明，经过多类别预训练的LoRA适配器可以泛化到未见过的新类别，在保持零样本特性的同时，性能比纯提示工程方法提升10%以上。除了LoRA之外，还有研究使用前缀微调、提示微调等参数高效微调技术，均取得了不错的效果。知识蒸馏类方法则通过构造教师-学生架构，将异常检测知识注入CLIP模型。例如，有学者先使用大量标注数据训练一个性能优异的监督式异常检测模型作为教师模型，然后让CLIP作为学生模型学习教师模型的输出分布，同时保留CLIP本身的跨模态语义能力。这类方法的优势在于可以利用已有的监督模型知识，同时保持学生模型的零样本泛化能力，适合有一定历史标注数据、但需要持续新增检测类别的场景。轻量级微调类方法的性能是三类路线中最高的，但需要一定的计算资源和训练数据支撑，适合对检测精度要求较高的场景。如何进一步降低训练数据需求、提升微调后模型的跨类别泛化能力，是这类方法未来的研究重点。三、典型应用场景与性能表现基于CLIP的零样本异常检测方法已经在多个场景展现出巨大的应用价值，其中工业缺陷检测和医疗影像诊断是两个最成熟的落地领域。在工业缺陷检测场景中，传统方法需要为每个新产品线收集数千张正常样本和少量异常样本，训练周期长达数天，而基于CLIP的零样本方法无需针对新产品训练，仅需输入产品类别名称即可实现检测，适配时间缩短到分钟级。在MVTecAD这个工业异常检测的标准数据集上，当前最优的零样本方法的图像级AUC已经达到94.5%，像素级AUC达到92.3%，与半监督方法的性能差距已经缩小到5%以内。对于消费电子、汽车零部件等品类迭代快、缺陷类型多样的行业，零样本异常检测可以大幅降低产线的检测适配成本，缩短新产品的上线周期。例如某头部消费电子企业将零样本异常检测技术应用于手机外壳缺陷检测，新增型号的适配时间从原来的3天缩短到1小时，缺陷检测准确率达到95%以上，满足了产线的实际需求。在医疗影像诊断场景中，罕见病的诊断一直是行业痛点，由于病例稀少，传统AI模型难以学习到足够的异常特征。基于CLIP的零样本异常检测可以利用医学知识库中的疾病语义知识，通过文本提示引导模型识别罕见病的影像特征。在胸部X光异常检测任务中，零样本方法可以识别出气胸、结节、肺炎等多种异常，对于部分罕见病的检测AUC达到85%以上，优于传统的无监督方法。还有研究将零样本异常检测应用于皮肤癌筛查，仅通过“恶性皮肤病变”的文本提示，模型即可区分良性痣和恶性黑色素瘤，在跨数据集测试中表现出优异的泛化能力。这类方法可以作为辅助诊断工具，帮助基层医生识别罕见病，提升诊断的准确率。除此之外，零样本异常检测还在视频监控、网络安全、农业病虫害检测等场景得到了应用。在视频监控场景中，零样本方法可以检测未见过的异常行为，如跌倒、打架、闯入等，无需针对每种行为收集训练数据；在农业病虫害检测场景中，模型可以识别未见过的作物病虫害类型，助力精准农业的发展。四、当前研究不足与未来发展方向尽管基于CLIP的零样本异常检测已经取得了显著进展，但现有技术仍存在多方面的不足，未来的研究可以从以下几个方向展开：第一，细粒度异常检测能力的提升。当前方法对于纹理差异、微小形变等细粒度异常的检测能力仍有欠缺，尤其是在高分辨率工业检测场景中，像素级定位精度难以满足实际需求。未来可以探索如何将CLIP的语义特征与高分辨率局部特征更好地融合，构建多尺度的特征匹配机制，提升对微小异常的敏感度。同时，可以引入大语言模型的细粒度语义理解能力，生成更具针对性的细粒度提示，区分不同类型的细微异常。第二，跨域泛化能力的增强。当前方法在公开数据集上表现优异，但在实际落地场景中，由于数据分布与预训练分布差异较大，性能往往出现明显下降。如何提升模型对不同成像条件、不同背景干扰的鲁棒性，是未来需要解决的关键问题。可以探索领域自适应的提示学习技术，让模型自动适配不同领域的语义分布，无需人工调整提示即可在新领域取得良好性能。同时，可以引入多模态预训练的最新成果，使用更大规模、覆盖更多领域的图文对预训练模型，从源头上提升模型的泛化能力。第三，多模态异常检测的拓展。当前的零样本异常检测主要聚焦于图像数据，而实际场景中很多异常需要结合多模态数据才能准确判断，例如工业设备的异常检测需要结合温度、振动等传感器数据，网络异常检测需要结合流量、日志等文本数据。未来可以探索多模态预训练模型在零样本异常检测中的应用，构建统一的多模态异常检测框架，融合不同模态的特征，提升复杂场景下的异常检测能力。第四，可解释性与