基于可微分架构搜索的神经网络设计研究综述

基于可微分架构搜索的神经网络设计研究综述一、可微分架构搜索的核心原理与基础框架可微分架构搜索（DifferentiableArchitectureSearch,DARTS）的核心突破在于将传统离散空间下的架构搜索问题转化为连续空间的梯度优化问题，彻底打破了强化学习、进化算法等黑盒搜索范式的效率瓶颈。其基础框架构建在“超网”（Supernet）概念之上：预先定义包含所有候选操作的有向无环计算图，每一条边对应一组候选操作（如3×3卷积、5×5可分离卷积、最大池化等），每条边的输出为所有候选操作的加权和，权重由可学习的架构参数α控制。在训练阶段，模型同时优化两类参数：一类是网络内部的权重参数ω，另一类是代表架构选择的架构参数α，通过双层优化机制交替更新两类参数，最终对每条边选择权重最大的操作，剪去权重趋近于0的边，得到离散化的最优子网络。梯度下降的引入将传统架构搜索的搜索成本从数千GPU小时压缩至单个GPU数小时，这一效率跃升让神经网络架构设计从少数专业团队的“定制化工程”转向可规模化落地的普惠技术。但早期DARTS存在明显的性能坍塌问题：当搜索轮次增加时，模型倾向于选择跳接（SkipConnection）等无参数操作，导致最终架构表征能力不足。后续研究从正则化机制、优化目标改进、搜索空间约束三个方向对基础框架进行修正：正则化层面引入操作dropout、路径正则化等策略，抑制跳接操作的过度选择；优化目标层面通过加入操作复杂度、延迟等约束项，避免模型仅关注精度指标；搜索空间层面通过引入分层搜索、模块化搜索等设计，降低超网训练的优化难度，提升离散架构的性能一致性。二、搜索空间设计的演化与拓展方向搜索空间的定义直接决定了可生成架构的上限，是可微分架构搜索领域的核心研究方向之一。早期DARTS采用单元级搜索空间，将网络划分为多个重复的正常单元和缩减单元，仅搜索单元内部的连接结构，这种设计降低了搜索复杂度，但也限制了架构的多样性。后续研究逐步向全局搜索空间、多模态专属空间、硬件感知搜索空间三个方向拓展。全局搜索空间打破了重复单元的约束，允许网络不同深度层采用差异化的结构，同时加入分辨率变化、通道数动态调整等维度，能够生成更适配特定任务的架构。例如针对图像分类任务的Auto-DeepLab首次将网络架构搜索扩展到整个网络层级，通过空间维度和通道维度的联合搜索，在ImageNet数据集上取得了超过人工设计网络的性能。多模态专属搜索空间则针对不同任务的特性定制候选操作集：在自然语言处理场景下，将候选操作替换为多头注意力、前馈网络、门控循环单元等NLP常用操作，搜索得到的轻量化Transformer架构在GLUE基准上实现了精度和推理速度的双重提升；在3D点云处理场景下，引入图卷积、点云采样、邻域聚合等专属操作，搜索得到的架构相比人工设计模型在ModelNet40分类任务上精度提升2.3%，推理速度提升40%。硬件感知搜索空间是近年来的研究热点，其核心思想是将硬件部署约束融入搜索空间定义阶段。研究者在候选操作定义时就预先测量不同操作在目标硬件（手机、边缘芯片、FPGA等）上的延迟、功耗、内存占用指标，将硬件性能指标作为搜索约束加入优化目标，实现“搜索即部署”的端到端流程。例如针对移动端部署的MobileNetV3就结合了可微分架构搜索和硬件延迟约束，在同等精度下比前代人工设计模型推理速度提升30%。部分研究进一步提出动态搜索空间，根据训练过程中的模型性能动态调整候选操作集，淘汰表现不佳的操作，降低搜索空间的冗余度，进一步提升搜索效率。三、优化机制的改进与性能提升路径可微分架构搜索的优化过程面临双层优化不稳定、离散化差距、参数耦合三大核心问题，相关改进研究围绕这三类问题展开。针对双层优化的不稳定问题，传统DARTS采用交替迭代的方式更新权重参数和架构参数，两类参数的更新步长、优化器选择会显著影响最终结果，容易出现架构参数过拟合、超网与子网络性能不一致的问题。研究人员提出了一系列改进策略：采用一阶近似替代二阶近似降低优化复杂度，同时引入权重共享的预热机制，先训练超网的权重参数至收敛，再更新架构参数，大幅提升了优化过程的稳定性；部分研究提出统一优化框架，将权重参数和架构参数纳入同一个优化目标，避免交替更新带来的梯度冲突，在多个数据集上实现了搜索结果性能方差降低50%以上。离散化差距是指超网训练得到的连续架构参数，经过离散操作选择后，子网络性能与超网预测性能存在明显偏差的问题。这一问题的根源在于连续空间下多操作加权的计算模式与离散空间下单操作的计算模式存在本质差异。解决路径主要包括三类：一是在训练阶段引入离散模拟机制，在前向传播时随机选择部分操作离散化，反向传播时仍保留连续权重更新，让超网更好地适配离散操作的特性；二是采用渐进式剪枝策略，在训练过程中逐步淘汰权重较低的操作，最终自然得到离散架构，避免一次性离散带来的性能骤降；三是引入事后校准机制，离散得到子网络后，使用少量迭代进行微调，弥补离散化带来的性能损失，这种策略在不增加过多搜索成本的前提下，可将子网络性能提升1%~3%。参数耦合问题指的是超网中不同子网络共享权重，导致单个子网络无法达到独立训练的最优性能。针对这一问题，研究提出了权重解耦策略：对不同操作的权重参数进行部分隔离，仅在底层特征提取层共享权重，高层语义层采用独立参数；或者引入动态权重调整机制，根据架构参数的取值动态调整对应操作的权重更新幅度，高权重操作获得更高的更新优先级。还有研究提出神经切线核（NeuralTangentKernel,NTK）指导下的优化方法，通过分析超网训练过程中的梯度变化特性，设计更合理的学习率调度策略，降低参数耦合带来的性能损失。四、跨场景可微分架构搜索的应用进展可微分架构搜索的技术优势使其在计算机视觉、自然语言处理、自动驾驶、医疗影像等多个领域得到了广泛应用，落地成果不断涌现。在计算机视觉领域，除了基础的图像分类任务，可微分架构搜索已拓展到目标检测、语义分割、图像生成等复杂任务。针对目标检测任务，研究者提出了检测头专属搜索空间，同时搜索特征融合路径和检测头结构，搜索得到的架构在COCO数据集上比YOLOv5精度提升2.5%，推理速度提升20%；在语义分割任务中，通过搜索多尺度特征融合模块，实现了在Cityscapes数据集上miou指标达到83.2%，超过了当时最优的人工设计架构。在自然语言处理领域，可微分架构搜索为轻量化Transformer设计提供了关键技术支撑。传统Transformer的自注意力结构计算复杂度随序列长度平方增长，难以部署在边缘设备。通过可微分搜索，可以动态调整不同层的注意力头数、前馈网络维度、注意力窗口大小，甚至搜索得到非Transformer的新型序列建模结构。例如谷歌提出的EvolvedTransformer通过可微分搜索得到的架构，在同等参数量下比原始Transformer在WMT'14英德翻译任务上BLEU值提升0.9，推理速度提升1.5倍；针对中文NLP任务，研究者基于中文长文本、多歧义的特点，定制了包含字词混合嵌入、局部注意力等操作的搜索空间，搜索得到的轻量化模型在CLUENER细粒度实体识别任务上F1值超过BERT-base，参数量仅为其1/10。在工业界落地场景中，可微分架构搜索已经成为自动驾驶感知模型、医疗影像分析模型的核心设计工具。自动驾驶场景对模型的精度、延迟、鲁棒性有三重严苛要求，通过可微分架构搜索联合优化感知模型的特征提取结构和多传感器融合路径，能够在满足车载芯片100ms以内延迟约束的前提下，提升小目标检测、恶劣天气场景下的感知精度。在医疗影像分析领域，针对CT、MRI等多模态医学图像的特点，定制包含3D卷积、多模态特征对齐操作的搜索空间，搜索得到的肺癌筛查模型在LIDC-IDRI数据集上AUC值达到0.976，比放射科医生平均诊断准确率提升3.2%，且单例影像分析时间仅需0.8秒，满足临床落地需求。五、现有挑战与未来发展方向尽管可微分架构搜索已经取得了显著进展，但仍面临三大核心挑战：一是多目标权衡问题，当前搜索框架大多针对精度、延迟、功耗等少数几个目标进行优化，而实际落地场景往往需要同时考虑模型鲁棒性、可解释性、小样本学习能力等更多维度的指标，多目标优化空间的指数级增长对搜索效率提出了更高要求；二是跨任务迁移能力不足，现有搜索得到的架构大多针对单一任务设计，在跨数据集、跨任务迁移时性能下降明显，如何搜索得到具有通用泛化能力的基础架构是亟待解决的问题；三是理论支撑不足，当前可微分架构搜索的优化机制、性能上限分析等缺乏完善的理论体系，研究大多依赖实验试错，导致技术迭代的方向性不足。未来可微分架构搜索的发展将沿着三个方向推进：首先是大模型时代的架构搜索，当前大模型的结构设计仍以人工经验为主，可微分架构搜索有望为大模型的结构创新提供自动化工具，通过搜索注意力结构、MoE路由机制、专家模块结构等，进一步提升大模型的训练效率和推理性能，降低大模型的部署成本；其次是与基础模型的结合，将可微分架构搜索与小样本学习、终身学习、多模态学