基于进化策略的神经网络架构搜索研究综述

基于进化策略的神经网络架构搜索研究综述一、进化策略与神经网络架构搜索的基础契合性神经网络架构搜索（NeuralArchitectureSearch,NAS）的核心目标是在庞大的离散架构空间中自动搜索出性能优于人工设计的网络结构，其本质是高维、非凸、多目标的黑盒优化问题。进化策略（EvolutionStrategy,ES）作为一类基于种群迭代的随机优化算法，天然具备处理离散空间搜索、无梯度优化、多目标权衡的能力，二者的契合性体现在三个核心层面：（一）搜索空间的适配性NAS的搜索空间通常包含节点选择、连接方式、操作类型（卷积、池化、激活函数等）、超参数（卷积核大小、通道数、层数）等离散决策变量，传统梯度-basedNAS方法需要将离散空间连续化，容易引入表示误差，且难以处理非可微的架构约束（如硬件延迟、参数量上限）。进化策略无需假设搜索空间可微，通过种群个体的编码直接表示完整网络架构，可原生支持任意离散、混合类型的搜索空间设计。以常见的链式架构搜索为例，每个个体可编码为长度为L的序列，每个位置对应网络层的操作类型和参数，编码空间与架构空间一一对应，无需额外的转换操作。（二）优化目标的兼容性NAS任务通常需要同时兼顾多个冲突目标：分类准确率、推理速度、参数量、内存占用、能耗等。进化策略的种群迭代特性天然支持多目标优化，通过帕累托占优排序、多目标适应度函数设计，可在单次搜索过程中生成一组满足不同权衡需求的架构，无需像梯度类方法那样多次调整目标权重重新训练。例如在移动端NAS场景中，进化策略可同时将“准确率≥90%”“单帧推理延迟≤10ms”作为约束纳入适应度计算，搜索过程中自动淘汰不满足约束的个体，最终输出的架构集合可直接适配不同性能档位的硬件设备。（三）鲁棒性与全局探索能力神经网络的性能评估存在固有噪声：训练过程的随机性、数据划分的差异、正则化策略的波动都会导致同一架构的多次评估结果存在偏差。梯度类方法对评估噪声敏感，微小的性能波动可能导致梯度估计错误，进而引发搜索方向偏移。进化策略基于种群的适应度排序而非单一个体的精确梯度信息，对评估噪声具有天然的鲁棒性，即使部分个体的评估存在误差，种群整体的进化方向仍然能够向最优区域收敛。同时，进化策略中的变异、交叉操作能够有效跳出局部最优，避免梯度类方法常见的模式坍塌问题，尤其在超大规模搜索空间中，其全局探索能力的优势更为显著。二、基于进化策略的NAS核心技术框架当前主流的进化策略NAS方法均遵循“编码-初始化-评估-选择-变异-迭代”的基本流程，各环节的技术设计直接决定搜索效率与最终架构性能。（一）架构编码方案编码方案是连接进化策略与神经网络架构的核心桥梁，目前主流的编码方式分为三类：直接编码：将网络的每一层操作、连接关系、超参数直接映射为编码序列的元素，编码与架构一一对应。该方案的优势是解码简单，无需额外转换即可直接生成可训练的网络，适合搜索空间固定、规模较小的场景；缺陷是编码长度随网络深度线性增长，当搜索深层网络时编码维度爆炸，搜索效率急剧下降。典型应用如Google的NASNet早期进化版本，采用直接编码搜索包含20个左右节点的单元结构，编码长度控制在50以内以保证搜索效率。间接编码：通过生成规则、语法树、图生成模型等方式间接表示架构，编码长度与网络深度无关，可支持超大规模网络的搜索。例如基于语法的编码方案，将网络架构表示为上下文无关语法的推导序列，仅需数十位编码即可生成包含上百层的网络；基于细胞重复的编码方案，仅编码一个基础单元的结构，最终网络通过堆叠多个相同单元生成，大幅降低了编码维度，是当前深层网络进化搜索的主流编码方式。混合编码：结合直接编码与间接编码的优势，对网络的核心模块采用直接编码保证灵活性，对重复堆叠的结构采用间接编码降低维度。例如在Transformer架构搜索中，对注意力头的数量、前馈网络维度等超参数采用直接编码，对每个层的重复结构采用间接编码，兼顾了搜索灵活性与效率。（二）高效评估策略进化策略NAS的主要开销来自于种群中每个个体的性能评估，传统“每个个体独立从头训练至收敛”的方案需要消耗数千GPU小时，难以落地应用。因此高效评估策略是降低搜索成本的核心，目前主流的技术方向包括：权重共享：在搜索过程中维护一个全局的超网络，所有种群个体对应的架构都是超网络的子图，共享超网络的权重参数，无需单独训练。该方案将单个个体的评估时间从数小时降低到数毫秒，搜索总成本可降低2-3个数量级。但权重共享存在“评估偏差”问题：子网络的性能受超网络训练状态、其他子网络的干扰，与单独训练的性能存在不一致性，需要通过超网络预热、路径dropout、公平采样等策略缓解偏差。低fidelity评估：在搜索早期阶段，采用低训练轮次、低分辨率输入、少数据集样本等方式快速得到个体的近似性能，仅在搜索后期对高潜力个体进行全fidelity评估。例如前10代进化仅训练5个epoch筛选候选，后10代对排名前10%的个体训练50个epoch验证性能，可在精度损失小于1%的前提下，将搜索成本降低70%以上。性能预测模型：训练一个surrogate模型（如GBDT、图神经网络）作为架构性能的预测器，输入架构编码直接输出预测准确率，无需实际训练。该模型基于历史搜索过程中已经评估过的架构-性能对训练，随着迭代次数增加预测精度逐步提升，当预测误差小于5%时，可替代90%以上的实际评估步骤，进一步降低搜索成本。（三）进化算子设计进化算子（选择、交叉、变异）决定了种群的进化方向与搜索效率，针对NAS场景的特性，算子设计需要平衡探索与利用的关系：选择算子：主流采用锦标赛选择与精英保留结合的策略，每代随机抽取k个个体，选择其中适应度最高的个体作为父代，同时保留每代排名前5%的精英个体直接进入下一代，避免优秀的架构在进化过程中丢失。针对多目标场景，采用NSGA-II的非支配排序选择策略，优先选择帕累托前沿的个体，保证种群的多样性与目标权衡能力。交叉算子：针对架构编码的特性，避免传统单点交叉破坏有效子结构。常见的设计包括单元级交叉：仅在网络单元的边界处交换编码片段，保证单个单元的结构完整性；操作级交叉：仅交换同类型层的参数，避免交叉后出现非法架构。近年的研究表明，在NAS场景中交叉算子的提升作用有限，大部分高效方法仅采用变异算子即可达到最优性能，因此部分简化的进化策略NAS方法取消了交叉操作，仅通过变异和选择完成进化。变异算子：是进化策略NAS的核心操作，常见的变异类型包括：操作替换（随机将某一层的卷积操作替换为池化、深度可分离卷积等其他操作）、参数调整（随机修改卷积核大小、通道数、扩张率等超参数）、连接修改（新增或删除两个节点之间的跳跃连接）、深度调整（随机插入或删除一个网络层）。变异概率通常采用自适应调整策略，搜索早期保持较高的变异概率（0.3-0.5）增强全局探索能力，搜索后期逐步降低变异概率（0.05-0.1）强化局部exploitation。（四）多目标优化机制针对NAS中多目标权衡的需求，进化策略的多目标优化机制分为两类：加权求和法：将多个目标（如准确率A、延迟L、参数量P）通过权重线性组合为单一适应度函数：Fitness=αA-βL-γ*P，其中α、β、γ为权重系数，根据用户对各目标的偏好设置。该方法实现简单，搜索效率高，适合目标偏好明确的场景；缺陷是需要提前调整权重，单次搜索只能得到一个权衡点，无法得到完整的帕累托前沿。帕累托优化法：不预设目标权重，通过非支配排序将种群个体分为多个层级，优先选择非支配层的个体进入下一代，单次搜索即可得到一组满足不同权衡的架构。例如在移动端推理场景的搜索中，帕累托前沿的架构可覆盖“高准确率高延迟”“中等准确率低延迟”等多个档位，用户可根据实际硬件需求直接选择对应的架构，无需重新搜索。三、典型方法与研究进展近年来基于进化策略的NAS研究取得了大量突破，在多个视觉、自然语言处理任务上的性能超过了人工设计的架构与梯度类NAS方法。（一）图像分类领域的代表性方法AmoebaNet：GoogleBrain团队2018年提出的经典进化NAS方法，采用细胞级间接编码，种群规模为100，每代选择前50%的精英个体进行变异，搜索过程采用权重共享策略。在ImageNet数据集上搜索得到的AmoebaNet-A达到了83.9%的top-1准确率，超过了同时期人工设计的ResNet、InceptionV3等架构，且参数量仅为InceptionV3的1/3。该方法首次证明了进化策略NAS能够在大规模数据集上取得超越人工设计的性能，推动了进化NAS的实用化进程。EvolvableResNet：针对ResNet架构的优化，采用混合编码方案，对残差块的内部结构采用直接编码，对网络的深度、宽度采用间接编码，进化过程中引入了“残差连接保留”的变异约束，避免变异破坏残差结构的梯度流通特性。搜索得到的EvolvableResNet-50在ImageNet上准确率达到80.5%，比原始ResNet-50高1.2个百分点，推理速度提升15%。CARS：连续进化架构搜索方法，将进化策略与权重共享超网络结合，在搜索过程中动态更新超网络的权重，同时对种群进行进化迭代，实现了“边搜索边训练”的无缝衔接。该方法在单个GPU上仅需8小时即可完成ImageNet架构搜索，搜索得到的架构性能超过了Gradient-basedNAS的代表方法DARTS，解决了传统进化NAS搜索成本过高的问题。（二）自然语言处理领域的代表性方法EvolvedTransformer：Google团队2019年针对Transformer架构的进化搜索方法，采用编码方案表示Transformer的编码器、解码器结构，支持修改注意力头数量、前馈网络维度、激活函数类型、跳跃连接方式等。搜索得到的EvolvedTransformer在WMT'14英德翻译任务上BLEU值达到29.8，比原始Transformer高0.7个BLEU，推理速度提升10%。该方法证明了进化策略NAS在序列建模任务上的有效性，后续的T5、GPT等大模型的架构优化均参考了该方法的搜索结果。LiteTransformerEvolution：针对移动端NLP场景的进化搜索，将“推理延迟”“内存占用”作为核心优化目标，采用多目标进化策略，搜索得到的LiteTransformer在同等准确率下，推理延迟比原始Transformer降低60%，内存占用减少55%，可直接部署在手机端实现实时语音翻译、文本生成等任务。（三）硬件感知架构搜索的进展近年进化策略NAS的重要方向是硬件感知搜索，即针对特定硬件平台（FPGA、ASIC、移动端CPU/GPU）的特性，将硬件性能指标直接纳入搜索目标，实现架构与硬件的协同设计。FPGA-EvoNAS：针对FPGA平台的特性，将“资源占用（LUT、DSP数量）”“最高运行频率”“功耗”作为约束条件纳入适应度函数，编码方案中增加了硬件友好的操作约束（如优先选择FPGA易部署的深度可分离卷积、避免不规则的跳跃连接）。搜索得到的架构在FPGA上实现时，比人工优化的架构吞吐量提升40%，功耗降低25%，同时保持99%的分类准确率。AutoNLP-Evo：针对云端AI加速器的大模型推理场景，进化搜索过程中引入了加速器的计算模型，自动适配加速器的并行计算特性、内存层次结构，搜索得到的7B参数大模型架构在云端T4GPU上推理速度比Llama-27B提升30%，吞吐量增加25%，无需修改硬件部署代码即可直接上线使用。四、存在的挑战与未来研究方向尽管基于进化策略的NAS已经取得了显著进展，但仍然面临多个待解决的挑战，未来的研究方向主要集中在以下几个方面：（一）超大规模搜索空间的效率问题当前进化策略NAS的搜索空间通常包含10^20-10^30个候选架构，当搜索空间进一步扩大到10^100量级（如大模型的完整架构搜索，包含层结构、注意力机制、MoE路由策略、并行策略等），现有方法的收敛速度急剧下降，需要数千甚至上万代迭代才能得到有效结果。未来需要研究更高效的编码压缩方案、自适应变异策略、基于种群的迁移学习方法，将进化搜索的效率提升1-2个数量级，支持十亿级参数大模型的完整架构搜索。（二）评估偏差的缓解与校正权重共享、低fidelity评估等高效评估策略带来的评估偏差问题尚未得到根本解决，部分在搜索过程中表现优异的架构，单独训练后性能反而低于排名靠后的架构，“伪阳性”个体的存在降低了搜索效率与最终架构性能。未来需要研究无偏差的超网络训练方法、评估偏差的定量校正模型、动态fidelity分配策略，实现“评估效率”与“评估准确性”的最优权衡，保证搜索得到的架构性能排序与真实训练后的排序一致。（三）动态任务的自适应进化现有进化NAS方法大多针对静态任务设计，搜索得到的架构仅适用于特定任务与数据集，当任务分布发生变化时（如数据域迁移、任务目标调整），需要重新进行搜索，无法适配动态变化的场景。未来需要研究自适应进化NAS方法，当任务发生变化时，现有种群能够快速变异、进化，仅需少量迭代即可得到适配新任务的架构，实现“一次训练、终身进化”的能力，适合边缘计算、物联网等任务动态变化的场景。（四）可解释性进化机制当前进化策略NAS的搜索过程是黑盒的，无法解释“为什么某些架构在进化中被保留”“哪些子结构对性能提升起关键作用”，难以对搜索结果进行人工调试与优化。未来需要研究可解释的进化机制，在进化过程中自动识别、提取高性能的架构子结构（如有效的残差模块、注意力模式），建立子结构与性能的关联模型，指导变异操作优先保留、组合有效子结构，同时为人工优化架构提供可解释的参考依据。（五）多模态架构的统一搜索随着多模态大模型的发展，需要同时处理文本、图像、音频等多种模态的输入，架构搜索空间包含模态编码器、跨模态注意力模块、融合层等多种复杂结构，现有进化NAS方法主要针对单模态