基于贝叶斯优化的自动机器学习研究综述

基于贝叶斯优化的自动机器学习研究综述自动机器学习（AutoML）旨在降低机器学习应用的技术门槛，实现从数据预处理到模型部署的全流程自动化，让缺乏专业机器学习知识的领域用户也能快速构建符合需求的预测模型。在AutoML的核心技术栈中，超参数优化、神经网络架构搜索（NAS）、特征工程自动化三大模块共同决定了最终模型的性能上限，而贝叶斯优化凭借其样本高效、适配黑盒优化场景的特性，已经成为支撑这些模块落地的核心算法框架。相较于网格搜索、随机搜索等传统优化方法，贝叶斯优化能够基于历史评估结果动态调整后续搜索方向，在仅需数十分之一评估次数的前提下即可找到更优的配置，尤其适配计算资源受限、模型评估成本高昂的深度学习场景。贝叶斯优化的核心逻辑构建在贝叶斯统计的后验推断框架之上，其流程可拆解为概率代理模型、采集函数、优化循环三个核心组件。概率代理模型负责拟合未知的目标函数分布，通常假设目标函数是一个随机过程，通过已观测的“配置-性能”对更新模型参数，输出任意未观测配置对应的性能期望与不确定度。早期的贝叶斯优化系统普遍采用高斯过程作为代理模型，其优势在于能够输出解析形式的后验分布，且在低维连续超参数空间中拟合精度极高，但高斯过程的时间复杂度与观测样本数量的三次方成正比，当观测样本超过数百个时，模型更新会出现严重的性能瓶颈。为解决这一问题，后续研究陆续提出了基于树结构的代理模型方案，包括随机森林、极端梯度提升树等，这类模型的训练复杂度与样本数量呈线性关系，且对离散超参数、类别型超参数的适配性更好，在高维搜索空间中表现出更强的鲁棒性。近年来，随着深度学习技术的融合，深度神经网络也开始被用作贝叶斯优化的代理模型，其中贝叶斯神经网络通过在网络权重上引入先验分布，能够同时拟合复杂的非线性目标函数与量化预测不确定度，而深度核学习方法则将神经网络的特征提取能力与高斯过程的不确定性估计能力相结合，进一步提升了高维空间下的代理模型拟合精度。采集函数的作用是基于代理模型输出的后验分布，构造出衡量未观测配置“挖掘价值”的评估指标，指导下一轮的搜索方向。当前主流的采集函数可分为三类：第一类是基于提升量的采集函数，包括期望提升（EI）、概率提升（PI）等，其核心思路是计算某个配置的性能优于当前最优配置的概率或期望提升值，这类采集函数在优化初期探索性较强，能够快速覆盖性能较高的区域，但在优化后期容易陷入局部最优。第二类是基于置信边界的采集函数，典型代表为高斯过程置信上界（UCB），其通过加权融合性能期望与不确定度，实现“挖掘-探索”的动态平衡，权重系数的大小直接决定了算法的探索倾向，现有研究通常通过动态调整权重系数来适配不同的优化阶段，例如在优化初期设置较高的不确定度权重鼓励全局探索，在优化后期降低权重专注于局部最优区域的挖掘。第三类是基于信息论的采集函数，包括熵搜索、预测熵搜索等，这类采集函数将优化过程视为对目标函数最优值位置的信息收集过程，通过最大化信息增益来逐步缩小最优配置的可能范围，其样本效率通常高于前两类采集函数，但计算复杂度也更高，需要通过蒙特卡洛采样等方式近似求解。在超参数优化场景中，贝叶斯优化的适配性已经得到了工业界与学术界的广泛验证。传统的超参数优化需要处理连续型（如学习率、权重衰减系数）、整数型（如神经网络层数、卷积核数量）、类别型（如激活函数类型、优化器选择）等多种类型的混合搜索空间，贝叶斯优化通过在代理模型中引入不同类型变量的核函数适配，能够统一处理各类超参数的优化问题。谷歌2017年提出的Vizier系统是贝叶斯优化在工业级超参数优化场景的典型落地案例，该系统支持多任务并行优化、提前终止等特性，被广泛应用于谷歌内部的广告推荐、图像识别等业务的模型调优过程，据其公开数据显示，相较于人工调参，Vizier能够将模型调优周期缩短70%以上，同时模型平均性能提升5%到15%。为了进一步提升优化效率，研究人员还提出了基于迁移学习的贝叶斯优化方法，通过复用相似任务的历史优化数据来冷启动代理模型，例如在图像分类任务的超参数优化中，基于ImageNet数据集得到的优化经验可以迁移到细粒度分类任务中，使优化初期的采集函数选择更具针对性，进一步减少所需的评估次数。此外，针对深度学习模型评估成本高的问题，多保真度贝叶斯优化技术得到了快速发展，其核心思路是在优化过程中引入低精度、低成本的评估结果作为辅助信息，例如使用少训练轮次的模型性能、小数据集上的验证性能来近似全精度评估结果，通过构建多保真度的代理模型，在保证优化精度损失可控的前提下，进一步降低优化过程的整体计算成本。神经网络架构搜索是贝叶斯优化在AutoML领域的另一重要应用场景。早期的NAS方法普遍基于强化学习或进化算法，需要评估数千个不同的网络架构才能得到性能优异的结构，计算成本极高，普通科研机构与企业难以负担。2018年以来，贝叶斯优化开始被引入NAS领域，通过将网络架构编码为可搜索的向量空间，利用贝叶斯优化的样本高效特性大幅降低所需的架构评估次数。例如，基于贝叶斯优化的NAS方法BANANAS在CIFAR-10数据集上仅需评估100个架构即可达到与评估2000个架构的进化算法相当的性能，搜索成本降低了95%。为了适配网络架构的离散搜索空间，研究人员对贝叶斯优化的代理模型与编码方式进行了针对性改进：在编码层面，采用图神经网络将网络架构的拓扑结构编码为低维连续向量，解决了离散架构无法直接输入代理模型的问题；在代理模型层面，提出了适配架构空间的核函数，能够衡量不同网络架构之间的相似性，提升代理模型在架构空间的拟合精度。近年来，权重共享机制与贝叶斯优化的结合进一步提升了NAS的效率，权重共享机制让不同架构可以复用部分网络权重，避免了每个架构都需要从头训练的问题，而贝叶斯优化则可以基于权重共享得到的低精度性能评估结果，更高效地搜索最优架构，两者结合后，原本需要数周GPU计算时间的NAS任务可以在数小时内完成，极大地推动了NAS技术的落地应用。在特征工程自动化场景中，贝叶斯优化同样展现出了显著的优势。特征工程自动化旨在自动从原始数据中生成有效的特征表示，其搜索空间包含特征选择、特征变换、特征组合等多个维度，传统的搜索方法很容易陷入维度灾难。贝叶斯优化可以将特征处理流水线的性能作为目标函数，通过动态调整特征操作的类型、顺序与参数，快速找到最优的特征处理方案。例如，在结构化数据的预测任务中，基于贝叶斯优化的特征工程系统可以自动尝试数值特征归一化、类别特征编码、多项式特征组合、特征选择阈值调整等操作，无需人工干预即可生成比手动构造特征性能更优的特征集。针对特征搜索空间维度极高的问题，研究人员提出了高维贝叶斯优化方法，通过嵌入学习将高维的特征配置空间映射到低维的latent空间，在低维空间中执行贝叶斯优化，再映射回原始空间进行评估，这类方法能够有效处理维度超过100的搜索空间，解决了传统贝叶斯优化在高维场景下性能退化的问题。此外，多目标贝叶斯优化技术也被引入特征工程自动化场景，在优化模型预测性能的同时，兼顾特征集的稀疏性、推理速度等约束，能够生成更符合工业落地需求的特征处理方案。当前贝叶斯优化在AutoML领域的应用仍然存在若干待解决的挑战。首先是高维搜索空间的适配问题，当搜索空间维度超过200时，现有贝叶斯优化方法的样本效率会出现明显下降，如何进一步提升高维空间下的代理模型拟合精度与采集函数的搜索效率，是未来重要的研究方向。其次是多目标优化的平衡问题，实际AutoML任务通常需要同时优化模型性能、推理延迟、内存占用、能耗等多个目标，现有多目标贝叶斯优化方法在目标数量超过3个时，帕累托最优前沿的收敛速度会大幅降低，难以满足实际应用的效率需求。第三是异步并行优化的效率问题，工业级AutoML系统通常需要支持数十甚至上百个worker并行评估不同的配置，而传统的采集函数在异步并行场景下容易出现重复搜索相似配置的问题，导致整体搜索效率下降，如何设计适配大规模并行场景的采集函数，是贝叶斯优化工业化落地需要解决的核心问题。最后是可解释性问题，当前贝叶斯优化的搜索过程是黑盒的，用户无法理解为什么某些配置会被优先选择，也难以对搜索过程进行人工干预，提升贝叶斯优化的可解释性，让用户能够理解并引导优化过程，将是未来AutoML系统人性化发展的重要方向。从技术发展趋势来看，贝叶斯优化与大模型技术的融合将是未来的重要发展方向。利用大模型的知识推理能力，可以将领域知识注入贝叶斯优化的搜索过程，例如在特定领域的AutoML任务中，大模型可以基于领域知识生成初始的候选配置，缩小搜索空间，同时也可以对贝叶斯优化得到的最优配置进行合理性校验，排除不符合领域逻辑的无效配置。此外，大模型的上下文学习能力还可以实现跨任务的优