基于贝叶斯优化的超参数调优研究综述

基于贝叶斯优化的超参数调优研究综述超参数是机器学习模型在训练过程中预先设定、无法通过数据自动学习的参数，其取值直接决定模型的拟合能力、泛化性能与训练效率。传统超参数调优方法如网格搜索、随机搜索存在计算成本高、搜索效率低等缺陷，难以适配大规模模型与高维超参数空间的调优需求。贝叶斯优化作为一种基于序贯模型的全局优化方法，通过代理模型拟合未知目标函数分布、利用采集函数平衡探索与利用关系，能够在较少迭代次数下逼近最优超参数组合，近年来已成为超参数调优领域的研究热点。贝叶斯优化的核心框架与基础理论贝叶斯优化的核心逻辑是“先验假设-后验更新-迭代搜索”的闭环过程，其基础框架主要包含三个核心组件：概率代理模型、采集函数、序贯优化策略。概率代理模型的作用是基于已观测的超参数-性能样本，拟合未知目标函数的后验分布，为后续采样点选择提供概率性指导。高斯过程是贝叶斯优化中应用最广泛的代理模型，其通过均值函数与协方差函数描述目标函数的分布特性，假设任意有限个采样点的函数值服从联合高斯分布，能够自然量化预测不确定性，为采集函数计算提供概率基础。针对高维空间与大规模样本场景，随机森林、深度神经网络等代理模型也逐渐得到应用：随机森林代理模型对非光滑目标函数具有更强的鲁棒性，无需对目标函数分布做先验假设；贝叶斯神经网络通过引入权重的概率分布，能够同时表达模型本身与预测结果的双重不确定性，适配复杂非线性目标函数的拟合需求。采集函数是连接代理模型与采样点选择的核心模块，其通过量化每个候选超参数点的“价值”，指导下一个评估点的选择，核心目标是平衡探索（未采样区域的不确定性）与利用（已知最优区域的利用）的关系。常见采集函数包括概率提升（PI）、期望提升（EI）、置信上界（UCB）三类：概率提升计算候选点函数值优于当前最优值的概率，更偏向于局部利用，容易陷入局部最优；期望提升计算候选点相对于当前最优值的提升量的数学期望，兼顾探索与利用，是目前工业界应用最广泛的采集函数；置信上界通过加权均值与标准差的方式，由可调参数控制探索与利用的权衡，更适合多目标优化与动态调优场景。近年来，基于信息论的采集函数也逐渐兴起，如熵搜索、最大信息增益采集函数，通过最小化目标函数最大值的位置的不确定性，进一步提升高维空间的搜索效率。序贯优化策略决定了贝叶斯优化的迭代流程：在每一轮迭代中，算法基于当前观测数据集更新代理模型，在超参数空间内最大化采集函数得到下一个待评估的超参数点，评估其性能后加入观测数据集，重复上述过程直至达到迭代次数或性能阈值。与并行优化方法相比，序贯优化的优势在于每一轮采样都能充分利用之前所有的观测信息，搜索效率更高，但单轮评估的时间成本限制了其在大规模集群中的扩展能力。贝叶斯超参数调优的关键技术进展针对传统贝叶斯优化在高维超参数空间、多任务调优、异构计算资源适配等场景下的局限性，近年来学术界从空间降维、多fidelity评估、并行优化等方向展开了大量研究，显著拓展了贝叶斯优化的适用边界。高维超参数空间的贝叶斯优化是当前研究的核心方向之一。当超参数维度超过20时，传统高斯过程代理模型的计算复杂度呈立方级增长，且“维度灾难”会导致代理模型预测精度下降、采集函数搜索效率降低。现有的高维优化技术主要分为两类：一类是基于嵌入的方法，通过随机嵌入、变分自编码器等技术将高维超参数空间映射到低维隐空间，在低维空间内执行贝叶斯优化，再将结果映射回原始空间。例如，REMBO算法通过随机线性嵌入将d维空间映射到d_e维（d_e远小于d），在低维空间内执行优化，理论证明当目标函数具有低有效维度时，该方法能够以高概率找到全局最优解。另一类是基于维度选择的方法，通过灵敏度分析、注意力机制等动态识别对模型性能影响较大的超参数维度，在优化过程中固定不重要的维度，仅在关键维度上进行搜索，能够有效降低搜索空间的复杂度。多保真度（Multi-fidelity）贝叶斯优化是降低调优计算成本的重要技术路径。传统贝叶斯优化每一次采样都需要在完整数据集上训练模型得到精确性能指标，计算成本极高。多保真度优化通过引入低精度评估结果（如小批量数据训练、低迭代次数训练、简化模型结构等），利用低成本的低精度结果辅助高精度结果的预测，在保证优化精度的前提下大幅降低计算成本。代表性方法如BOHB算法，将贝叶斯优化与Hyperband的资源分配策略结合，针对不同超参数配置动态分配计算资源，对潜力较低的配置提前终止训练，对潜力较高的配置分配更多计算资源进行高精度评估，在图像分类、自然语言处理等任务中能够将调优效率提升一个数量级。此外，基于迁移学习的多任务贝叶斯优化能够利用相似任务的历史调优数据初始化代理模型，减少新任务的冷启动成本，尤其适合AutoML系统中多场景、多任务的连续调优需求。并行贝叶斯优化是适配大规模分布式计算集群的关键技术。传统序贯贝叶斯优化每次仅评估一个超参数点，无法充分利用集群的并行计算资源。现有并行优化方法主要分为同步并行与异步并行两类：同步并行方法在每一轮迭代中同时选择多个采样点进行评估，常见策略包括批量采集函数优化、假样本注入等，通过在采集函数优化过程中考虑多个采样点之间的相关性，避免重复采样同一区域；异步并行方法则允许新的采样任务在任意时刻提交，无需等待本轮所有评估完成，更适合异构计算集群的调度需求。异步并行贝叶斯优化的核心挑战是如何处理未完成的评估任务对代理模型更新的影响，现有方法通过引入“虚拟观测”、时间戳排序的代理模型更新机制，能够在高并行度下保持与序贯优化相当的搜索效率。目前工业界主流的AutoML平台如谷歌VertexAI、阿里云PAI的超参数调优模块均已支持大规模异步并行贝叶斯优化，并行度可扩展至数百个计算节点。贝叶斯优化在不同机器学习场景下的应用贝叶斯优化的适配性较强，能够支持各类机器学习任务的超参数调优需求，在传统机器学习、深度学习、强化学习等场景下均已得到广泛应用。在传统机器学习任务中，贝叶斯优化主要用于支持向量机、梯度提升树、随机森林等模型的超参数调优。以XGBoost模型为例，其超参数包括树的最大深度、学习率、子采样比例、正则化系数等十余种，传统网格搜索需要遍历数十万种组合，而贝叶斯优化通常仅需数十次迭代即可找到优于网格搜索的超参数组合，调优效率提升两个数量级以上。在表格数据预测任务中，贝叶斯优化不仅能够调优模型参数，还能够同时优化特征工程的相关参数（如特征选择阈值、特征变换方式），实现端到端的流水线调优。工业界的实践表明，基于贝叶斯优化的自动调参能够将数据科学家的调参时间从数天缩短至数小时，同时模型平均性能提升5%~15%。在深度学习场景下，贝叶斯优化的应用主要集中在网络结构搜索与训练超参数调优两个方向。训练超参数方面，贝叶斯优化可用于调优学习率、批量大小、优化器权重衰减系数、数据增强强度等参数，尤其在小样本学习、迁移学习等训练数据有限的场景下，贝叶斯优化能够通过有限次试验找到最优训练策略，避免手动调参带来的性能波动。网络结构搜索（NAS）领域，贝叶斯优化与权重共享、一次性搜索等技术结合，能够在较低计算成本下搜索到优于手动设计的网络结构。例如，基于贝叶斯优化的NAS方法通过将网络结构编码为超参数空间，利用代理模型预测不同结构的性能，大幅减少了结构搜索过程中的模型训练次数，在图像分类任务中，其搜索效率显著高于基于强化学习、进化算法的NAS方法。针对大语言模型的预训练与微调调优，贝叶斯优化也逐渐展现出应用潜力，通过调优批量大小、学习率调度策略、LoRA微调的秩与缩放系数等参数，能够在相同计算成本下提升大模型的下游任务性能。在强化学习场景下，贝叶斯优化主要用于调优智能体的奖励函数系数、探索率、策略网络结构、训练迭代次数等超参数。强化学习的超参数调优面临更大的挑战：目标函数评估噪声大、单次评估成本极高、超参数对性能的影响具有非平稳性。贝叶斯优化通过引入噪声鲁棒的代理模型、动态调整采集函数的探索权重，能够有效应对强化学习调优的不确定性。在机器人控制、游戏AI等任务中，贝叶斯优化已经成为超参数调优的主流方法，能够显著提升智能体的收敛速度与最终性能。此外，基于贝叶斯优化的安全调优方法能够在调优过程中约束超参数的取值范围，避免训练过程中出现智能体崩溃、环境损坏等安全问题，适配工业级强化学习系统的落地需求。贝叶斯超参数调优面临的挑战与未来研究方向尽管贝叶斯优化在超参数调优领域已经取得了显著进展，但随着模型规模的持续增长与应用场景的不断拓展，其仍然面临一系列待解决的挑战，未来研究可重点关注以下方向：首先是超大规模、超高维超参数空间的优化效率问题。当前大语言模型、多模态大模型的超参数维度可达上百种，单次模型训练成本高达数十万元，现有贝叶斯优化方法的搜索效率与成本控制能力仍有较大提升空间。未来可研究基于因果推断的超参数重要性识别技术，快速过滤对模型性能影响极小的超参数维度；研究基于大模型的超参数调优知识蒸馏技术，利用海量历史调优数据预训练调优代理模型，实现新任务的零样本/少样本调优，进一步降低冷启动成本。其次是多目标、多约束条件下的贝叶斯优化技术。实际工业场景中的超参数调优往往需要同时优化多个目标（如模型精度、推理延迟、显存占用），且存在硬件资源、训练时间等约束条件。现有多目标贝叶斯优化方法的帕累托前沿搜索效率较低，难以处理三个以上目标的优化问题。未来可研究基于偏好引导的多目标采集函数设计，结合业务需求动态调整不同目标的权重，减少帕累托前沿的搜索空间；研究约束感知的代理模型，将硬约束与软约束嵌入到代理模型的训练与采集函数优化过程中，避免无效超参数配置的评估，提升优化效率。最后是贝叶斯优化与MLops系统的深度融合。当前贝叶斯优化调优过程与模型训练、部署流程存在割裂，调优得到的超参数难以直接适配不同的硬件环境与部署需求。未来可研究面向全生命周期的超参数自动调优框架，实现