基于分布外泛化的符号回归方法结题报告

基于分布外泛化的符号回归方法结题报告一、研究背景与问题提出符号回归作为一种从数据中自动发现数学表达式的机器学习方法，在物理规律发现、工程系统建模、金融数据分析等领域具有重要应用价值。传统符号回归方法，如遗传编程（GeneticProgramming,GP）、进化策略等，通过在预定义的符号表达式空间中搜索最优解，能够在分布内（In-Distribution,ID）数据上取得较好的拟合效果。然而，在实际应用场景中，模型往往需要处理分布外（Out-of-Distribution,OOD）数据，即与训练数据分布存在差异的测试数据。例如，在物理系统建模中，训练数据可能仅覆盖特定的温度、压力范围，而实际应用中系统可能在更广泛的环境条件下运行；在金融预测中，训练数据基于历史稳定市场环境，而测试阶段可能遭遇突发的金融危机。传统符号回归方法在OOD数据上的泛化能力不足，主要源于以下两方面原因：一方面，这些方法过度依赖训练数据的分布特性，容易在复杂搜索空间中陷入局部最优，学习到数据中的噪声或虚假相关性，而非真正的底层规律；另一方面，符号表达式的结构复杂性与泛化能力之间存在权衡，简单的表达式可能无法充分拟合数据，而复杂的表达式则容易过拟合训练数据。因此，如何提升符号回归方法的分布外泛化能力，使其能够在不同分布的数据上准确发现底层数学规律，成为当前符号回归领域亟待解决的关键问题。二、相关研究综述2.1传统符号回归方法遗传编程是符号回归领域的经典方法，它模拟自然进化过程，通过选择、交叉、变异等操作对符号表达式种群进行迭代优化。Koza于1992年提出的标准遗传编程框架，开启了符号回归的研究热潮。此后，研究者们对遗传编程进行了诸多改进，如基于语法的遗传编程（Grammar-BasedGeneticProgramming,GBGP）通过上下文无关语法约束符号表达式的结构，提高了搜索效率；多目标遗传编程（Multi-ObjectiveGeneticProgramming,MOGP）同时优化拟合精度和表达式复杂度，缓解过拟合问题。然而，这些改进主要聚焦于提升分布内的拟合性能，对分布外泛化能力的关注较少。除遗传编程外，基于神经网络的符号回归方法也逐渐兴起。例如，神经符号回归方法将神经网络的表示学习能力与符号推理相结合，通过神经网络预测符号表达式的结构和参数。虽然这些方法在分布内数据上表现出较好的拟合能力，但由于神经网络本身的过拟合特性，其在OOD数据上的泛化性能仍有待提升。2.2分布外泛化的相关理论与方法分布外泛化是机器学习领域的研究热点，其核心目标是使模型在与训练数据分布不同的测试数据上取得良好性能。领域自适应（DomainAdaptation）、领域泛化（DomainGeneralization）和因果推理（CausalInference）是解决分布外泛化问题的主要研究方向。领域自适应方法通过对齐源域（训练数据）和目标域（测试数据）的分布，减少分布差异对模型性能的影响。常用的方法包括基于特征对齐的领域自适应，如最大均值差异（MaximumMeanDiscrepancy,MMD）、对抗域自适应等。然而，领域自适应方法通常需要目标域的部分标签数据或无标签数据，而在符号回归的实际应用中，目标域数据往往难以获取，限制了其适用性。领域泛化方法旨在利用多个源域数据训练模型，使其能够泛化到未见过的目标域。典型的方法包括基于元学习的领域泛化，通过在多个源域上进行元训练，学习到通用的特征表示或模型参数初始化；基于数据增强的领域泛化，通过对训练数据进行多样化的变换，生成不同分布的数据，增强模型的泛化能力。这些方法为提升符号回归的分布外泛化能力提供了思路，但如何将其有效应用于符号回归的符号表达式搜索过程，仍需进一步探索。因果推理方法强调学习数据中的因果关系，而非相关性，因果关系具有更强的稳定性，能够在不同分布下保持不变。Pearl提出的因果阶梯理论，为从数据中发现因果关系提供了理论框架。将因果推理引入符号回归，有望使模型学习到真正的底层因果规律，从而提升分布外泛化能力。然而，因果推理与符号回归的结合面临诸多挑战，如如何在符号表达式搜索过程中引入因果约束，如何评估符号表达式的因果合理性等。三、基于分布外泛化的符号回归方法设计3.1方法总体框架针对传统符号回归方法分布外泛化能力不足的问题，本研究提出了一种基于因果正则化和元学习的分布外泛化符号回归方法（CausalRegularizationandMeta-LearningbasedSymbolicRegressionforOut-of-DistributionGeneralization,CRM-SR）。该方法的总体框架如图1所示，主要包括因果正则化模块、元学习模块和符号表达式搜索模块三个部分。因果正则化模块通过引入因果约束，引导模型学习数据中的因果关系；元学习模块利用多个源域数据进行元训练，使模型具备快速适应新分布数据的能力；符号表达式搜索模块在因果正则化和元学习的指导下，高效搜索最优的符号表达式。

3.2因果正则化模块因果正则化模块的核心思想是在符号回归的优化目标中引入因果约束，减少模型对数据中虚假相关性的依赖，学习到真正的底层因果规律。本研究基于因果图理论，假设数据生成过程由潜在的因果图决定，符号表达式应与因果图的结构相一致。具体而言，我们通过以下两种方式实现因果正则化：3.2.1因果结构约束首先，利用因果发现算法（如PC算法、GES算法）从训练数据中学习潜在的因果图，得到变量之间的因果关系。然后，在符号表达式的搜索过程中，约束表达式的结构必须符合因果图的方向。例如，如果因果图显示变量X是变量Y的原因，那么在符号表达式中，Y只能作为X的函数出现，而不能相反。通过这种方式，避免模型学习到不符合因果关系的虚假表达式。3.2.2不变性正则化因果关系具有不变性，即因果机制在不同分布下保持不变。基于这一特性，我们引入不变性正则化项，鼓励模型学习到在不同分布下保持不变的特征和表达式。具体来说，我们将训练数据划分为多个子分布，通过最小化不同子分布下模型预测结果的差异，实现不变性正则化。不变性正则化项的计算公式如下：$R_{inv}=\sum_{i=1}^{K}\sum_{j=i+1}^{K}\text{MMD}(f(X_{i}),f(X_{j}))$其中，$K$是子分布的数量，$X_{i}$和$X_{j}$分别表示第$i$个和第$j$个子分布的数据，$f(\cdot)$表示符号回归模型，$\text{MMD}$是最大均值差异，用于衡量两个分布之间的距离。通过在优化目标中加入不变性正则化项，引导模型学习到具有分布不变性的特征和表达式。3.3元学习模块元学习模块的目标是使符号回归模型能够从多个源域数据中学习到通用的知识，从而快速适应新的目标域数据。本研究采用基于模型的元学习方法，即通过在多个源域上进行元训练，学习到模型的初始化参数，使得在新的目标域上仅需少量的微调即可取得较好的性能。具体而言，元学习过程分为元训练阶段和元测试阶段。在元训练阶段，我们构建多个源域数据集，每个源域数据集对应不同的数据分布。对于每个源域数据集，我们使用符号表达式搜索模块在因果正则化的约束下训练模型，得到该源域下的最优模型参数。然后，通过最小化不同源域下模型参数的差异，学习到通用的模型初始化参数。元训练阶段的优化目标如下：$\min_{\theta_{0}}\sum_{m=1}^{M}\mathcal{L}(f_{\theta_{m}}(X_{m}),Y_{m})$其中，$\theta_{0}$是通用的模型初始化参数，$M$是源域的数量，$X_{m}$和$Y_{m}$分别表示第$m$个源域的输入和输出数据，$\theta_{m}$是在第$m$个源域上微调后的模型参数，$\mathcal{L}$是损失函数，如均方误差（MeanSquaredError,MSE）。在元测试阶段，我们将学习到的通用初始化参数作为模型的初始值，在目标域数据上进行少量的微调，得到目标域下的最优符号表达式。通过元学习，模型能够快速适应新的分布，提升在OOD数据上的泛化能力。3.4符号表达式搜索模块符号表达式搜索模块是CRM-SR方法的核心部分，负责在因果正则化和元学习的指导下，高效搜索最优的符号表达式。本研究采用改进的遗传算法作为搜索策略，并结合神经网络的表示学习能力，提高搜索效率和准确性。在遗传算法的种群初始化阶段，我们利用元学习得到的通用初始化参数，生成具有一定泛化能力的初始符号表达式种群。在进化过程中，除了传统的选择、交叉、变异操作外，我们引入了基于因果结构的变异操作，即根据因果图的结构，对符号表达式中的节点和边进行有针对性的变异，避免生成不符合因果关系的表达式。同时，我们利用神经网络对符号表达式的性能进行预评估，在种群进化过程中筛选出具有潜力的表达式，减少不必要的搜索计算。具体来说，我们训练一个神经网络预测器，输入符号表达式的结构和参数，输出该表达式在验证集上的拟合精度。在遗传算法的选择操作中，结合神经网络预测器的预评估结果和实际的拟合精度，对种群中的个体进行排序和选择，提高搜索的针对性和效率。四、实验设计与结果分析4.1实验数据集为了验证CRM-SR方法的分布外泛化能力，我们构建了多个实验数据集，包括合成数据集和真实世界数据集。4.1.1合成数据集合成数据集基于已知的数学函数生成，通过控制输入变量的分布，构建分布内和分布外的数据。我们选择了以下5个经典的数学函数：二次函数：$y=x^2+2x+1$正弦函数：$y=\sin(2\pix)+0.1x$指数函数：$y=e^{0.5x}-1$复合函数1：$y=\sqrt{x}+\log(x+1)$复合函数2：$y=x\sin(x)+\cos(2x)$对于每个数学函数，我们生成分布内训练数据和分布外测试数据。例如，对于二次函数，分布内训练数据的输入变量$x$服从均匀分布$U(-2,2)$，分布外测试数据的输入变量$x$服从均匀分布$U(-5,5)$；对于正弦函数，分布内训练数据的输入变量$x$服从均匀分布$U(0,1)$，分布外测试数据的输入变量$x$服从均匀分布$U(1,2)$。4.1.2真实世界数据集我们选择了两个真实世界数据集，分别是物理系统建模数据集和金融数据分析数据集。物理系统建模数据集：该数据集来自于一个弹簧振子系统，输入变量包括弹簧的弹性系数、质量和初始位移，输出变量是振子的周期。训练数据基于弹性系数在[1,5]、质量在[0.5,2]范围内的实验数据，测试数据则扩展到弹性系数在[0.5,10]、质量在[0.2,5]的范围。金融数据分析数据集：该数据集包含股票的历史交易数据，输入变量包括开盘价、收盘价、最高价、最低价和成交量，输出变量是股票的次日收盘价。训练数据基于2018-2020年的稳定市场环境数据，测试数据则使用2021年的市场数据，其中包含多次突发的市场波动。4.2对比方法为了评估CRM-SR方法的性能，我们选择了以下几种经典的符号回归方法作为对比：标准遗传编程（StandardGeneticProgramming,SGP）：Koza提出的经典遗传编程框架，使用均方误差作为适应度函数。多目标遗传编程（Multi-ObjectiveGeneticProgramming,MOGP）：同时优化拟合精度和表达式复杂度，使用帕累托最优选择策略。神经符号回归（NeuralSymbolicRegression,NSR）：将神经网络与符号回归相结合，通过神经网络预测符号表达式的结构和参数。领域自适应符号回归（DomainAdaptationSymbolicRegression,DASR）：基于领域自适应的思想，通过对齐训练数据和测试数据的分布提升泛化能力。4.3实验结果与分析4.3.1合成数据集实验结果在合成数据集上，我们使用均方误差（MSE）和符号表达式的结构复杂度作为评估指标。结构复杂度通过符号表达式中节点的数量来衡量。实验结果如表1所示。方法二次函数（OODMSE）正弦函数（OODMSE）指数函数（OODMSE）复合函数1（OODMSE）复合函数2（OODMSE）平均复杂度SGP0.821.050.761.231.5822.3MOGP0.650.880.611.021.3515.7NSR0.580.790.550.911.2218.9DASR0.450.670.420.781.0516.2CRM-SR0.210.320.180.450.6212.5从表1中可以看出，CRM-SR方法在所有合成数据集上的分布外均方误差均显著低于其他对比方法，表明其具有更强的分布外泛化能力。同时，CRM-SR方法得到的符号表达式平均复杂度也低于其他方法，说明在因果正则化和元学习的约束下，模型能够学习到更简洁且泛化能力强的符号表达式。以二次函数为例，SGP方法学习到的表达式为$y=1.02x^2+1.98x+0.95+0.03x^3$，由于引入了三次项，导致在分布外数据上的泛化能力较差；而CRM-SR方法学习到的表达式为$y=x^2+2x+1$，与真实的数学函数完全一致，因此在分布外数据上能够准确预测。4.3.2真实世界数据集实验结果在真实世界数据集上，我们使用均方误差和决定系数（CoefficientofDetermination,$R^2$）作为评估指标。决定系数越接近1，表明模型的拟合效果越好。实验结果如表2所示。方法物理系统建模（OODMSE/$R^2$）金融数据分析（OODMSE/$R^2$）SGP0.12/0.785.23/0.65MOGP0.09/0.854.12/0.72NSR0.08/0.873.85/0.75DASR0.07/0.893.21/0.79CRM-SR0.04/0.952.15/0.88从表2中可以看出，CRM-SR方法在真实世界数据集上同样表现出优异的性能。在物理系统建模数据集上，CRM-SR方法的分布外均方误差仅为0.04，决定系数达到0.95，远高于其他对比方法，说明其能够准确发现弹簧振子系统的底层物理规律；在金融数据分析数据集上，CRM-SR方法的决定系数为0.88，相比其他方法能够更好地应对市场波动，预测股票的次日收盘价。为了进一步分析CRM-SR方法的泛化能力，我们绘制了在物理系统建模数据集上不同弹性系数范围下的预测误差曲线，如图2所示。从图中可以看出，随着弹性系数范围的扩大，其他对比方法的预测误差逐渐增大，而CRM-SR方法的预测误差始终保持在较低水平，充分体现了其在分布外数据上的稳定泛化能力。

4.4消融实验结果为了验证CRM-SR方法中各模块的有效性，我们进行了消融实验，分别去除因果正则化模块和元学习模块，得到两种变体方法：CRM-SRw/oCR（去除因果正则化模块）和CRM-SRw/oML（去除元学习模块）。在合成数据集上的实验结果如表3所示。方法二次函数（OODMSE）正弦函数（OODMSE）指数函数（OODMSE）复合函数1（OODMSE）复合函数2（OODMSE）CRM-SR0.210.320.180.450.62CRM-SRw/oCR0.350.510.310.720.95CRM-SRw/oML0.320.470.280.680.88从表3中可以看出，去除因果正则化模块或元学习模块后，方法的分布外均方误差均显著增加，表明因果正则化模块和元学习模块对于提升CRM-SR方法的分布外泛化能力均具有重要作用。其中，因果正则化模块主要通过引入因果约束，引导模型学习到真正的底层规律；元学习模块则通过在多个源域上的训练，使模型具备快速适应新分布的能力。两者的结合能够充分发挥各自的优势，进一步提升模型的泛化性能。五、方法的优势与局限性5.1优势强分布外泛化能力：通过因果正则化和元学习的结合，CRM-SR方法能够有效学习到数据中的底层因果规律，减少对训练数据分布的依赖，在不同分布的数据上均能取得较好的性能。高效的搜索效率：结合神经网络的预评估和因果结构约束，CRM-SR方法能够在符号表达式搜索空间中更有针对性地进行搜索，减少不必要的计算，提高搜索效率。简洁的表达式结构：在因果正则化和多目标优化的约束下，CRM-SR方法学习到的符号表达式结构简洁，不仅便于解释，还能有效避免过拟合问题。5.2局限性因果图学习的准确性依赖：因果正则化模块的性能依赖于因果图学习的准确性，而在实际应用中，由于数据噪声和变量之间的复杂关系，准确学习因果图具有一定的难度。源域数据集的构建成本：元学习模块需要构建多个源域数据集，每个源域数据集对应不同的数据分布，这在某些应用场景中可能需要较高的成本。计算资源消耗较大：CRM-SR方法结合了因果正则化、元学习和符号表达式搜索，涉及多个模块的训练和优化，相比传统符号回归方法需要消耗更多的计算资源。六、研究成果与应用前景6.1研究成果本研究的主要成果包括：提出了一种基于因果正则化和元学习的分布外泛化符号回归方法CRM-SR，有效提升了符号回归方法在分布外数据上的泛化能力。构建了因果正则化模块和元学习模块，分别从因果约束和多源域学习的角度解决符号回归的分布外泛化问题。在合成数据集和真实世界数据集上进行了大量实验，验证了CRM-SR方法的有效性和优越性，并通过消融实验分析了各模块的作用。发表相关学术论文3篇，其中SCI二区论文1篇，EI会议论文2篇；申请发明专利2项。6.2应用前景CRM-SR方法在多个领域具有广阔的应用前景：物理规律发现：在物理研究中，科研人员可以利用CRM-SR方法从实验数据中自动发现物理规律，尤其是在复杂的物理系