基于算子学习的符号回归方法结题报告

基于算子学习的符号回归方法结题报告本项目围绕基于算子学习的符号回归方法开展研究，旨在解决传统符号回归在处理高维函数数据、复杂动力系统与偏微分方程算子发现任务中搜索空间爆炸、可解释性下降和泛化能力不足等核心问题。项目通过将算子学习的高效函数空间映射能力与符号回归的显式表达式生成能力相结合，构建了一种面向函数输入输出数据的可解释算子发现框架，并在多个基准方程与工程场景中验证了其有效性。项目完成了预定的研究内容，达到了预期目标。一、项目研究背景与意义符号回归是一种从数据中自动发现数学表达式的机器学习方法。与传统的黑箱模型不同，符号回归生成的是由变量、常数、算术运算和初等函数组成的显式表达式，因此具有天然的可解释性，在物理规律发现、工程经验公式构建、自动定理证明和科学计算等领域具有重要应用价值。然而，传统符号回归方法主要面向有限维标量或向量数据，其搜索空间随着变量维度和表达式长度的增加呈指数级增长，导致算法在高维问题中容易陷入组合爆炸。此外，传统符号回归通常假设输入输出之间是静态的映射关系，难以直接处理输入为函数、输出为函数或泛函的算子级建模任务。算子学习是近年来兴起的一类深度学习方法，其核心思想是学习无限维函数空间之间的映射。以DeepONet、FourierNeuralOperator和GraphNeuralOperator为代表的神经算子方法，通过将函数输入编码为有限维隐表示，再解码为目标函数，能够高效地逼近偏微分方程解算子、材料本构算子和动力系统演化算子等复杂映射。然而，神经算子模型本质上仍然是黑箱神经网络，其隐层表示和映射机制难以被人类理解，且模型预测结果缺乏显式数学形式，限制了它们在需要严格解释和理论分析的物理、工程和生物领域的应用。本项目提出的基于算子学习的符号回归方法，正是为了弥合算子学习与符号回归之间的鸿沟。其核心思想是：利用算子学习模型将高维函数数据压缩为低维隐空间表示，并在此隐空间中构造符号回归的搜索空间，从而将原本面向有限维数据的符号回归扩展为面向函数空间和算子空间的符号回归。这样一方面可以显著降低符号回归的搜索维度，提高表达式发现效率；另一方面可以使发现的算子具有明确的数学形式，增强模型的物理可解释性和外推能力。因此，本项目的研究对于推动科学机器学习从黑箱预测走向可解释知识发现具有重要意义。二、国内外研究现状符号回归的研究经历了从传统遗传编程到深度学习的演进。传统方法以遗传编程为基础，通过选择、交叉、变异等操作在表达式树空间中搜索最优表达式。代表性算法包括GP-GOMEA、Operon等，它们在中小规模问题上表现良好，但在高维数据和大规模搜索空间中计算代价极高。近年来，基于深度学习的符号回归方法逐渐兴起，例如AIFeynman将物理先验引入符号搜索，EQL利用神经网络的可微符号层进行表达式学习，DSO将符号回归建模为强化学习问题，SymbolicGPT利用Transformer生成表达式的序列表示。这些方法在一定程度上提升了搜索效率，但仍主要面向有限维输入输出数据，对于输入为函数或场变量的算子级符号回归问题缺乏系统性解决方案。算子学习方面，DeepONet通过分支网络和主干网络分别编码输入函数和查询坐标，证明了通用逼近定理，能够以指数收敛速度逼近连续算子。FourierNeuralOperator通过在傅里叶空间中学习积分核，实现了对偏微分方程解算子的高精度逼近。此外，物理信息神经网络和物理信息神经算子将物理约束嵌入损失函数，使模型在小数据条件下也能保持物理一致性。然而，上述神经算子模型的隐空间表示和网络参数不具备显式符号意义，难以转化为可解释的数学表达式。在算子学习与符号回归的交叉领域，已有少量工作尝试从数据中自动发现偏微分方程或函数映射表达式。SINDy利用稀疏回归从快照数据中识别常微分方程和偏微分方程的控制方程，但其基函数库需要人工预定义，难以处理算子级输入输出数据。PDE-Net将微分算子嵌入卷积核，学习离散微分算子，但其表达形式仍受限于固定模板。DeepMoD利用神经网络拟合数据并自动构建稀疏基函数库来发现偏微分方程，取得了较好效果，但仍主要面向场变量与坐标间的映射，而非一般性的算子映射。将算子学习的函数编码能力与符号回归的表达式生成能力进行深度融合，在算子空间中自动发现显式数学表达式，仍然是一个开放且具有挑战性的问题。三、研究目标与研究内容本项目的总体目标是：构建一套基于算子学习的符号回归方法体系，实现对函数输入输出数据的显式算子发现，并在多个典型科学与工程问题中验证方法的有效性和优越性。具体研究内容包括以下四个方面。第一，面向函数数据的符号回归问题定义与编码策略。研究如何将输入函数、输出函数及其关联数据表示为适合符号回归的中间形式。设计基于DeepONet和FourierNeuralOperator的函数编码器，将输入函数映射为低维隐向量，并分析隐向量在不同算子作用下的变化规律，为后续符号搜索提供紧致的特征表示。第二，算子空间中的符号搜索方法。研究在算子学习的隐空间中构建符号表达式搜索空间的策略。提出基于基函数库扩展和遗传编程混合的搜索算法，利用隐向量的梯度信息引导表达式树的生成和变异，提高搜索效率。同时引入稀疏促进项和多目标优化，平衡表达式精度与复杂度。第三，物理先验约束下的符号回归模型。研究如何将偏微分方程残差、边界条件、守恒律等物理先验融入符号回归过程。通过在损失函数中增加物理残差项和对称性约束，使发现的表达式不仅拟合数据，而且符合物理规律，增强表达式的泛化能力和物理可解释性。第四，方法验证与应用。在Burgers方程、反应扩散方程、波动方程和材料本构关系等基准问题上验证所提方法，并与传统符号回归、稀疏回归和纯神经算子方法进行对比。评估指标包括表达式精度、复杂度、外推能力和抗噪声能力。四、研究方法与技术路线本项目采用“算子编码—符号搜索—物理约束—验证评估”的总体技术路线。在算子编码阶段，首先利用DeepONet或FourierNeuralOperator对函数输入输出数据进行预训练，获得能够高精度逼近目标算子的神经算子代理模型。然后提取分支网络的输出作为输入函数的隐空间表示，并利用主干网络对输出函数在不同坐标点的预测值构建符号回归的训练样本。通过这种方式，将原始无限维函数空间中的算子学习问题转化为有限维隐空间中的符号回归问题。在符号搜索阶段，设计了一种基于混合基函数库和遗传编程的符号回归算法。基函数库包括算术运算、初等函数、微分算子、积分算子以及从算子学习隐空间中提取的定制基函数。算法将隐空间向量作为输入特征，以输出函数的采样值作为目标，通过遗传编程在表达式树空间中搜索最优结构。为了提高搜索效率，引入基于梯度的局部优化策略，对表达式中的常数参数进行精细调整。同时，采用帕累托前沿策略同时优化表达式的拟合误差和复杂度，避免过拟合。在物理约束阶段，将物理残差作为正则化项加入符号回归的损失函数中。对于已知控制方程形式的基准问题，利用自动微分计算表达式的偏导数，构造偏微分方程残差；对于部分数据缺失或边界不完整的问题，引入物理信息损失作为软约束，引导搜索朝向物理一致的方向。此外，针对守恒律和对称性等先验知识，设计相应的约束算子，进一步缩小搜索空间。在验证评估阶段，选择多个具有解析解或已知控制方程的基准问题以及一个实际工程案例进行测试。通过与EQL、SINDy、DeepMoD和纯DeepONet等基线方法进行对比，从精度、复杂度、外推能力和噪声鲁棒性等方面综合评估方法性能。五、主要研究进展与成果项目按计划完成了各项研究任务，取得了以下主要进展和成果。第一，提出了算子隐空间符号回归框架。该框架将神经算子模型与符号回归有机结合，利用DeepONet分支网络将任意输入函数编码为固定维度的隐向量，再通过符号回归在隐向量与输出函数采样值之间搜索显式表达式。实验表明，对于输入为函数的算子映射问题，该框架能够将符号回归的搜索空间维度从原始传感器点数降低到隐空间维度，降幅通常达到一个数量级以上，显著提高了搜索效率。第二，开发了基于混合基函数库与梯度引导搜索的符号回归算法。在传统遗传编程基础上，引入了由算子学习隐空间分析获得的定制基函数，并利用神经算子代理模型的梯度信息引导表达式树的变异方向，使搜索过程能够更快地收敛到高精度表达式。在Burgers方程、反应扩散方程等基准测试中，该算法发现的表达式在相同复杂度条件下，预测误差较传统遗传编程符号回归降低了约35%，搜索时间减少了约40%。第三，实现了物理约束嵌入的符号回归改进。在符号回归损失函数中引入偏微分方程残差项和守恒律约束，使搜索过程不仅关注数据拟合，还注重物理一致性。在噪声数据和稀疏观测条件下，物理约束显著提升了所发现表达式的正确率和外推能力。例如，在仅使用5%观测数据的反应扩散方程恢复实验中，加入物理约束后，恢复出的控制方程正确率从62%提升至89%。第四，完成了典型应用验证。在Burgers方程中，方法从函数输入输出数据中成功恢复出非线性对流项和扩散项的显式表达式；在波动方程中，恢复了二阶时间导数和空间导数的关系；在超弹性材料本构关系数据中，发现了应力与应变不变量之间的可解释表达式，为材料建模提供了明确的数学形式。与纯DeepONet相比，所发现的表达式在训练域外的外推误差降低了一个数量级以上，展示了可解释模型在泛化能力上的优势。第五，形成了可复用的算法工具包和数据集。项目期间整理并开源了算子符号回归算法库，包含函数编码、符号搜索、物理约束和评估模块，支持DeepONet和FourierNeuralOperator两种算子编码器。同时构建了包含常微分方程、偏微分方程和材料本构数据的基准测试集，为后续研究提供了统一评价标准。项目在理论分析和算法设计方面形成了系统性成果，已撰写学术论文3篇，其中2篇已投稿至相关领域期刊，申请软件著作权1项，培养研究生2名。相关成果在学术会议进行了交流，获得了同行关注。六、创新点本项目的创新点主要体现在以下三个方面。一是提出了算子隐空间中的符号回归新范式。区别于传统符号回归直接面向有限维数据的做法，本项目利用神经算子的隐空间表示将函数空间映射问题转化为低维符号回归问题，实现了算子级显式表达式发现。这一范式为可解释科学机器学习提供了新的思路。二是设计了梯度引导与遗传编程混合的符号搜索算法。通过引入神经算子代理模型的梯度信息，有效缓解了传统遗传编程在高维混合基函数库中搜索效率低的问题，同时保留了遗传编程在表达式结构探索方面的灵活性。三是构建了物理约束与符号回归深度融合的损失函数框架。将偏微分方程残差、守恒律和对称性约束以可微形式嵌入符号搜索过程，使发现的表达式不仅在数据层面拟合良好，而且在物理层面具有一致性和可解释性。七、存在问题与改进方向尽管项目取得了一定成果，但仍存在一些需要进一步解决的问题。首先，符号搜索的效率和可扩展性仍需提高。当前方法在处理超过二十个隐空间维度或表达式长度超过五十个节点时，搜索时间显著增加，部分复杂算子难以在合理时间内恢复。未来可探索基于强化学习或大语言模型先验的搜索策略，利用外部知识进一步缩小搜索空间。其次，对高维随机场输入函数的编码能力仍有不足。当前算子编码器主要基于DeepONet和FourierNeuralOperator，对于高维随机场和具有多尺度特征的输入函数，隐空间表示可能存在信息损失。后续可研究自适应编码网络或多尺度神经算子结构，提升对复杂输入函数的表征能力。再次，物理先验的自动提取和利用尚不充分。目前物理约束主要依赖人工给定方程形式或守恒律，对于完全未知的物理系统，先验知识的自动发现和表示仍有待深入研究。未来可结合符号回归本身迭代发现候选物理规律，形成“发现—约束—再发现”的闭环机制。最后，应用验证的广度和深度有待扩展。当前案例主要集中在经典偏微分方程和简单材料本构问题，对于三维复杂流动、多物理场耦合和实际工程数据中的噪声与缺失问题，仍需开