机器学习算法与实践 课件 第五章 回归模型

第5章回归模型线性回归、多项式回归与逻辑回归回归分析数学推导模型评估章节概览5.3模型正则化欠拟合与过拟合岭回归（L2正则化）LASSO回归（L1正则化）ElasticNet正则化对模型的影响5.4回归模型应用示例示例背景与任务定义数据处理的关键步骤基于PyTorch的线性回归实现结果分析与讨论5.1线性回归与多项式回归5.1.1最小二乘法及其推导目标函数、参数求解5.1.2多元线性回归多变量线性模型5.1.3矩阵方法下的线性回归矩阵形式、正规方程5.1.4多项式回归非线性模型扩展5.1.5回归模型评估R²、MSE评估指标5.2逻辑回归5.2.1二分类与多分类逻辑回归Sigmoid函数、Softmax函数5.2.2几何解释与权重分析决策边界、权重意义5.2.3损失函数及参数优化似然函数、梯度下降学习目标掌握线性回归和逻辑回归的数学原理、推导过程及应用场景什么是线性回归？用于预测连续因变量的方法，假设因变量y和自变量x之间存在线性关系

目标任务通过最小化误差平方和拟合一条直线，使得所有数据点到该直线的距离最短数据点分布线性拟合模型评估图5.1调研50人的工作年限与其收入之间的关系蓝色圆点：调研50人的工作年限与收入分布红色直线：线性回归拟合模型5.1线性回归与多项式回归线性回归模型形式

目标任务通过最小化误差平方和来求解回归系数w₀和w₁误差平方和（SSE）目标函数

目标：找到使J(w₀,w₁)最小的参数值5.1.1最小二乘法及其推导

1求偏导数使用链式法则对w₀求偏导2令偏导数为零

求解极值点3化简方程

展开并整理4求解w₀

用样本均值表示最终结果

最小二乘法求解-对w₀求偏导

1求偏导数

对w₁求偏导2令偏导数为零

化简并整理3代入w₀表达式

将w₀的解代入方程4求解w₁

整理得到最终解最终公式最小二乘法求解-对w₁求偏导

1斜率（回归系数）w₁表示自变量对因变量的影响程度2截距w₀

表示回归直线与y轴的交点核心要点通过最小化误差平方和求解参数对目标函数求偏导并令其为零参数估计的标准方法

最小二乘法求解结果

问题描述求解某同学投篮练习时间与其连续投进3分球个数的线性回归模型，假设有表5.1所示的样本数据。样本数据1计算均值2计算各项求和

66

15

55

20下一步：代入公式求解w₁和w₀例5.1最小二乘法求解1224354455

表5.1样本数据1求解斜率w₁代入公式6计算结果

2求解截距w₀代入公式计算结果最终线性回归模型y=2.2+0.6x斜率w₁=0.6表示每增加1小时练习，投进数平均增加0.6个截距w₀=2.2表示基础投进能力例5.1求解结果

多元线性回归模型模型含义一个因变量y与多个自变量x₁,x₂,...,xₚ描述它们之间的线性关系每个自变量对应一个回归系数wⱼ符号说明yᵢ第i个样本的因变量xᵢⱼ第i个样本的第j个特征w₀截距项wⱼ第j个回归系数εᵢ误差项5.1.2多元线性回归

1残差平方和（RSS）定义目标：最小化残差平方和，找到最优参数估计2估计方法对RSS求wⱼ的偏导求解得到参数估计最优参数估计值3回归系数估计公式第j个回归系数的估计其中x̄ⱼ和ȳ分别为xⱼ和y的样本均值回归系数的估计

线性回归的矩阵形式

矩阵定义y(n×1)因变量向量X(n×p)设计矩阵W(p×1)回归系数向量ε(n×1)误差向量矩阵展开5.1.3矩阵方法下的线性回归

1残差向量定义预测值与实际值的差异

2误差平方和展开展开矩阵形式

3误差平方和的完整形式

通过矩阵运算简化了多元回归的误差计算误差平方和的矩阵表示1目标函数求导对目标函数J(W)关于W求偏导

2令导数为零令偏导数等于零，求解极值点

3得到正规方程

这是最小二乘法的核心方程，用于求解回归系数正规方程推导回归系数的矩阵解

矩阵维度

•W为p×1向量计算优势•适用于多元回归•简洁的矩阵运算•统一的求解框架应用条件

•特征线性无关•样本数>特征数矩阵方法的最终解多项式回归模型

模型特点引入自变量的高次幂项建模非线性关系捕捉复杂的数据趋势线性回归的自然扩展目标函数

最小化预测值与实际值的误差平方和5.1.4多项式回归回归系数计算公式

求解步骤1构造设计矩阵X2

3

4得到回归系数向量ŵ关键说明使用最小二乘法拟合最小化误差平方和计算过程与线性回归类似适用于非线性数据拟合多项式回归求解方法决定系数R²

表示自变量对因变量的解释能力，值越接近1，模型效果越好均方误差MSE

度量模型预测值与实际值之间的误差大小5.1.5回归模型评估核心定义一种广泛应用于分类问题的统计模型，尤其是二分类和多分类问题与线性回归的区别•线性回归：预测连续值•逻辑回归：预测概率值•输出范围：[0,1]核心机制•对数几率函数映射•线性组合→概率值•Sigmoid/Softmax函数应用场景•医学诊断•金融风险评估•市场营销

关键点：逻辑回归通过对数几率函数将输出值映射到[0,1]范围内的概率值，使其成为强大的分类工具。5.2逻辑回归1线性组合

输入特征的线性加权组合2Sigmoid函数

将任意实数映射到[0,1]区间3预测概率

分类规则h≥0.5→预测类别1h<0.5→预测类别0Sigmoid特性•S型曲线，单调递增•z=0时，σ(z)=0.5•输出范围：(0,1)5.2.1二分类与多分类逻辑回归-二分类输出范围当z从-∞到+∞变化时，函数值约束在[0,1]范围内临界点当z=0时，σ(z)=0.5，这是分类的临界点单调递增随着z增大，函数值迅速接近1单调递减当z为负值时，函数值接近0S型曲线特性：使得逻辑回归能够有效处理二分类问题，将线性组合映射为概率值Sigmoid函数及其特性图5.2Sigmoid函数图像

1线性组合（多类别）

为每个类别k计算一个分数2Softmax函数将分数转化为概率分布应用场景处理多分类问题（类别数>2）概率特性所有类别概率和为1放大效应放大高分概率，减小低分概率Softmax优势与简单的Max函数不同，Softmax考虑了所有类别的相对重要性，使模型能够更明确地进行分类决策，同时提供每个类别的概率分布。多分类逻辑回归与Softmax函数

假设场景：三种分类(A,B,C)的模型输出值为[2.0,1.0,0.1]Max函数结果问题：直接将最大值设为1，完全忽略其他类别的可能性Softmax函数结果优势：考虑所有类别的概率，提供更全面的分类信息关键对比类别A0.659类别B0.242类别C0.099Softmax同时考虑三个类别各自的概率，其中类别A的概率最大，因此当前预测结果属于A类Softmax函数详解决策边界方程

将特征空间分割成不同类别的超平面类别1

σ(z)>0.5类别0

σ(z)≤0.5几何意义决策边界是特征空间中的一个超平面，垂直于权重向量w。通过这个超平面，特征空间被分为两部分，分别对应两个不同的类别。决策边界示意图5.2.2几何解释与权重分析-决策边界图5.4二分类的决策边界示意图权重w的每个分量代表输入特征对分类结果的影响程度正权重权重值为正数特征增加→更可能属于类别1权重值越大，影响越强负权重权重值为负数特征增加→更可能属于类别0绝对值越大，影响越强零权重权重值接近零该特征对分类没有显著影响特征在决策中作用微小医疗诊断实例年龄特征权重为正数年龄增加→患病概率增加血压特征权重为负数血压较低→未患病概率增加权重分析1预测概率2单个样本的似然函数

3整个数据集的似然函数所有样本似然函数的乘积目标：最大化似然函数核心思想最大似然估计：找到使似然函数最大的参数w，使得模型预测与实际数据尽可能匹配。5.2.3损失函数及参数优化-似然函数

1对数似然函数取对数将乘法转换为加法，便于计算和优化，同时保持单调性2损失函数（交叉熵损失）损失函数=对数似然函数的负值/m

优化目标最小化J(w)等价于最大化似然函数对数似然函数与损失函数

1

2a对第一项求导2b对第二项求导3Sigmoid函数的导数性质最终梯度表达式梯度推导

梯度下降更新公式

学习率α作用：控制每次参数更新的步长学习率是梯度下降算法中最重要的超参数之一学习率过高问题：可能跳过最优解参数更新幅度过大，无法收敛学习率过低问题：收敛速度过慢训练时间大幅增加，效率降低核心算法梯度下降法是训练逻辑回归模型的核心算法，通过沿着损失函数的负梯度方向逐步更新参数，直到找到最小值。沿负梯度方向更新逐步逼近最优解迭代优化参数梯度下降更新规则5.3模型正则化模型拟合质量的关键问题在机器学习和统计建模中，模型的拟合质量至关重要核心问题模型比较简单时容易发生欠拟合，模型复杂时容易发生过拟合。正则化方法通过约束模型参数来平衡模型复杂度，提升泛化能力。图5.5模型误差（泛化能力）与模型复杂度的关系示意图欠拟合（Underfitting）定义模型过于简单，无法捕捉数据中的基本模式根本原因模型的复杂度不足，导致学习能力有限训练误差表现不佳测试误差表现不佳泛化能力无法推广解决方法增加模型复杂度如使用非线性模型特点在实际应用中比较少见过拟合（Overfitting）定义模型过于复杂，过度拟合训练数据中的噪声或异常点根本原因模型参数过多或训练过程过长训练集表现很好测试集表现很差泛化能力严重不足典型案例使用高阶多项式拟合数据时过度拟合训练数据的噪声实际影响在训练数据上精确度高实际应用中效果不佳欠拟合vs正常拟合vs过拟合欠拟合模型过于简单，无法捕捉数据基本模式，训练和测试误差都较大正常拟合模型复杂度适中，能够很好捕捉数据模式，泛化能力强过拟合模型过于复杂，过度拟合噪声，训练误差小但测试误差大图5.6欠拟合、正常拟合和过拟合效果的对比5.3.1岭回归（L2正则化）定义通过引入L2正则化项约束回归系数的大小，防止模型过拟合核心思想在最小化残差平方和基础上加入正则化项，约束参数大小

岭回归目标函数

•λ：正则化参数，控制正则化项的权重(λ≥0)•Wⱼ：回归系数，通过L2范数进行约束防止过拟合约束回归系数不会过大提高泛化提升模型在新数据上的表现与线性回归区别λ=0时退化为普通线性回归岭回归目标函数

岭回归目标函数

第一项：残差平方和

衡量模型对训练数据的拟合程度第二项：L2正则化项

约束回归系数的大小，防止过拟合正则化参数λ的作用λ=0退化为普通线性回归λ较小轻微波束，接近线性回归λ较大强约束，显著减少过拟合岭回归解的形式

岭回归回归系数估计公式

X自变量矩阵(n×p)y因变量向量(n×1)I单位矩阵(p×p)λ正则化参数(λ≥0)关键特性•

•λ控制回归系数的缩小程度，值越大收缩越强•存在闭式解，计算相对高效•有效处理多重共线性问题5.3.2LASSO回归（L1正则化）定义LASSO回归通过引入L1正则化项，促使某些回归系数变为零，从而实现特征选择核心思想惩罚系数的绝对值而非平方，使不重要特征的系数收缩至零特征选择自动筛选重要特征，简化模型结构降维功能实现自动特征降维与模型简化区别岭回归系数可精确为零，岭回归仅缩小重要提示LASSO回归没有闭式解，通常使用坐标下降法等数值方法求解

LASSO回归目标函数

LASSO回归目标函数第一项：残差平方和

衡量模型对训练数据的拟合程度第二项：L1正则化项

惩罚系数的绝对值，促使系数趋于零L1正则化项的特点•使用绝对值惩罚，产生稀疏解•使不重要特征的系数精确为零•实现自动特征选择和降维•简化模型结构，提高可解释性

5.3.3ElasticNet定义L1正则化与L2正则化的结合体，综合LASSO回归和岭回归的优点为什么需要ElasticNet？解决LASSO在处理多重共线性时表现不佳的问题特征选择保留LASSO的特征选择能力，自动筛选重要特征多重共线性通过L2正则化更好地处理多重共线性问题平衡优势结合两者优点，在特征选择与稳定性间平衡重要说明ElasticNet的解通常通过迭代优化方法得到，其中λ₁控制L1正则化强度，λ₂控制L2正则化强度

ElasticNet目标函数

ElasticNet目标函数残差平方和

衡量模型拟合程度L1正则化项

特征选择与稀疏性L2正则化项

处理多重共线性参数λ₁的作用控制L1正则化强度，实现特征选择功能。值越大，稀疏性越强，更多系数趋于零。参数λ₂的作用控制L2正则化强度，处理多重共线性。值越大，系数收缩越明显，模型稳定性越好。

综合优势：通过调整λ₁和λ₂，在特征选择能力与模型稳定性之间找到最佳平衡

ElasticNet的优势与特点优势一：特征选择能力•保留LASSO的特征选择功能•自动筛选重要特征，降低模型复杂度•实现稀疏解，提高模型可解释性优势二：处理多重共线性•通过L2正则化稳定系数估计•避免LASSO在共线性时的随机选择•提高模型的鲁棒性和稳定性LASSO与岭回归的完美平衡LASSO特性特征选择与稀疏性岭回归特性稳定性与共线性处理ElasticNet两者优势兼得适用场景一：高维数据特征维度远大于样本数量时，自动选择重要特征，避免过拟合适用场景二：多重共线性特征间存在高度相关时，提供稳定的系数估计和特征选择

核心价值：在复杂特征空间中实现特征选择与模型稳定性的最优平衡5.3.4正则化对模型的影响减小系数•压缩回归系数的大小•限制模型复杂度•提高模型稳定性降低过拟合风险•约束系数防止过大•有效防止模型过拟合•提高泛化能力特征选择•自动筛选重要特征•简化模型结构•提高可解释性提高泛化能力通过限制模型复杂度，正则化使模型在未见数据上表现更好，避免过度拟合训练数据的噪声偏差-方差权衡正则化在增加模型偏差的同时降低方差，通过选择合适的λ参数在偏差和方差之间找到最佳平衡

实际应用：通过交叉验证等方法选择合适的正则化参数λ，在偏差和方差之间取得平衡三种正则化方法对比岭回归（Ridge）L2正则化约束形式L2范数：λ∑Wⱼ²约束区域圆形，平滑收缩特征选择无，系数缩小但不为零计算方法闭式解存在计算复杂度O(n³)，较高效LASSO回归L1正则化约束形式L1范数：λ∑|Wⱼ|约束区域菱形，顶点在坐标轴特征选择有，系数可精确为零计算方法无闭式解，需数值优化计算复杂度迭代求解，较高ElasticNetL1+L2正则化约束形式L1+L2结合：λ₁∑|Wⱼ|+λ₂∑Wⱼ²约束区域圆形与菱形的混合形状特征选择有，兼具稀疏性和稳定性计算方法迭代优化求解计算复杂度迭代求解，可调参数多适用场景对比岭回归多重共线性、数据稠密LASSO特征选择、高维稀疏数据ElasticNet高维数据+多重共线性正则化参数λ的选择交叉验证法K折交叉验证：将数据分为K份，轮流作为验证集计算不同λ下的平均验证误差选择验证误差最小的λ值网格搜索预设λ的候选值范围（如：10⁻⁴,10⁻³,...,10⁴）遍历所有候选值，评估模型性能选择性能最优的λ参数组合验证曲线分析绘制训练误差和验证误差随λ变化的曲线观察两条曲线的交叉点或间距变化确定最优λ值范围，避免过拟合或欠拟合自适应调整根据数据规模和特征数量动态调整λ结合领域知识和经验确定λ范围在实际应用中持续优化和调整λ对模型性能的影响λ过小约束不足→过拟合训练误差小，测试误差大λ适中平衡约束→最优泛化训练和测试误差都较小λ过大过度约束→欠拟合训练和测试误差都较大5.4回归模型应用示例QM9数据集量子化学基准数据集包含约13.4万个稳定的小有机分子丰富的物理化学性质每个分子记录19种量子化学计算性质材料科学应用场景适用于材料信息学算法实战演练回归预测任务输入特征(X)转动常数、偶极矩、极化率、HOMO/LUMO等分子描述符输出目标(y)分子内能U₀（单位：Hartree,Eₕ）建模目标构建函数f，使ŷ=f(X)尽可能接近真实y整体流程：理论→代码→材料应用理论推导线性回归解析解梯度下降优化正则化策略数据准备数据加载特征标准化数据集划分模型实现PyTorch框架训练迭代参数优化结果分析性能评估可视化展示物理意义解读5.4.1示例背景与任务定义QM9数据集特点约13.4万个分子稳定小有机分子19种物理化学性质量子化学计算数据任务类型回归预测任务基于分子描述符预测物理化学性质输入特征(X)转动常数(A,B,C)偶极矩(μ)极化率(α)最高占据轨道(HOMO)最低未占据轨道(LUMO)能隙(gap)输出目标(y)分子内能U₀•单位：Hartree(Eₕ)•反映分子的热力学稳定性学习目标掌握线性回归建模流程实现PyTorch模型构建理解材料科学应用QM9数据集介绍数据规模134,000+个分子稳定小有机分子碳、氢、氧、氮、氟等元素数据来源量子化学计算B3LYP/6-31G(2df,p)方法高精度计算结果数据格式CSV文件格式每行代表一个分子包含几何构型与性质包含的19种物理化学性质分子内能U₀内能U焓H自由能G零点能ZPVE最高占据轨道HOMO最低未占据轨道LUMO能隙Gap转动常数A/B/C偶极矩μ极化率α分子体积材料科学价值基准数据集算法验证平台材料设计应用机器学习研究应用领域药物分子设计催化剂开发能源材料研究有机化学合成任务定义与目标输入特征(X)A-转动常数B-转动常数C-转动常数μ-偶极矩α-极化率HOMO-最高占据轨道LUMO-最低未占据轨道Gap-能隙R²-电子空间范围ZPVE-零点振动能输出目标(y)分子内能U₀•单位：Hartree(Eₕ)•反映分子在绝对零度时的能量状态建模目标ŷ=f(X)构建映射函数f，使预测值ŷ尽可能接近真实值y线性回归模型无正则化约束直接求解线性映射关系可能存在过拟合风险岭回归模型添加L2正则化项约束参数大小，提高稳定性有效防止过拟合5.4.2数据处理的关键步骤数据预处理的重要性数据预处理是机器学习项目成功的基石，直接影响模型的训练效果和泛化能力数据集划分训练集60%验证集20%测试集20%•训练集：计算梯度更新参数•验证集：监控是否过拟合•测试集：最终评估标准特征标准化消除不同特征间的数值差异使所有特征均值为0、方差为1提高梯度下降收敛速度避免数值计算问题StandardScaler数据加载器转换为PyTorch张量格式构建TensorDataset对象创建DataLoader支持批量训练自动打乱和并行加载数据batch_size=64数值差异问题示例转动常数A可达数千能隙Gap仅为小数→导致损失函数等高线呈细长椭圆状，产生振荡数据流程原始数据划分标准化加载器数据集划分策略TrainingSet60%训练集计算梯度更新模型参数构建预测模型ValidationSet20%验证集监控训练过程检测过拟合现象选择超参数TestSet20%测试集最终评估标准衡量泛化能力仅使用一次为什么需要三分？训练集用于学习模式验证集避免模型记住训练数据测试集提供无偏估计随机性与可重复性随机划分保证数据分布均匀设置随机种子确保可重复性实验结果可验证、可对比代码实现PyTorch&NumPytorch.manual_seed(42)Scikit-learnrandom_state=42特征标准化的必要性为什么需要标准化？消除不同特征间的数值差异统一特征尺度，避免某些特征主导优化加速梯度下降收敛速度提高模型训练稳定性不标准化的后果损失函数等高线呈细长椭圆状梯度下降过程中产生振荡收敛速度大幅降低可能陷入局部最优QM9数据集特征数值差异示例转动常数A可达数千转动常数B可达数千能隙Gap仅为小数零点能ZPVE仅为小数标准化方法X_scaled=(X-μ)/σ使所有特征的均值为0使所有特征的方差为1StandardScaler代码实现Scikit-learnScaler_x=StandardScaler()X_train=scaler_x.fit_transform(X_train)X_val=scaler_x.transform(X_val)•fit_transform:训练集拟合并转换•transform:验证集仅转换5.4.3基于PyTorch的线性回归实现数据准备加载数据并选择特征划分训练/验证/测试集特征标准化处理构建数据加载器模型构建定义线性回归模型类实例化模型对象定义损失函数(MSE)设置优化器(Adam)训练迭代前向传播计算预测计算损失函数值反向传播计算梯度更新模型参数评估与可视化测试集评估模型性能计算R²分数绘制损失曲线展示预测结果对比数据准备模型构建训练迭代评估可视化数据准备代码实现数据加载数据集划分X_temp,X_test,y_temp,y_test=train_test_split(X_raw,y_raw,test_size=0.2,random_state=42)X_train,X_val,y_train,y_val=train_test_split(X_temp,y_temp,test_size=0.25,random_state=42)特征标准化构建数据加载器关键要点随机种子random_state=42确保可重复性标准化顺序先fit_transform训练集，再transform验证/测试集数据类型转换为PyTorch张量(float32)批量大小batch_size=64平衡效率与内存scaler_x=StandardScaler()X_train=scaler_x.fit_transform(X_train)X_val=scaler_x.transform(X_val)X_test=scaler_x.transform(X_test)scaler_y=StandardScaler()y_train=scaler_y.fit_transform(y_train.reshape(-1,1)).flatten()y_val=scaler_y.transform(y_val.reshape(-1,1)).flatten()train_dataset=TensorDataset(torch.from_numpy(X_train),torch.from_numpy(y_train).view(-1,1))train_loader=DataLoader(train_dataset,batch_size=64,shuffle=True)df=pd.read_csv('qm9.csv’)df_sample=df.sample(n=5000,random_state=42)feature_cols=['A','B','C','mu','alpha','homo','lumo','gap','r2','zpve’]target_col='u0’X_raw=df_sample[feature_cols].values.astype(np.float32)y_raw=df_sample[target_col].values.astype(np.float32)模型构建代码实现模型类定义模型实例化#输入维度：10个特征损失函数定义criterion=nn.MSELoss()#均方误差损失函数优化器设置#L2正则化λ=0.0001关键要点模型结构单层线性变换，无激活函数损失函数MSE适合回归任务学习率lr=0.01适中的学习速度L2正则化weight_decay=1e-4防止过拟合classLinearRegression(nn.Module):def__init__(self,input_dim):super(LinearRegression,self).__init__()self.linear=nn.Linear(input_dim,1)defforward(self,x):returnself.linear(x)model=LinearRegression(input_dim=len(feature_cols))optimizer=optim.Adam(model.parameters(),lr=0.01,weight_decay=1e-4)训练迭代代码实现训练循环epochs=100forepochinrange(epochs):model.train()#训练模式batch_loss_acc=0forbatch_x,batch_yintrain_loader:前向传播&损失计算optimizer.zero_grad()#1.梯度清零output=model(batch_x)#2.前向传播loss=criterion(output,batch_y)#3.计算损失batch_loss_acc+=loss.item()反向传播&参数更新loss.backward()#4.反向传播optimizer.step()#5.更新参数train_losses.append(batch_loss_acc/len(train_loader))验证集评估model.eval()#评估模式withtorch.no_grad():val_loss=criterion(model(X_val_tensor),y_val_tensor).item()val_losses.append(val_loss)关键要点训练模式model.train()启用Dropout/BatchNorm梯度清零每次迭代前清零梯度累积评估模式model.eval()不计算梯度损失记录记录训练和验证损失评估与可视化代码实现测试集评估model.eval()#评估模式withtorch.no_grad():pred_test_scaled=model(X_test_tensor).numpy()pred_test_real=scaler_y.inverse_transform(pred_test_scaled).flatten()r2=r2_score(y_test,pred_test_real)损失曲线绘制fig,axes=plt.subplots(1,2,figsize=(12,5))ax1=axes[0]ax1.plot(train_losses,label='训练集损失',color='black',linestyle='-',linewidth=1.5)ax1.plot(val_losses,label='验证集损失',color='black',linestyle='--',linewidth=1.5)ax1.set_xlabel('训练轮次(Epoch)')ax1.set_ylabel('均方误差(MSE)')ax1.legend()预测结果对比ax2=axes[1]idx=np.random.choice(len(y_test),200,replace=False)ax2.scatter(y_test[idx],pred_test_real[idx],alpha=0.6,color='gray',label='样本点')min_val,max_val=y_test.min(),y_test.max()ax2.plot([min_val,max_val],[min_val,max_val],color='black',linestyle='--',linewidth=2,label='完美预测线')ax2.set_xlabel(r'真实内能($U_0/E_h$)')ax2.set_ylabel(r'预测内能($U_0/E_h$)')关键要点inverse_transform：还原标准化后的预测值到真实单位R²分数：衡量模型预测准确度（越接近1越好）损失曲线：监控训练和验证损失，判断过拟合训练结果展示训练日志输出$pythonqm9_regression.py开始训练模型...Epoch[10/100]|TrainLoss:0.7523|ValLoss:0.7418Epoch[20/100]|TrainLoss:0.4521|ValLoss:0.4486Epoch[30/100]|TrainLoss:0.3198|ValLoss:0.3152Epoch[40/100]|TrainLoss:0.2456|ValLoss:0.2421Epoch[50/100]|TrainLoss:0.1978|ValLoss:0.1956Epoch[60/100]|TrainLoss:0.1673|ValLoss:0.1658Epoch[70/100]|TrainLoss:0.1465|ValLoss:0.1452Epoch[80/100]|TrainLoss:0.1321|ValLoss:0.1309Epoch[90/100]|TrainLoss:0.1215|ValLoss:0.1203