量化学习笔记之二：引入混合神经网络的中长期国债收益率预测

目 录1、前言 42、何为混合神经网络模型 4RNN 4LSTM 5GRU 5CNN 6ATT 63、研究设计 6究架 6据取样构建 7经络型建 7型练评估 84、研究结论 9网预效对比 9于优型十期国收率测 13拟风检验 135、风险提示 15固定收益固定收益图表目录图表1：RNN型构 4图表2：LSTM和GRU的通架构 5图表3：LSTM与GRU对比 5图表4：CNN卷层作原理 6图表5报研框架 7图表6混矩和评价标算 8图表7预误评标 9图表8：LSTM模预性能估 10图表9：GRU型性能估 10图表10：NGRU型预性评估 10图表11：GRU-ATT预测能估 11图表12：NGR-T型测能估 11图表13：GRU型来1月益预情况 11图表14：GRU型来1月益变预测况 11图表15：GRU型来2月益预情况 12图表16：GRU型来2月益变预测况 12图表17：GRU型半年益预情况 12图表18：GRU型半年益变预情况 12图表19：GRU型来1收率测况 12图表20：GRU型来1收率化测情况 12图表21：益变度预结果 13图表22：益预果 13图表23：优GRU模过拟情况 14图表24：化度模型拟情况 14图表25：优型化模收率化度测结果 15图表26：优型化模收率测果 151、前言/（LSTM）构建以历史时间序列为单一输入变量的中国十年期国债收益率预测模型，实现了神经网络量化模型的初步落地。20262、何为混合神经网络模型混合神经网络是指整合了多种神经网络架构的深度学习模型能的提升。在金融时间序列分析上，常见的混合神经网络组合包括CNN-GRU-TT、CNN-LST-TT等。其中，CNN（卷积神经网络）具备捕捉门控神经网络和长短期记忆神经网络均属于具有时序记忆功能的循环神经网络注意力机制则能调节模型注意力权重，使其聚焦于重要的时间节点。RNN循环神经网络（RNN，全称RecurrentNeuralNetwork）是一种专门用于处理序列数据的神经网络。RNN在网络结构中引入循环结构设计，通过隐藏状态传递信息，使得网络能够记忆和利用先前输入的信息，被广泛应用于时间序列预测任务。但在长序列学习中，RNN这一特点导致训练过程中易出现梯度爆炸或梯度消失问题，LSTM模型和GRU模型是专门为解决这一问题而设计的变体。图表1：RNN模型结构UnderstandingLSTMNetworks，注：A表示局部神经网络，X表示输入值，h表示隐藏状态LSTM长短期记忆神经网络（LSTM，全称LongShort-TermMemoryNeuralNetwork），通过特有的门控机制来选择性的保留和遗忘信息，使网络能够跨越长时间路径传递关键信息且不发生梯度爆炸或消失。门控机制由三个门（遗忘门、输入门、输出门）和记忆单元组成，记忆单元负责在序列中传递信息，遗忘门决定从记忆单元中遗忘哪些信息，输入门决定将哪些新信息存入记忆单元，输出门基于更新后的记忆单元决定将哪些信息输出到隐藏状态。GRU门控神经网络（GRUGatedRecurrentNeuralNetwork）LSTMLSTMGRU的网络参数相LSTM图表2：LSTM和GRU的通用架构PubMedCentral(PMC)，图表3：LSTM与GRU对比PubMedCentral(PMC)，CNN卷积神经网络（CNN，全称CnvlinalNeralNetwok）是一种专门用于处理网格状数据的神经网络。CNN使用卷积运算来替代一般的矩阵乘法运算，网络也被应用于金融领域的探索，因为时序数据的内在结构可以抽象成与图片类似的二维网格结CNNRNN结合形成混合模型来处理金融时间序列。图表4：CNN卷积层工作原理IBM官网，；注：Filter为滤波器ATT注意力机制（ATT，全称Attention）是深度学习中的一种动态权重分配策略，通过对不同特征赋予不同的权重，模仿人脑学习过程中的选择性关注能力，允许模型在处理信息时有区别地聚焦于不同的输入信息。在金融时序的处理中，这一机制使模型能够聚焦于对预测结果影响最大的历史时刻，在实践中，ATT经常放在CNN和LSTM处理之后，对提取到的特征进行权重分配，提高预测精度。3、研究设计研究框架习笔记之一的研究，具有以下几点创新和优化：次信息对国债收益率进行预测；第二，引入混合神经网络模型，构建多种不同类型的神经网络组合，从预测方向和预测数值两个维度分别评估不同网络的预测表现，优选最佳模型；第三，聚焦收益率中长期变化，相比于常见的短期日度收益率变化预测，本次研究聚焦于十年期国债收益率中长期的趋势，给出未来一月至全年的收益率走势。图表5：报告研究框架绘制数据选取：2012120251218率波动的多维信息，预测对象为中债十年期国债收益率的月度波动值。数据预处理MinMaxScaler181,1样本构建：241236133132样本中，前90%10%过拟合监测。LSTMGRU效果，选择出对本篇实验适配性更强的循环神经网络（RNN）类型和超参数。RNN-TT和CNN-RNN-TT三类混合神经网络模型进行训练，对比其预测效果，观察CNN、ATT比评估后，得到最优模型。模型训练和评估训练策略：每次训练，模型最大迭代轮次为200轮，以降低验证集损失为优化50止，保留验证集损失最小的模型作为最优模型。模型评估：从预测方向、预测数值两大维度来评估模型的预测效果。121212202312021120221220231202312y1、y2…y12，则对于此样本中，20231202212y1、20232月的收益率预测值=20221213311212612全率、F17图表6：混淆矩阵和分类评价指标计算绘制；注：TP、FP、FN、TN代表对应情况的样本数量12612绝对误差（MAE）和均方根误差（RMSE）三大指标来评价其预测效果。图表7：预测误差评价指标绘制4、研究结论按照上述设计完成实验后，对比不同模型的表现，我们得到以下核心结论：第一，单一GRU模型的综合预测表现最佳。单一模型中，综合预测方向胜率和预测数值误差两方面来看，GRULSTMGN-GRU、GRU-TT、CNN-GRU-TT架构的混合模型来进行对比，GRUGRU24GRULSTM、CNN、ATTGRUGRU模型预测结果为12163%、71%、8991F174%、80%、93%和94F140%、49%、7481%。对于这一结果，我们认为是因为国债收益率波动的中长期规律性要强于短期规律性，12规律性更强，因此模型能够实现更好的预测效果。MAEGRU1218BP11BP13BP14BP差的绝对值更具价值。图表8：LSTM模型预测性能评估LSTM预测时间区间1年半年2个月1个月预测方向准确率87%89%72%64%收益率下行85%10091%71%93%62%91%F192%93%80%74%收益率上行查准率100%85%77%71%查全率F153%69%70%77%39%52%29%41%预测数值MAE0.170.160.120.08MSE0.050.040.030.01RMSE0.220.210.160.10， 样本预测起始月范围：2014年1月至2025年1月图表9：GRU模型预测性能评估GRU预测时间区间1年半年2个月1个月预测方向准确率91%89%71%63%收益率下行90%99%89%97%70%94%62%91%F194%93%80%74%收益率上行查准率96%88%78%70%查全率F169%81%64%74%35%49%28%40%预测数值MAE0.140.130.110.08MSE0.030.030.020.01RMSE0.170.160.150.10， 样本预测起始月范围：2014年1月至2025年1月图表10：CNN-GRU模型预测性能评估CNN-GRU预测时间区间1年半年2个月1个月预测方向准确率73%75%62%56%收益率下行查准率73%75%62%56%查全率100%100%100%100%F184%86%76%72%收益率上行查准率---查全率0%0%0%0%F1----预测数值MAE0.360.230.130.09MSE0.220.100.030.01RMSE0.470.310.180.11， 样本预测起始月范围：2014年1月至2025年1月；注：收益率上行阶段查准率和F1无数据是因为模型预测结果中无收益率上行情况图表11：GRU-ATT模型预测性能评估GRU-ATT预测时间区间1年半年2个月1个月预测方向准确率73%75%52%52%收益率下行73%10075%59%73%56%71%F184%86%65%62%收益率上行查准率--29%42%查全率F10%-0%-18%22%28%33%预测数值MAE0.350.240.140.09MSE0.200.090.030.01RMSE0.440.310.180.11， 样本预测起始月范围：2014年1月至2025年1月；注：部分时间段无收益率上行查准率和F1数据是因为模型对该时间段的预测结果中无收益率上行情况图表12：CNN-GRU-ATT模型预测性能评估CNN-GRU-ATT预测时间区间1年半年2个月1个月预测方向准确率73%75%62%56%收益率下行73%100%75%100%62%100%56%100%F184%86%76%72%收益率上行查准率----查全率F10%-0%-0%-0%-预测数值MAE0.360.240.130.09MSE0.220.100.030.01RMSE0.470.320.180.11， 样本预测起始月范围：2014年1月至2025年1月；注：收益率上行阶段查准率和F1无数据是因为模型预测结果中无收益率上行情况 实际收益率预测收益率图表13：GRU模型未来1月收益率预测情况 图表14：GRU模型未来1 实际收益率预测收益率5.04.03.02.01.02014/012014/102014/012014/102015/072016/042017/012017/102018/072019/042020/012020/102021/072022/042023/012023/102024/07

0.4实际收益率变化预测收益率变化实际收益率变化预测收益率变化0.0(0.4)2014/012014/102014/012014/102015/072016/042017/012017/102018/072019/042020/012020/102021/072022/042023/012023/102024/07大证券研究所 单位预测区间年1月至2025年1月；111预测值

大证券研究所 单位预测区间年1月至2025年1月；注：收益率变化指相较1个月前收益率的变化实际收益率预测收益率图表15：GRU模型未来2月收益率预测情况 图表16：GRU模型未来2月收益率变化预测情况实际收益率预测收益率5.04.03.02.01.02014/022014/112014/022014/112015/082016/052017/022017/112018/082019/052020/022020/112021/082022/052023/022023/112024/08

0.6实际收益率变化预测收益率变化实际收益率变化预测收益率变化0.2(0.4)2014/022014/112014/022014/112015/082016/052017/022017/112018/082019/052020/022020/112021/082022/052023/022023/112024/08大证券研究所 单位预测区间年2月至2025年2月；212预测值

大证券研究所 单位预测区间年2月至2025年2月；注：收益率变化指相较2个月前收益率的变化；未来2个月收益率变化预测值=未来第1个月预测收益率变化+未来第2个月预测收益率变化实际收益率预测收益率图表17：GRU模型未来半收益率预测情况 图表18：GRU模型未来半收益率变化预测情况实际收益率预测收益率4.54.03.53.02.52.01.51.00.52014/062015/032014/062015/032015/122016/092017/062018/032018/122019/092020/062021/032021/122022/092023/062024/032024/12

1.0实际收益率变化预测收益率变化实际收益率变化预测收益率变化0.02014/062015/032014/062015/032015/122016/092017/062018/032018/122019/092020/062021/032021/122022/092023/062024/032024/12大证券研究所 单位预测区间年6月至2025年6月；1值

大证券研究所 单位预测区间年6月至2025年6月；6126图表19：GRU模型未来1收益率预测情况 图表20：GRU模型未来1收益率变化预测情况4.54.03.53.02.52.01.51.00.52014/122015/092014/122015/092016/062017/032017/122018/092019/062020/032020/122021/092022/062023/032023/122024/092025/06

实际收益率 预测收益率

实际收益率变化预测收益率变化实际收益率变化预测收益率变化1.00.02014/122015/092014/122015/092016/062017/032017/122018/092019/062020/032020/122021/092022/062023/032023/122024/092025/0612202512111112变化+…未来第12个月预测收益率变化

大证券研究所单位：%预测区间：2014年12月至2025年12月；注：收益率变化指相较12个月前收益率的变化；未来1年收益率变化预测值=未来第1212化GRU20241202512月的历史数据为2026112202617812202612320256BP。图表21：收益率变化幅度预测结果10年期国债收益率当月变化幅度预测值（%）0.0610年期国债收益率当月变化幅度预测值（%）0.040.020.00(0.02)(0.04)2026/012026/022026/032026/042026/052026/062026/072026/082026/092026/102026/112026/12(0.06)2026/012026/022026/032026/042026/052026/062026/072026/082026/092026/102026/112026/12， 10年期国债收益10年期国债收益率（预测值）3.002.802.602.402.202.001.801.601.401.202023/012023/032023/052023/012023/032023/052023/072023/092023/112024/012024/032024/052024/072024/092024/112025/012025/032025/052025/072025/092025/112026/012026/032026/052026/072026/092026/11， 单位：% 注：2026年1-12月为预测值过拟合风险检验GRU（通常为均方误差MSE，下同），二者的相对差距在202525%则认为模型存在过拟合风险。GRU46960.0690.08220%，相对差距满足设定的理想区间。图表23：最优GRU模型过拟合情况

训练集损失训练集损失验证集损失0 7 14 21 28 35 42 49 56 63 70 77 84 ， 样本预测起始月范围：2014年1月至2025年1月；注：横轴为模型训练轮次GRU16GRU12627.6%。图表24：泛化程度最高模型过拟合情况

训练集损失训练集损失验证集损失02468101214161820222426283032343638404244