基于XAI的循环神经网络可解释性探究

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况证券研究报告·金融工程深度究核心观点陈升锐chenshengrui@SAC编号：S1440519040002yaoziwei@SAC编号:S1440524040001王西之wangxizhi@SAC编号：S1440522070003发布日期：2024年04月13日探讨如何利用XAI解释模型预测陈升锐chenshengrui@SAC编号：S1440519040002yaoziwei@SAC编号:S1440524040001王西之wangxizhi@SAC编号：S1440522070003发布日期：2024年04月13日模型可解释性市场表现在众多机器学习模型中，深度学习模型准确性高但透明度低，XAI工具有助于拓宽“准确性-可解释性”的边界。落实到理解层面，主要途径有局部理解和自我解释，分别对应事后方法和事前方法。两类方法各有优劣，事后方法易用性强但可信度低，事前方法透明度高但实施成本大，导致两者适用于不同场景。市场表现 0% -5%-10%-15%2022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/42023/5/42023/6/4 国债指数上证指数选择四种代表性解释方法，并加以改造来适配数据形式和网络结构。TIG方法的核心是梯度值，以积分梯度代替单点梯度保证数值稳健。TOCC方法的核心是特征扰动，遮挡局部特征来比较预测值差异。TSHAP方法的核心是夏普值和代理模型，利用线性解释模型求解特征的边际贡献。TATT方法的核心是结构拓展2022/7/42022/8/42022/9/42022/10/42022/11/42022/12/42023/1/42023/2/42023/3/42023/4/42023/5/42023/6/4 国债指数上证指数相关研究报告预测阶段的解释结果相关研究报告选择TIG、TOCC和TSHAP这三类事后方法，观察样本和特征对模型预测的影响训练阶段的解释结果选择TATT这类事前方法，用于模型设定和特征对模型预测的影响。从解释结果来看，模型受随机种子影响有限；模型受循环单元结构的局部影响；适中学习率利于模型学习；特征集间的组合搭配可识别冗余特征；近期模型较早期模型出现模式突变。金融工程研究金融工程研究1 3 3 3 4 5 5 5 6 6 7 8 8 8 2 3 4 5 6 6 7 7 8 9 9 金融工程研究金融工程研究2本篇报告作为首篇专题（《基于循环神经网络的选股模型初探》）的补充，借助XAI工具箱探讨模型预测的可解释性。选择四种代表性的XAI方法，并做了局部改动以适配循环模型结构和序列数据结构，包括TIG方法、TOCC方法TSHAP方法和TATT方法。根据每个方法的特性，分别在训练阶段和测试阶段观察输入信息对输出预测的影响，对循环神经网络选股模型的可解释性进行探究。根据解释结果得到以下初步结论：1）模型预测存在非对称性影响：对小市值与低预测样本具有更高敏感性；2）有限影响模型预测的因素：样本序列长度和随机性设定；3）局部影响模型预测的因素：预测标签跨度、学习率设定和循环单元结构；4）显著影响模型预测的因素：特征间组合、特征预处理方法、训练期和预测期。本篇报告以“特征预测”的视角得到上述结论，首篇专题以“预测收益”的视角也得到了类似结论。可解释性工具有助于理解模型决策依据，并为调校优化模型提供参考。XAI（eXplainableArtificialIntelligence）即可解释人工智能，可用于提升人们对模型决策结果的理解。如图表1所示，1）XAI对各类模型意义不同：部分模型（如深度学习、集成模型等）透明度低、需要XAI额外提供可解释性，另一部分模型（如线性回归、决策树等）透明度高、自身具备较高可解释性，这与模型的复杂度息息相关；2）XAI的作用是拓宽“准确性-可解释性”的边界：不仅是提升可解释性，加深对模型的理解有助于改进和调教复杂模型，亦能提升表现。资料来源：Arrietaetal.(2020)，中信建投金融工程研究金融工程研究3二、模型可解释性思路依据Arrietaetal.(2020)的描述，模型的透明程度可分为三个层级，如图表2所示：1）可模拟性（Simulatability人脑可完全模拟并掌握模型的决策流程，适用于复杂度偏低且规模较小的模型；2）可分解性（Decomposability将模型拆分为多个部分包括输入信息、模型参数等，这些部分均易于理解并可对模型决策做出解释；3）算法透明（AlgorithmicTransparency模型算法明晰，但由于复杂度较高难以直观理解，需借助分析工具加以解释。对于深度学习模型而言：1）“深度”虽然能提升拟合效果，但也变成人脑难以模拟的程度，自然不能企及第一层级的透明度；2）端到端的特性也限制其达到第二层级的透明度，尽管使用者可以设定输入信息、网络结构、损失函数、预测目标和优化算法，但其中的数值求解过程、网络节点和模型参数含义等均不够明晰；3）相较于基于规则的模型，深度学习模型的算法思路与实现效果之间会存在鸿沟。资料来源：Arrietaetal.(2020)，中信建投可解释性是个抽象的概念，落实到理解层面需要具体的解释途径。业界通常使用事后解释（Post-hoc）的方法，如图表3所示，涉及四种常见类型：1）局部解释：对复杂度略低的子空间进行解释；2）实例解释：对特定样本进行解释；3）模型简化：在不明显降低性能的前提下，用低复杂度模型代替当前高复杂度模型；4）特征关联：衡量输入特征对输出结果的影响程度。另一方面，可以使用事前解释（Ante-hoc）的方法：对于低透明度的模型，将可解释性融入模型结构，在输出预测结果的同时得到相应的解释结果，实现自我解释的效果。对比事前与事后两种形式，两者各有优劣：1）事前方法需要重新训练模型，时间成本较高；2）事前方法需要改动模型结构，不能保证与原有模型的同等效果；3）事后方法存在于模型之外，无法保证解释结果的可信度。不仅是事前和事后，各类可解释性方法都有所侧重、也存在一定弊端，需要合理使用特定的解释方法。金融工程研究金融工程研究4资料来源：Arrietaetal.(2020)，中信建投相较于一般的机器学习模型，将可解释性方法应用于循环神经网络需要注意两个方面差异。一是数据结构的差异：通常为二维结构即样本维度和特征维度，而循环神经网络还必须包含时序维度。二是模型结构差异：循环神经网络利用其特有的循环结构来识别序列上的依赖关系。如果将事后方法用于时序维度，可以在每个时刻仅使用截止当前时刻的时序信息，即排除未来信息对当前时刻解释结果的影响，我们在TIG方法和TOCC方法的使用中采用该处理方式。对于事前方法，需要在设计模型时兼顾可解释性，尽管能增强模型的透明度，但可能会以牺牲模型性能或运行效率为代价。将事前方法应用于神经网络模型会有一定难度，需要适当修改网络架构，甚至添加新的可解释组件。对于循环神经网络会更具挑战性：1）时序数据不及图像数据的直观理解，缺少卷积神经网络用于解释图像的天然优势；2）相关研究成果较少，大多集中于卷积神经网络的可解释性探究。现有研究中，通常会将注意力机制嵌入到网络结构当中，所分配的权值即为对应输入信息的重要性分值，我们在TATT方法中采用该设计思路。金融工程研究金融工程研究5三、模型可解释性方法我们具体选择四种有代表性的解释方法，虽然均为特征关联的方法但思路各异，可以提供丰富视角。如图表4所示，1）TIG；2）TOCC；3）TSHAP；4）TATT。对比数值意义，TATT仅反映重要程度、不表明影响方向；TOCC体现绝对变化量，后文的测试结果会将其转换为变动比率，以便不同维度间比较。三种事后方法之间存在异同：1）TOCC与TSHAP在算法中都使用掩码思路，用基准值替换特定位置的特征信息，起到遮挡特征的作用；2）TOCC与TSHAP均假定特征间互相独立，在替换特征信息时未考虑特征间的联合分布；3）三者对序列数据处理方式有不同：TIG和TOCC衡量t时刻影响时，输入序列截止至t时刻，而TSHAP使用完整序列长度。对比事后方法与事前方法：TATT会修改原始模型结构且需要重新训练，TIG、TOCC和TSHAP直接用于训练好的模型而无需更改模型结构。从解释方法的开发难度和运行效率来看：1）TIG的开发难度较低、运行效率较高，通过框架接口获取梯度值、再利用线性插值近似积分值，运行效率容易受到精度要求的影响；2）TOCC的开发难度最低、运行效率最高，改变输入端的信息并计算输出端的差值，运行效率受到特征数量的影响；3）TSHAP的开发难度较高、运行效率较低，解释流程适用于单个样本，实现流程包括排列组合特征集、构建代理模型、简化优化问题并求解，运行效率容易受到样本数量的影响；4）TATT的开发难度最高、运行效率最低，需要先复现循环神经网络的单元结构、再拓展单元结构、最后添加注意力层，受到维度拓展的影响，训练时间会长于原始模型。简称参考来源方法类型数值意义模型改动使用阶段运行效率开发难度Integrated简称参考来源方法类型数值意义模型改动使用阶段运行效率开发难度IntegratedGradients基于梯度敏感系数否事后中低TIG基于梯度敏感系数否事后中低TIGTOCCOcclusion基于扰动变动量否事后高低TSHAPSHAP基于扰动+代理模型贡献值否事后低中TATTAttention基于注意力机制重要性占比是事前低高资料来源：中信建投梯度法（Gradients）计算预测值对输入值的偏导数，反映输出对输入的敏感程度，但在单点上容易出现梯度饱和的问题。积分梯度法（IntegratedGradients，简称IG）沿基准值至输入值的路径计算积分，衡量平均梯度值，改善了单点梯度的数值问题。如图表5所示，参考Sundararajanetal(2017)的研究：x0表示基准值、x1表示输入值、γ表示x0至x1的直线路径，IG方法计算特征i的路径积分，实操中通过数值积分方法来逼近，插值数量取50~200可基本满足精度要求。TIG方法是以IG方法为基础并适配序列数据，在每个时刻仅使用截止当前时刻的时序信息，同时仅计算当前时刻信息的积分梯度值。金融工程研究金融工程研究6资料来源：Sundararajanetal(2017)，中信建投遮挡法（Occlusion）通过比较遮挡特征前后预测值的差异来衡量特征影响程度，特点是思路直观、实现简单。如图表6所示，计算流程如下：1）原始输入信息x，喂给训练好模型得到原始预测f(x)；2）遮挡特征1后得到输入信息Mask1(x)，喂给训练好模型得到遮挡预测f(Mask1(x))；3）计算原始预测与遮挡预测的差异作为特征1的影响程度；4）对剩余特征重复步骤2-3，得到所有特征的影响程度。资料来源：Zeileretal(2014)，中信建投ShapleyValue可用于衡量特征的边际贡献，通过遍历所有特征组合来计算有/无特定特征下的效用差异，再将效用差异的期望值作为特征的边际贡献值。SHAP（SHapleyAdditiveexPlanation）基于ShapleyValue的计算理论构建可加解释模型，将模型预测值解释为预测均值与每个特征贡献值的总和。KernelSHAP是计算SHAP数值的一种具体方法，结合了线性LIME与ShapleyValue，即使用线性代理模型估计特征贡献量。如图表7所示，参考Lundbergetal(2017)的研究：1）将原始输入特征转化为简化特征；2）构建解释模型g(x)拟合原始模型的预测值；3）构建对应的带约束优化问题，通过换元转化为无约束优化问题并得到解析解。TSHAP方法会在时序维度和特征维度做切片，以便观察特定维度的贡献量。7资料来源：Lundbergetal(2017)，中信建投TATT方法会改造模型结构本身，参考Guoetal(2019)的研究，主要涉及两个核心思路：单元结构拓展和混合注意力机制。单元结构拓展扩充了原有维度，如图表8左侧所示，基础结构中隐藏节点与输入节点间两两相连，拓展结构中隐藏节点仅与特定输入节点关联，实际是升维原有结构、使新增维度与输入维度一致，好处是能明确隐藏节点与输入特征间的对应关系。将单元结构拓展的思路应用于循环单元的内部结构，构造拓展RNN/拓展GRU/拓展LSTM，输出信息也会同步扩充至四维结构。混合注意力机制基于概率混合模型添加注意力层，如图表8右侧所示，拓展RNN的输出信息会经过两个注意力层，第一个注意力层得到“时序注意力”表示每个特征在时序维度的权值分配，第二个注意力层得到“特征注意力”表示在特征维度的权值分配。资料来源：Guoetal(2019)，中信建投金融工程研究金融工程研究8四、模型可解释性测试数据方面，1）特征集：涉及日度行情特征和周度价格特征，默认使用日度价格特征（高开低收均五个价格特征2）特征序列长度：默认回溯30日；3）特征处理：先时序标准化、再截面标准化，默认用经验参数方法作截面处理；4）预测标签：默认预测未来10日收益率。模型训练方面，1）单元结构：默认使用GRU；2）样本划分：基于滑动时间窗口按顺序前推1年验证集和8年训练集；3）更新频率：自2016年末起，每两年重新训练模型，默认使用2016年末模型；4）抽样规则：每个Batch属于同期样本；5）目标函数：设置单目标函数，相关系数取反；6）迭代轮次：最多200轮，早停机制10轮。模型测试方面，1）回测区间：从2017年1月至2024年2月，以周度频率生成预测结果；2）随机性：默认采用固定随机种子。解释方法方面，在具体场景下选择特定的可解释方法，1）预测阶段：可以使用TIG方法、TOCC方法和TSHAP方法，这些方法均与模型结构无关且可以直接套用于训练好的模型，其中TSHAP方法更适用于解释单个样本；2）训练阶段：可以使用TATT方法，随模型迭代能同步获取解释结果。我们会调整数据和模型的设定，借助可解释方法来观察模型敏感程度/权值分布的变动结果，作为调校和优化模型的参考。选择TOCC方法，对比3种特征序列长度，如图表9右侧所示：在15日、30日、60日长度下，输入信息的二维敏感性分布大体相近，表明序列长度设定对模型预测敏感性的影响较低。类似地，对比3种预测标签跨度，如图表9左侧所示：在5日、10日、15日长度下，长跨度对于前端输入信息敏感性略高，表明拉长预测跨度会使模型较关注早期序列信息。资料来源：Wind，中信建投金融工程研究金融工程研究9选择TOCC方法，对比3种截面预处理方法：1）经验参数：计算训练集内的均值与标准差的参数值，沿用至验证集与测试集的zscore处理；2）面板：将当前批次样本的时序维度拉平为单截面，再做zscore处理；3）单截面：对当前批次样本每个时点单独做zscore处理。如图表10所示：1）单截面处理会明显削弱敏感程度，对模型预测会产生负面影响，主要源于单截面标准化会“磨平”时序信息；2）经验参数处理基本保留时序信息，模型预测敏感程度更高、区分度更强。资料来源：Wind，中信建投选择TIG方法，观察不同股票集的预测敏感性。按股票市值降序排列并分为3组股票集，如图表11左侧所示：相较于大市值和中市值，小市值股票整体呈现高敏感性。类似地，按模型预测值降序排列分组并分为3组股票集，如图表11右侧所示：相较于高预测值和中预测值，低预测值股票整体呈现高敏感性。资料来源：Wind，中信建投金融工程研究金融工程研究选择TSHAP方法，观察全市场股票的贡献值分布。对比2019年末和2023年末的时序贡献分布，如图表12所示，1）图例说明：横轴表示全市场股票、根据预测值由高到低自左向右排列，纵轴表示时序维度、由近及远自上而下排列，右侧灰色柱状表示各时点的平均绝对贡献量；2）2019年末的贡献值分布较均匀，时序贡献值随时点前推呈逐步衰减；3）2023年末的贡献值分布较集中，贡献量集中于近一周时序信息。资料来源：Wind，中信建投类似地，对比两种特征集的特征贡献分布。如图表13所示，特征贡献量呈现替代效应，在日度价格特征集内，日度收盘价的贡献量仅次于日度最低价，而在扩充后的混合行情特征集内，日度收盘价的贡献量排名倒数第四，且远不及日度最高价和日度均价。资料来源：Wind，中信建投金融工程研究金融工程研究本小节中均使用TATT方法，用于观察特征权值随模型迭代的变化情况。对比不同学习率的设定，如图表14所示：1）学习率设定为1e-3，权值曲线波动较大甚至存在阶跃式变化，训练终止后特征间的权值差异过大；2）学习率设定为1e-5，训练终止后特征间的权值差异过小；3）学习率设定为1e-4，权值曲线变化较平缓、训练终止前已趋于稳定，同时特征间存在明显区分度，表明1e-4是更适合的超参设定。资料来源：Wind，中信建投对比不同随机种子的设定，选择3个种子Seed0、Seed1和Seed2，结合5个日度价格特征共生成15个特征的权值曲线。如图表15所示，1）模型迭代的初始阶段，特征权值变动较为杂乱；2）模型迭代的尾声阶段，相同特征不同随机种子的权值曲线逐步趋同，表明随机性设定对特征权值影响有限。资料来源：Wind，中信建投对比不同循环单元结构，涉及常规的RNN、GRU和LSTM。如图表16所示，三者的特征权值分布存在差异：1）RNN权值分布的跨度最大，LSTM权值分布的跨度最小，GRU介于前两者之间；2）LSTM与GRU在特征维度上较相近，均偏重“最低价”且偏低“开盘价”，而RNN则大幅偏重“均价”且偏低“收盘价”。金融工程研究金融工程研究资料来源：Wind，中信建投将“混频行情”特征集划分为3个特征子集，包含“日频价格”、“周频价格”三者进行不同搭配能得到“混频价格”和“日度行情”。由于各特征集内的特征数量不一致，为了比较特征的重要程度，以相对权值（绝对权值）代替绝对权值。如图表17所示，1）混频价格中，周频价格特征重要性偏低，但最低价特征重要性较高；2）日频行情中，换手率、收益等信息对日度价格有补充作用；3）混频行情中，日频价格占据绝对主导，周频价格的重要性仍然偏低、可认定为冗余特征。资料来源：Wind，中信建投采用过去8年的滑动训练窗口，分别在2016年、2018年、2020年和2022年的年末重新训练，得到4个年份的模型。观察“日度收盘价”的时序模式，如图表18所示，2016年、2018年和2020年的时序模式大体相近，但在2022年发生突变。为了找寻突变源头，进一步观察训练过程中权值的演变情况，如图表19所示，1）2016年模型的训练过程较为平滑，时序模式在初始阶段和末尾阶段基本一致；2）2022年模型的训练过程较为挣扎，初始阶段的时序模式与2016年模型相近，但在中途遭遇转折并切换至另一条学习路径，由此出现年份上的突变，间接说明模型对训练数据的适应性较往年有所下降。资料来源：Wind，中信建投资料来源：Wind，中信建投金融工程研究金融工程研究本篇报告作为《基于循环神经网络的选股模型初探》的补充，借助XAI工具箱探讨模型预测的可解释性。我们实现并适配四种代表性XAI方法，在多种场景下展示解释结果，有助于调校和优化模型。从解释结果来看：1）模型对市值分组和预测值分组存在非对称影响；2）模型受随机性和序列长度的影响有限；3）模型受标签跨度、学习率、单元结构的局部影响；4）模型受预处理方法、训练期、预测期、特征组合的影响显著。风险提示：研究均基于历史数据，对未来投资不构成任何建议。文中的模型分析均是以历史数据进行计算和分析的，未来存在失效的可能性。市场的系统性风险、政策变动风险等市场不确定性均会对策略产生较大的影响。另外，本报告聚焦于深度模型构建和量化组合的回测效果，因此对市场及相关交易做了一些合理假设，但这样可能会导致基于模型所得出的结论并不能完全准确地刻画现实环境，在此可能会与未来真实的情况出现偏差。而且数据源通常存在极少量的缺失值，会弱微增加模型的统计偏误。六、参考文献AlejandroBarredoArrieta,NataliaDiaz-Rodriguez,JavierDelSer,AdrienBennetot,SihamTabik,AlbertoBarbado,SalvadorGarcia,SergioGil-Lopez,DanielMolina,RichardBenjamins,RajaChatila,andFranciscoHerrera.ExplainableArtificialIntelligence(XAI):Concepts,taxonomies,opportunitiesandchallengestowardresponsibleAI.InfFusion58,82-115(2020).ZiqiZhao,YuchengShi,ShushanWu,FanYang,WenzhanSong,andNinghaoLiu.InterpretationofTime-SeriesDeepModels:ASurvey.arXivpreprintarXiv:2305.14582(2023).MukundSundararajan,AnkurTaly,andQiqiYan.AxiomaticAttributionforDeepNetwork.InDoinaPrecupandYeeWhyeTeh(eds.),Proceedingsofthe34thInternationalConferenceonMachineLearning,Vol(70),3319-3328(2017).MatthewD.Zeiler,andRobFergus.VisualizingandUnderstandingConvolutionalNetworks.SpringerInternationalPublishing:Cham,818-833(2014).ScottM.Lundberg,andSu-InLee.AUnifiedApproachtoInterpretingModelPredictions.InProc.Ofthe31stInt.Conf.onNIPS,4768-4777(2017).TianGuo,TaoLin,andNinoAntulov-Fantulin.ExploringInterpretableLSTMNeuralNetworksoverMulti-VariableData.Proceedingsofthe36thInternationalConferenceonMachineLearning,2494-2504(2019).金融工程研究金融工程研究陈升锐：中信建投金融工程及基金研究组联席首席分析师，芝加哥大学金融数学硕士，8年证券基金从业经验（3年公募基金量化投资和5年证券研究工作经验2018年加入中信建投研究所，曾任中信建投金融工程分析师和金融产品组负责人，2018、2019、2020年Wind金牌分析师金融工程第2名、第2名、第5名团队核心成员。姚紫薇中信建投金融工程及基金研究首席分析师。上海财经大学管理学硕士，厦门大学统计学学士，在基金研究、资产配置、产品设计、财富管理等领域均有长期深入研究。曾担任招商证券基金评价业务负责人，多次获得“新财富”金融工程方向前三（团队核王西之：中信建投金融工程及基金研究组分析师，上海财经大学管理学硕士，曾担任券商研究员，拥有五年金工研究经验，2022年加入中信建投研究所，主要从事量化选股方向研究。报告中投资建议涉及的评级标准为报告发布日后个月内公司股价（或行业指数）相对同期相关证券市场代表性指数的涨跌幅作为基准。A股市场指为基准；香港市场以恒生指数作为基准；美国本报告署名分析师在此声明：（i）以勤勉的职业态度、专业审慎的研究