量化投资算法前瞻强化学习

正文目录导读 4AlphaGo取胜世界围棋冠军，强化学习进入大众视野 4市场对于强化学习在投资领域的应用拭目以待 4从马尔可夫决策过程到强化学习 5建立强化学习的语境 5实现强化学习算法 5马尔可夫过程 6掌握驱动：累积奖励期望 6从马尔可夫决策过程到强化学习 6强化学习常见分类方法 8强化学习经典算法 10强化学习在量化投资领域崭露头角 10强化学习用于投资组合管理 单资产交易信号 12算法交易优化执行 13期权定价及对冲策略 14构建单资产择时策略 14深度Q学习算法——双网络DQN 14利用双网络DQN实现择时策略 15策略表现与特异性参数分析 16折现因子 16经验回放内存容量 16目标网络的同步间隔 17优化后的择时效果 19策略迁移至行业指数的表现 20策略回顾 22总结与展望 22风险提示 23参考文献 24图表目录图1：AlphaGo所使用的策略网络与价值网络概念图 4图2：强化学习的常见分类 8图3：传统多因子模型与监督学习框架 12图4：基于强化学习模型的策略框架 12图5：传统方法下的算法交易框架 13图6：利用强化学习实现算法交易框架 13图7：使用不同折现因子的策略净值对比 16图8：使用不同经验回放内存容量的策略净值对比（𝛾=0.65） 17图9：使用不同目标网络同步间隔的策略净值对比（𝛾=0.65,C=500） 17图10：中证1000月度及年度收益指标统计 19图11：中证1000择时策略月度及年度收益指标统计 19图12：优化后中证1000择时策略的累计净值及超额收益表现 20图13：择时策略在申万一级行业上的超额收益表现 21图14：择时策略在申万一级行业指数上的超额收益及调仓情况 21表1：常见的无模型强化学习算法 9表2：常见算法的工作原理简述 10表3：强化学习在量化交易部分领域的近期研究成果 表4：双网络DQN算法的工作原理 14表5：基于双网络DQN框架的择时策略学习过程 15表6：策略回测使用的超参数列表 18表7：指数及相应择时策略的风险收益表现对比（2019-01-09至2022-12-30） 18表8：择时策略超额收益表现 18表9：收益目标优先的策略调整前后风险收益表现对比（2019-01-09至2022-12-30） 19表10：优化后择时策略超额收益表现 20导读AlphaGo取胜世界围棋冠军，强化学习进入大众视野2016年，AlphaGo以4：1的成绩胜过世界围棋冠军李世石。不久之后的2017年，AlphaGo在中国乌镇围棋峰会上与世界围棋冠军柯洁对战，以3：0总分获胜。AlphaGo的胜利标志着深度强化学习算法在围棋AI方面所取得的惊人成绩，深度强化学习获得了广泛关注，也引发了人们对于通用人工智能的思考与探索。AI（AlphaGo）胜率估算更加精确。此外，AlphaGo使用强化学习的自我博弈来实现策略网络的学习以改2章中具体介绍强化学习算法，对策略、价值等术语和相应的网络进行解释。图1：AlphaGo所使用的策略网络与价值网络概念图资料来源：《MasteringtheGameofGowithDeepNeuralNetworksandTreeSearch》，AlphaGo的面世为强化学习研究带来了学界和业界的广泛关注，加速深度强化学习研究领域的发展，其理论和应用得到了逐渐完善。在大规模计算的任务中，深度强化学习智能体展示了卓越的进步。研究人员在基于值函数和基于策略梯度的深度强化学习算法方面都取得了一系列的研究成果。深度强化学习的研究一方面可以提升各种复杂场景中智能体的感知决策能力，另一方面，高效算法的应用落地也体现在多个行业及领域，如医疗、智能驾驶、推荐系统等。市场对于强化学习在投资领域的应用拭目以待近年来，在电子订单驱动的市场中，关于成交、报价和订单流的大量金融数据的可得性及数据质量快速提高，彻底改变了数据处理和量化建模技术的底层基础，并带来了新的理论和计算上的挑战。强化学习带来了新颖的策略优化方法，即在某些系统中行动的决策者可以通过与系统的互动获得的重复经验来学习做出最佳决策。当交易者对市场和其他竞争者的信息有限时，使用强化学习算法有利于改善交易决策。在量化投资领域，将强化学习应用于算法交易、做市策略和投资组合管理等领域的研究成果不断推陈出新，获得了广泛关注，市场对于实际应用强化学习算法的策略和产品正拭目以待。从马尔可夫决策过程到强化学习强化学习有一套完整的框架来定义智能体与环境之间在状态、行动和奖励方面产生的互动。这个框架的目的是以一种简单的方式来表示人工智能问题的基本特征，包括因果关系、不确定性以及明确的优化目标。本章将首先建立起强化学习的术语环境，并介绍算法的数学基础马尔可夫决策过程，以帮助读者理解强化学习的工作原理，再对经典算法及其分类进行说明。建立强化学习的语境强化学习最大的特点就是在学习的过程中没有标准答案，而是通过奖励信号来学习，这比监督学习更加适应金融市场决策场景，即对于任一交易行为不做标签化的正误判断，而是通过实际获得的收益与风险来实现策略的评估与优化。在强化学习模型中，产生动作的决策者被称为智能体，智能体依据环境的状态，与环境交互从而决策，做出动作。在传统监督学习体系中，并未对交易决策与市场直接的相互作用进行有效的模拟，而强化学习则充分考虑了两者间的关系。环境可能存在的状态集合被称为状态空间，而智能体能选取的动作集合被称为动作空间。智能体从动作空间中依据一定的规则选取执行的动作，这种决策规则被称为智能体的策略。智能体每做出一个动作，都会得到环境相应的反馈，称为奖励。从当前时刻到回合结束的累计奖励记为回报。在任一时刻，智能体与环境交互会产生不同的轨迹，则未来回报具有不确定性，而回报的期望被称为价值。强化学习算法是通过设立恰当的奖励机制，不断优化智能体的策略，从而采取最大化价值的动作。2.2.1夫决策过程中学习外部信息并更新模型参数的。实现强化学习算法强化学习的基础框架是马可夫决策过程（MD。本文利用2.2MDP中实现学习和目标优化的，来阐述强化学习的工作原理。马尔可夫过程马尔可夫性假设未来的状态仅仅取决于现在的状态，独立于过去的状态，即，当前时刻的状态包含了此前的全部信息。马尔可夫性又被称为“无后效性”。𝑆0𝑆1,t所处的状态仅与𝑆𝑡−1t时刻之前的状态无关，则称这个过程为马尔可夫过程。掌握驱动：累积奖励期望在智能体与环境通过反馈信号不断进行交互，其最终目的是让智能体最大化累积奖励，即回报，记为G。对于有限时界（finite-horizon）的情况，累积奖励计算如下：𝐺𝑡=𝑟𝑡+1+𝑟𝑡+2+⋯+𝑟𝑁𝛾1的数，防止没有损耗地积累导致累积奖励目标发散，同时也代表了对未来奖励t时刻回报可以表达为结束时的所有奖励折现之和，即：∞=++𝛾2𝑟𝑡+3+⋯=∑ 𝛾𝑘𝑘=0很多时候环境状态是不确定的，智能体执行一个动作后会以一定的概率转移到另一个状态，因此得到的奖励也与这个概率相关。所以在计算累积奖励的时候，通常是计算奖励的期望，记为V，则状态s的期望奖励值表示为：=𝐸[𝐺𝑡|𝑆𝑡=𝑠]结合无时界累积奖励的表达式，期望奖励可记为：𝑉(𝑠)=𝐸[𝐺𝑡|𝑆𝑡=𝑠]=𝐸[𝑟𝑡+1+𝛾𝑟𝑡+2+𝛾2𝑟𝑡+3+⋯|𝑆𝑡=𝑠]=𝐸[𝑟𝑡+1+𝛾𝑉(𝑆𝑡+1)|𝑆𝑡=𝑠]从马尔可夫决策过程到强化学习马尔可夫决策过程可定义为一个五元组：M=(𝑆𝐴𝑅𝑃𝛾)，变量含义依次为状态空间SARP，𝑃(𝑠′|𝑠s下，下一个状态s’的概率。对于强化学习要学习的策略𝜋𝜋:𝑆→𝐴，并有：∑𝜋(𝑎𝑡|𝑠𝑡)=1𝑠′如何衡量策略𝝅的好坏？判断策略的累积奖励的期望值高低，即𝑉𝜋(𝑠)𝑉𝜋=𝐸[𝑟𝑡+1+𝛾𝑟𝑡+2+𝛾2𝑟𝑡+3+⋯|𝑆𝑡=𝑠](𝑠)=∑𝑃(𝑠′|𝑠)(𝑅(𝑠′)+𝛾𝑉(𝑠′))𝑠′上式又被称为价值函数，它表明了在遵循策略π的任务就是要找到一个最优的策略（optimalpolicy）𝝅∗，使得在任意初始状态s下，能够最大化价值函数，称为最优价值函数（ptimalvalueuction𝑉∗(𝑠)=max(𝑉𝜋(𝑠)),∀𝑠在强化学习问题中，很多时候，智能体想要知道在每个状态上做哪个动作最好，而最优价值函数只能提供当前状态的价值信息，智能体只能每个动作尝试一下，走到下一个状态，看哪个动作导致的下一个状态的价值是最好的，就用哪一个动作。由此可以定义成对的状态-动作价值函数𝑄𝜋(𝑠𝑡,𝑎𝑡)，来表示处于状态𝑠𝑡时执行动作𝑎𝑡的价值。∞𝑄𝜋(𝑠𝑡,𝑎𝑡)=E[∑𝛾𝑖−1𝑟𝑡+𝑖]𝑖=1=∑𝑃(𝑠′|𝑠𝑡,𝑎_𝑡)(𝑟(𝑠𝑡,𝑎𝑡,𝑠′)+𝛾𝑉𝜋(𝑠′))𝑠′则最优动作价值函数为：𝑄∗(𝑠,𝑎)=max(𝑄𝜋(𝑠,𝑎))∀𝑠,∀𝑎=𝐸[𝑟𝑡+1]+𝛾∑𝑃(𝑠′|𝑠𝑡,𝑎_𝑡)max(𝑄∗(𝑠′,𝑎′))𝑠′相应地，状态价值相当于在该状态下可采取的最优动作的价值，即：𝑉∗(𝑠)=max(𝑄𝜋∗(𝑠,𝑎))=max(𝐸[𝑟𝑡+1]+𝛾∑𝑃(𝑠′|𝑠𝑡,𝑎𝑡)𝑉∗(𝑠′))𝑠′𝑡(𝑠)当得到最优动作价值函数及对应的动作𝑎∗，每一步都使用同样方法搜索局部最优动作，得到一个最优动作序列最大化累积奖励。上述𝑉𝜋和𝑄𝜋(𝑠𝑡,𝑎𝑡)满足贝尔曼方程，𝑉∗(𝑠)和𝑡(𝑠)𝑄∗(𝑠,𝑎)属于贝尔曼最优方程。在贝尔曼最优方程的基础上，求解MDP不能通过线性规划的方式，而要通过动态规划来迭代求解。迭代过程即为强化学习的工作过程，依据求解过程中策略模型的不同，价值函数更新方式等，衍生出了不同的强化学习算法。本节对强化学习的数学本质与关键假设进行了介绍，以帮助投资者更好地理解强化学习算法如何适配各种投资场景。许多投资组合优化问题，例如养老金产生的问题，关注长期投资策略，因此很自然地将其表述为无期限的决策问题。而购买或售出一定数量的资产的最佳交易执行问题，通常涉及在指定时间范围内达到目标成交量，并在成交量未达标时会有惩罚，则可表述为一个有限时间跨度的决策问题。这些实际的交易场景均可转化为马尔可夫决策过程通过强化学习算法来优化交易策略，本文将在第3章中具体介绍。强化学习常见分类方法图展示了强化学习任务常见分类的常见标准，主要为两种分类标准，按任务与环境分类，以及按算法分类。以下进行逐一说明。图2：强化学习的常见分类资料来源：《强化学习：原理与Python实现》，从智能体的数量及信息交互分类，强化学习任务可分为单智能体任务（singleagenttask）和多智能体任务（multi-agenttak。顾名思义，根据系统中的智能体数量，可以将（甚至是互相对抗的。按目标任务的起止状态可将强化学习任务分为回合制任务（episodictask）和连续性任务（equentialtak从开始的空棋盘，到最后摆满的状态，一局棋是一个回合。下一个回合开始时，一切重新开始。而没有明确开始和结束时间点的场景，如机房的资源调度。机房从启用起就要不间断地处理各种信息，则可认为是一个连续性任务。还可依据智能体是否能观测到环境的全部知识，将强化学习分为完全可观测环境（fullyobervbleenvionmnt）和非完全可观测环境（partiallyobervablenvirnmnt。以棋牌游戏说明，围棋问题就可以看作是一个完全可观测的环境，因为我们可以看到棋盘的所有内容，并且假设对手总是用最优方法执行；扑克则不是完全可观测的，因为我们不知道对手手里有哪些牌。此外，按时间环境和动作空间是否连续，以及环境是否具有随机性，也可将强化学习任务分为对应的两类，此处不再赘述。而从算法角度对强化学习分类则较为常见，以下从四个角度进行区分。根据学习过程是否与决策同步进行，可分为同策学习（onpolicy）和异策学习（offpolicy史（可以是自己的历史也可以是别人的历史）异策学习的过程中，学习者并不一定要知道当时的决策。例如，围棋AI可以边对弈边学习，属于同策学习；围棋AI也可以通过阅读人类的对弈历史来学习，则属于异策学习。根据是否对环境建模可分为有模型学习（model-based）和无模型学习（model-free。在学习的过程中，如果设定了环境的数学模型或概率分布，则是有模型学习；如果没有用到环境的数学模型，则是无模型学习。对于有模型学习，可能在学习前环境的模型就已经AI可以在完全了解游戏规则的基础上虚拟出另外一个棋盘并在虚拟棋盘上试下，通过试下来学习。这就是有模型学习。与之相对，无模型学习不需要关于环境的信息，不需要搭建假的环境模型，所有经验都是通过与真实环境交互得到。根据学习过程中是否设定信息更新回合，可分为回合更新（MonteCarloupdate）和时序差分更新（temporaldiferenceudate。回合制更新是在回合结束后利用整个回合的信息进行更新学习；而时序差分更新不需要等回合结束，可以综合利用现有的信息和现有的估计进行更新学习。根据智能体产生动作的机制，可分为基于价值（valuebased）和基于策略（policybased）的算法。基于价值的强化学习定义了状态或动作的价值函数，来表示到达某种状态或执行某种动作后可以得到的回报。基于价值的强化学习倾向于选择价值最大的状态或动作；基于策略的强化学习算法不需要定义价值函数，它可以为动作分配概率分布，按照概率分布来执行动作。值得一提的是，强化学习和深度学习是两个独立的概念。一个学习算法是不是强化学习和它是不是深度学习算法是相互独立的。对于强化学习算法而言，在问题规模比较小时，能够获得精确解；当问题规模比较大时，常常使用近似的方法。深度学习则利用神经网络来近似复杂的输入/输出关系。对于规模比较大的强化学习问题，可以考虑利用深度学习来实现近似。而深度强化学习，是指使用深度神经网络作为价值网络、策略网络、转移模型或奖励函数的近似模型的强化学习。算法缩写 算法全称表1：常见的无模型强化学习算法算法缩写 算法全称A2C 优势演员评论家算法A3C A3C 异步优势演员评论家算法DQN QDQN Q网络MonteCarlo 蒙特卡洛方法（每次计算累积奖励）NAF NAF Q学习Q-learning (S,a,R,Q-learning (S,a,R,S’)Q学习算法（单步更新）Q-learningLambda 多步/Q学习算法REINFORCE REINFORCE 蒙特卡洛式策略梯度算法SARSA QSARSA Q学习算法TD3 双延迟深度确定性策略梯度算法TRPO TRPO 置信域策略优化算法资料来源：《Model-freeRLforAssetAllocation》，强化学习经典算法无模型（model-free）强化学习是本文讨论的主要分支。若对环境进行建模，则涉及其他统计学内容，与报告讨论的内容相关性较低。以下表中列举了常见的无模型算法及其简单释义。以上表1中涉及“深度”的算法，皆指模型中使用了神经网络，即属于深度强化2.2.223章结合近几年的研究成果分析强化学习是如何应用在金融市场投资的不同领域的。表2：常见算法的工作原理简述算法同策/异策动作空间状态空间评估类别A2C同策连续连续优势函数演员评论家A3C同策连续连续优势函数演员评论家DDPG异策连续连续Q值函数演员评论家DQN异策离散连续Q值函数基于价值MonteCarlo均有离散离散回报均值基于价值NAF异策连续连续优势函数基于价值PPO同策连续连续优势函数演员评论家Q-learning异策离散离散Q值函数基于价值Q-learning-Lambda异策离散离散Q值函数基于价值REINFORCE同策连续连续Q值函数基于策略SAC异策连续连续优势函数演员评论家SARSA同策离散离散Q值函数基于价值TD3异策连续连续Q值函数演员评论家TRPO同策连续连续优势函数演员评论家资料来源：《Model-freeRLforAssetAllocation》，强化学习在量化投资领域崭露头角强化学习算法在量化交易里面的应用研究已经涵盖多个方面，涉及从低频到中高频交易领域：投资组合管理，单资产交易信号，算法交易，以及期权对冲和定价。本文将按应用领域分类对强化学习算法的研究成果进行梳理，并取其中的部分实例详细阐述。领域 发表 研究亮点表3：强化学习在量化交易部分领域的近期研究成果领域 发表 研究亮点Liang,Z.,Chen,H.,Zhu,J.,Jiang,K.,&Li,Y.使用了对抗性网络实现深度强化SARSASARSA算法和微分夏普比率优化养老基金管理策略P.C.Pendharkar&P.Cusatis,2018

学习算法投资组合管理

H.Wang&X.YZhou2020 RL中的“探索与利用”资组合管理含模糊算法的深度强化学习模型含模糊算法的深度强化学习模型实现股票价格预测Deng,Ren,Kong,Bao,&Dai,2016.簿数据的算法交易MKarpe簿数据的算法交易MKarpeJ.FangZ.MaandC.Wang2020.RL算法实现订单单资产交易信号D.R.Recupero,2021.

模型生成单资产信号算法交易

H.Wei,Y.Wang,L.Mangu,andK.2019.

较少见的基于模型的强化学习算法对订单簿进行预测B.Ning,F.H.T.Ling,andSJaimungal, DQN算法实现下单2018. 优化策略期权对冲与期权定价I.Halperin2019. Q价H.Buehler,L.Gonon,J.TeichmannandB. Heston模Wood2019. 型的期权对冲策略资料来源：参考文献[4]-[13]，强化学习用于投资组合管理略和指数增强策略。常规的解决方案是对个股的预期收益进行评估，买入具有上涨潜力的股票并增加权重，卖出可能跌或者相对弱势的股票，是一个多时间序列（MultipleTimeSeries）QDQNDPGDDPG，都被应用于解决此类投资组合优化问题。状态变量通常由时间，资产价格，资产过去的回报，当前持有的资产和资金余量组成，既包括组合内的资产的行情数据，也包含持仓数据。输出的控制变量设置为投资于组合中各个资产的数量/比例。使用的奖励函数包括投资组合收益，微分夏普比率，也有较为常见的收益指标。基准策略包括恒定再平衡投资组合（CP衡到资产之间的初始资金分配，以及买入持有策略等。在评价强化学习实现的组合优化策Sortino以下两图中以策略框架的形式对强化学习的投资组合策略模型与传统方案进行对比，框架综合了几种强化学习算法，在不同的文献中对价值函数和策略网络及其他模块的功能划分会有调整。图3：传统多因子模型与监督学习框架 图4：基于强化学习模型的策略框架资料来源： 资料来源：强化学习在此类问题中有两个优势：一，强化学习的目标设定直接且灵活，可以将手续费和风险按照即时反馈的形式让模型学习；而监督学习对于手续费的设置对于模型训练属于固定参数，并且不能直接对调仓进行干预。二，强化学习直接生成权重，可以灵活地分配权重；而利用监督信号生成策略的规则通常是主观规定的。使用强化学习框架有望在投资组合管理问题中获得表现更加优秀的策略。使用强化学习解决投资组合管理也有一些比较棘手的挑战：一方面强化学习算法本身就有高方差不容易训练的问题，对超参数比较敏感，结果的安全性和稳定性需要注意。另一方面，由于强化学习可以尝试很多权重分配的可能，将奖励信号从多资产的向量变成一个标量，“抹平”了一些信息，可能需要更多的尝试才能获得比较好的结果。考虑到多资产序列比单一资产序列含有更多可以挖掘信息，现有的方法不仅仅在时间维度上抽取特征，还很关注资产之间的相关关系。最近发表的研究成果创新点都在于网络结构的设计上，使用最新的监督学习领域的进展抓取多资产序列的时间和空间特征。单资产交易信号单资产的交易信号开发是指对单一资产进行买卖操作，即择时策略，以获得比买入-持有更高利润的研究。最早可追溯到均值回归模型，到后来的监督学习模型都在单资产交易领域留下了市场认可的辉煌业绩，但随着同质化策略交易越来越拥挤，交易者们始终在寻找新的思路。从前述3.1节中可以看出，应用于投资组合管理的强化学习研究的主要关注点在于时空关系的发掘，并没有很多强化学习算法设计上的独特创新。而在单资产的交易信号的研究过程中，因为对算力资源的消耗相对较少，测试难度相对较低，在复杂的模型架构上有许多新颖的尝试，如多智能体的集合算法。状态函数，价值函数的设置与投资组合优化问题较为接近，可理解为组合中标的数量为1的特殊情况，因此不再详细描述。算法交易优化执行算法交易执行优化是经典的最优化问题，交易者在一定时间内买入或卖出指定数量的单一资产，其交易策略的目标是交易成本最小化。广泛使用的评价执行算法性能的指标有，盈亏、执行亏损和夏普比率。其中算法交易的执行亏损被定义为该算法的PnL与即时交易全部资产所获得的PnL之间的差额。用于比较的策略基准包括基于时间加权平均价格和数量加权平均价格的执行策略，以及下单即离策略（SubmitandLeave/SnL，交易者以固定的限价订单为所有股票发出卖出订单，并在余下的交易时间中对未成交的股票不再进行交易。状态变量选取了时间戳、市场行情及其衍生特征组成。市场衍生特征又包括资产的买卖均价和/或价差，存量分布和过去一段时间内的回报。输出的控制变量可设定为待交易份额（使用市价单）和每个时点的相对价位（使用限价单数有多种选择，取决于交易目标和交易者偏好，包括现金流入或流出，执行亏损，利润，PnL。图5：传统方法下的算法交易框架 图6：利用强化学习实现算法交易框架资料来源： 资料来源：本文对传统的算法交易系统和使用强化学习框架的算法交易系统进行了模型对比，如5-6。强化学习算法中的智能体，综合实现了订单算法单元和市场状态动态评估的功5A的交易任务来下达指令的计算逻辑是固定的或者根据执行者选择的时间周期进行更新。而6，执行交易的智能体会在交易过程中实时对每一种交易行为（包括订单类别和报撤单行为等）进行评估，并更新价值网络和策略网络，做到动态适应。传统复盘时做出的参数调整，如下单延迟、交易成本等，在基于强化学习的算法交易系统中可以在盘中调整，即时生效。在下单优化领域，表现较好的是双网络DQN算法和近端策略优化算法。值得注意的是，强化学习算法在交易执行优化策略上的表现，与基准策略的表现相关。当基准TWAP是最优的时候，近端策略优化算法被证明会收敛到TWAP，而双网络DQN则不能；当TWAP不是最优时，两种算法的表现都优于该基准。期权定价及对冲策略在强化学习算法中，深度Q学习、近端策略优化、和深度确定性策略梯度算法已被应用于寻找对冲策略和金融衍生品定价。定价模型的基准通常是BSM模型和二项式期权定价模型，而对冲策略通常使用delta对冲的离散近似值，或Heston对冲作为比较基准。根据前述对期权定价模型的构成，状态变量通常包括资产价格、当前头寸、期权行权价和到期前的剩余时间。模型输出的控制变量通常设定为持仓变化。奖励函数的选取则包（如均值-方差组合优化化学习的对冲策略，其优化目标包括对冲成本，对冲亏损，平均收益等。设计奖励函数时，充分考虑了包括交易成本，仓位限制，及交易所固有约束等（例如需要按照证券的标准数100股，进行交易构建单资产择时策略本文选取较为常见的单资产交易信号研究，利用强化学习框架来构建择时策略。利用量价数据作为输入特征的单资产择时，具有离散的状态空间。另一方面，不同交易行为构2QDQNDQN算法来实现策略框架。深度Q学习算法——双网络DQNDQNQQ学习中表格式的状态-DQNDQN来评估最大化策略网络的动作状态价值。其算法4所展示。DoubleDeepQ-Network(2015)表4：双网络DQN算法的工作原理DoubleDeepQ-Network(2015)𝐷𝑄𝑄并同步参数i幕遍历：5 t（1≤𝑡≤𝑇）时刻，读取状态𝑠𝑡：6 依据概率𝜖𝑎𝑡Q值的动作𝑎𝑡=argmax𝑎∈𝐴(𝑄(𝑠𝑡𝑎))7 根据𝑎𝑡计算奖励𝑠𝑡+18 将四元组(𝑠𝑡𝑎𝑡𝑠𝑡+1)存入经验回放内存𝐷9 从内存𝐷中进行小批次抽样，对每个样本𝑎𝑗𝑠𝑗+1)计算目标：10

𝑟𝑗,若𝑗+1时刻结束={𝑗 𝑟+𝛾max∗

̂(𝑠 ,𝑎∗),𝑎∗=argax𝑄𝑠

,𝑎)𝑗

𝑗+1𝑗

𝑎 𝑡+111211计算损失L=𝐸[(𝑸(𝑠𝑗,𝑎𝑗)−𝒚𝑗)]并更新𝑄网络参数每隔𝐾/𝑄资料来源：《DeepRLwithDoubleQ-learning》，利用双网络DQN实现择时策略本节将阐述DQN算法如何产生择时信号，并将强化学习的术语与实际的数据一一对应。在生成单资产交易信号方面，本文选择宽基指数择时策略来进行应用场景测试。按照强化学习的框架来实现策略的学习：状态𝑠𝑡：标的在时间区间[𝑡−𝑙𝑜𝑜𝑘𝑏𝑎𝑐𝑘,𝑡]内的量价形态，经过一定的预处理或特征工程𝜙之后可记为𝜙(𝑠𝑡)；动作𝑎𝑡：在t时刻策略可采取的交易行为，买入，持有/维持空仓，及卖出；奖励,𝑅𝑡+𝑁t+1N日的收益率：𝑟𝑡=

𝑅𝑡+𝑁−𝑐，𝑎𝑡买入，无持仓𝑅𝑡+𝑁，𝑎𝑡买入，有持仓−𝑅𝑡+𝑁，𝑎𝑡卖出，无持仓{𝑡𝑁−，𝑎𝑡卖出，有持仓除此之外，还有DQN算法所特有的术语，如经验回放内存，经验回放内存是一个样本容器，它保证了模型在学习时，每一次抽样的小批次样本是从相对时序上更加接近当前时刻的样本。基于双网络DQN算法的择时策略学习过程见表5。表5：基于双网络DQN框架的择时策略学习过程𝐷𝑄，以及与𝑄并同步参数i幕遍历，按交易日顺序：t（1≤𝑡≤𝑇）n个交易日的量价数据𝑠𝑡：5 依据概率𝜖𝑎𝑡Q值的𝑎𝑡=argmax𝑎∈𝐴(𝑄(𝑠𝑡𝑎))6 根据𝑎𝑡计算奖励𝑠𝑡+17 将四元组(𝑠𝑡𝑎𝑡𝑠𝑡+1)存入经验回放内存𝐷8 从内存𝐷中进行小批次抽样*9 (𝑗𝑗𝑗𝑗+1)计算目标𝑗𝑗+𝛾ax𝑎∗∈𝐴̂(𝑗+1𝑎∗)𝑗 𝑗10210计算损失L=(𝑸(𝑠𝑗,𝑎𝑗)−𝒚)并更新𝑄网络参数11 每隔𝐾𝑄资料来源：5DQN始终在模拟{样本特征→收益}的映射关系，而强化学习算法则按照时序关系将t时刻与t+1时刻之间的数据特征联系起来，以状态折现价值的表达方式，通过尽可能接近输出最高价值的交易动作的决策网络，来实现策略的优化。因此，奖励函数的设计对于使用强化学习框架的策略至关重要。本文使用了较为直观的N日收益作为奖励函数，投资者可以根据实际的收益风险目标，使用微分夏普比率等其他奖励函数。在实际跟踪样本外表现时，利用强化学习框架的策略也不需要人为定时地指定每月或每季度重新训练模型，甚至在模拟交易期间或者以中高频的频率进行微调。策略表现与特异性参数分析DQN算法的工作原理可知，策略框架中有区别于监督学习模型的独特超参𝛾，经验回放内存的容量𝐶QK。本文拟1000现参数优化。201020221230日的宽基指数量价数据（OHLCV）作为输入进z-score480240天。策略模型所使用的数据回看窗口为10天，奖励函数计算使用未来5天的收益（N=5。20101201812Q20191202212月的数据作为观测数据。有别于监督学习中的样本内/样本外划分，在预训练阶段，Q网络在训练数据上会进行多幕遍历，每一幕（episode）K步/2022年底结束。折现因子Q网络进行奖励期望的计算时，折现因子𝛾量，折现因子越大，未来的奖励折现比例越高，折现因子越小，则智能体更加关注近期奖励。在现有策略设置下，当𝛾0.65时择时策略的收益风险表现较优。图7：使用不同折现因子的策略净值对比21gamma=0.5 gamma=0.65 gamma=0.75 gamma=0.9资料来源：，经验回放内存容量经验回放内存一定程度上代替了监督学习策略框架中，每隔一段时间对模型重新训练所使用的滚动窗口样本集合。经验回放内存相当于一个数据栈，放入其中的样本遵循先进先出原则。当新的样本存入时，时间上最早的一个样本将被剔除。经验回放内存的容量不能太小，因为每次进行小批次抽样时，抽样数量的上限为回放内存容量，若抽样数量与内存容量相等或接近，则失去了随机性，模型会对回放内存中的样本过度学习；反之，若经验回放内存容量非常大，则内存中存在大量间隔久远的样本，小批次抽样时若不加以控制，则学不到最新的信息，对于近期行情的灵敏度下降。合理设置经验回放内存容量的重要性不言而喻。由图8可知，当𝐶取500时择时策略在当前设置下表现较优。图8：使用不同经验回放内存容量的策略净值对比（𝛾=0.65）C=500 C=250 C=125资料来源：，目标网络的同步间隔双网络DQN算法中，Q网络进行同步的时间间隔，控制着模型的稳定性与灵敏性之间的平衡。频繁更新目标网络参数，可以保证目标网络用最新学习到的信息来输出交易行为，但如果目标网络变化太快，期望价值函数的计算方法随之变化，模型难以找到确定的方向进行学习，适得其反。在前述基础上，对策略使用不同的目标网络同步间隔的测试结果如图9所示，当K取500时的择时效果较好。图9：使用不同目标网络同步间隔的策略净值对比（𝛾=0.65,C=500）21K=500 K=250 K=120 K=21资料来源：，最终使用的参数设置见表6，并在宽基指数上进行测试。表6：策略回测使用的超参数列表小批次抽样数量128经验回放内存容量C500目标网络同步间隔K500折现因子𝛾0.6贪心算法随机数𝜖0.65学习率𝑙𝑟0.0005幕数episode10模拟次数/智能体数量50Seq(Linear(lookback*#features,256),Q网络结构

BatchNorm(256),Linear(256,128),BatchNorm(128),Linear(128,#actions),SoftMax)资料来源：780.15%。在没有额外数据信息的情况下，基于价量特征和强化学习算法产生的择时信号，相较于指100012.47%。表7：指数及相应择时策略的风险收益表现对比（2019-01-09至2022-12-30）累积收益年化收益年化波动率最大回撤夏普比率中证1000指数36.71%8.49%24.42%-34.62%0.46择时策略93.68%18.80%20.82%-28.36%0.93中证500指数36.74%8.50%21.93%-31.57%0.48择时策略82.15%16.91%17.82%-20.56%0.97沪深300指数25.77%6.16%20.48%-39.59%0.39择时策略45.87%10.34%15.67%-30.25%0.71资料来源：浙商证券研究所表8：择时策略超额收益表现累积超额收益年化超额收益年化波动率平均月度调仓夏普比率沪深300择时20.10%4.89%16.34%2.310.37中证500择时45.41%10.25%18.40%2.810.62中证1000择时56.97%12.47%17.19%2.060.77资料来源：823段所使用的奖励函数相匹配。1000指数为例，将策略及指数基准的月度及年度收益进行分10、中可以看出，20192022年，择时信号每年均贡献了正的超额收益，20202022年市场整体回调时期，策略通过择时判断有效规避了指数的回撤。图10：中证1000月度及年度收益指统计 图11：中证1000择时策略月度及年收益指标统计资料来源： 资料来源：优化后的择时效果4.3.14.3.3节测试得到的最优参数组合基础上，本文对模型学习过程中的样本权重进行了调整，以期实现策略收益的提升。考虑到强化学习即学即用的特性，充分利用回放内存和小批次抽样，本文对回放内存𝐷中的四元组赋予额外的样本抽样概率𝑝(𝑠,𝑎,𝑟,𝑠′)，其抽样概率与样本中的奖励相关：𝑝𝐷(𝑠𝑡,𝑎𝑡,𝑟𝑡,𝑠𝑡+1)=𝜎(𝑟𝑡)其中𝜎是sigmoid函数。值得注意的是，本文所使用的样本加权方式有别于强化学习领域的优先经验回放（prioritizedreplay率，即优先权（priority，而本文所使用的方法是让策略更加关注有较高短期收益/奖励的样本，更加贴合策略目标。表9：收益目标优先的策略调整前后风险收益表现对比（2019-01-09至2022-12-30）累积收益年化收益年化波动率最大回撤夏普比率中证1000择时93.68%18.80%20.82%-28.36%0.931000择时优化111.14%21.50%20.53%-16.78%1.05中证500择时82.15%16.91%17.82%-20.56%0.97500指数择时优化94.66%18.96%19.48%-20.73%0.99沪深300择时45.87%10.34%15.67%-30.25%0.71300指数择时优化49.613%11.07%15.49%-25.03%0.76资料来源：浙商证券研究所表10：优化后择时策略超额收益表现累积超额收益年化超额收益年化波动率平均月度调仓夏普比率沪深300择时23.85%5.73%17.23%2.430.41中证500择时57.92%12.65%12.35%2.411.03中证1000择时74.43%15.60%13.77%1.561.12资料来源：采用样本加权之后的择时策略表现如表9所示。宽基指数择时效果均有提升，其中中证1000择时策略的表现维持较优，2019至2022年低，中证1000择时策略年化收益升至21.50%，最大回撤下降至-16.78%，平均月度调仓次数有小幅降低，说明策略对于指数的多空判断有更好的连续性。优化后择时策略超额收益表现也有提升，年化波动率下降，在中证1000指数上的超额收益表现如图12所示。由于算法超参数多、模型网络灵敏度高，目前策略在宽基指数上使用的是同一套参数设置，策略在沪深300和中证500指数上依然可通过超参数的调整实现收益的提升。图12：优化后中证1000择时策略的累计净值及超额收益表现21超额收益 中证1000 择时策优化

1.150.950.750.550.350.15-0.05资料来源：，策略迁移至行业指数的表现本文提出的择时策略框架是基于最基础的日频价量模型，因此不论是股票还是行业指数，股指期货等不同类别的资产都可以直接应用。本节以申万一级行业指数为例，对策略的有效性进行测试，各行业指数择时效果汇总如下图所示。策略框架所使用的数据处理，参数设置，区间划分等，均与4.3节中相同。图中气泡大小代表了行业指数择时策略的夏普比率，数据点越靠近横轴右侧则表明行业指数择时的风险收益性价比越高。食品饮料，商贸零售，建筑装饰，及交通运输行业指100014个行业的择时后的风险收益比优于沪深300指数。整体上看，策略迁移至行业指数依然有效。图13：择时策略在申万一级行业上的超额收益表现资料来源：，（注：标签值为行业指数择时的夏普比率，与气泡大小成正比）图1420.00%15.00%10.00%5.00%

0.00% 0计算机交房地产电年化超额收益率 平均月度调仓资料来源：，从各行业择时策略的调仓情况来看，平均月度调仓次数依然在2-3次，在不同行业之间的差别尚不明显，整体上年化超额收益高的行业换手率略高于平均水平。考虑实际情况，行业指数择时相较于宽基指数择时的优化维度更多，即行业的周期性和波动性。这些行业特征不仅可以作为状态信息的补充，即丰富输入特征；也可以作为超参数设置的参考，例如对于短期波动性高的行业，关注长期收益能避免反向信号频繁切换，降低换手率。策略回顾本章以DQN为例使用强化学习框架构建了指数择时策略，对强化学习算法的策略应用做以下总结：在策略学习方面，DQN算法自然实现了模型参数的动态更新，而使用监督学习模型需要人为设定模型更新训练的周期。使用监督学习模型的策略，在每次阶段性训练新模型时不可避免对部分重复的样本集进行训练，而在强化学习算法中，任一时刻的模型都可视为下一阶段的预训练模型，回放内存的设计也避免了重复构造数据集。从实现交易目标来看，可以通过调整算法的特异性参数来改变策略性能。例如，折现因子代表了决策网络对未来收益的考量，降低折现因子的大小让策略更加关注近期收益。但折现因子并不是越小越好，当折现因子值接近零则与监督学习中的标签化学习无异，失去了算法的优势。从策略优化方法看，强化学习领域的最新研究成果对于策略表现也有提升效果。本文使用了样本加权优化策略，在宽基指数上的择时表现均有提升，后续可以继续使用多步回报、Rainbow等方法进一步优化。另一方面，使用强化学习的策略框架可以沿用监督学习模型的研究成果。例如，继续使用监督学习构建的因子单元，使用考虑时空特征且表现稳Transformer模型等等，模型网络将不只依据价量特征进行评估，而是依据更加全面的信息进行价值和策略评估。在实际应用方面，基于价量数据的择时信号不仅可以应用于宽基指数，同样可以迁移至其他标的。本文以申万一级行业指数为例进行了测试，在没有进行进一步参数优化的情10%也能实现有效择时，而不仅仅只是在个别指数上过度拟合的结果。总结与展望强化学习模型对量化交易的实际场景能进行更加贴切的模拟，对标的特征、策略决策过程中对市场信息和持仓信息能进行综合评估，是相较于传统监督学习框架的优势。利用强化学习算法来构建交易策略，遵循的是一种构造赢面和获取高赔率的思路，并且在市场的反馈中不断修正策略对于行情和持仓的综合评估，优化策略对不同交易行为的价值判断，达到灵活适应市场风格切换的目标。本文利用双网络DQN构建一个简易单资产择时策略，在使用量价数据并且没有额外输入特征的情况下在宽基指数上均实现了较高的超额收益，迁移至行业指数也产出了有效的择时信号。再加上强化学习算法类型丰富，可以演化出不同的策略框架，值得投研和交易者关注。未来强化学习在投资领域落地依然要解决以下难题：一、对于低频范畴的强化学习模型，因样本数量不足和信噪比低的特点，模型不得不降低复杂度来避免过拟合，故模型的选股能力、对标的及市场的刻画能力有所下降。二、强化学习算法超参数众多，训练过程中的具有路径依赖特点，会得到表现差异悬殊的智能体/模型，模型稳定性是其策略实盘部署必须解决的顾虑。数据和算法研究的快速发展对于量化投资领域无疑大有裨益。数据量的增加和样本构造方法的多元化，保证了研究基础；新颖算法和框架层出不穷，推进策略演变；算力成本不断下降，降低了研究门槛和时间成本。强化学习算法将在量化交易的发展过程中扮演重要角色。风险提示本报告中包含公开发表的文献的模型结果，涉及的收益指标等结果的解释性请参考原始文献。本报告构建的策略框架中所提及的交易均指模拟交易，回测结果是基于历史数据的统计归纳。通过算法构建的模型力求自适应跟踪市场规律和趋势，但仍存失效可能，模型输出结果不作为投资建议，须谨慎使用。参考文献Silver,D.,Huang,A.,Maddison,C.etal.MasteringthegameofGowithdeepneuralnetworksandtreesearch.Nature529,484–489(2016).Silver,D.(2015).IntroductiontoReinforcementLearningwithDavidSilver.Retrieved2021-10-25,from/learning-resources/introduction-reinforcement-learning-david-silverLiuXH,GaoJ,&D.(2021