ETF做市商研究

上证联合研究计划研究报告RESEARCH REPORTETF做市商研究Research on Market Making of ETFs课题研究单位：长江证券金融衍生产品部课题研究员：徐磊 刘石开 陈皓课题协调人：司徒大年2009年12月10日内容提要本文主要探讨了在中国证券市场下，尤其是ETF市场中开展做市商业务的可能性。文中制定出一套做市商的做市策略，在理论模型下完成了推导工作，运用在2009年8月12日至2009年9月13日50ETF的高频成交和挂单数据上，并对该策略进行了实证检验，对做市的各项成本构成进行了量化处理。本文的主要贡献在于，指出了在ETF市场下，由于套利者这一特殊交易群体的存在，做市商会获得与理论情况不一致的收益特征。本文共分为个部分：第一部分：引言。着重阐述了本文研究的目的、意义、主要贡献，并且提出了本文的结构安排。第二部分：做市商制度的介绍。主要讨论了做市商的交易机制问题，以及其功能、义务和权力，并且论述了我国ETF市场目前存在的问题及引入做市商的优势。第三部分：做市商买卖价差模型。主要关注于买卖价差的组成成分及Stoll模型的量化分解。第四部分：模型及实证研究。对所设计的做市策略进行了理论推导，并结合50ETF的实际数据，进行了实证研究。第五部分：结论。总结了本文的研究结果，并就在中国市场如何开展做市商业务提出了一些建议。目录一、引言4二、做市商制度52.1 交易机制52.2 做市商的功能、义务及权利62.2.1. 做市商的功能62.2.3. 做市商的特权82.3 我国股市和ETF市场的问题82.3.1. ETF的流动性问题82.3.2. 引入做市商机制9三、做市商的买卖价差模型103.1 做市商做市成本分析103.1.1. 指令处理成本103.1.2. 存货持有成本103.1.3. 逆选择信息成本113.2 关于做市商定价行为的理论模型113.2.1. 买卖价差成分构成的历史研究113.2.2. Stoll的理论12四、基于加强算法的做市商模型154.1 背景介绍154.2 做市商的增强学习模型174.2.1. 环境状态174.2.2. 做市商的行动184.2.3. 收益194.3 基本模型214.3.1. 市场结构214.3.2. 策略和利润的期望234.3.3. 做市商的加强学习算法的利润计算284.4 市场实证结果284.4.1. 数据284.4.2. 模拟结果294.5 双边做市模型354.5.1. 模型介绍354.5.2. 模拟结果364.6. 做市商成本分析39五、结论41参考文献44附录I46附录II47一、引言在报价驱动市场中，做市商经常扮演维持市场流动性的角色，通过报价买入投资者欲卖出的部分并卖出投资者欲买入的部分，以此活跃并创造市场。买入卖出所造成的买卖价差作为做市商提供流动性的收益补偿。由于我国的证券市场实行指令驱动的竞价交易制度，一些证券品种，尤其是ETF品种存在着流动性的问题。因此，在ETF市场引入科学合理的做市商制度非常具有现实意义。本文通过对Chan & Shelton（2001）的模型进行再推导，认为只有向投资者征收一定的手续费或形成买卖价差才可能获利。但是在中国ETF市场上，由于套利者的存在，使市场的报价行为出现了与一般股票市场不一致的现象，根据实际数据所得出的实证结果和Chan & Shelton（2001）理论所推导出的结果完全相反：在做市商仅仅单边报价不形成买卖价差的情况下，做市商甚至可能获得收益。但是需要指出的是，由于套利者的这一行为表现从而导致做市商潜在的可能获益，只是在目前的ETF市场上存在的一个有趣形象。由于在中国市场面临着诸多条件的限制，关于如何更好的开展做市商业务，本文也展开探讨并提出了几点建议。二、做市商制度做市商（Market maker），又称为造市者，指金融市场上的一些独立交易机构，为投资者承担某一只证券或商品的买进和卖出。买卖双方不需等待交易对手出现，只要有做市商出面承担交易对手方即可达成交易。而做市商试图通过其买卖价差来获取利润，同时承担手中存货的风险。2.1 交易机制目前在大多数的股票交易所的交易系统都采取撮合交易、指令驱动的模式。在这一模式下，不存在任何指定的或官方的做市商。开市价格由集合竞价形成，随后交易系统对不断进入的投资者交易指令，按价格与时间优先原则排序，将买卖指令配对竞价成交。纽约证券交易所（NYSE）和美国证券交易所（AMEX）则专门指定了一个specialist(即做市商)，对某一个指定的证券承担官方做市商的角色，并主要承担以下责任：a、对证券市场提供所需要的流动量；b、对于市场目前出现的指令失衡状态进行纠正，使双方的供给关系得到平衡；c、试图去纠正证券的过高波动，防止暴涨暴跌。因此做市商也被赋予了更多信息和交易执行方面的便利优惠条件。在其他美国市场，尤其是纳思达克股票交易所（NASDAQ），则是实行了一种多做市商的制度。一个证券品种会邀请几个做市商来形成竞争机制进行做市。这些做市商则被要求在交易时间内维持买卖双边的市场报价，并且有义务在他们的买卖挂单上进行卖、买交易。通常，这些做市商无法获得像单一做市商制度条件下所允许的交易优惠条件，但是他们能够获得裸卖空的许可。即，不需要融券就可以卖出股票。而这一优惠政策，一向只有官方指定的做市商才可以获得。据统计，在美国市场上有超过2000家的做市商。而在加拿大市场，做市商的数量也超过了100家。 数据来源:alphatrade2.2 做市商的功能、义务及权利2.2.1. 做市商的功能a、 增强市场的流动性和活跃性流动性是衡量证券市场是否有效和稳定的一个重要标准，也衡量了一个证券市场的交易成本。若市场的流动性充足，投资者可以很快的对目标证券执行买入或卖出的有效交易；若市场流动性不足，投资者则不得不承担相应的时间成本、冲击成本等。在指令驱动交易市场中，流动性的实现主要是依靠买卖订单的来提供。若现价情况下，买卖订单的数量出现了不匹配的情况，一部分投资者的订单将会无法得到执行。而若采取了做市商交易机制的时候，投资者的交易对象就是做市商，交易价格就是做市商报出的价格。由于做市商以投资者交易对手的身份存在，并通过不断进行的双向报价时刻准备接受交易,使得证券的流动性得以维持。李学峰（2007）援引了英国TIG的研究报告及其数据，指出了做市商制度对市场流动性的提高：使得平均价差降低了39.9%。b、平抑市场投机当市场出现过度投机的情况时，因为价格纠错的关系，做市商将不可避免的通过在市场上执行与其他投资者相反方向的操作，努力维持价格的稳定，降低市场的泡沫成份。当股市过于沉寂时，做市商通过在市场上买进卖出股票活跃市场带动人气，使股价回归其投资价值。监管部门会对做市商的报价进行监管,而每只证券一般都有若干家做市商,在报价上形成竞争，因此做市商的报价一般都以价值估算为基础,严重偏离其内在价值的过度投机现象有所抑制。当市场的供给关系严重失衡时(比如买盘远远大于卖盘),做市商可以并有义务加入势单力薄的一方(比如出售自己的库存股票),迅速改变市场供求状况,抑制过分投机。在多个做市商情况下,每家做市商的成本是不一样的,报出的价格也就不一样,这就形成了一种竞争。最终使得各家做市商报出的价格趋同,价差减小。同时，实力弱的做市商就会被淘汰出局。 c、监市在运转良好的金融市场中,价格反映了所有相关信息,这样的市场就被称为有效市场 (efficient market) 。有效市场理论认为,如果市场是有效的,证券价格即反映了所有相关信息。或者说,在一个有效的证券市场中，信息是完全且对称的。中国股市并非一个有效的市场，信息之间存在着严重的不对称。不对称的重要后果之一就是证券的市场误定价。出于做市商在证券价值方面的专业优势和信息优势，为了激起投资者对做市商做市证券的兴趣，做市商乐于主动推荐自己的做市证券，降低市场的不对称程度，为市场交易直接提供股票市场价格的参考。因此，在做市商行使其权利，履行其义务的同时，可以通过对做市商的业务活动监控市场的变化，以便及时发现异常及时纠正。在新兴的证券市场，这是保持政府与市场的合理距离，抵消政府行为对市场影响惯性的有益尝试。 2.2.2. 做市商具备的条件做市商制度具有上述功能及调节买卖盘不均衡状况、随时保证提供买卖双向价格的特点，决定了其功能实现的前提条件是拥有高素质的做市商。做市商的选择比较严格，只有那些运营规范、资本实力雄厚、规模较大、熟悉市场运作，而且风险自控能力较强的机构才能担当。一般来说，做市商必须具备下述条件：a、具有雄厚的资金实力，这样才能建立足够的标的商品库存以满足投资者的交易需要。b、具有管理存货的能力，以便降低存货的风险。c、具有准确的报价能力，要熟悉自己经营的标的商品，并有较强的分析能力。做市商的首要任务是维护市场的稳定和繁荣，所以做市商必须履行“做市”的义务，即在尽可能避免市场价格大起大落的条件下，随时承担做市证券的双向报价任务，只要有买盘或卖盘就要报价。2.2.3. 做市商的特权由于做市商所承担的义务，做市商要享有以下特权：a、资讯方面，享有交易者的所有买卖盘的记录，以便及时了解发生单边市的预兆。b、融资融券的优先权。为维护市场的流通性，做市商必须时刻拥有一大笔筹码以维护交易及一定资金作后盾，但这并不足以保证维持交易的连续性，当出现大宗交易时，做市商必须拥有一个合法、有效、低成本的融资融券渠道，优先进行融资融券。c、一定条件下的做空机制。当市场上大多数投资者做多时，做市商手中筹码有限，必然要求享有一定比例的做空交易，以维持交易的连续。 d、减免税收。做市商交易频繁，同时承担买进卖出的双方交易，为买而卖，为卖而买，在买卖差价中赚取利润，势必要求减免税收税。 2.3 我国股市和ETF市场的问题2.3.1. ETF的流动性问题林伟斌和王立立（2008）在其指令驱动市场的交易量持续期与流动性：基于超高频数据一文中，指出在指令驱动市场下，非对称信息导致了证券品种容易发生流动性的剧烈波动。这也是A股市场目前所面对的一个通病。ETF（Exchange Traded Fund），是一种在交易所上市交易的开放式证券投资基金，其投资组合通常完全复制标的指数。与一般的开放式基金使用现金申购、赎回不同，ETF使用一篮子指数成分股申购赎回基金份额，这部分申购和赎回一般是一篮子股票，通常资金“门槛”更高，导致交易不活跃；同时，ETF可以在交易所上市交易，其上市份额可通过小的“基金单位”形式在交易所买卖。根据长江证券金融衍生产品部对于ETF的数据统计结果：截止至2009年6月底，两市的五只ETF份额增长缓慢，从2008年12月的155亿份仅增长至161亿份。而这一部分增长的原因主要归结于在2009年5月19日，华安180ETF的份额按照10：1的比例进行拆分所致。（即1份180ETF拆分成10份）。同时，A股ETF的交易量仅占市场的1.5%。在美国市场，近年来ETF成交量已占市场约40%。A股的ETF市场，在份额增长方面是大大落后于市场同期的水平的，也远远低于美国市场的成交占比水平。2.3.2. 引入做市商机制2006年，上海证券交易所的刘逖和叶武明确指出，提高市场的流动性可以通过完善交易机制，即“对不同流动性的证券（股票）推行差异化的交易措施，如对部分股票或债券引入做市商机制和日内回转交易机制，引入大宗交易订单、多日有效订单”的方法来克服，明确提出了可以通过引入做市商制度解决部分证券流动性不足的问题。出于做市商对市场价格的主导作用，投资者在投资过程中也经常面临各种各样的来自做市商的违规风险。因此冯巍（2005）曾经指出，应该针对做市商建立起严格的监管机制，如：“建立针对做市商违规特点的做市商报价、交易、成交报告等环节的实时监控系统，制定做市商现场检查制度，及时发现处理做市商的违规行为，并建立相应的做市商考核办法和做市商违规处罚标准。”根据美国法律和证券交易委员会（SEC）及全国证券交易商协会（NASD）的有关规定，美国证券市场的“做市商”必须做到如下几点 a、坚持达到特定的记录保存和财务责任的标准； b、不间断地主持买、卖两方面的市场，并在最佳价格时按限额规定执行指令； c、发布有效的买、卖两种报价； d、在交易完成后的90秒内报告有关交易情况，以便向公众公布。 我们可以看出做市商的操作具备了透明性、灵活性、提供稳定流动性的特点。在中国A股市场，为了解决目前部分证券，尤其是ETF的流动性问题上，引入做市商制度是一个有效、切实的解决方案。三、做市商的买卖价差模型3.1 做市商做市成本分析从总体上看，做市商在对证券定价时必须考虑其承担做市义务而发生的成本。该做市成本主要包括三个方面：指令处理成本、存货成本和逆选择信息成本。 3.1.1. 指令处理成本指令处理成本与做市商为做市所提供的服务有着直接的联系。这其中包括了交易席位、场地租金、硬件成本、劳动成本、机会成本、手续费等。因为这些费用大多都是固定的，因此对于小周期的做市而言，这些成本与买卖价差所带来的交易量具有直接的关系。我们可以认为此成本与交易量是负相关关系。在一个理想的竞争市场中，买卖价差应为流动性及其边际成本。而此时，指令处理成本是基本可以忽略不计的。 3.1.2. 存货持有成本存货持有成本是做市商所持有证券头寸的成本，是做市商为市场提供流动性并且提供给投资者及时交易的成本。做市商持有存货以维持流动性，因此必须承担价格波动的风险。所以买卖价差也必须包括持有存货必须承担风险的补偿。这样，做市商将会通过报价来调整自己已有的存货水准，从而平衡市场的供求关系。通常来说，为了降低存货持有的风险，做市商通常于存货持有期间卖出相对应的相关性较高的相似品种加以避险。台湾的段昌文（2005）研究发现，如果能够有效的降低报价单位 纽约证券交易所（NYSE）、美国证券交易所（AMEX）与纳斯达克（Nasdaq）历史上均有多次调整最小价格单位（tick size）的措施。，比如实施小数点报价制度后，交易量能够提升更多单位量，使得平均委托单的处理成本降低，交易时间缩短，并能够使做市商持有存货的时间缩短，以此来降低存货持有成本。 3.1.3. 逆选择信息成本逆选择信息成本是由于在做市商提供流动性的时候，交易对手由于提前获知了内部消息或因为其他原因，而准确的判断了市场的价格波动方向，导致做市商蒙受损失。市场的买卖报价与成交价之间的变动必须为交易所所规定的最小变化单位(tick size)的整数倍。最小变化单位为做市商在做市时所必须要承担的固定成本，如果没有对价格的最小变化单位进行规定，则市场的流动性的供需将会主要取决于买卖价差。目前市场上，包括中国学者所做的研究，主要集中于对股票市场的最小价差进行研究，并且对其中的指令处理成本、存货成本和逆选择信息成本的组成进行了剖析，而兼具基金与股票特点的ETF则无人问津。国外一些学者对ETF的买卖价差进行了研究，由于ETF本身代表了一个分散的投资组合，其双重价格的特性导致市场价格必须贴紧净值水准，因此对于做市商而言由于信息不对称而导致的损失将会低于个股，这也意味着买卖价差一般会比个股小一些。3.2 关于做市商定价行为的理论模型 3.2.1. 买卖价差成分构成的历史研究出于买卖价差的兴趣，国外众多学者都对此开展了深入的研究。首先，比较一致的看法是买卖价差的大小必须能够包含指令处理成本。除此以外，存货和逆选择信息的影响也是不可忽略的因素。其中，Amihud和Mendelson（1980）,Ho和Stoll（1981）,Stoll（1978）重点关注于存货头寸的影响，而Copeland和Galai（1983），Easley和OHara（1987），Glosten和Milgrom（1985）则更关注于逆选择信息成本的研究。Bollen（2004）另辟蹊径，首次提出了使用BSM的平价期权定价公式来作为衡量存货风险的指标。 3.2.2. Stoll的理论Stoll(1989)对价差模型的成分量化进行了里程碑似的阐述。首先，其对价差模型进行了如下假设：a. 市场是信息充分有效的市场，证券的预计价格的变化与现在和过去的信息毫无关系；b. 挂单价差S在每隔一段时间的周期内都被认为是常数。不过当在价差中考虑到随机变量的影响时，该假设有时会被允许放宽；c. 所有的交易都在市场中尽可能的以最高的价格卖出并以最低的价格买入。假设在时间0，有卖价和买价挂单分别为和。则此时做市商的报价价差为。证券价格反转的大小假设为：，而价格发生反转（假设本来是挂出买单，现在则需要挂出卖单。反之亦然。）的概率设为。由此，在假设价差为常数的情况下，我们可以反向推出，价格维持现有趋势（假设原为挂出买单成交，而现在需要继续挂出买单成交，反之亦然。）的大小为，而其概率则应为。由此，现在和未来买卖价格影响的时间节点和价格关系图可以绘制如下： Stoll在其文中对过去的成果汇总后，将这两个参数与影响挂单价格的三个要素之间的关系列入下表：报单价差的决定因素仅 指令处理成本0.00.5仅 逆选择成本0.50.5仅 存货处理成本0.5假设为由于做市商做市所引起的市场该证券的价格波动。则在报价价差恒为常数的情况的条件下，因为之前所述三个因素的作用而引起的可能的价差波动，在以买单开始的情况下为：同理，如果假设在价格波动是从卖单开始所引起的： 则在买单上发生交易后的产生的价格波动的预期为： 相似的，在卖单上发生交易后产生的价格波动的预期可以推导至如下结果：。Stoll（1989）据此定义了实际价差（Realized Spread）。即为做市商在通过买/卖交易后所获得的期望收益。在这里，RS即为： 一般来说，实际价差是比挂单价差要小的。挂单价差的公式包含了指令处理成本、存货持有成本及逆选择信息成本，而在实际价差中仅仅包含了前面的两部分。因此真实价差与挂单价差之间的差值，我们可以认定为逆选择信息成本：根据前表（报单价差的决定因素）我们得知，在仅仅考虑存货持有成本的情况下，的数值为0.5。据此我们可以得出，持有存货成本为：。而仅考虑指令处理成本时，此时不会对产生影响，而=0.5。则指令处理成本则为：。 两者相加恰为RS。四、基于加强算法的做市商模型在过去的众多文献中，做市商的理论模型大多被发展为随机动态规划问题，而买卖价格的确定主要取决于某一最大化的目标，如长期收益等。而这一理论的支持者包括了Ho &Stoll（1981），OHara &Oldfield（1986）,以及Glosten &Milgrom（1985）。这些模型的一个共同的局限性就在于：作者为了得到最终的精确解，需要对标的证券的价格进程或指令到达过程进行严格的假设，而这些所谓严格的假设则往往偏离了市场上的真实情况。Shelton &Chan（2001）在其设计的模拟环境下使用加强学习算法提出了一种全新的做市商模型。在该模型框架下，并没有对指令到达进程和股票进程进行过多的假设，而主要目标是在加强学习算法的框架下，提出一个精确的做市策略，并讨论其表现。我们在第一节中主要介绍该模型的背景知识，第二节中阐述Shelton& Chan所建立的这套做市商体系，第三节中重点检验该模型在中国ETF市场中的数据结果，并指出其在中国的可操作性，而最终的双边报价的数据模拟结果将在第四节中进行介绍。4.1 背景介绍Markov决策过程（MDPs）是一种最常见的加强学习模型。顾名思义，就是该决策过程满足马尔科夫特性，即在马尔科夫状态下，未来的事情和状态只与当前的状态有关，而与之前的状态毫无关系。MDP模型的环境包括：（1） 离散的状态集合S，包含了各种可能的状态向量。（2） 离散的做市商可以采取的行动集合A，包含了做市商在某一状态下可能采取的各类行动。（3） 实际收益集合R，或称为增强信号。（4） S的初始概率分布。（5） 转移概率分布，也就是做市商采取行动a时，从状态s转移到状态s的概率，（6） 收益概率分布，也就是做市商采取行动a时，在状态s下收益为r时的概率。 （本文中，马尔科夫的做市商即市场做市商）。根据上面的定义，我们认为：MDP环境是离散的时点。该环境下的初始状态按照初始的概率分布确定。接着，做市商观察目前的状态环境并选择一种行动。这个行动和现在的状态决定了下一时点的转移概率分布。从而因此决定了做市商的收益（Reward）的概率分布。下一个状态和收益按照转移概率分布确定，此过程将一直持续下去。除了做市商的选择何种行动之外，系统的动态将完全被确定下来。做市商的目标是找到最大化长期积累收益或回报的策略。时点t后的收益序列定义为；时点t的收益，可以被定义为这些收益的函数，例如，；或者如果收益按照折现率折现，：，其中T是做市商行动的环境的最后时点。因为环境按照状态是马氏的（也就是说，在现在的环境和行动下，下一个状态的概率与过去的表现是独立的），做市商的最优策略是决策性的而且是一个现在状态的独立的函数。因为探索的原因（稍后解释），随机策略也是值得考虑的。因此策略记做，表示状态为s时采用行动a的概率。固定做市商的策略，则MDP转化为Markov链。做市商的目标就变成了参照最大化，其中表示在策略为的情况下的马氏链的期望。这个期望可以拆分成为状态：，其中V和Q被称为价值方程。第一个公式表示状态下的按照策略的期望。第二个公式表示在状态下采取行动的后按照策略的期望。常用的估计这些值函数的方法主要包括了动态规划（DP）、Monte Carlo模拟（做市商在一个或多个时期执行策略并使用结果的轨迹估计下的值函数），以及时间差分法（TD）（使用与两个状态之间是由转移概率联系的，以及状态的期望收益这两个结果）。这些算法使用了动态编程方式估计值函数：。Sutton& Barto（1998） 给出了具体的算法解释及相应的理论基础。本文关注的重点在于该理论模型下所能够推导出的预估收益，并依次改良我们的做市策略，来检验其在中国A股的真实情况下的实际结果。4.2 做市商的增强学习模型考虑到中国A股的真实情况（波动较为剧烈，想运用欧美成熟市场的模型和结果来对A股证券的价格进程或指令到达进程进行准确模型刻画的难度较大）。我们根据之前对于马尔科夫链决策进程模型（MDPs）的介绍，可以方便的建立起这一套理论模型，并给出各类理论的计算结果。在以下的做市商问题中，某一个场景片段可以认为是一个交易日。但是一个时期的期限不必是固定的，它也可以持续任意时点，知道某个任务结束时截止。市场是动态的和相互影响的，投资者根据做市商给出的买价和卖价来确定他们的指令，用来最大化一些依赖于他们的目标的长期收益。（一般来说，即利润最大化和存货风险最小化）。4.2.1. 环境状态环境状态包括用来描述市场中不同情形下的市场变量。这些变量通过做市商的下单流水，投资组合，在市场中的交易和报价，以及其他的市场变量观测：本文关注的环境状态如下：做市商的存货做市商的存货持有量。指令失衡在市场中买卖供给关系失衡。可以这样详细定义：在某一特定时间，某一限定价格的情况下，买卖市场双方的需求份额之差。市场质量度量具体包括买卖价差的大小，价格连续性（交易价格改变的量），市场深度（交易之间价格改变的量），限价委托完成的时间等。本文所关注的主要市场质量度量为买卖价差大小。其他指令流的其他特征，限价委托记录的信息，指令的来源或交易者的识别，市场指数，相同行业的股票价格，价格波动率，成交量，市场的交易时间等等。一般不做考虑。本文中，我们重点考察三个基本状态变量：存货，指令失衡和市场质量。状态向量定义为：，其中，和分别定义为存货水平，指令失衡和市场质量。做市商的存货水平是它们的股票的当前持有量。一个空头头寸由负数表示而一个多头头寸由正数表示。指令平衡可以由多种方法定义。其中的一种是定义为某段时期的买单的和减卖单的和的总数。负数值表示市场中供给过剩，正数值表示市场中需求过剩。指令失衡用来度量一段时期内总的指令失衡的量，例如，最后五分钟或者从做市商报价的最终改变到当前。市场质量度量包括买卖价差和价格连续性（交易子序列中的价格改变的量）。，和的值是离散的：，。例如，与最高可能的空头头寸相关，与最小的空头头寸相关，0表示平衡点。指令失衡和市场质量度量定义相同。4.2.2. 做市商的行动给定市场的状态，做市商的行动有调整报价、与当前公开指令交易等等。允许的做市商行动包括：改变买价挂单改变卖价挂单设置挂买单量设置挂卖单量其他买或卖，提高提供的价格（提供比当前市场报价更优的价格）。本文的模型假设固定买单和卖单的量（一个单位），重点论述了买价和卖价的选择与决定。行动向量定义为：，其中，分别表示买价和卖价的变化。所有的值是离散的：， ，其中和分别是买价和卖价的最大允许改变。4.2.3. 收益收益指标是做市商找到最优策略的驱动力。这个指标是由做市商的目标决定的。可能的收益指标包括：利润的改变（最大化利润）存货水平的改变（最小化存货风险）当前市场质量度量（最大化市场质量）每个时点的收益依赖于利润的改变，存货的改变，当前时点的市场质量。收益可以定义为一些个体收益元素的累计函数。最简单的形式下，假定做市商是风险中性的，收益的累积函数可以写成个体收益的线性和：其中，和是控制利润，存货风险和市场质量的比重的参数；，分别是时点的利润的改变，存货的改变和市场质量的度量。值得注意的是，做市商对收市的利润和存货的最优化有兴趣，但是对瞬时的利润和存货没有兴趣。然而，做市商要考虑市场质量，用来确定所有交易的执行质量。做市商目的是使它们的收益的总量最大化。在T步的时期中，收益总量为：。此处做市商假定从利润和存货君为零时起步：且。做市商可以在时点观测变量和，但是并不一定要观察。在大多数情况下，一只股票的真实值或公平价格可能并不被市场所认知。根据做市商的报价计算收益可能与股票的值有误差。此外，价值可能包含了做市商由于持有多头头寸而提高的价格和持有空头头寸而降低的价格，因此头寸的值可能被夸大了。在缺乏目标证券的真实价值的情况下，用上述收益总量公式来计算做市商的最终利润是不合适的。但是，在很多情况下，标的证券的真实价格可以通过一些别的方式来估算出来。举个例子，在一个多做市商的市场条件状况下，其他做市商的市场报价或者执行价格可以多少反映出一些该证券的真实价格。同样，我们也可以这么认为，公平价格很有可能会因为市场上的其他做市商由于自身市场价格纠错的作用，依靠下一阶段报价和执行而能够反映出来。在本次课题的研究过程中，我们所关注的对象是如何国内市场的ETF市场开展做市商业务。众所周知，ETF主要有两个价格。一个为其在二级市场的价格，即我们看到的股价；另外一个则为其在一级市场的净值变化。也就是ETF标的成分股组合的真实价格变化。在通常情况下，ETF的价格必须是贴近其净值而上下变化运行的，尤其是在规模众多的套利者存在的情况下，更注定了其价格不会偏离净值许多。因此，我们可以在这里把净值认为ETF的真实价格。由于ETF制度的特殊性及其规则制定的二价功能，市场上许多的套利者其实也承担了一部分做市商的义务，尤其是监市功能（在这里可以认为是多做市商体系）。因此当市场上ETF的一级市场净值和二级市场价格发生一些偏移时，套利者就会涌入通过折价套利（价格净值）的方式，以雄厚的资金和快速交易的行为迅速填补掉这一价差。因此，一个非常细小的时间内，例如30秒钟的过程，我们假设该段时间内ETF的净值并没有发生任何变化，由于套利者的作用，将会使得ETF的市场价格回归其真实价格，因此我们（做市商）也把自身做市后某一段极小时间内市场上的成交价格认为是该ETF的真实价格。在缺少ETF净值数据的情况下，我们可以通过该方法来寻找出后续时间的数据来代替ETF的净值数据，即其真实价格。4.3 基本模型前面小节只是将做市商模型，包括收益的计算发展成为一个框架。而下一步的目标是建立一个理论上的市场环境，再学习者（做市商）通过状态（市场）的变化来做出决策，并且获得经验来进行下一步的行为决策。我们在本文假设的情况是，在市场上仅仅存在我们这一做市商的情况下，我们的报价会被交易群体所接受，而我们根据市场上的情况来调整我们的策略并据此建立模型。该基本模型是基于信息不对称而建立的。在一个典型的基于信息的模型下，有一组有信息的交易者或内部交易者（在中国的ETF市场中，这一类人包括了套利者），他们的买卖决策是基于证券真实价格的变化来决定的，更重视有关此类的信息。还有一组无信息的交易者，他们仅仅关注一些公开信息，并且根据自己的逻辑来进行买卖，但是在市场上的表现并无规律而言，在他们眼中，ETF的净值（即真实价格）是一个忽略的关键性因素。由于大量信息交易者的存在，做市商报价过低时信息交易者买入，做市商报价过高时他们选择卖出；而无信息的交易者仅考虑流动性需要而进行简单的随机买卖。一个简单的做市商是交易市场的中心。他挂出买价和卖价，所有的交易者都按照做市商的报价进行交易。由于做市商本身报单的责任，我们可以认为，因此决策与信息的相互关系，做市商总是输给内部交易者，而与无规律买卖的无信息交易者保持某种均衡。4.3.1. 市场结构为了进一步表述不同交易者之间的信息不对称，考虑如下的情况。当一只证券在市场中进行交易时，可以简单的划分为有三种类型的参与者：一个垄断的做市商，内部交易者，无信息交易者。做市商确定一个价格，下一个到达的交易者有权选择买或卖一个单位的股票。换句话说，假定买价是等于卖价的。交易者仅仅与市场指令交易。所有的指令都有做市商执行，交易者之间没有交叉的指令。在执行一个指令后，做市商可以按照过去的交易情况调整它们的报价。而其中所关注的焦点是市场中新报价的指令失衡。为了简化这个问题，假设股票的头寸可以在交易后立刻转换为现金。因此，做市商的存货风险在该模型下不会被特别考虑。连续市场中做市商只在得到指令的瞬间执行。同时，我们将市场中的事件简化为仅仅在离散的时刻发生。在这里，我们将事件在模型中表述为一个独立的过程。 市场中的事件主要是包括证券真实价格的改变和信息交易者的指令和无信息交易者指令的到达。 证券存在一个真实价格。股票的价格由外生过程完全决定。真实价格与市场价格是不同的，市场价格由做市商和交易者共同决定。价格服从一个跳过程。特别的，造成了离散的跳，每个时点依概率上涨或者下跌。离散跳的幅度是常数1.真实价格由内部交易者给出但是公众和做市商并不知道。 内部交易者和无信息交易者分别依照概率和到达市场。内部交易者观察到真实的证券的价格。可以认为他们是通过研究和分析获得更多信息的投资者。他们比较真实价格和做市商的报价，当真实价格低于（高于）做市商报价的时候，他们就买（卖）一份股票，此外不做任何其他的下单。无信息交易者随机的买卖证券。无信息交易者很少调整它们的投资组合用来满足流动性需求，这在市场中是没有建模的。因此，他们简单的按照相同的概率接受一个单位的买单和卖单。 所有独立的过程可以组合在一起形成一个新的过程。此外，假定在每个时点存在一个到达的事件。因此，在任意特别的时点，价格改变的概率是，一个内部交易者到达的概率是，一个无信息交易者到达的概率是。因此，存在一个保证到达的事件，所有的概率之和为1：。 这个市场模型比较类似于基于信息的模型，例如Glosten & Milgrom (1985)，文中信息不对称在做市商和交易者之间扮演了一个重要的角色。Glosten & Milgrom模型研究了做市商分别设置买价和卖价用以在给定的可获得信息下获得期望为0的收益，这个模型可以用来检验做市商的报价调整策略，在指令信息失衡的情况下最大化多个时期的平均利润。这个模型也借鉴了Garman(1976)和Amihud & Mendelson(1980)，其中交易者接受独立价格指令，做市商问题由离散Markov过程建立。4.3.2. 策略和利润的期望在此基本模型下是可以计算出我们所理想的策略的。我们描述增强学习模型的结果前寻找理想的策略。在我们假设的这种随机环境下，要想求出做市商的最优策略的封闭解是非常困难的。然而，如果我们将注意力集中到市场的指令失衡上，显然任何的做市商的优化策略都涉及到在正（负）指令失衡或市场需求（供给）过剩时提高（降低）报价。对于信息交易者，如果做市商报价比真实价格低，则平均的指令失衡是正的，两者相等时是平衡的，如果做市商报价比真实价格高，则平均的指令失衡是负的。现在我们必须定义指令失衡。我们定义其为上一次的做市商报价后产生的新总需求的供给过剩。假设在当前报价下，存在单位的买单和单位的卖单，则指令失衡为。一个可行的策略是当指令失衡为正或负的时候提高或降低1个单位的报价。可见，在此策略下，指令失衡可以是-1，0和1。为了研究策略1的表现，我们可以建立一个离散的过程模型。首先，我们定义，作为市场价格与真实价格的偏离，是指令失衡。一个链描述了这个问题。见下图：p假设，可以依照概率跳跃到或；与此同时，可以依照概率跳跃到或。当或时，将趋于向更快的靠近。特别的，总是与概率向靠近，而以概率远离。做市商报价向真实价格的回归的动力由信息交易者提供，因为他们对于真实价格，即ETF净值变化和市场价格变化之间关系的敏感性。事实上，正是由于这一部分信息交易者，尤其是套利交易者的存在，才保证了链的平衡状态的确立。令是链在的状态的情况下，状态保持稳定的概率。由对称性可以得到：对于所有的的情况，考虑在状态和的转移。我们可以得到稳定状态的概率：因为从到的转移和从到的转移是相等的。由(6)式和(7)式的扩展，稳定状态概率可以写成：所有的稳定状态的概率之和为1：由稳定状态概率，我们可以计算出策略下的利润的期望。注意到在状态下，内部交易者的利润的期望是。因此，利润的期望可以写成： 具体推导见附录I收益的期望是每单位时间的做市商的平均累计利润。我们可以观察到，根据在此环境状态下，我们所能够推导出的理论利润的期望是负的。按照直接所描述的那样，我们尝试解释为以下原因：因为做市商与无信息交易者持平但是总是输给信息交易者。更遑论做市商本身在证券交易时所需要缴纳的其他手续费用。由简单的利润的期望的差异，我们可以看到给定和是常数，则随价格的跳因子下降。给定其他的是常数，利润的期望也分别随着和下降。但是，需要重点指出的是，这保证了每个时期都有价格的跳跃和一个信息交易或无信息交易。因此保持所有其他的常数不变，的值的改变是不可能的。我们用描述和：和。现在期望利润可以重新表述为：表达式的微分表示为：对EP求微分，结果小于0。我们可以判断为：期望收益随着价格跳的到达率和无信息交易的比重增加而增加。在单一报价的情况下，我们可以看到，做市商总是面临着亏损的。为了补偿这一损失，做市商可以通过对该证券品种的每笔交易收取费用。换句话说，这样可能使得期望利润和做市商的买卖价差相联系。如果收取单位的费率，信息的策略可能会不同。特别的，如果收取单位的费率，信息交易者可能只会在的时候选择买入而在的时候选择卖出。如果做市商的收费对于买单和卖单是相同的，则费用的和就是价差。我们定义费率是价差的一半，。在每笔无信息交易后做市商将会得到，在每笔信息交易后做市商将会得到（）。如果价差限制到小于2，那么内部交易者的策略不变，我们可以用和此前一样的链模型。给定和对称性，期望收益可以写成如果做市商严格执行零收益，我们可以解出之前公式的价差。特别的，如果，那么零期望收益价差是虽然存货在做市商策略中没有扮演什么角色，但对称性的问题隐含了期望为零的做市商的存货头寸。该策略反应了指令失衡的市场。显然这个策略可能对无信息交易者太敏感了，无信息交易者可能会考虑市场的噪声，因此在高噪声的市场中可能表现不好。这就使我们有必要去研究一个可替代的策略：或时重新调整报价，做市商可以等待直到失衡的绝对值超过一个阈值。特别的，当时做市商提高1个单位的报价，当时做市商降低1个单位的报价，在此之后，重新设置。策略1的阈值等于1。所有的这些策略可以由一个相同的的模型框架建立。下图表示了链用来描述时的情况。每个状态现在有两个特殊的变量和。例如，在状态（），一个卖出指令（概率是）将系统转移到（）；一个买入指令（概率是）将系统转移到（）；一个价格的跳（概率是）可以讲系统转移到（）或（）。4.3.3. 做市商的加强学习算法的利润计算尽管ETF的真实价格，即净值是可以观察出来的，但是由于手头的数据缺乏，我们目前只能认定为ETF的真实价格是无法观察的。在现在的收益中，做市商需要在每个时点可以灵活的给出一个预期利润。考虑两种可能的办法。假设可以用真实的价格来计算利润 ，但是这不是一个状态变量。做市商的存货在每个时点都是可流通的。因此，时刻的利润改变了时点的利润：下表揭示了单一报价模型和双边报价模型情况下的收益函数及状态向量：序号模型状态向量收益函数R1单一报价IMBtPROt2双边报价（IMBt，QLTt）proPROt+qltQLTt4.4 市场实证结果4.4.1. 数据本次课题所需的全部数据均由上海证券交易所研究中心提供。数据为2009年8月11日至2009年9月12日上证50ETF（510050）的逐笔成交数据和逐笔挂单数据。选择该数据的理由在于，在这一个月内，510050经历了一波大跌与反弹行情，是一段比较具有代表性的区间。为了使做市商策略的模拟能够更贴近实际情况，我们对该逐笔成交数据进行了重新的优化和编排。首先，我们对该高频成交数据进行了整理，对市场上的逐笔成交数据，按照时间的先后顺序，求出每秒成交均价，并以此构建矩阵。然后，我们通过程序，对逐笔挂单数据进行了搜索。由于交易所提供的数据为市场的原始逐笔挂单数据，我们按照从大到小的顺序在每秒钟把这些挂单数据全部排列好。然后寻找出与当时市场成交数据最为接近的价格，作为做市商的挂单价格的参考价。同时我们记录下在此价格下，市场上的买卖挂单量对比，来考察目前市场的供给关系变化。目前为止，我们已经构思出了如何处理做市商的参考报价、市场指令失衡情况以及市场的真实交易数据，并可以按照时间顺序来一一对应，对其中的缺失数据也进行了策略性的弥补。考虑到做市商不可能达到每秒钟报价一次的频率，我们调整了目前的数据频率。取每30秒当时市场的靠近即时成交价格的报盘数据作为做市商的参考数据。并取报盘后第20秒的市场成交数据乘上一定的随机数作为该标的证券的真实价格。 根据长江证券金融衍生产品部的ETF套利实证结果，一般一次套利过程至少需要20秒左右的时间才能够完成，而套利后的价格（即20秒后的价格）应该能够做到真正收敛于净值的结果。这也是我们为什么再乘以一个随机数的原因。在这里，为了简化处理，我们假设生成满足均匀分布的，价格区间在0.998*价格，1.001*价格之内的随机数。需要指出，在我们下面的模拟中，假设做市商具备了卖空的权利。同时，在关于做市商做市结果的模拟中，我们也没有考虑任何税费的因素。4.4.2. 模拟结果 我们首先设定一个指令失衡的基准量作为之前论述的IMBt的阈值MIMB，作为报价调整的基准。如非特别介绍，下面中所生成图均为MIMB=1时的情况。按照之前所介绍的如何估计ETF真实价格的方法，我们将做市商的报价水平与ETF真实价值在一张图上拟合出来，对比起历史走势变动情况。下图是做市商报价对真实价格跟踪检验情况：在23个交易日共计11040次做市商报价行为中，我们从A（半日内情况）、B（一日内情况）、C（第六日情况）、D（第23日终止情况）四种交易日内的报价走势跟踪来看，做市商的报价都非常完美的反应了真实价值的变动情况。由此也可以看出做市商的报价对ETF真实价值的反映情况。然后我们观察该策略下的历史累积存货水平。我们假设做市商沽空一定的ETF或者买入一定的ETF后，并不进行任何平仓的动作，而是单纯的在市场上进行做市操作，依靠频繁的买卖挂单交易，来减少或增加自己的多头和空头仓位。需要指出的是，在这里我们所使用的是历史的挂单数据，并没有考虑过该策略下，所挂单的成交质量。即，做市商的每一笔挂出的单子都能够按照自己所理想的完美情况全部成交：我们可以发现，该策略条件下，除了在一开始的情况下，做市商手中具备了存货，大多数时候，做市商都是处于一种沽空ETF的状态。而当我们叠加入在这23个交易日内的股价变动情况，我们会惊讶发现到出现以下的情况变化：做市商的存货水平居然会随着市场的股价涨跌而发生同样趋势的变化。我们检查了二者的相关性：correlation=0.816。而这一结果与我们作为做市商进去做市的初步目的是不一致的：在市场出现过度投机的情况下，比如这23个交易日的过度下跌，习惯上的思维来看，做市商应该是进入市场放出大量的买单，来阻滞ETF的二级市场价格不要跌的过快，而与其真实市场价值相差太多。根据目前我们所观察的情况，盘口上的指令鲜明的指出：在股价单边下跌的情况下，市场上的即时买单是大于卖单的。我们尝试着解释这一现象如下：当ETF的二级市场价格迅速下滑，直至其下滑速度甚至快过净值的下滑速度。市场上敏锐的套利者捕捉到了这一现象。由于价格和净值的下滑速度的不一致而出现的异常折价率导致了利润可观的套利空间，因此这些占据市场资金主力的套利者将会挂出大量买单来在二级市场上买入ETF，希望能够借此机会进行套利。这就解释了为什么实盘的下跌过程中买单上的数量大于卖单的情况更多。而模拟中的做市商，此时为提供市场的流动性，将会作为套利者的对手而挂出卖单。当市场出现反弹上升的情况时，套利者的行动同样会对做市商