机器学习与量化投资（Python语言）课件 第1章 量化投资

第1章量化投资金融学（Finance）是研究价值判断和价值规律的学科，主要包括传统金融学理论和演化金融学（EvolutionaryFinance）理论两大领域金融学领域的学科交叉与创新发展趋势非常明显，涌现出许多新兴边缘学科，演化金融学是介于生物学和金融学的一门边缘学科，演化证券学则是介于生物学和证券学之间的边缘学科金融科技是指由大数据、云计算、区块链、人工智能等新兴前沿技术带动，对金融市场及金融服务业务供给产生重大影响的新兴业务模式、新技术应用、新产品服务量化金融学是一门涉及量化投资的新兴金融学科，量化投资是以金融衍生品和工具为基础，对于数据和信息要求很高，是一个智慧型、智力型、智商型为主导的产业。量化金融是新兴前沿技术在金融科技领域的一种具体应用实践，从业者需要具备一定的跨学科背景专业知识。量化金融在数学、金融、编程三个方面需要有一定的基础，就业方向主要分为量化策略开发师、量化系统开发工程师两个方向。如果编程基础扎实，考虑量化系统开发工程师方向；对金融市场比较敏感，可以发展量化策略开发师方向。传统金融是具备存款、贷款和结算三大传统业务的金融活动，广义的寿命周期成本还包括消费者购买后发生的使用成本、废弃成本等。简单来说，金融就是资金的融通，金融是货币流通和信用活动以及与之相联系的经济活动的总称。广义的金融泛指一切与信用货币的发行、保管、兑换、结算、融通有关的经济活动，甚至包括金银的买卖；狭义的金融专指信用货币的融通。量化金融学是一门涉及量化投资的新兴金融学科，量化投资是以金融衍生品和工具为基础，对于数据和信息要求很高，是一个智慧型、智力型、智商型为主导的产业。所谓量化（Quantization），是把经过抽样得到的瞬时值将其幅度离散。即用一组规定的电平，把瞬时抽样值用最接近的电平值来表示。生活中所说的“量化”是指目标或任务具体明确，可以清晰度量。量化分析从字面去解释，分为两部分。首先量化，是把抽象的东西用数字来说，或者是用数次来替代，然后再去分析问题。其次是量化分析，就是把抽象的东西用数字来分析。简单说就是把要分析的内容数量化，也就是用数字来说明问题。在股市上量化分析表现为各种趋势图，也叫量化分析图。1.1量化投资概述量化投资是一种操作理念或操作方法，与其它各种“非量化”的方法并列。量化可以采取择时、趋势跟踪、超跌、强弱对冲等投资模型。区别仅在于量化投资使用。量化投资是指通过数量化方式及计算机程序化发出买卖指令，以获取稳定收益为目的的交易方式。在海外的发展已有30多年的历史，其投资业绩稳定，市场规模和份额不断扩大、得到了越来越多投资者认可。1.1量化投资概述从全球市场的参与主体来看，按照管理资产的规模，全球排名前四以及前六位中的五家资管机构，都是依靠计算机技术来开展投资决策，由量化及程序化交易所管理的资金规模在不断扩大。但是，真正的量化基金在国内还比较罕见。同时，机器学习的发展也对量化投资起了促进作用。量化投资技术几乎覆盖了投资的全过程，包括统计套利、量化选股、量化择时、股指期货套利、商品期货套利、算法交易、资产配置、风险控制等。1.1量化投资概述量化投资区别于定性投资的鲜明特征是模型，对于量化投资中模型与人的关系，大家也比较关心。举例中医与西医的区别说明这种关系，中医与西医的诊疗方法不同，中医是望、闻、问、切，最后判断出的结果，很大程度上基于中医的经验，定性程度上大一些；西医就不同了，先要病人去拍片子、化验等，这些都要依托于医学仪器，最后得出结论，对症下药。1.1量化投资概述定性投资和定量投资的具体做法有些差异，这些差异如同中医和西医的差异；定性投资更像中医，更多依靠经验和感觉判断病在哪里；定量投资更像是西医，依靠模型判断，模型对于定量投资基金经理的作用就像CT机对于医生的作用。在每一天的投资运作之前，我会先用模型对整个市场进行一次全面的检查和扫描，然后根据检查和扫描结果做出投资决策。1.1量化投资概述定量投资和定性投资本质上是相同的，二者都是基于市场非有效或是弱有效的理论基础，投资经理通过对个股估值、成长等基本面分析研究，建立战胜市场，产生超额收益的组合。不同的是，定性投资管理依赖对上市公司的调研，以及基金经理个人的经验及主观的判断，定量投资管理则是“定性思想的量化应用”，更加强调数据。1.1.1量化投资管理特点1.纪律性所有的决策都是依据模型做出的。我们有三个模型：一是大类资产配置模型、二是行业模型、三是股票模型。根据大类资产配置决定股票和债券投资比例；按照行业配置模型确定超配或低配的行业；依靠股票模型挑选股票。纪律性首先表现在依靠模型和相信模型，每一天决策之前，首先要运行模型，根据模型的运行结果进行决策，而不是凭感觉。1.1.1量化投资管理特点有人问，模型出错怎么办？不可否认，模型可能出错，就像CT机可能误诊病人一样。但是，在大概率下，CT机是不会出错的，所以，医生没有抛弃CT机，我的模型在大概率下是不出错的，所以，我还是相信我的模型。纪律性的好处很多，可以克服人性的弱点，如贪婪、恐惧、侥幸心理，也可以克服认知偏差，行为金融理论在这方面有许多论述。纪律化的另外一个好处是可跟踪。定量投资作为一种定性思想的理性应用，客观地在组合中去体现这样的组合思想。一个好的投资方法应该是一个“透明的盒子”。1.1.1量化投资管理特点2.系统性具体表现为“三多”。首先表现在多层次，包括在大类资产配置、行业选择、精选个股三个层次上我们都有模型；其次是多角度，定量投资的核心投资思想包括宏观周期、市场结构、估值、成长、盈利质量、分析师盈利预测、市场情绪等多个角度；再者就是多数据，就是海量数据的处理。人脑处理信息的能力是有限的，当一个资本市场只有100只股票，这对定性投资基金经理是有优势的，他可以深刻分析这100家公司。1.1.1量化投资管理特点3.套利思想定量投资正是在找估值洼地，通过全面捕捉错误定价、错误估值带来的机会。定性投资经理大部分时间在琢磨哪一个企业是伟大的企业，那个股票是可以翻倍的股票；与定性投资经理不同，定量基金经理大部分精力花在分析哪里是估值洼地，哪一个品种被低估了，买入低估的，卖出高估的。4.概率取胜这表现为两个方面，一是定量投资不断的从历史中挖掘有望在未来重复的历史规律并且加以利用。二是依靠一组股票取胜，而不是一个或几个股票取胜。1.1.1量化投资管理特点5.量化选股量化选股就是采用数量的方法判断某个公司是否值得买入的行为。根据某个方法，如果该公司满足了该方法的条件，则放入股票池，如果不满足，则从股票池中剔除。量化选股的方法有很多种，总的来说，可以分为公司估值法、趋势法和资金法三大类。6.量化择时股市的可预测性问题与有效市场假说密切相关。如果有效市场理论或有效市场假说成立，股票价格充分反映所有相关的信息，价格变化服从随机游走，股票价格的预测则毫无意义。1.1.1量化投资管理特点7.股指期货股指期货套利是指利用股指期货市场存在的不合理价格，同时参与股指期货与股票现货市场交易，或者同时进行不同期限，不同（但相近）类别股票指数合约交易，以赚取差价的行为，股指期货套利主要分为期现套利和跨期套利两种。股指期货套利的研究主要包括现货构建、套利定价、保证金管理、冲击成本、成分股调整等内容。1.1.1量化投资管理特点8.商品期货商品期货套利盈利的逻辑原理是基于以下几个方面：①相关商品在不同地点、不同时间对应都有一个合理的价格差价。②由于价格的波动性，价格差价经常出现不合理。③不合理必然要回到合理。④不合理回到合理的这部分价格区间就是盈利区间。1.1.1量化投资管理特点10.期权套利期权套利交易是指同时买进卖出同一相关期货但不同敲定价格或不同到期月份的看涨或看跌期权合约，希望在日后对冲交易部位或履约时获利的交易。期权套利的交易策略和方式多种多样，是多种相关期权交易的组合，具体包括：水平套利、垂直套利、转换套利、反向转换套利、跨式套利、蝶式套利、飞鹰式套利等等。1.1.1量化投资管理特点11.算法交易算法交易又被称为自动交易、黑盒交易或者机器交易，它指的是通过使用计算机程序来发出交易指令。在交易中，程序可以决定的范围包括交易时间的选择、交易的价格、甚至可以包括最后需要成交的证券数量。根据各个算法交易中算法的主动程度不同，可以把不同算法交易分为被动型算法交易、主动型算法交易、综合型算法交易三大类。1.1.1量化投资管理特点12.资产配置资产配置是指资产类别选择，投资组合中各类资产的适当配置以及对这些混合资产进行实时管理。量化投资管理将传统投资组合理论与量化分析技术的结合，极大地丰富了资产配置的内涵，形成了现代资产配置理论的基本框架。它突破了传统积极型投资和指数型投资的局限，将投资方法建立在对各种资产类股票公开数据的统计分析上，通过比较不同资产类的统计特征，建立数学模型，进而确定组合资产的配置目标和分配比例。1.1.2量化投资市场国内量化投资规模大概是3500到4000亿人民币，其中公募基金1200亿，其余为私募量化基金，数量达300多家，占比3%(私募管理人共9000多家)，金额在2000亿左右。中国证券基金的整体规模超过16万亿，其中公募14万亿，私募2.4万亿。随着20世纪80年代以来各类证券和期权类产品的丰富和交易量的大增，华尔街已别无选择，不用这些模型，不使用电脑运算这些公式，他们便会陷于困境，自招风险。1997~1998年亚洲金融危机，市场暴跌，量化投资的算法交易也起到了同样的坏作用。1.1.2量化投资市场2007年的金融危机中，量化投资也未能幸免。时过境迁，2011年，量化基金再次表现优异。稍微接触到资本市场的人，大都听说过基本面投资和价值投资，而对于这方面的天才人物“股神”巴菲特，更是几乎家喻户晓，妇孺皆知。以企业财务报表的分析见长，擅长挖掘企业的内在价值，一旦买入便长期持有，持续获得稳定高额收益，为股东创造丰厚利润，无人能及。与价值投资同等重要的量化投资——即借助数学、物理学、几何学、心理学甚至仿生学的知识，通过建立模型，进行估值、择时及选股。1.1.2量化投资市场与价值投资同等重要的量化投资——即借助数学、物理学、几何学、心理学甚至仿生学的知识，通过建立模型，进行估值、择时及选股，则没有那么幸运——在大多数人眼里，量化投资是一个神秘的领域，深不可测，玄奥无比，令人望而却步。世人皆知巴菲特，而对于号称最能赚钱的基金经理人、在20年的时间里创造了年均净回报率高达35%惊人传奇的量化投资大师西蒙斯，却只能成为少数人的专属。1.1.2量化投资市场很难想象，量化投资技术并非发端于华尔街，而是肇始于学术象牙塔里的少数“怪才”，他们长期不被正统的经济学所接受，甚至遭到排斥，因此处境艰难。1952年3月发表“投资组合选择”论文、提出现代财务和投资理论最著名洞见的马克维茨，以该理论参加博士答辩，竟然战战兢兢差点未获通过。1990年10月，这些人中有三位获得诺贝尔经济学奖，当时局外人很少有人清楚为什么他们能够得此殊荣；三人中的其中一位则将他们的获奖比作“芝加哥业余球队赢得了世界杯”。1.1.2量化投资市场马克维茨的投资组合理论，提出了风险报酬和效率边界概念，并据此建立了模型，成为奠基之作。托宾随后提出了分离理论，但仍需要利用马克维茨的系统执行高难度的运算。夏普1963年1月提出了“投资组合的简化模型”，一般称为“单一指数模型”。马克维茨模型费时33分钟的计算，简化模型只用30秒，并因节省了电脑内存，可以处理相对前者八倍以上的标的证券。1.1.2量化投资市场1964年，夏普又发展出资本资产定价模型（CAPM），这是他最重要的突破，不仅可以作为预测风险和预期回报的工具，还可以衡量投资组合的绩效，以及衍生出在指数型基金、企业财务和企业投资、市场行为和资产评价等多领域的应用和理论创新。1976年，罗斯在CAPM的基础上，提出“套利定价理论”（APT），提供一个方法评估影响股价变化的多种经济因素。布莱克和斯克尔斯提出了“期权定价理论”。莫顿则发明了“跨期的资本资产定价模型”。1.1.2量化投资市场量化投资不会出现在个人投资者为主的时代。个人投资者既缺乏闲暇的时间，也普遍无此能力。随着退休基金和共同基金资产的大幅增加，它们成为市场上的主要机构投资者，并委托专业机构进行投资操作。管理大规模资产，需要新的运作方式和金融创新技术，同时专业的投资管理人也有能力和精力专注地研究、运用这些技术。没有发达的电脑技术，量化投资也将成为无源之水，无米之炊。在电脑革命发生前，根本无法根据上述模型进行运算。1.1.2量化投资市场1961年，与马克维茨共同获得1990年诺贝尔奖的夏普曾说，当时即使是用IBM最好的商用电脑，解出含有100只证券的问题也需要33分钟。当今，面对数不胜数的证券产品，以及庞大的成交量，缺了先进电脑的运算速度和容量，许多复杂的证券定价甚至不可能完成。量化投资在不经历市场的崩盘，傲慢投资者的自信未被摧毁之前，不会盛行。比较早的时候，华尔街对学术界把投资管理的艺术，转化成通篇晦涩难懂的数学方程式一直持有敌意。1.1.2量化投资市场他们认为，投资管理需要天赋、直觉以及独特的驾驭市场的能力，基金经理可以独力打败市场，而无需依靠那些缺乏灵魂、怪异的数学符号和缥缈虚幻的模型。在美国，70年代初期表现最佳的基金经理人从未听过贝塔值，并认为那些拥有数学和电脑背景的学者只是一群骗子。1973—1974年美国债券市场和股票市场全面崩盘，明星基金经理人烟消云散，财富缩水堪比30年代大萧条。当时，颇有先见的投资顾问兼作家彼得·伯恩斯坦认为，必须采用更好的方法管理投资组合，并创办了《投资组合》杂志，一出刊便获得成功。1.1.2量化投资市场1987年10月大股灾，黑色星期一，当天股市和期货成交量高达令人吃惊的410亿美元，价值瞬间缩水6000亿美元。很多股份直接通过电脑而不是经由交易所交易。一些采用投资组合保险策略的公司，在电脑模式的驱使下，不问价格机械卖出股票。很多交易员清楚这些投资组合会有大单卖出，宁愿走在前面争相出逃，加剧了恐慌。针对整个投资组合而非单个证券，机械式的交易，电脑的自动操作，使得这种量化投资出现助跌之效，大量的空单在瞬间涌出，将市场彻底砸垮。1.1.2量化投资市场德意志银行的董事总经理、全球量化投资主管罗崟先生在激烈的竞争中脱颖而出，夺得全球最权威的《机构投资者》期刊2011年美国和欧洲量化分析第一名的佳绩。在华尔街40余年排名史上，罕有华人获此殊荣。《金融时报》慧眼识金，就此专门做了访谈，并嘱我就量化投资写篇评论。我欣然命笔，并借此祝愿量化投资在中国的资本市场上，能够早日生根。1.1.3投资风险1.潜在风险市场上，针对不同的投资市场，投资平台和投资标的，量化策略师按照自己的设计思想，设计了不同的量化投资模型。这些量化投资模型，一般会经过海量数据仿真测试，模拟操作等手段进行试验，并依据一定的风险管理算法进行仓位和资金配置，实现风险最小化和收益最大化。第一：历史数据的完整性，行情数据的完整性都可能导致模型对行情数据的不匹配。行情数据自身风格转换，也可能导致模型失效，如交易流动性、价格波动幅度、价格波动频率。1.1.3投资风险第二：模型设计中没有考虑仓位和资金配置，没有安全的风险评估和预防措施，可能导致资金、仓位和模型的不匹配，而发生爆仓现象。第三：网络中断，硬件故障也可能对量化投资产生影响。第四：同质模型产生竞争交易现象导致的风险。第五：单一投资品种导致的不可预测风险。2.规避或减小风险的策略规避或减小风险的策略包括以下几点：1.1.3投资风险①保证历史数据的完整性。②在线调整模型参数，在线选择模型类型。③在线监测和规避风险。④严格利用最大资金回撤设计仓位和杠杆。⑤备份操作。⑥不同类型量化模型组合。⑦不同类型标的投资组合。1.2量化投资平台1.同花顺量化平台简介近年来，量化投资已逐渐成为证券投资的重要分析方法和发展方向；各类金融机构对量化人才的需求不断增长，量化就业人员的薪酬水平位居前列；财经院校培养金融类人才必须紧跟前沿，拓展师生知识面，增强应用能力，从而提高学生就业竞争力。1.2量化投资平台同花顺作为全国领先的互联网金融信息服务提供商，深耕互联网金融20余年，与合作院校共同建设量化实验室，为院校师生提供专业的量化平台。包括：量化研究、策略研究、因子投研、策略库、模拟交易等，有效提高师生应用能力，享受学习量化投资的乐趣。同花顺的愿景：帮助全国财经院校师生，通过同花顺量化平台，学习并掌握量化投资。1.2量化投资平台2.同花顺量化平台框架同花顺量化平台基于同花顺海量金融数据库，提供PythonAPI接口，量化研究员进行量化应用如图1-1所示，包括策略研究、量化研究、因子投研、策略库、模拟交易。1.2量化投资平台2.同花顺量化平台框架同花顺金融终端iFinD数据接口，提供PythonAPI编程开发环境。金融数据有行情数据、高频数据、因子数据、新闻数据、地理信息数据和社交数据。数学模型有统计分析、机器学习和深度学习。1.3量化投资策略量化投资策略有多种分类方式，例如：标的分类、技术分类、组合构建方式分类。按照标的分类，基本上是围绕股票、基金、期货、期权、债券和海外资产进行分类。常见资产类别分类：1.股票策略2.基金策略指数基金分级基金股票型、债券型、货币型、衍生证券型基金3.货币策略股指期货商品期货4.期权策略指数期权个股期权5.债券策略国家债券5.债券策略国家债券政府债券上市公司债券其他资产债券6.海外资产策略直接投资海外市场证券通过国内跟踪海外市场的基金来进行间接投资1.4量化研究流程量化研究流程比较系统和复杂。一般来说，一个策略从无到有都会经历好多步骤，不同公司、机构对整个流程会有各自的分类。一个常见的量化策略从无到有的完整流程如图1-2所示。下面简单列出图1-2所示的步骤中