第12讲 大数据在证券投资领域的运用

大数据在证券投资领域的运用第十二讲章前导读证券投资领域大数据类型繁多、结构复杂结构化数据使用优化的机器学习算法预测资产价格非结构化数据扩展了大数据的来源大数据在证券投资领域应用程序化交易、量化交易、高频交易客户画像、精准营销学习目标掌握机器学习预测资产价格的基本算法掌握文本分析构建金融情感字典的基本原理掌握量化交易、程序化交易、高频交易等概念掌握大数据在智能投顾中运用的基本原理及发展方向了解金融情感字典在预测未来股票价格的效果了解量化交易在中国发展的现状CONTENT目录01020304机器学习预测资产价格文本分析预测资产价格大数据与证券交易实践大数据与智能投顾PART01机器学习预测资产价格机器学习预测A股市场资产价格1997年1月至2018年10月期间A股市场96个重要投资异象。研究对象0102比较经典OLS模型和多种机器学习和深度学习模型对资产价格的预测能力。研究目的03机器学习算法可以更好地挖掘因子与股票未来收益之间的线性与非线性关系。研究发现机器学习预测A股市场资产价格传统模型普通最小二乘法（OLS）线性机器学习算法岭回归（Ridge）、Lasso、弹性网络回归（ElasticNet）、偏最小二乘（PLS）深度学习算法深度前馈网络（DFN）、循环神经网络（RNN）、长短期记忆网络（LSTM）非线性机器学习算法支持向量机（SVM）、集成神经网络（EN-ANN）、极端梯度提升树（XGBoost）、梯度提升树（GBDT）研究发现线性机器学习模型表现均略优于OLS。01驱动机器学习可预测性的核心因素与美国股票市场有显著的差异。02中国股市中的国有企业与国有持股的存在可能会显著影响交易行为和定价。03PART02文本分析预测资产价格文本分析大数据特征数据来源多样化发布主体：个人（如投资者、消费者）、企业、媒体、机构和政府相关职能部门具体形式丰富多样数据体量呈几何级增长数据发布频率高文本分析大数据预测资产价格首先，将国外经典的LoughranandMacDonald（LM）金融情感词典进行全面客观的中文翻译，对比应用较为广泛的通用情感词典与中文翻译的LM词典的表现

。其次，针对中文语境对LM词典进行了扩展与完善。扩充方式从通用情感词典中筛选word2vec扩充随后，检验文本情绪指数对股票市场的预测能力。文本分析大数据预测资产价格接下来，根据金融情感词典与文本分析技术构建中国股票市场媒体文本情绪指数

。文本情绪分析技术四个突出优点（1）相较于可公开获得的金融市场交易数据，文本情绪信息互补性强（2）文本数据规模极大，从这一海量数据来源中聚合情绪信息有利于减少测量误差（3）文本情绪属于直接情绪测度（4）文本数据更新高频，可以构建日频甚至分钟频率等更高频的情绪指数entertextcontententertextcontent专题：光大证券“中文云”光大证券“中文云”金融文本量化研究平台（简称“中文云”）具备业内较为完整的金融文本数据库储备36万篇以上的研究报告300多万篇财经新闻2800万条以上论坛帖子以高性能文本数据库为依托，开发一系列量化策略普通投资者情绪择时模型关注度因子选股模型概念套利模型新闻套利模型广义事件套利模型PART03大数据与证券交易实践大数据与证券交易实践

以先进的数学模型替代人为的主观判断，利用计算机技术从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略。量化交易01程序化交易02高频交易03

根据特定的交易数据、数理模型、交易策略等利用计算机系统寻找交易机会并使用交易指令的技术手段进行的交易。

强调通过大量小单指令累计微小价格变化获利。大数据与量化交易实践01第一阶段发展历程2010年-2015年，以多因子策略作为主要策略形式第二阶段

2015第三季度以后，逐渐转向机器学习、大数据分析等方式选股02机构类型——两大派系

具有海外投资经验的海归量化

脱胎于国内高校的本土量化知名机构嘉恳资产前海进化论世纪前沿明汯投资诚奇资产鸣石投资天演资本大数据与量化交易实践03指数增强策略策略类型

市场中性策略：具有业绩表现稳健和低相关性两大特征，可成为类固收产品的替代选择，相对于主观的多头策略整体风险较低04市场规模

高度依赖于市场流动性，交易量通常不超过全市场流动性的30%量化多头策略市场中性策略CTA策略

随着全A股市场的提升和整个流通市值的不断扩大，量化交易在A股中的重要性不断增加专题：九坤量化私募基金国内量化界最早举起大量因子统计挖掘的私募，近几年重金投入AI算法九坤交易策略丰富股票量化对冲量化指数增强期货CTA推出股票优选策略产品对每笔份额进行3年期的最低投资期限限制优势在于宽基选股更有效地把握市场多种风格贝塔，全方位捕捉阿尔法大数据与高频交易实践高频交易

一种高速度，高频次的交易方式，通过预设的计算机算法实现，具有低隔夜持仓，高报撤单频率，高换手率等特点。

我国由于T+1制度的存在，尚处于早期阶段，目前主要在国内期货市场进行。使用高速和复杂的计算机程序来生成、传递、执行命令直连交易所的数据通道设立和清算头寸的时限很短大量发送和取消委托订单收盘时不留头寸操作上几种显著特征大数据与高频交易实践包括跨期套利，跨交易所套利，统计套利等套利策略当市场买卖价差较大的时候，通过提供流动性，同时低买高卖而获利，并且获取某些交易所提供的手续费作为提高流动性的报酬做市策略高频交易策略利用数据传输速度优势，获取市场上的交易信息流（如量价、订单簿、订单流信息）和外部事件信息（如经济数据，突发事件等），识别出尚未被股价反应的新信息从而迅速交易获利趋势/事件驱动策略大数据与高频交易实践价格发现普遍认为高频交易行为能促进价格发现。

高频交易对价格发现、流动性和波动性影响流动性正方认为，高频交易者可在短时间内提供大量报价，提升市场流动性

。

反方认为，在极端行情下高频交易行为会使得市场流动性枯竭。波动性普遍认为高频交易（做市和套利类策略）不会放大多空任何一方的力量，有效降低了证券资产日内的波动。大数据与高频交易实践对交易所服务器形成威胁短时间内频繁且大量发单、撤单、成交，对交易所的通信系统是一个巨大挑战

。市场对高频交易的争议损害市场利益出现“乌龙指”、“闪崩”等情况

。有损市场公平性高频交易相比普通的交易方式有更多更快的信息优势

。大数据与高频交易实践02030401信息收集和监测美国市场监管措施各交易所向监管机构统一提供完整的订单数据，供监管机构对市场中的高频交易行为进行直接监管。特定行为限制禁止“闪电交易”。过滤机制券商有对客户订单审核和监测的义务，不能直接将订单接入交易所的交易系统而不经过事前审查和过滤。应急处理机制熔断机制和涨跌停制度，建立错单取消机制。大数据与高频交易实践中国市场监管措施2015年10月《证券期货市场程序化交易管理办法》提出证券公司、期货公司应当建立程序化交易指令计算机审核系统，对高频交易商的行为进行审核。2019年2月《证券公司交易信息系统外部接入管理暂行规定》拟重新放开券商股票交易接口，完善做市商制度；针对期货市场，监管层也逐步明确禁止了虚假申报、挤仓等多种操纵期货市场交易价格的行为，并规定了具体构成要件。专题：伊世顿公司期货市场高频交易操纵案2015年6月-7月，中国股市出现异常巨幅波动，投资者蒙受巨大损失。具有境外投资银行和期货公司背景的外籍人员利用高频程序化交易软件，远程操控、管理交易，通过高频程序化交易软件自动批量下单、快速下单等方式，非法获利巨额资金。伊世顿公司以非法手段获取的交易速度优势，滥用高频程序化交易的行为，严重影响期货市场正常定价机制，扰乱市场秩序，情节特别严重，已涉嫌构成操纵期货市场罪。专题：伊世顿公司期货市场高频交易操纵案伊世顿公司的期货交易行为扩大了日内交易价格波幅，与市场价格走势存在关联性，影响了当时的市场交易价格和正常交易秩序。监管机构意见伊世顿公司异常交易行为符合操纵股指期货市场的特征，涉嫌操纵期货市场犯罪。公安机关意见国内对高频交易的监管仍然处于较为空白的状态。程序化交易的规范主要是由期货交易所各自制定，我国应在交易所现行的规范性文件的基础上统一立法，解决目前我国高频交易的监管问题。事件启示PART04大数据与智能投顾智能投顾智能投顾又称机器人投顾（Robotadvisor），是指以投资者的风险偏好和财务状况为依据，利用大数据和量化模型（主要是投资组合理论），为客户提供基于指数型基金的资产配置方案和财富管理服务，并根据市场情况进行持仓追踪和动态调整。智能投顾涉及的大数据类型金融交易大数据——以证券、基金等传统金融机构为主客户行为大数据——以2C的互联网公司为主兼具两类数据——部分2B、2C的金融信息服务商（同花顺）智能投顾领域人工智能技术：机器学习、智能语义分析、知识图谱分析智能投顾两大基石大数据人工智能大数据是智能投顾的基础资产配置决策都是建立在用户行为数据的基础之上投资组合的构建以及再平衡的过程都是对金融交易大数据等市场信息处理和解析的结果人工智能技术是智能投顾的核心技术智能投顾客户全角度画像客户服务（资讯、咨询、交流）客户群体管理（交易圈、技术圈、交流圈）投顾特色服务（图文直播、音视频直播或录播、观点、问答、优顾达人、组合、锦囊等）投顾签约服务基金投资顾问试点业务客户服务评价客户关联推荐大数据在智能投顾各环节的应用专题：投资机器人——KenshoKensho是一家致力于量化投资大众化的人工智能公司。Kensho客户两条主要业务线第一，利用历史数据帮助大型银行和其他金融机构分析诸如地理、天气等因素带来的风险敞口。第二，帮助全球商业媒体承担事件分析业务。旗下产品Warren（沃伦）——金融投资领域的“问答助手Siri”可实现寻找事件和资产之间的相关性及对于其价格的影响、基于事件对资产未来价格走势进行预测。具有快速的计算能力、良好的人机交互性、强大的深度学习能力。专题：人工智能对冲基金AidyiaAidyia公司启动的对冲基金，所有的股票交易都经由人工智能交易，不再有人工干预。借鉴多个形式的人工智能：遗传进化逻辑概率对冲基金长期以来依赖计算机来帮助交易。近年来，基金已经开始逐步走向机器学习:TwoSigma和RenaissanceTechnologies的对冲基金都表示他们依赖的是人工智能。RayDalio和StevenA.Cohen操控的另外两家基金BridgewaterAssociates和Point72AssetManagement也正朝着人工智能方向转型。本章小结预测未来股票价格结构化的股票特征——通过多种机器学习算法优化预测结果