量化投资与机器学习

汇添富基金吴振翔量化投资与机器学习2018.5.60.量化投资需要什么技术？量化投资与机器学习，问题的定义是什么？需要先定义量化投资，进而才能思考机器学习技术在其中的应用。1.我们感兴趣的机器学习技术机器学习技术发展日新月异，但在狭义的量化投资领域的应用才刚刚开始。数据获取与数据处理2024/3/27汇添富基金Source:BigDataandAIStrategies:MachineLearningandAlternativeDataApproachtoInvesting,J.P.Morgan从海外经验来看，投资领域对于另类数据的使用已经起步，数据使用范围可谓相当多样。从数据获取来看，主要来源如下：舆情文本、卫星图像、交通信息、物流信息、网络搜索、电商信息等。对应于这些数据来源，所需要的数据处理技术包括：自然语言处理、计算机视觉等。自然语言处理技术2024/3/27汇添富基金从数据处理和特征提取角度来看，目前自然语言处理技术已经较为成熟，可以对诸如新闻、公告等文本信息进行大规模处理。中文分词技术是处理中文文本数据的基础；词向量技术是将高维且正交的one-hot向量，转变为低维且具有几何意义的向量的技术。自然语言处理技术2024/3/27汇添富基金海外某公司现在已经开始提供实时的Twitter舆情数据，直观来看，TweetVolume和Sentiment都没有很强的领先性，但也不排除精细化处理后对投资能够起到作用。Source:/charts/#charts-10计算机视觉技术2024/3/27汇添富基金卷积神经网络（CNN）为处理具有空间结构的数据提供了极大可能。GPU硬件技术的突飞猛进大大提升了CNN的数据处理能力，使得工业界目前已经可以处理大规模的图像和视频数据。计算机视觉技术2024/3/27汇添富基金海外某公司通过计算机视觉技术，识别卫星图像等原始图像当中的停车场停车数量信息，进而构建零售、餐饮、酒店等场景的高频经营数据。通过这些高频经营数据可以构建相应的交易信号。该公司提供了一种交易方法：计算每月的停车量同比增速，季度计算累计同比增速，计算过去6个月同比增速的布林带，当季度累计同比增速穿越布林带上下轨时，触发买入卖出交易。Source:BigDataandAIStrategies:MachineLearningandAlternativeDataApproachtoInvesting,J.P.Morgan机器学习模型2024/3/27汇添富基金通过对大量非结构化的数据进行处理，成为数字化、向量化的数据集，进而通过机器学习算法进行建模和训练，是目前机器学习领域的主要方法论。工业界的机器学习模型主要解决以下问题：分类（classification）回归/预测（regression）其他，如生成模型，强化学习模型等机器学习模型的表述能力2024/3/27汇添富基金以深度神经网络模型为例，早在1993年，就有学术研究从数学上证明：多层神经网络+非线性激励函数可以近似任何函数。近期实证研究表明，随着神经网络层数的增加，测试集的准确度逐渐提升；此外，在不增加神经网络层数，仅仅增加参数个数的情况下，模型的效果提升不明显；而在不改变参数个数的情况下，将层数从3层增加至11层，则可以显著提升模型效果。Source:Goodfellow,I.J.,Bengio,Y.,&Courville,A.(2017).DeepLearning2.量化投资与机器学习我们的实践以及思考机器学习，从入门到放弃？2024/3/27汇添富基金数据少，噪声大，投入还小，只能做toymodel？我们对股票市场有独到的理解！不需要大量数据和大量投入就能搞出好模型！相比于现有的量化模型，机器学习的模型和方法能够更好克服人为观测的偏差，如：市值因子为什么是市值取对数？反转因子为什么是区间收益率？风险为什么可以用标准差表示？现有量化投资的模型都是基于简单的人为观测逻辑，进行历史检验，获得较好效果之后进行使用的。而机器学习方法论是：对更为广泛的数据，基于机器学习的观测逻辑，进行历史检验，获得较好效果之后进行使用。已有一些成果超越了现有量化模型的效果。我们认为，随着数据量提升、投入资源加大，未来机器学习方法将带来量化投资领域的重大变革！广阔天地，大有可为2024/3/27汇添富基金

ICIR01234通信0.10330.652024.44%16.62%9.30%-3.65%-34.31%商贸零售0.10640.717522.57%12.57%2.66%-8.07%-22.24%房地产0.10430.772827.69%10.40%1.88%-5.91%-27.20%医药0.09620.829322.88%13.32%0.88%-6.73%-26.80%轻工制造0.11050.635824.91%12.95%2.85%-7.77%-20.67%电子元器件0.10660.836928.58%16.64%-1.04%-6.66%-31.90%传媒0.10430.556920.21%20.23%0.06%-5.88%-17.43%家电0.10100.546823.34%12.07%10.03%-0.37%-29.12%建材0.11010.667025.97%12.88%7.15%-7.63%-29.17%基础化工0.11681.045926.90%16.51%5.12%-10.88%-32.36%纺织服装0.11480.658220.62%16.10%10.38%-4.38%-27.76%汽车0.11120.831423.11%19.04%1.28%-4.37%-29.21%有色金属0.10910.605024.75%13.09%-0.75%-6.12%-26.41%石油石化0.09930.424722.60%15.18%3.67%-3.65%-27.18%机械0.10690.841226.24%12.06%3.70%-3.97%-32.86%交通运输0.11700.725123.54%12.13%1.63%-6.04%-23.83%食品饮料0.10820.633924.38%13.17%6.33%-4.32%-28.61%钢铁0.12380.583323.26%11.98%7.15%-1.08%-26.45%建筑0.09940.580723.99%11.09%1.13%-5.58%-20.02%电力及公用事业0.11170.709620.96%12.06%10.37%-7.16%-27.38%农林牧渔0.12490.802127.05%24.66%1.41%-13.08%-27.97%计算机0.09610.684826.70%17.86%-1.39%-6.05%-32.01%电力设备0.11370.850327.42%15.19%3.01%-5.78%-31.47%餐饮旅游0.09500.378718.75%18.75%-3.66%7.32%-14.26%煤炭0.10120.437414.10%10.08%7.50%-8.07%-11.16%综合0.08950.279811.13%3.26%5.48%10.25%-20.76%国防军工0.09770.399022.21%10.90%9.13%-5.25%-16.60%银行0.08450.250413.02%7.96%3.73%-7.16%-11.64%非银行金融0.10130.373314.08%18.98%0.29%-2.98%-20.39%我们用机器学习得到的因子的效果：测试区间：2011年至2017年样本空间：中证全指在所有市值分层和行业分类上均有效，且因子强度均比较高

ICIR01234size_00.11780.989326.07%16.13%2.90%-2.09%-37.74%size_10.12681.139827.17%18.88%6.09%-7.06%-40.35%size_20.11771.024329.08%16.17%1.53%-6.98%-35.57%size_30.11261.059525.70%15.53%3.67%-4.34%-37.47%size_40.10451.029523.52%15.08%2.52%-9.69%-28.53%size_50.10871.011627.09%13.16%3.53%-7.98%-31.55%size_60.10430.