基于二阶连续隐马尔可夫模型的股票价格指数预测

国内图书分类号：O211国际图书分类号：519.2学校代码：10079密级：公开理学硕士学位论文基于二阶连续隐马尔可夫模型的股票价格指数预测硕士研究生：黄敬峰导师：何凤霞教授申请学位：理学硕士专业：运筹学与控制论所在学院：数理学院答辩日期：2017年3月授予学位单位：华北电力大学ClassifiedIndex:O211U.D.C:519.2DissertationfortheMasterDegreeinsciencePredictionofStockPriceIndexwithSecond-orderContinuousHiddenMarkovModelCandidate：Supervisor：AcademicDegreeAppliedfor：Specialty：School：DateofDefense：JingfengHuangProf.HeFengxiaMasterofscienceOperationsresearchandcontroltheorySchoolofmathematicsandphysicsMarch,2017Degree-Conferring-Institution：NorthChinaElectricPowerUniversity华北电力大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文基于二阶连续隐马尔可夫模型的股票价格指数预测，是本人在导师指导下，在华北电力大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签名：日期：2017年3月19日华北电力大学硕士学位论文使用授权书基于二阶连续隐马尔可夫模型的股票价格指数预测系本人在华北电力大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归华北电力大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解华北电力大学关于保存、使用学位论文的规定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅，学校可以为存在馆际合作关系的兄弟高校用户提供文献传递服务和交换服务。本人授权华北电力大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。本学位论文属于（请在以上相应方框内打“”）：保密，在不保密年解密后适用本授权书作者签名：导师签名：日期：日期：2017年2017年3月3月19日19日华北电力大学硕士学位论文摘要股票价格指数指的是证券交易所选择部分具有代表性的股票通过一定的计算而产生的统计量。作为一个综合价格指标，它描述的是当地股市变动的情况。而股票价格指数变动的预测被认为是金融时间序列预测的一个具有挑战性的任务，正因为如此，越来越多的学者们都争先恐后地投入到了股票价格指数的预测中，使其成为了一个研究热门，因此开发高效的股票价格指数预测模型是非常有意义的。由于股票价格指数具有隐马尔可夫性，本文提出了一种新的基于隐马尔可夫模型的股票价格指数预测方法。通过推导Baum-Welch算法将一阶连续隐马尔可夫模型推广到二阶连续隐马尔可夫模型，结合预测方法预测股票价格指数的涨跌趋势以及涨跌幅度，成功得对股票价格指数进行了预测。本文主要包括以下工作：首先通过收集整理作为经济市场的一个重要衡量指标之一的美国S&P500指数数据，选取了其中2014年7月到11月的美国S&P500指数中的收盘价作为研究对象。利用Matlab画出的散点图可以清晰地发现美国S&P500指数的收盘价变化规律具有复杂的非线性和随机性。接着通过研究隐马尔可夫模型的性质，应用隐马尔可夫模型中对于评估问题、解码问题和学习问题的解决方案,构建了包含两个状态的模型，结合K-Means聚类算法利用二分法提出了一种新的股票价格指数预测模型。并且通过预测结果验证了该模型对于股票价格指数的预测具有一定的有效性和可行性。最后结合实际情况将离散的隐马尔可夫模型推广到连续隐马尔可夫模型，并且将一阶连续隐马尔可夫模型推广到二阶连续隐马尔可夫模型，结合提出的新的预测方法对股票价格指数进行了预测。通过比较两个模型的预测结果可知，二阶连续隐马尔可夫模型在股票价格指数的预测上要优于一阶连续隐马尔可夫模型，并且有着更快的收敛速度以及更高的精确度。关键词：随机过程；二阶连续隐马尔可夫模型；股票价格指数；预测I华北电力大学硕士学位论文AbstractStockpriceindexisastatisticgeneratedbystockexchangethatcalculatesthelocalrepresentativestock,whichdescribeschangesinthelocalstockmarketasacompositepriceindicator.However,predictionofstockpriceindexmovementisregardedasachallengingtaskoffinancialtimeseriesprediction.Asaresult,moreandmorescholarsarescramblingintopredictionofthestockpriceindex,makingitaresearchhot.Sothedevelopmentofefficientforecastingmodelisverymeaningful.AsthestockpriceindexisofthepropertyofhiddenMarkovchain,anewpredictionmethodofstockpriceindexbasedonhiddenMarkovmodelisproposedinthispaper.Thefirst-ordercontinuoushiddenMarkovmodelisgeneralizedtothesecond-ordercontinuoushiddenMarkovmodelthroughthedeductionofBaum-Welchalgorithm.Thestockpriceindexissuccessfullypredictedwiththechangetrendandchangeratewhicharepredictedwiththeproposedmethod.Themaincontentinthispaperisasfollows:FirstlytheS&P500indexdatawhichisoneoftheimportantmeasuresofeconomicmarketoftheUnitedStatesiscollectedandtheclosingpriceafteradjustmentfrom1July,2014to6November,2014,91daysistakenastheresearchobject.ThescatterplotoftheclosingpricecanbedrawnwithMatlabandthechangerulewhichcanbeclearlyfoundisfullwithcomplexnonlinearityandrandomness.ThencombinedwithK-Meansclusteringalgorithmandthedichotomy,anewpredictionmodelofstockpriceindexwithtwostatesisproposedbystudyingthepropertyofthehiddenMarkovmodelandusingevaluating,decodingandlearningproblemsinthehiddenMarkovmodel.Andthenewpredictionmethodforthestockpriceindexisverifiedtohaveacertainvalidityandfeasibility.FinallyextendingthediscretehiddenMarkovmodeltocontinuoushiddenMarkovmodelandextendingthefirst-ordercontinuoushiddenMarkovmodeltosecond-ordercontinuoushiddenMarkovmodelwiththeactualsituation.ApredictionofstockpriceindexismadewiththenewproposedmethodbasedonthecontinuoushiddenMarkovmodel.Theexperimentprovedthattheproposedpredictionmethodbasedonsecond-ordercontinuoushiddenMarkovmodelforthestockpriceindexdoesntonlyhavefasterconvergencespeed,butalsohaveahigherdegreeofaccuracythanthatbasedonthefirst-ordercontinuoushiddenMarkovmodel.Keywords:stochasticprocess;second-ordercontinuoushiddenMarkovmodel;stockpriceindex;predictionII华北电力大学硕士学位论文目录摘要.IAbstract.II第1章绪论.11.1研究背景及意义.11.2国内外研究动态.31.2.1国外研究现状.31.2.2国内研究现状.41.3本文的主要工作.4第2章基本模型介绍.62.1马尔可夫模型.62.1.1模型建立的基础.62.1.2模型的建立.72.1.3模型的应用.82.2隐马尔可夫模型.82.2.1隐马尔可夫模型.82.2.2隐马尔可夫模型三个算法.92.2.3模型的应用.132.3本章小结.14第3章实证分析中的模型改进.153.1一阶连续隐马尔可夫模型.153.1.1高斯混合模型.153.1.2连续隐马尔可夫模型核心算法.163.2二阶连续隐马尔可夫模型.183.2.1二阶隐马尔可夫模型.183.2.2二阶连续隐马尔可夫模型核心算法.193.3预测方法.203.4本章小结.21第4章美国S&P500指数实证分析.224.1基于隐马尔可夫模型的预测方法效果检验.224.1.1案例检验.224.1.2小结.25III华北电力大学硕士学位论文4.2股票价格指数预测.254.2.1基于一阶HMM实证分析.254.2.2基于二阶HMM实证分析.294.2.3小结.334.3本章小结.33第5章结论与展望.34参考文献.36攻读硕士学位期间发表的论文及其它成果.39致谢.41IV华北电力大学硕士学位论文第1章绪论1.1研究背景及意义俗话说：“股市是国民经济的晴雨表”。股市的健康与否直接关系到国民经济的好坏。而股市的走势在一定程度上代表了国家经济的现实表现，无论是国家对资本经济的管理，还是各种基金对资本的投资，亦或者是一些公司、企业、单位对经济的管理，甚至是个人对于资金的管理，所有与股市有关的国家机构、机关、企业、公司和个人都会对股市的走势变化予以研究、分析、判断，从而使自己的资金能获得最高利益。而股票价格指数是描述股票市场总的价格水平变化的指标。它是选取有代表性的一组股票，把他们的价格进行加权平均，通过一定的计算得到。各种指数具体的股票选取和计算方法是不同的。准确预测股票价格指数变动不仅会为投资者带来利润，还会成为政府评判市场健康与否的依据，同时也是各个企业关注股市动态的指标。然而由于股票市场数据的复杂性，如何开发高效的预测模型吸引了无数学者去研究，成为了金融界的一大热点。因此，股票价格指数变动的预测被认为是金融时间序列预测的一个具有挑战性的任务。图1-1.1990-2015年中国股市上证指数走势图由上述可知，股票价格指数的预测并不是一件简单的事。如图1-1所示，该图选取中国股市上证指数每年12月末的收盘价作为研究对象，从1990年到2015年的走势图不难看出，股票价格指数受到多种因素的影响，且呈现出复杂的非线性关系，具有随机性和突变性，难以用精确的数学模型加以描述。比如08年的金融危机，源于美国的金融危机不仅对美国本地的股市有相当大的冲击，还对本1股票指数2014年12月末收盘2015年12月末收盘2015年累计涨幅（%）莫斯科综合指数1396176226.22德国法兰克福指数97641076510.25上海综合指数323435399.41日本日经指07法国CAC40指数425246379.05纳斯达克指数474050155.80韩国综合指数192619611.82标准普尔500指数20662049-0.82道琼斯工业指数1807317425-3.59印度Nifty50指数82737946-3.95英国富时100指数65426242-4.59巴西圣保罗指数4851243349-10.64华北电力大学硕士学位论文国的股市也会有着相当大的影响，这说明其变化受到全球因素的影响。至于美国的次贷危机，相信大家一定都不陌生。那是2007年发生在美国的一个信贷危机，从美国出发，一直蔓延到全球各地，不仅影响到美国当地的经济，而且也严重冲击了其他国家的经济。这种危机是不仅影响程度很大，而且影响范围也是前所未有的，而对于各地的发达区域，其影响更是惨烈，而对于那些发展中国家，影响相对来说较小。而中国是发展中国家的一个重要代表，开放的也比较晚，金融市场也比较不完善，因此好多学者都认为中国受到的影响会比较小。然而，中国受到的影响却远远超出了学者的想象，对于全球性的金融危机，这已经不再是一个国家的事，任何一个国家在当今时代都会受到全球性问题的干扰，也不可能在全球性问题中独善其身。因此全球性的金融问题对于中国的经济造成了严重的影响，而这种影响是全面地，是属于全球的1-4。表1-1.2015年全球主要股市涨幅排名如表1-1所示，这是2015年全球的主要的股市涨幅排名，可以看到我国的上海综合指数排名第三，仅次于俄罗斯的莫斯科综合指数以及德国的德国法兰克福指数。但是和排在第四位日本的日经指数以及法国的CAC40指数相差不大。实际上，对于我国的上海综合指数来说，如图1-2所示，这是2015年我国股市上证指数的走势图，其股指变化是大起大落的，尤其的在我国上半年这段时间，涨幅特别厉害，直到第四季度，涨幅情况才得到控制，由此可以见，对于股票价格指数，要想准确预测其指数，必须得了解股票指数的涨跌趋势以及它的涨跌幅2华北电力大学硕士学位论文度，这也从侧面表现出股票价格指数的特点，即股票价格指数波动大，具有较强的波动性，为股票价格指数的预测增大了难度。图1-2.2015年中国股市上证指数走势图因此，股票价格指数有着急涨骤跌的特性，有着随机性和突发性，在走势上很难预测下一时间段是涨还是跌，但是他背后所蕴含的价值却是非常巨大的，如何合理精确地预测股票价格指数成为了金融市场研究领域的重要课题。1.2国内外研究动态1.2.1国外研究现状由于国外的金融市场开放的比较早，同时其发展的也比较完善，因此在早期很多国外学者就开始对金融市场这个神秘的领域开始探索。很多学者不断探索金融市场的本质，总结出许多模型以及价值理论，为股票价格指数的预测打下了坚实的理论基础。正如价值理论一样，股票价格也一样遵循这个原则，BenjaminGraham和DavidDodd认为股票价格会随着时间的推移，断围绕着其内在价值而上下波动，因此，预测股票价格直接转化为对股票的内在价值的研究。而在当今社会，大部分的投资者都不会将所有的鸡蛋放在同一个篮子里，这显然是为了规避风险，HMarkowitz教授于1938年提出了投资组合的概念，很好的解决了其风险规避问题，他运用了数学中的方差来表示所谓的风险，将风险理解为系统风险和非系统的风险。之后，他的学生MSharpe、Lintner等提出了著名的资产资本模型，从3华北电力大学硕士学位论文而强化了其理论的应用，为投资者的投资行为做出了参考指导。而Roberts和Osbome在股票市场中发现其价格是遵循“随机游动”的规律。到了20世纪，时间序列逐渐成熟，而时间序列又很符合股票价格的特征，因此得到了金融界的关注，而在金融界，时间序列的应用也越来越广泛，产生各种来自时间序列的金融模型，这些金融模型也为股票价格指数的预测提供了模型基础，特别是其中的股票预测模型。1.2.2国内研究现状我国对于股票价格指数的预测研究比较晚，但是也积累了很多的传统统计方法。比如图像法，割线法以及各个指标分析法等。而这些方法也为广大投资者所熟知，然而这些传统的统计方法只是做了一定程度的定量或者定性的分析，还远远达不到投资者们的要求，因此金融界迫切需要更好的模型用于解决股票价格指数预测这个问题，因为股票价格指数预测在金融界有着重大的意义，因此才涌现出一批又一批的学者不断对股票价格指数的研究，从而才积累了越来越多的股票价格指数预测的统计方法。近几年，由于马尔可夫过程、神经网络、支持向量机、时间序列等理论不断的完善，越来越多的国内学者将这些统计理论运用到股票价格指数预测中，张学东博士等给出了股指期货的定价模型，同时将该模型运用到股指期货的时间序列中，得到了很好的验证5；杨一文等人在论文6中将模糊数学理论运用到了股指研究中，并且利用神经网络以及小波分析等方法进行了分析；论文7给出了一种方案，该方案用于股票的智能决策系统；论文8提出金融数据的挖掘算法；而论文9提出了一种新的算法，该算法是一种聚类算法，也是用于金融数据的挖掘；塞英，张凤延等人利用支持向量机的算法对金融数据进行回归，利用股指期货的特点对其进行了预测10。而陈志航等人在论文11中研究了隐马尔可夫模型，提出了基于隐马尔可夫模型的组合预测方法，并且通过研究其组合权重来研究该预测方法，为研究股票价格指数的涨跌趋势提供了灵感。该预测方法能够对非平稳的随机过程给出很好的预测，同时对我国的上证指数的涨跌情况做了预测，通过比较时间序列模型有着较好的预测效果；2004年，曾凡仔等人利用解析中心分类器，克服了支持向量机分类器的缺陷，增强了分类器的泛化性能，对数据的涨跌幅度进行分类，从而预测了数据的涨跌情况12，为股票价格指数的预测提供了新的思路，只要股票价格指数的涨跌趋势以及涨跌幅度都能很好的预测出来，那么股票价格指数的具体数值就能很好的被预测出来。1.3本文的主要工作通过阅读相关的文献，从陈志航等人的论文中得到启发，本文提出了新的基4华北电力大学硕士学位论文于隐马尔可夫模型的股票价格指数预测方法。在将离散的隐马尔可夫模型推广到连续的隐马尔可夫模型的基础上，通过推导Baum-Welch算法将一阶连续隐马尔可夫模型推广到二阶连续隐马尔可夫模型，利用二阶连续隐马尔可夫模型预测股票价格指数的涨跌趋势。然后结合K-Means聚类算法和二分法提出了预测股票价格指数涨跌幅度的方法，最终对股票价格指数进行了合理的预测。本文的主要工作包括：（1）通过查阅相关文献资料，收集整理作为经济市场的一个重要衡量指标之一的美国S&P500指数数据，对数据进行清洗处理后选取了其中2014年7月到11月的美国S&P500指数中的收盘价作为研究对象。利用Matlab画出的散点图直接研究股指的性质，可以清晰地发现美国S&P500指数的收盘价变化规律具有复杂的非线性和随机性。（2）通过学习研究隐马尔可夫模型的相关算法，应用隐马尔可夫模型构建了包含两个隐状态的涨跌趋势预测模型。其中一个隐状态定义为涨状态，另一个隐状态定义为跌状态，然后结合K-Means聚类算法和二分法提出了一种新的股票价格指数涨跌幅度预测模型。通过北京市居民生活用电量的预测以及股票价格指数数据的预测直接验证了该模型对于时间序列数据的预测具有一定的有效性和可行性。（3）由于股票价格指数的数据在时间上具有连续性，因此需要将离散的隐马尔可夫模型推广到连续的隐马尔可夫模型，由此提出了基于连续隐马尔可夫模型的涨跌趋势预测模型。由于隐马尔可夫模型在假设上存在不足，再将一阶连续隐马尔可夫模型推广到二阶连续隐马尔可夫模型，结合提出的涨跌幅度预测方法对股票价格指数进行预测。通过比较基于一阶连续隐马尔可夫模型和基于二阶连续隐马尔可夫模型的预测结果，得到相应的结论。5华北电力大学硕士学位论文第2章基本模型介绍马尔可夫模型（MarkovModel）是一种统计上的模型，它广泛应用在语音识别，文字顺序识别等各个自然语言处理领域。经过长期的发展，特别是在语音识别中的成功应用，使之成为了一种通用的统计工具。到现在，马尔可夫模型一直被认为是实现语音识别系统的最成功的模型。复杂的语音识别问题则通过隐马尔可夫模型（HiddenMarkovModel，HMM）能非常简单地被表述解决。2.1马尔可夫模型2.1.1模型建立的基础假设马尔可夫过程Xn,nT的参数T是离散的集合，即T=0,1,2,L，其相应Xn可能取值的全体组成状态空间也将会是是离散的状态集I=i1,i2,i3,L。设随机过程Xn,nT，若对任意的整数nT和任意的i0,i1,L,in+1I，条件概率均满足PXn+1=in+1|X0=i0,X1=i1,L,Xn=in=PXn+1=in+1|Xn=in（2-1）则称Xn,nT为马尔可夫链，简称马氏链。条件概率PXn+1=j|Xn=i的最直观的含义为系统在时刻n处于状态i的条件下，在时刻n+1系统处于状态j的概率。它相当于随机游动的质点在时刻n处于状态i的条件下，下一步转移到状态j的概率。记这个条件概率为pij(n)，严格的定义如下：pij(n)=PXn+1=j|Xn=i（2-2）为马尔可夫链Xn,nT在时刻n的一步转移概率，其中i,jI，简称为转移概率。设P表示一步转移概率pij所组成的矩阵，且状态矩阵I=1,2,L则6MMIjij华北电力大学硕士学位论文p11p12LP=p21p22L称为状态的一步转移矩阵，它具有以下的性质：pij0,i,jIp=1,iI称条件概率pij(n)=PXm+n=j|Xm=i(i,jI,m0,n1)（2-3）（2-4）（2-5）为马尔可夫链Xn,nT的n步转移概率，并称P(n)=(p(n)ij)为马尔可夫链的n步转移矩阵。由于马尔可夫过程满足无后效性和平稳性，所以P(k)=P(k-1)P=P(k-2)P2=L=Pk2.1.2模型的建立设Xn,nT为马尔可夫链，称pj=PX0=j,pj(n)=PXn=j（2-6）（2-7）为Xn,nT的初始概率和绝对概率，并分别称pj,jI和pj(n),jI为Xn,nT的初始分布和绝对分布，简记为pj和pj(n)。称概率向量PT(n)=(p1(n),p2(n),L)(n0)为n时刻的绝对概率向量，而称PT(0)=(p1,p2,L)为初始概率向量。则由切普曼科尔莫戈罗夫方程（pij(n)=pik(l)pkj(n-l)）可知kIPT(n)=PT(n-1)P写成矩阵形式，即：（2-8）（2-9）（2-10）7华北电力大学硕士学位论文MLp11(p1(n),p2(n),L)=(p1(n-1),p2(n-1),L)p21p12p22ML（2-11）由递推关系有：PT(n)=PT(n-1)P=L=PT(0)Pn（2-12）从（2-10）式子中可以看出，只要知道初始状态和一步转移概率矩阵，就可以通过不断迭代得到想要时刻的状态概率矩阵。2.1.3模型的应用众所周知，马尔可夫模型的应用非常广泛。近几年，结合马尔可夫模型进行研究的对象以及方法有很多。罗佳，姜澜等（2009）提出了基于马尔可夫链的电冰箱制冷系统再利用策略研究14。而张传平，陈泓洁等（2010）提出了马尔可夫链与原油进口时机选择的研究。该文章在总结油价预测模型的基础上，将原油价格动态过程视为马尔可夫链15。郭昊坤，吴军基等（2012）也提出了一种改进的马尔可夫链及其在电力线通信信道脉冲噪声建模中的应用。由于脉冲噪声干扰严重，他们提出了一种改进的马尔可夫链，即峰式马尔可夫链，发现峰式马尔可夫链所建立的模型保留了更多脉冲噪声幅值特性，与实际模型更相符。利用所建立的峰式马尔可夫链模型仿真出电力线脉冲噪声幅值序列，比较两者转移概率矩阵中各概率值，发现误差很小，这说明峰式马尔可夫链非常适合建立电力线通信信道脉冲噪声幅值模型16。同一时间，刘宗明，贾志绚和李兴莉（2012）也提出了基于灰色马尔可夫链模型的交通量预测模型。由于交通量是一个不平稳的时间序列，在不确定性条件和缺乏数据资料的情况下，交通量的预测是一个比较复杂的问题。该模型在灰色预测理论的基础上，再对随机波动大的残差序列进行马尔可夫预测，实现了两者的优势互补，克服了两者的不足17。由此可见，很多领域都可以应用马尔可夫模型来得到解决。本文是基于隐马尔可夫模型提出的预测方法，并将其应用于股票价格指数的预测，而隐马尔可夫模型中的隐状态序列就是一个马尔可夫过程。2.2隐马尔可夫模型2.2.1隐马尔可夫模型隐马尔可夫模型包含了两个随机过程，简单的说一个过程是可以观察到的观测值序列，这是一个显性的随机过程；另一个是隐含着观测值序列背后的隐状态序列，而隐状态序列是一个马尔可夫过程，即状态之间存在着状态转移矩阵，这8华北电力大学硕士学位论文是一个隐性的马尔可夫过程。如图2-1所示，很清晰的表明了隐马尔可夫模型的组成。图2-1HMM的组成原理隐马尔可夫模型一般可以由一个五元组来表示：l=(N,M,A,B,p)（2-13）其中N表示状态数，记N个隐状态为s1,s2,L,sN，则t时刻隐过程的状态为qt,qts1,s2,L,sN；M表示每个隐状态对应的可能的观测的数值，记M个观测值为v1,v2,L,vM，则t时刻观察到的观测值可以表示为ot,otv1,v2,L,vM；A表示状态转移概率矩阵，即隐藏在观测值序列背后的隐状态序列的转移概率矩阵，A=aijNN，aij=P(qt+1=sj|qt=si)表示从状态i转移到状态j的概率；B表示观察值概率矩阵，B=bjkNM,bjk=P(ot=vk|qt=sj)表示t时刻状态j出现观测值vk的概率；p表示初始状态概率分布矩阵，即每个状态的初始概率，p=(p1,p2,L，pN),pi=P(q1=si)。由于aij,bjk,pi都表示概率，故它们满足以下条件：NMNaij=1,bjk=1,pi=1aij0,bjk0,pi0i,j,kj=1k=1i=1（2-14）2.2.2隐马尔可夫模型三个算法隐马尔可夫模型（HMM）可以解决三类基本问题，第一类是评价问题，用9华北电力大学硕士学位论文来评估模型的好坏；第二类是解码（辨识）问题，用来确定最优的隐状态序列；第三类是学习问题，用来优化模型的参数。而不同的问题所运用