（计算机软件与理论专业论文）基于特征分析的金融时间序列挖掘若干关键问题研究.pdf

摘要 摘要 随着金融行业的竞争日益激烈，分析决策对数据的依赖性和敏感度也越来 越高。在此背景下，许多金融机构开始运用更先进的信息技术与智能决策支持 技术，对业务系统中积累的海量数据进行深入的分析，以发现有价值的各种规 律。作为一种新兴的智能决策支持技术，数据挖掘逐步在金融行业中得到应用。 在金融领域，时间序列数据是一类重要的数据类型，对时间序列的挖掘是 金融数据挖掘的一个重要内容。本文在分析金融时间序列特征与实际应用需求 的基础上，针对金融时间序列挖掘的若干关键问题进行了研究，这些问题的研 究对于金融领域的趋势分析与趋势预测、数据的精确建模、风险分析以及投资 组合研究等方面有着重要的意义。总的说来，本文的主要研究成果包括： ( 1 ) 针对金融时间序列的趋势性和趋势变动性，提出了一种基于回归系数 的时间序列维约简与相似性查找方法。本文首先证明了对于任意长度的时问序 列，可以仅使用常数存储空间、在线性时间内递推计算其回归系数。在此基础 上二提出了一种基于回归系数的时间序列维约简方法逐段回归近似( p r a ) ， 该方法具有线性时间复杂度，并且对均值平稳的独立噪声干扰不敏感。同时本 文证明了使用p r a 方法进行相似性查找满足下界定理( 也称为收缩性) ，因而 是有效的。对实际数据的实验结果表明，使用p r a 方法，可以对金融时间序列 进行基于趋势与趋势变动的相似性查找，这一点在外汇、期货市场的数据分析 中尤为重要。 ( 2 ) 针对金融时间序列的自相关特征以及底层生成机制的动态变化特征， 提出了一种基于a r m a 模型的联机时间序列分割算法。根据a r m a 模型的最 小方差预测特性，首先提出了一种用于度量当前a r m a 模型是否适合描述后 续数据的指标适合度。在此基础上，提出了一种基于a r m a 模型的联机 时间序列分割算法，算法通过计算模型对后续数据段的适合度，判断当前模型 是否适合继续描述后续数据，从而对模型进行动态调整，或者对序列进行分割 并逐段建立a r m a 模型。实验结果表明，对跨越较长时期的金融时间序列逐 段建立a r m a 模型，不仅能够用于分析数据的底层生成机制与自相关特征的 变化情况，并且能对序列进行更精确的建模。 ( 3 ) 基于金融时间序列的自相似性与波动聚集性，提出了一种新的波动聚 集性模型基于自相似的波动聚集模型，用于研究在不同时段，序列波动的 自相似特征。为了研究该模型，提出了一种新的基于线性回归模型的联机时间 序列分割算法，与以往基于拟合误差的分割算法不同，该算法根据序列的拟合 基于特征分析的金融时间序列挖掘若干关键问题研究 1 v 复旦大学博士学位论文 摘要 优度与趋势变动对时间序列进行分割。对该算法进行简单的扩展，即可用于研 究基于自相似的波动聚集模型。分析在不同时段序列波动的自相似特征，对于 金融资产的风险分析有着重要的意义。 ( 4 ) 基于金融时间序列的多重分形特征，提出了一种基于多重分形的时问 序列聚类方法。论文首先给出了一种计算时间序列多重分形特征参量的算法， 同时提出了一种新的概率函数计算方法，用于研究会融时间序列在方差变动方 面的多重分形特征。在此基础上提出了一种基于多重分形特征的聚类方法，该 方法能够根据不同的分析目的，灵活地使用不同的概率函数以及序列的多重分 形特征参量进行聚类，这样的聚类在金融资产定价、投资组合以及风险分析等 许多应用中有着重要的意义。对上海证券市场实际数据的实验结果表明，本文 提出的聚类方法是灵活有效的。 关键词：数据挖掘、时问序列、维约简、相似性查找、自回归移动平均、分割、 波动聚集、分形、聚类 中图分类号：t p 3 0 2 基于特钲分析的金融时间序列挖掘若干关键问题研究v复旦人学博士学位论文 第一章绪论 a b s t r a c t w i t hc o m p e t i t i o no ff i n a n c i a lt r a d eb e i n gi n c r e a s i n g l ys e r i o u s ，t h ed e p e n d e n c e a n ds e n s i t i v i t yo nd a t aw h e nm a k i n gd e c i s i o n sa r eh i g h e r u n d e rs u c hb a c k g r o u n d s ， m a n yf i n a n c i a li n s t i t u t i o n sb e g i nt ou s em o r ea d v a n c e di n f o r m a t i o nt e c h n o l o g ya n d i n t e l l i g e n t d e c i s i o n s u p p o r tt e c h n o l o g y t om a k ed e e pa n a l y s i so nh u g ed a t a a c c u m u l a t e db yb u s i n e s ss y s t e m si no r d e rt of i n dv a r i o u sk i n d so fv a l u a b l er u l e s a s an e wk i n do fi n t e l l i g e n td e c i s i o ns u p p o r tt e c h n o l o g y , d a t am i n i n gi sb e i n gu s e di n f i n a n c i a lt r a d es t e pb ys t e p i nf i n a n c i a lf i e l dt i m es e i r e si sv e r yi m p o r t a n ta n dt i m es e r i e sm i n i n gi sa n i m p o r t a n tt a s ko ff i n a n c i a ld a t am i n i n g b a s e do nt h ea n a l y s i so fd a t af e a t u r e sa n d a c t u a ld e m a n d s ，w em a k ear e s e a r c ho ns e v e r a lk e yi s s u e si nf i n a n c i a lt i m es e r i e s m i n i n g i nt h i sp a p e r s u c hr e s e a r c hi s i m p o r t a n tf o rt r e n da n a l y s i sa n dt r e n d f o r e c a s t ，m o d e l i n gs e r i e sm o r ea c c u r a t e ，r i s ka n a l y s i s ，a s s e t sp r i c i n ga n dp o r t f o l i o r e s e a r c h g e n e r a l l ys p e a k i n g ，t h em a i nc o n t e n t so ft h i sp a p e ri n c l u d e ： ( 1 ) b a s e do nt r e n da n dc h a n g eo ft r e n d ，am e t h o df o rd i m e n s i o nr e d u c t i o na n d s i m i l a r i t ys e a r c hb a s e do nr e g r e s s i o nc o e f f i c i e n ti sp r o p o s e d i ti sp r o v e df i r s t l yt h a t f o ra n yt i m es e r i e st h er e g r e s s i o nc o e f f i c i e n tc a nb ec o m p u t e di nl i a n e a rt i m ea n d o n l yu s ec o n s t a n ts p a c e t h e nan e w d i m e n s i o nr e d u c t i o nm e t h o df o rt i m es e r i e si s b r o u g h tf o r w a r dw h i c hc a l l e dp i e c e w i s er e g r e s s i o na p p r o x i m a t i o n ( p r a ) t h ep r a m e t h o di so fl i n e a rt i m ec o m p l e x i t ya n di sn o ts e n s i t i v et oi n d e p e n d e n tn o i s e sw i t h s t a t i o n a r ym e a n s i ti sp r o v e dt h es i m i l a r i t ys e a r c hb a s e do np r a m e t h o ds a t i s f i e d t h el o w e rb o u n d i n gl e m m a ，s oi ti sp r a c t i c a la n de f f e c t i v e t h ee x p e r i m e n t so nr e a l d a t as h o ww ec a nc o n d u c ts i m i l a r i t ys e a r c hb a s e do nt r e n da n dc h a n g eo ft r e n db y u s i n gp r a ，a n di ti sv e r yi m p o r t a n tf o rd a t aa n a l y s i si nf o r e i g ne x c h a n g ea n df u t u r e s m a r k e t s ( 2 ) b a s e do nt h e f e a t u r e so ff i n a n c i a lt i m es e r i e so fa u t oc o r r e l a t i o na n d d y n a m i cc h a n g i n go fd a t ag e n e r a t i o np r o c e s s ，a l lo n l i n es e g m e n t i n ga l g o r i t h mb a s e d o na r m ai sb r o u g h tf o r w a r d a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fl e a s tv a r i a n c e f o r e c a s to fa r m a ，an e wi n d e xc a l l e df i t n e s si sp r o p o s e df o rj u d g i n gw h e t h e r c u r r e n ta r m am o d e lc a nb eu s e dt od e s c r i b ef o l l o w i n gd a t a b a s e do nt h ei n d e xa l l o n - l i n ea l g o r i t h mf o rs e g m e n t i n gt i m es e r i e si sb r o u g h tf o r w a r d t h i sa l g o r i t h mc a n j u d g ew h e t h e rc u r r e n ta r m am o d e li s s u i t a b l ef o rf o l l o w i n gd a t ab yc o m p u t i n g f i t n e s s ，a n dt h e na d j u s t t h ea r m am o d e ld y n a m i co rs e g m e n tt h es e r i e sa n d 基于特征分析的金融时间序列挖掘若干关键问题研究 v i 复旦大学博十学位论文 第一章绪论 c o n s t r u c tm o d e l sp i e c e w i s e l y t h ee x p e r i m e n t ss h o wt h a tt h ec h a n g e so fa u t o c o r r e l a t i o na n dd a t ag e n e r m i o np r o c e s sc a nb es t u d i e db yc o n s t r u c t i n ga r m a m o d e l sp i e c e w i s ef o ral o n gt i m es e r i e s ，a n dt h es e r i e sc a nb ef i tb e t t e r ( 3 ) b a s e do ns e l f - s i m i l a r i t ya n dc l u s t e r i n go fv o l a t i l i t yo ff i n a n c i a lt i m es e r i e s ， t h i sp a p e rp r o p o s ean e wm o d e lf o rc l u s t e r i n go fv o l a t i l i t y , c l u s t e r i n go fv o l a t i l i t y b a s e do ns e l f - s i m i l a r i t y ，w h i c hc a nb eu s e dt os t u d yt h es e l f - s i m i l a r i t yo ft i m es e r i e s v o l a t i l i t yi nd i f f e r e n tt i m e f o rs t u d i n gt h en e wm o d e lan e wo n l i n es e g m e n t i n g a l g o r i t h mb a s e do nl i n e a rr e g r e s s i o nf o rt i m es e r i e s i sa l s ob r o u g h tf o r w a r d d i f f e r r i n gf r o mp r e v i o u sa l g o r i t h m sw h i c hb a s e do ne r r o ro ff i t ，t h i sn e wa l g o r i t h m s e g m e n t st i m es e r i e sa c c o r d i n gt ot h eg o o d n e s so ff i ta n dt h ec h a n g eo ft r e n do f s e r i e s b e i n gs i m p l ye x t e n d e d ，t h ea l g o r i t h mc a nb eu s e dt os t u d yt h em o d e lo f c l u s t e r i n go fv o l a t i l i t yb a s e do ns e l f - s i m i l a r i t y s t u d i n gt h es e l f - s i m i l a r i t yo ft i m e s e r i e sv o l a t i l i t yi nd i f f e r e n tt i m ei si m p o r t a n tf o rf i n a n c i a la s s e t sr i s ka n a l y s i s ( 4 ) b a s e do nt h ef e a t u r eo fm u l t i f r a c t a lo ff i n a n c i a lt i m es e r i e s ，ac l u s t e r i n g m e t h o db a s e do nm u l t i f r a c t a li s p r o p o s e d f i r s t l yam e t h o df o rc o m p u t i n gt h e m u t i f r a c t a lf e a t u r e sp a r a m e t e r so ft i m es e r i e si sp r o p o s e d ，a tt h es a m et i m ew e p r o p o s ean e wp r o b a b i l i s t i cf u n c t i o nf o rs t u d i n gt h em u l t i - f r a c t a lf e a t u r e so nt h e v o l a t i l i t yo fv a r i a n c eo ff i n a n c i a lt i m es e r i e s t h e nan e wc l u s t e r i n ga l g o r i t h mb a s e d o nm u l t i - f r a c t a lf e a t u r e si sb r o u g h tf o r w a r d ，w h i c hc a nc l u s t e rf i n a n c i a lt i m es e r i e s f l e x i b l eb y u s i n g d i f f e r e n tp r o b a b i l i s t i ef u n c t i o na n dm u l t i - f r a c t a lf e a t u r e s p a r a m e t e r s s u c hc h t s t e r i n gi si m p o r t a n tf o rf i n a n c i a la s s e t sp r i c i n g ，p o r t f o l i oa n d r i s ka n a l y s i s t h ee x p e r i m e n t sc o n d u c t e do nr e a ld a t ao fs h a n g h a is t o c km a r k e t s s h o wt h ea l g o r i t h mi sp r a c t i c a la n de f f e c t i v e k e yw o r d s ：d a t am i n i n g ，t i m es e r i e s ，d i m e n s i o nr e d u c t i o n ，s i m i l a r i t y s e a r c h a r m a ，c l u s t e r i n fo fv o l a t i l i t y , f r a c t a l ，c l u s t e r i n g 基于特征分析的金融时间序列挖掘若干关键问题研究 v i i 复旦人学博士学位论文 y7 6 s 7 0 2 基于特征分析的金融时间序列挖掘 若干关键问题研究 , e s e a r c ho ns e v e r a lk e yi s s u e si nf i n a n c i a lt i m es e r i e s m i n i n gb a s e do nf e a t u r ea n a l y s i s 黄超 导师 朱扬勇教授 指导小组成员 施伯乐教授 顾宁教授 张亮教授 蔓二i 毒，_ ：譬 一 ? ：，：一诳 船一章绪论 第一章绪论 在本章，我们首先介绍了数掘挖掘技术的产生和发展，以及余融信息化与 数据挖掘技术之蒯的关系。由于本文的研究对象是金融领域的时l 剞序列数据， 我们将会融时间序列的分析方法总结为三大类，即传统分析方法、时间序列挖 掘方法以及混合方法，并分别对其进行了详细的讨论。本章的最后介绍了论文 的研究方法、研究成果以及论文的结构。 1 1 研究背景 1 1 1 数据挖掘技术的产生和发展 数据采集、存储与管理技术的进步与企业界迫切需求的结合，使得在过去 的二十年中数据库技术得到了广泛的应用。现今众多商业数据库的容量已经达 到了海量的水平，很多数据库中已经存储了上万亿字节的数据。如何在这些海 量数据中发现臆藏的知识和规律，已经成为计算机界尤其是数据库领域研究者 的一个重要研究方向，我们称之为数据挖掘。 数据挖掘也称为数据库中的知识发现( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ， k d d ) ，即从大规模的数据中抽取非平凡的、隐含的、未知的、有潜在使用价值 的信息的过程 f p s + 9 6 】。作为一门交叉学科，数据挖掘集成了许多学科中成熟 的工具和技术，包括数据库技术、统计学、机器学习、模式识别、人工智能等。 然而与传统的知识发现技术( 如统计方法、机器学习、神经计算等) 不同，数 据挖掘技术一般与数据库的相关技术紧密结合，更加侧重于对海量数据的多种 模式的自动发现，因此具有更广泛的应用前景。 数据挖掘的一般过程可以分为三个阶段，包括数据准备、模式发现与结果 表达 h m s 0 1 1 。数据准备阶段用于为后续的模式发现提供高质量的输入数据，主 要包括数据的选择、净化与集成三个子任务。模式发现是数据挖掘过程的核心 阶段，该阶段运用各种数据挖掘算法，通过对历史数据的分析，得到供决策使 用的各种模式与规则，这是数据挖掘研究中最核心、难度最大的领域。结果表 达阶段关注于规则和模式的可视化表示，即如何将挖掘出来自争模式与规则以一 种直观、容易理解的方式呈现给用户。根据模式发现阶段所发现的规则不同， 数据挖掘方法一般可以大致划分为关联分析、预测、分类分析、聚类分析以及 异常检测等五种 h k 0 1 】。 自从k d d 一词在1 9 8 9 年8 月举行的第1 1 属国际联合人工智能学术会议上 被首次提出以来，k d d 在学术界和工业界的影响越来越大。在学术界，k d d 国 基于特征分析构金融时间序列挖掘若干关键问题研究 l 复旦人学博士学位论文 第一章绪论 际学术会议迄今已经召开了1 0 次。除了k d d 年会外，还有很多其他的数据挖 掘年会，包括i c d m 、p a k d d 、p k d d 、s i a m d a t am i n i n g 等。此外，数据库、 人工智能、信息处理、知识工程等领域的国际学术刊物，以及其他内容的专题 会议也把数据挖掘和知识发现列为议题之，开辟了k d d 专题或专于0 。在工k 界，数据挖掘技术已经在众多行业得到了成功的应用，包括银行、证券、电力， 商业等许多行业都开始运用数据挖掘技术进行决策支持。数据挖掘已经成为当 前管理科学、计算机科学、决策科学等众多学科的研究热点。 1 1 2 金融信息化与数据挖掘技术 金融信息化是指运用现代电子技术、计算机技术以及通讯技术，对金融行 业的业务处理以及管理活动提供支持 z h a o l l 。随着金融全球化与自由化的发展， 金融行业的运行效率与水平在很大程度上决定了一个国家的经济竞争力，而信 息化技术成为影响金融行业创新能力与发展水平的一个重要因素。总的说来， 国内外金融信息化的过程大体上都经过了四个阶段脱机业务处理、联机业 务处理、经营决策信息化以及业务集成化和决策智能化 l i 0 4 1 。 进入2 0 世纪9 0 年代，国际金融业的竞争日益激烈，分析决策对数据的依 赖性和敏感度也越来越高。在此背景下，许多金融机构开始运用更先进的信息 技术与智能决策支持技术，对业务系统中积累的海量数据进行深入分析，以发 现各种有价值的规律。作为一种新兴的智能决策支持技术，数据挖掘开始在金 融行业的部分领域得到应用，如客户分析、欺诈行为检测、资产价格预测以及 投资组合建议 l m v + 0 0 w e a 0 2 z z 0 4 等。例如，法兰克福银行使用数据挖掘技 术发现投资者的金融和商业兴趣，并对投资者进行分类信用评估与欺诈检测， 从而确保利润并降低风险；美洲银行采用数据挖掘工具分析信用卡交易数据， 从而全面掌握客户的消费情况和偏好，为其提供个性化的服务；由j s a 公司丌 发的e p o s 系统，不仅具有良好的预测功能，而且能够对资本市场的数据进行 分类，帮助用户构建合理的投资组合。 在我国，虽然金融行业的发展相对较慢，上世纪九十年代初才建立了沪深 两个证券市场，期货、基金等业务也是近年来才发展起来的，但是金融行业却 是我国信息化建设最早的行业之一。进入上世纪9 0 年代后期以来，国内的金融 信息化更是取得了快速的发展。目前各金融机构基本上都建立了集中式的数据 中心，金融业已经成为一个数据高度密集的行业。以证券市场为例，一秒钟内 每只股票能够产生数个甚至数十个交易数据，截止2 0 0 3 年，上海证券交易所存 储的相关数据就已经达到了约4 0 t 。虽然国内的金融行业进入了数据密集时代， 然而在对数据进行更深层次的分析与挖掘应用上，目前仍处于较低的水平，数 据挖掘技术仅仅被用于客户分析、欺诈检测等少数几个方面，并且在金融机构 基于特征分析的金融时间序列挖掘若干关键问题研究 2复旦大学博士学位论文 第一章绪论 中的应用也并不普及 l m w + 0 3 1 。 总的来说，数据挖掘的各种技术目前还没有在金融行业得到广泛的应用。 随着竞争的不断加剧，各金融机构对智能化决策的要求不断提高，数据挖掘技 术将在金融行业得到更广泛和更全面的研究与应用【l m w + 0 3 】【z z 0 4 。 1 1 3 本文的研究对象 数据挖掘技术可以运用到金融领域的许多方面，在本文中我们选定的研究 对象为金融领域的时间序列数据( 关于时间序列数据的数学定义将在1 2 节中给 出) ，即我们的研究集中于金融领域时间序列数据的挖掘，这主要是基于以下两 个方面的原因： 1 ) 在金融领域，时间序列数据是类重要的数据类型，对时间序列的分析 是金融数据分析的一个重要内容。例如证券市场中股票的交易价格与交易量、 外汇市场上的汇率、期贷和黄会的交易价格以及各种类型的指数等，这些数据 都形成一个持续不断的时间序列。 2 ) 传统的金融时间序列分析模型与方法，无法支持金融领域中一些新的应 用和分析任务。将数据挖掘的相关技术运用到金融时间序列分析，有助于发现 数据中新的规律和特征，并对一些新的应用提供支持。 接下来，我们将讨论金融时间序列分析领域的相关研究工作。 1 2 相关研究 时间序列数据是一类特殊的序列数据，这些数据由一系列随时间变化的值 所组成，测量这些值的时间间隔可以是等间距( 如每日的平均气温) 或者不等 间距( 如某只股票每次交易的价格数据) 。时间序列数据可以是连续的或离散的， 在本文中我们只研究离散数字时间序列数据，其数学定义如下 w a n 0 2 ： 定义1 - 1 ( 离散数字时间序列数据) 对过程中的某个变量工进行观察测量， 在一系列时刻l x , t 2 ，k ，t 。( n 为自变量，且t l t 2 k ，。) 得到的离散有序数集 合 ( z ，t 1 ) ，( z f ，t 2 ) ，k ，( _ 。，f 。) ) ，称为离散数字时间序列数据，简称时间序列数据 或者时间序列。 在时间序列分析领域，一般都使用下标t ，表示数据出现的先后顺序，因此通 常可以令t l = 1 ，且t i + l = f f + l ，此时时间序列可以简记为 畸，k ，k ，x “) 或者 x lx 2 ，k ，x 。) b j r 9 4 w a n 0 2 。在本文中为了便于对不同问题的描述，我们将交 替使用上述记法。 时间序列在社会生活的各个领域中广泛存在，例如商业领域的销售价格与 销售量数据、气象研究中的气温、气压数据以及各种经济指标，如国民生产总 值、消费指数等。在金融市场中，许多数据也都是时间序列，例如每只股票的 基于特征分析的金融时闽序列挖搁若干关键阿题研究 3 复旦大学博士学位埝文 第一章结论 交易价格、交易量以及换手率，或者各种指数的开盘收盘价格等。 在金融时间序列分析领域，收益率( 也叫增幅) 是一个重要的概念，这是 因为任何投资者最终关注的都是其投资能够带来多少收益，在本文以后的章节 中将会多次使用这个概念。若某项金融资产在时刻f l 和t 2 的价格分别为p l 和p 2 ， 则在，l 到t 2 期间该资产的收益率r 可以计算如下 r b 0 3 ： r = ( p 2 一p 1 ) p 1 ( 1 1 ) 作为时间序列的例子，图l - 1 中给出了1 9 9 0 1 2 1 9 - 2 0 0 4 3 1 2 期间，上证综 合指数及其收益率的日数据图形。 ( a ) 上证综合指数 。山一。1 l k j 。一。l ju 。一j w f l l i r r 可1 t 一”町 。7 ” 。” ( b ) 上证综合指数收益率 图1 - 11 9 9 0 1 2 2 0 0 4 3 上证综合指数及其收益率 作为数理统计学的一个分支，时间序列分析自2 0 世纪6 0 年代起就已经得 到了广泛的研究。传统的金融时间序列分析方法主要包括基本分析、技术分析 以及各种数理统计学方法等。随着分析任务的日益复杂，这些传统的方法无法 用于发现数据中更复杂、更隐蔽的各种规律，数据挖掘技术开始被运用到金融 基于特征分析的金融时问序列挖掘若干关键问题研究4复旦大学博士学位论文 第一章绪论 时间序列的分析中。接下来我们对相关的研究工作进行介绍。 1 2 1 金融时间序列的传统分析方法 1 2 1 1 基本分析和技术分析方法 基本分析与技术分析方法主要用于证券市场中的时间序列分析。当投资者 考虑是否投资于股票或者购买什么股票时，一般可以运用基本分析方法对股票 进行分析；而在买卖股票的时机把握上，则可以运用技术分析的方法 r m 0 3 1 。 基本分析指的是通过对影响证券市场供求关系的基本因素( 如宏观政治经 济形势、金融政策、行业变动及公司运营状况等) 进行分析，来确定股票的真 正价值，判断股市走势，从而为投资者提供选择股票的依据 r m 0 3 1 。基本分析 是进行中长期投资的有效分析手段。 技术分析是一种完全根据市场行情变化而加以分析的方法，它通过图表和 各种技术指标，来判断整个股市或个别股票价格的未来变化趋势，探讨投资行 为的可能转折，从而为投资者进行短期投资提供支持。技术分析所用到的各种 技术指标，一般都是通过对历史时间序列( 如交易价格、交易量和涨跌指数等) 进行简单的统计计算得到，常用的技术指标包括能量潮o b v 、动量指标m t m 等。f a c h 0 1 对常用技术指标的用途及其计算方法进行了详细的研究。 1 2 1 2 数理统计方法 技术分析方法虽然计算简单并且易于使用，但是无法用于进一步分析数据 中更复杂的规律和各种统计特征。数理统计方法是目前金融时间序列分析的一 类主要方法，这类方法主要包括： ( 1 ) 各种统计特征的检验分析 这些检验分析方法主要用于分析序列中是否存在某种统计特征，这些特征 往往对于迸一步的数据分析具有重要的意义。例如验证数据平稳性的游程检验、 单位根检验以及证券市场的有效性检验等 g u j 0 3 z h a 0 3 】。 ( 2 ) 相关分析 相关分析是通过计算序列间的相关系数来度量变量间的相关程度。例如计 算相应的相关系数可以推断上市公司经营业绩对其股价的影响、股价的变化幅 度对股票交易的活跃程度的影响、股价波动与宏观经济状况的关系等 g u j 0 3 。 ( 3 ) 线性月e 线性回归分析 线性非线性回归分析通过对变量进行拟合，从而分析变量间的依赖关系。 例如对股票的交易价格与交易量进行拟合，可以分析它们之间的依赖关系以及 交易量对交易价格的弹性等。对金融时间序列而言，回归分析经常用于分析序 列的趋势性以及趋势的变动性 f r a 9 8 1 。 基了二特征分析的金融时间序列挖掘若干关键向艇研究 5 复旦大学博士学位论史 第一章绪论 ( 4 ) 基于自回归移动平均模型的分析 自回归移动平均( a r m a ) 模型是一类重要的时间序列分析模型，目前已 经得到了广泛的应用。对时间序列建立合适的a r m a 模型主要有两方面的用途： 一是用于分析序列的一些重要特征，如随机性、平稳性以及季节性等；二是进 行短期预测。已有许多文献研究了如何使用a r m a 模型进行时间序列的建模与 预测【b r j 9 4 m i l 9 9 】。 ( 5 ) 会融资产的定价分析与投资组合分析 这些方法主要使用较复杂的数学工具( 如b l a c k s c h o l e s 定价模型等) 确定 各种金融资产的可能价格与风险，并根据各种优化算法构建合理的投资组合， 以使得其投资行为产生的期望收益最大而风险最小【s g 0 1 】 r b 0 3 】。 ( 6 ) 分形分析 由于受到众多非线性因素的影响，金融时间序列往往呈现出复杂的形态和 细节特征。基于分形或多重分形的分析方法，主要用于研究金融时间序列所具 有一些高级的、精细的统计特征，这些特征在资产定价、风险分析以及构建投 资组合模型等方面有着重要的意义 p e t 9 6 b p e + 9 7 】。 此外，各种多元分析方法也被广泛用于金融时间序列分析，如判别分析、 主成分分析以及因子分析等。限于篇幅，本文不再详细讨论这些分析方法。 1 2 2 时间序列挖掘方法 数据挖掘作为一种新兴的知识发现方法，近年来在时间序列数据分析方面 也得到了广泛的应用，许多文献讨论了如何将数据挖掘的各种方法运用于时间 序列数据的挖掘，f k k 0 2 对此进行了详细的介绍。在这一节，我们将介绍时间 序列挖掘的主要研究领域，包括关联与序列分析、聚类分析、异常检测、分割 以及相似性查找等。 ( 1 ) 关联分析与序列分析 关联分析与序列分析的目的都是发现大量数据中项集之间有趣的各种相关 联系，不同的是，关联分析一般用于发现同一时间段内的各种联系，而序列分 析则用于发现在时间上具有先后关系的项集问的各种联系【h k 0 1 】。关联分析与 序列分析的典型应用包括购物篮分析、网络入侵检测等。 由r a g r a w a l 等人提出的a p r i o r i 算法与a p r i o r i t i d 算法是最早的关联的规 则发现算法 a i s 9 3 1 ，由于这两个算法需要频繁扫描数据库并且生成大量的候选 项集，因而效率较低。许多文献在此基础上进行了优化与改进，包括划分 【s o n 9 5 】、采样 t o i 9 6 】、哈希 p c y 9 5 、事务压缩 a s 9 4 】、动态项集计数 b m u 9 7 】 以及f p o r o w t h 算法【h p y 0 0 】等。 基于特征分析的金融时间序列挖掘若干关键问题研究 6 复旦大学博士学位论文 第一章绪论 序列规则的发现算法最早也是由r a g r a w a l 等人提出的 a s 9 5 ，在 a s 9 5 】 中，r a g r a w a l 将关联分析中的a p r i o r i 算法思想用于序列规则的挖掘，提出了 a p r i o r i a l l 、a p r i o r i s o m e 、d y n a m i c s o m e 三种算法。其他主要的序列规则发现算 法还包括g s p 算法 s a 9 5 年f lp r e f i x s p a n 算法 p h m o l l 等。 与此同时，时间序列中的关联与序列规则挖掘也受到了普遍的关注。 f m t v 9 5 将关联规则与序列规则发现算法的思想用于分析事件( e v e n t ) 序列， 从事件序列中发现频繁情节( e p i s o d e ) 。d l m + 9 8 使用聚类的方法首先对时间 序列符号化，在此基础上采用序列模式的挖掘算法发现符号中的规则。 o c 9 6 】 提出了从多个同步数据流中发现数值型关联规则的算法， l t x 0 2 针对 o c 9 6 】 中各时间序列必须同步的限制，提出了一种非同步的挖掘算法。z s h 0 3 提出了 一种基于互关联后继树模型的时间序列关联规则发现算法。 ( 2 ) 相似性查找 相似性查找是时间序列挖掘的一个重要研究方向。对于给定的目标序列q 和相似性度量函数d i s ( o ，c ) ，相似性查找指的是在时间序列数据库t d b = q l ， q 2 ，9 中，寻找与q 最相似的那个序列g k k 0 2 】。 时间序列的相似性查找可以分为全序列匹配和子序列匹配两大类，全序列 匹配是指所查找的时间序列与目标序列q 具有相同的长度；子序列匹配则是指 在一个更长的序列中，寻找与目标序列q 相似的所有子序列。 时间序列相似性查找的主要研究内容包括以下几个方面： 1 ) 由于时间序列一般都跨越较长的时间段，甚至可能具有无限长度，因此 这类数据都表现出高维甚至是超高维的特征，由于“维灾”的影响，许多原来 适用于低维数据的相似性查找方法并不能直接用于时间序列这种高维结构 w s b 9 8 】 b g r + 9 9 】。因此大多数相似性查找的方法都是先采用某种方法对序列 进行维约简( 也称为降维) ，在此基础上再进行相似性度量的计算。常见的时间 序列维约简方法包括离散傅里叶变换( d f t ) a f s 9 3 】、离散小波变换( d w t ) c f 9 9 z h s 0 4 以及逐段线性描述( p i e c e w i s el i n e a rp r e s e n t a t i o n ，p l r ) 【k c h 0 1 】 等。 2 ) 即便使用了维约简方法对时间序列进行降维，得到的仍然可能是一个多 维结构，为了有效地对这些多维结构进行查找，需要使用相关的空间索引结构 以提高查找速度，常见的空间索引结构包括r t r e e g u t 8 4 】、r + 一t r e e b k s + 9 0 】、 m - t r e e c p z 9 7 、a - t r e e s y u + 0 0 等。 3 ) 对于时间序列数据，如何判断它们之间是否相似是一个重要的问题，常 用的相似性度量包括乙范式( 当p = 2 时即为欧氏距离) 【a f s 9 3 c f 9 9 和动态时 间弯曲距离d t w b c 9 4 等。 基于特征分析的金融时间序列挖掘若干关键问题研究 7 复旦大学博士学位论文 第一章绪论 ( 3 ) 聚类分析 聚类分析的目的是把整个目标数据分成多个不同的簇( c l u s t e r ) ，使得每个 簇中的数据尽可能相似，而不同簇中的数据具有明显的差别。聚类分析的典型 应用包括空间数据处理、银行信用卡客户分析等。 常见的聚类算法主要包括划分方法和层次方法。基于划分的聚类随机选定k 个对象为初始簇中心，计算每个对象到簇中心的距离，并将其分配到距离最近 的簇中，然后重新计算新的簇中心，如此反复直到对象不再发生变化。典型的 划分聚类算法包括p a m 算法 k r 9 0 和c l a r a n s 算法【n h 9 4 等。 层次聚类方法将数据对象组织成一棵树，根据层次构造是自顶向下还是自 底向上，该方法可以分成分裂和凝聚两种。分裂法将所有对象看成属于同一簇， 逐步向下分裂成更多更小的簇，直到每个对象都自成一簇或满足某个结束条件 为止。凝聚法则将每个对象都看成独立的簇，由下向上合并数据对象，直到满 足某一结束条件或所有对象已经合并到一个簇中。典型的层次聚类算法包括 b i r c h 算法 z r l 9 6 1 、c u r e 算法( g r s 9 8 和c h a m e l e o n k h k 9 9 算法等。 其他的聚类方法还包括基于密度的方法 e k s + 9 6 】 a b k + 9 9 】、基于网格的方 法 w y m 9 7 和基于密度与网格的混合方法 a g o + 9 8 等。 时间序列数据的聚类分析近年来也得到了广泛的研究。 a f s 9 3 使用离散傅 里叶变换( d f t ) 将原始时间序列转换为少数几个离散傅里叶系数，从而对序 列进行维约简，在此基础上使用欧氏距离进行序列的聚类研究。与此类似，【s s 9 9 】 和f g a l 0 0 分别研究了基于离散小波变换( d w t ) 和主成分分析( p c a ) 的时间 序列维约简以及聚类， k p 9 8 】则使用逐段线性分割( p i e c e w i s el i n e a r s e g m e n t a t i o n ，p l s ) 的方法，将时间序列分段转换为带权重的五元向量，在此 基础上进行聚类。 s m y 9 7 l b 0 0 研究了基于隐马尔可夫模