金融领域时间序列数据挖掘技术的研究.doc

金融领域时间序列数据挖掘技术的研究一：金融领域的作用金融业是专门经营货币资金、进行社会资金融通的行业。在当今世界的创新浪潮中，各行各业的创新活动都离不开资金这种最重要的生产要素，金融业提供的各种金融服务和金融产品，不仅从资金上支撑着整个社会的创新活动，同时，也形成了自身进行金融创新的迫切而又十分普遍的需求。因此，金融业创新在社会创新的浪潮中，应该也必须走在各行各业创新活动的前列。另外，技术创新，在21世纪的知识经济时代，是以信息科技为主要内容的， 金融业作为一个高度信息化的产业，对信息和信息科技有着密切的依赖关系。二：数据挖掘在金融领域的运用1数据挖掘技术在证券行业的应用 数据挖掘在此过程中将发挥重要作用，其技术应用的方向主要有：(1)客户分析。建立数据仓库来存放对全体客户、预定义客户群、某个客户的信息和交易数据，并通过对这些数据进行挖掘和关联分析，实现面向丰题的信息抽取。(2)咨询服务。根据采集行情和交易数据，结合行情分析，预测未来大盘走势，并发现交易情况随着大盘变化的规律，并根据这些规律做出趋势分析，对客户针对性进行咨询。(3)风险防范。通过对资金数据的分析，可以控制营业风险，可以改变公司总部原来的资金控制模式，并通过横向比较及时了解资金情况，起到风险预警的作用。(4)经营状况分析。通过数据挖掘，可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息，并结合大盘走势，提供不同行情条件下的最大收益经营方式。通过对各营业部经营情况的横向比较，以及对本营业部历史数据的纵向比较，对营业部的经营状况作出分析，提出经营建议。2、数据挖掘在银行CRM(客户关系关系管理)中的应用 客户关系管理(以下简称CP,M，Customer RelationshipManagement)是现代商业银行的重要业务之一。商业银行实施CRM的目标是了解客户需求，找出能盈利客户，提高针对性服务。要实现以上目标，可以借助层次信息处理技术，它能够充分利用客户资料，发现潜在的，有用的规则和模式。数据挖掘技术在商业银行CRM中具有广泛用途主要有：(1)加载客户信息。这一阶段主要是进行数据清理，消除现有业务系统中有关客户账户数据不一致的现象，将其整合到中央市场客户信息库，建立以客户为中心的数据仓库基础环境。银行各业务部门对客户有统一的视图，可以进行相关的客户分析。(2)加载客户交易信息。这一阶段主要是把客户与银行分销渠道的所有历史交易数据加载到中央市场客户信息库。这一阶段完成后，银行可以分析客户使用分销渠道的情况和分销渠道的容量，了解客户、渠道、服务三者之间的关系。(3)模型评测。为客户的每一个账号建立利润评测模型，以便了解客户对银行的总利润贡献度。要建立利润评测模型，需要加载会计系统的财务数据到中央数据仓库。这一阶段完成后，银行可以从组织、客户和产品三个方面分析利润贡献度。(4)优化客户关系。银行应该掌握客户在生活、职业等方面的变化及外部环境的变化，抓住推销新产品和服务的时机。这需要将账号每次发生的交易明细数据，加载到中央数据仓库，核对客户行为的变化。 (5)风险评估和管理。银行风险管理的对象主要是与资产和负债有关的风险，与资产负债有关的业务系统的交易数据要加载到中央数据仓库；然后，银行可以依照不同的期间，以数学模型分析和模拟计算利率敏感性资产和负债之间的缺口，了解银行在不同期间资本比率、资产负责结构、资金情况和净利息收人的变化。3市场趋势预测。数据挖掘技术可以进行数据的趋势预测比如金融市场的价格走势预测、客户需求的变化趋势等。4识别金融欺诈、洗钱等经济犯罪。金融犯罪是当今业内面临的棘手问题之一包括恶意透支、盗卡、伪造信用卡、盗取帐户密码以及洗黑钱等，严重威胁人们的财产及金融系统的正常运行。要侦破洗黑钱和其它金融犯罪，重要的是要把多个数据库的信息集成起来。然后采用多种数据挖掘工具寻找异常模式。发现短时间内，少数人员之间的巨额现金的流动，发现可疑线索。三、数据挖掘技术简介1数据挖掘技术的定义数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识、这些知识是隐含的、事先未知的、潜在有用的信息，提取的知识表示为概念(Concepts)，规则(Rules)、规律(Regularities)、模式(Patterns)等形式。这个定义把数据挖掘的对象定义为数据库。2常用的数据挖掘技术和过程在数据挖掘中最常用的建模技术有：(1)统计：统计是涉及数据和描述的一个数学分支，其主要任务就是了解收集到的有限数据，并根据这些数据作出关于潜在数据分布是什么的预测。(2)K近邻：近邻技术是指为了预测在一个记录中的预测值是什么，在历史数据库中寻找有相似预测值的记录，并使用未分类记录中最接近的记录值作为预测值。对基础最近邻算法常常作的改进是从K个最近的邻居中进行投票选择，而不是仅仅取决与距未知记录最近的邻居。(3)聚类：聚类方法用于将记录聚集在一起，从而给出数据库的一个高层视图。(4)决策树：决策树是指采取树形式的预测模型，树的每个分支都是一个分类方法，树叶是带有分类的数据分割。(5)人工神经网络：仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。(6)规则归纳：从统计意义上对数据中的“ifthen规则进行寻找和推导。3数据挖掘的过程(1)数据准备。数据的准备阶段可分为数据选取、数据预处理、数据转换三个步骤。数据的选取是根据用户的需要从原始数据库中抽取的一部分数据；数据预处理是消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换；数据转换的主要目的是削减数维数或降维。(2) 数据挖掘。对准备好的数据进行分类、聚类，找出关联规则，之后根据具体目标，确定数据挖掘的算法，在选择算法的时候，重要的是根据用户需求来决定具体的算法，然后确定具体的挖掘模型。(3) 结果评估。对数据挖掘阶段确定的模型，进行评价，消除冗余，使得模型满足用户的需求。在评价时要及时反馈，不符合的就要重新返回到以上两个步骤，直到满足要求。四时序数据挖掘在金融领域中应用 近年来，知识挖掘在金融领域已经得到了比较广泛的应用，并取得了很好的效果，在客户关系管理、预测金融市场和金融风险预警方面，都有很多成功的案例。时序数据挖掘是KDD中一个重要的领域，在金融领域中也有广泛的应用前景。 4.1金融领域中的时序数据 时序数据库是指由随时间变化的序列值或事件组成的数据库其数据取值一般是等时间间隔采集的。时序数据库分布极为广泛，如：股票的每日交易数据、银行的日常交易数据、统计部门的各类事件相关报表等等。金融领域中的大量数据一般分为两类，一类是客户信息，一类是交易信息，是金融领域内数据挖掘的主要对象，其数据类型不同，挖掘的目的和手段也有不同。客户信息记录的是客户一些基本信息(名称、帐号、身份、职业、所在地、收入等等)。作为挖掘对象，客户信息记录有其一定的局限性，限制了其应用领域。 4.2金融领域时序数据挖掘应用 在金融领域内对交易数据进行分析，挖掘其内在模式，以模式为基础来发现孤立点和预测其发展趋势是时序数据挖掘的最重要应用。发现交易中的异常情况是金融领域KDD的最重要应用之一，它对预防金融风险、保证资金安全有着重要的现实意义。虽然仅仅通过对时序数据进行分析发现孤立点，并不能认定其对应数据即为非法数据，但是，非法交易数据往往包含在这些孤立点数据中，通过发现孤立点数据集合，将其作为发现非法交易的源数据，可以大大提高挖掘的效率和精确程度。此外，通过模式挖掘，将相似模式对应的数据组合成小样本空间，在其中进行回归预测，可以提高对未来数据预测的精度，并减少了运算强度。 本文主要介绍了对时序数据序列进行挖掘，通过模式发现，以发现模式为基础，期望发现金融领域内的孤立点。五、时序数据模式挖掘 本文目的是在金融时序交易数据中发现异常值，由于金融交易数据是时序序列数据，故而，其本质是在交易时序序列中发现孤立点，是一种离群数据的挖掘。其挖掘的过程为，针对时序序列数据，首先进行模式挖掘；将交易数据按模式分类；那些不能划入模式类型的数据即为孤立点，对孤立点数据进行分析，如果它们和常规数据相差过大，可以认为其为异常数据，加以提取处理。六、常用的三种聚类方法1基于统计学的聚类方法聚类分析是统计学领域中对多元数据进行分析的一种主要方式，通过计算各个统计数据相互之间距离的差异，并以此为依据对数据进行划分，生成集合类，使得每个类集合内部的数据彼此之间差异小于指定的阈值，而类集合之间的数据差异要大于指定闽值。距离的含义是指数据与数据之间差异性的度量值，通常采用的距离是欧几里得距离2机器学习的聚类方法机器学习中的聚类方法有时也称之为概念聚类，在此学习中，距离的含义不再是统计方法中的几何距离了。而是根据概念的描述来确定，并且，聚类的对象是可以动态增长的。在机器学习中，目前常见的方法和算法有：规则归纳、决策树、贝叶斯网络、遗传算法等等。3神经网络方法神经网络方法是另一种常见的聚类挖掘方法，其实质是一种模仿人脑神经网络的结构和某些工作机制而建立的新的计算模型；其特点是利用大量的简单计算单元(神经元)连成网络，实现大规模并行计