（计算机应用技术专业论文）基于XML的异构数据库挖掘系统的实现研究.pdf

山 东大 学硕 十 学位 论 文 摘要 银行业作为采用最先进技术的行业之一， 随着计算机应用的不断发展， 技术 更新很快。 但正是因为不断采用最新的技术和应用， 造成了日 前银行系统中 应用 的数据库较多。 比如， 综合业务系统采用d b 2 数据库， 信贷系统采用的是s y b a s e 数 据库， 而办 公自 动 化系 统则 采用 s q l s e r v e r 。 经过多 年的 应用， 银 行积 累 了 很多的数据， 但是如何更好的利用这些数据， 从中挖掘出有价值的信息， 为银 行的决策者提供信息支持: 开发新的金融产品， 提高银行的竞争力，是我们目 前 面临的一个重要问题。 针对目前银行存在的多种数据库应用并存的状况，本文提出了一种基于 x m l的异构数据库挖掘方案， 即 通过j d b c 访问 数据库， 然后将数据存放到x m l 文档中，并在此基础土进行数据挖掘。 刁 、 文垂点讨论了 以下方 一 面的问题: i .提出了基于x ml的异构数据库挖掘方案， 将异构数据库中的数据用 x m l文档的方式表示出来，并在此基础上进行数据挖掘。 2 ，在数据集成阶段，首先将所有数据库的连接参数和查询语句等存放 在 x ml映射文件中， 然后通过j d b c接口与异构数据库相连， 最后 将查询到的结果存放在x m l文档中。 3 .然后对集成的数据进行数据验证。本文采取 s c h e m a技术对 x m l 文档进行数据的有效性检测，并对错误数据进行处理，形成有效的 文档，作为数据挖掘的基础。 4 .基于密度和网格的聚类方法。讨论了聚类分析的基本概念和方法。 为了对多维数据进行挖掘， 本文采用了基于密度和网格相结合的聚 类分析方法， 并对商业银行持卡人的实际消费数据进行了具体分析， 从中找出日 前持卡人的年龄、消费额和存款余额的分布情况。 5 .多维关联分析的算法及应用。介绍了关联分析的基本概念和 a p r i o r i 算法? 并采 用x q u e ry 技术 进行了 实 现。 然 后在 聚类 分析得 到的 分 布 区间上，采用静态多维关联分析方法找出了持卡人的消费额、存款 余额和性别之间的关系。 山 东大 学硕 七学位 论 文 沦义最1 沦 rf 一步的研究t作以及有待解决的问题。 关键词:数据挖掘， x m l , d o m，映射文件，聚类分析，关联规则 山东大学硕士学位论文 a b s t r a c t a s o n e o f t h e mo s t mo d e m i n d u s t ry , mo r e a n d m o r e p o w e r f u l n e w t e c h n o l o g i e s o f c o m p u t e r a r e a p p l i e d i n b a n k s t o d a y . c o m m e r c i a l d a t a b a s e s a r e g r o w i n g a t u n p r e c e d e n t e d r a t e s b e c a u s e o f d i ff e r e n t a p p l i c a t i o n s y s t e ms u s e d . f o r e x a m p l e , d b 2 i s u s e d i n a c c o u n t i n g s y s t e m, w h i l e s y b a s e u s e d i n t h e c r e d i t i n g s y s t e m a n d s q l s e r v e r u s e d i n o a s y s t e m. wi t h y e a r s o f a p p l i c a t i o n s , ma n y c o m p a n i e s a l r e a d y c o l l e c t ma s s i v e q u a n t i t i e s o f d a t a , b u t h o w t o e x t r a c t h i d d e n p r e d i c t i v e i n f o r m a t i o n f r o m l a r g e d a t a b a s e s ，f o c u s o n t h e mo s t i m p o rt a n t i n f o r ma t i o n i n t h e i r d a t a w a r e h o u s e s , h e l p b u s i n e s s e s t o m a k e p r o a c t i v e , k n o w l e d g e - d r i v e n d e c i s i o n s , d e v e l o p n e w p r o d u c t s a n d t o p r o m o t e t h e c o m p e t i t i v e a b i l i t y , a l l t h e s e b e c o m e m o re a n d m o r e i m p o r t a n t f o r u s . i n t h i s p a p e r , we p r e s e n t a d a t a mi n i n g p r o j e c t b a s e d o n x ml a c c o r d i n g t o t h e s i t u a t i o n . we e x t r a c t t h e d a t a t h r o u g h j d b c a n d s a v e t h e q u e r i e d d a t a i n x ml d o c u me n t , t h e n p e r f o r m d a t a - mi n i n g . th e c o n t r i b u t i o ns of t hi s d i s s e r t a t i o n a r e a s f o l l o ws : 1 、we p r e s e n t a p r o j e c t b as e d o n x ml t h a t i s t o e x t r a c t d a t a f r o m h e t e r o g e n e o u s d a t a b a s e s i n x ml f o r m a n d m i n e k n o w l e d g e f r o m x m l d o c u me n t. 2 , d u r i n g d a t a c o l l e c t i o n , w e f i n d a n e a s y me t h o d t o a c c e s s h e t e rog e n e o u s d a t a b a s e s , t h a t i s t o c o n n e c t h e t e r o g e n e o u s d a t a b a s e t h r o u g h j d b c a n d s a v e t h e q u e r i e d d a t a i n x ml d o c u me n t w i t h t h e h e l p o f t h e m a p p i n g f i l e . 3 . t h e n w e d i s c u s s t h e c o n c e p t a n d t e c h n i q u e s o f t h e d a t a v a l i d a n d h o w t o d e t e c t t h e x ml d o c u me n t u s i n g s c h e m a t e c h n o l o g y . 4 , c l u s t e r i n g m e t h o d b a s e d o n d e n s i t y a n d g r i d . i n t h i s c h a p t e r , w e in tr o d u c e th e c o n c e p t . o f t h e c lu s te r in g m e th o d a n d u se c lu s te r in g me t h o d b a s e d o n d e n s i t y a n d g r i d t o p r o c e s s m u l t i - d i m e n t i o n d a t a a n d 山东 大学 硕 1 : 学 位 论 文 a n a l y z e t h e r e a l d a t a f r o m c o m m e r c i a l b a n k . 5 , a s s o c i a t i o n r u l e b a s e d o n m u l t i - d i m e n t i o n . we in t r o d u c e t h e c o n c e p t o f t h e a s s o c ia ti o n r u le a n d a p r io ri a lg o rit h m ,a n d im p le m e n t it b y u s i n g x q u e r y t e c h n i q u e a n d a n a l y z e t h e m u l t i - d i m e n t i o n d a t a b a s e d o n t h e c l u s t e r i n g m e t h o d . t h e u n s o l v e d i s s u e s a n d t h e f u t u r e r e s e a r c h p l a n s a r e l i s t e d a t t h e e n d o f t h e d i s s e r t a t i o n . k e y wo r d s: d a t a - m i n i n g , x ml , d o m, ma p p i n g f i l e , c l u s t e r i n g m e t h o d as s o c i a t i o n r u l e 山东大学硕士学位论文 第一章 绪 论 研究背景及意义 目前银行业为了在激烈的行业竞争中取得领先地位，在市场中占有一席之 地，不断采用新技术，开发新的金融产品，推出新的服务。据报道，全美最新 it 技术和 通信网 络最先 应用并 普及的 行业就是以 银行业为代表的金融 业 0 。 而 随着数据挖掘技术的成熟， 银行业采用这种技术对长期积累的数据进行挖掘己 经成为一种必然的趋势。专家撰文认为，商业银行拥有海量的客户信息数据， 如果能对 一 庞杂的数据进行科学的梳理和细分，从中 “ 发现”潜在的价值规律， 那么我国银行私人金融业务的潜力将被最大程度地释放。从市场规模看，我国 银行的私人金融 业务 存在着巨 大的 潜在利润， 而要获取这一市场， 主要 依靠数 据 挖掘手 段2 1 。 银行的数据挖掘应用主要体 现在以 下几个方面3 . .为多维数据分析和数据挖掘设计和构造数据仓库。 2 贷款偿还预测和客户信用政策分析。 j . x i 标市场 ( t a r g e te d m a rk e tin g ) 客户的 分类与 聚类。 4 .对洗黑钱和其他金融犯罪的侦破。 以济南市ic j 业银行为例， 2 0 0 1 年新签订的各种新的应用合同就达 i 1 个之 多，其中包括信用卡系统、 信贷咨询系统、中间业务系统等等。这些新的应用 在促进了 银行业务发展的同时， 也 给商业银行进行数据挖掘带 来新的 难题。 由 于这些应用是由不同的公司来开发的， 采用的是不同的数据库，比如综合业务 系统采用的是 d b 2 数据库，信贷管理系统采用的s y b a s e数据库，而信用卡 系统采用的是 in f o r m ix数据库，以及随着网上银行的迅速发展而不断积累 的大量非结构或半结构化数据。 如何开发一种适合商业银行现状的数据挖掘系 统，是商业银行所面临的重要课题。 本文的研究_ e 作基于上述背景， 根据目前商业银行多种异构数据库并存的 情况，提出了垫于x ml的异构数据库挖掘系统，在数据集成和验证方面采用 了适合商业银行特点的d o m和s c h e ma 技术， 该技术扩展性好， 分析能力强， 系 山东人学硕 丁 学位论文 统升级成本低。在数据挖掘中，结合实际， 根据简单适用的原则，综合并改进 了 聚类分析中基于密度和网 格的 算法; 在关联规则分 析中， 采用x q u e ry 技术 对 经 典 的a p r io r i 算法 进行 了 实 现 。 并 结 合 商 业 银 行 的 信 用卡 消 费 数 据 进 行了 初步应用。 2本文的主要研究内容和组织 本文的主要工作是针对商业银行目 前多种异构数据库并存的现实情况， 提 出了基于 x ml的异构数据库挖掘系统:在数据集成阶段通过 j d b c访问异构 数 据库， 然后将查询到的数据存放在x m l 文档中: 采用s c h e m a 技术对x m l 文档进行验证;采用数据挖掘引擎对整个系统进行调度，并讨论了聚类分析和 关联规则的算法和实现方式， 并对商业银行 信用卡持卡人的刷卡消费 情况 进行 了数据挖掘，得出了可以在实践中检验的结论。 f 要内容包括: 第一章 是全文的绪论。本章对研究背景和研究内容进行了阐述。 第二章 介绍了系统的技术基础， 包括数据挖掘的发展过程、 发展趋势和主 要技术以及基本算法，包括关联规则、聚类分析、分类与预测等，然后介绍了 x m l 语一言 的 特点及其与数据挖掘的 关系和相关技术。 第三章 介绍了基于 x ml的异构数据库挖掘系统。包括系统概述、系统的 目 标、系统的功能、 系统的实现以及系统架构和 模块组成。 第四章 介绍了基于x ml的数据集成和基于 s c h e m a 技术的数据验证。 本文 中使用j d b c作为访问异构数据库的统一接口，介绍了如何通过 x ml映射文件 并结合 d o m 技术实现对异构数据库的访问，并将查询到的数据存放在 x ml文 档中。 然后介绍了针对x m l 数据的s c h e m a 文 档验 证技术以 及如何通过s c h e m a 技术对 x ml文档进行有效性验证。 第五章 介绍了 基于 x m l文档的数据挖掘算法的实现及其应用分析。 主要 介绍了聚类分析和关联规则两种算法。 首先介绍了基于密度和网格的聚类分析的 算法描述和算法实现， 并结合目 前商业银行持卡人使用信用卡在商场刷卡消费 的 情况， 找出了其中的聚类。 然 f 介绍了关联规则和经典的a p ri o r i 算法， 并使用基 于x q u e ry 技术进行了 基本实 现， 然后在上一节找到的聚类的基础上， 采用多 维 山东大学硕士学位论文 关联分析方法对数据进行了更深一层的分析。 第六章 结论和今后的工作。总结了全文，并指出了下一步的工作。 3论文创新点 本文的创新之处在于: 1 .根据商业银行多种异构数据库并存的 情况， 结 合多 种数据挖掘系统 的 特点， 并且 根据x m l 语言具有的便于解释和表达的优势， 提出 了 一种基于x m l 的异 构数据库挖掘系统。 2在数据集成模块中， 采用 j d b c和d o m结合的技术对异构数据库 进行访问 ，所有和数据访问有关的参 数均映 射在x m l 文档中。 3 .在数据验证模块中， 采用s c h e m a 技术 对 x m l 文档中 的数据进 行 了有效性验证。 4 .在数据挖掘引擎模块中， 采用了 基于密度和网 格的 聚类分析方法实 现对多维数据的挖掘; 采用类 x q u e ry 的方式实现关联规则的 a p r io r i 算法，并结合商 业银行的实际数据进行了 具体分析，找出 了刷卡消费额和消费者年龄、性别之间的关联关系。 第二章 技术基础 2 . 1数据挖掘综述 最近的一、二十年，我们生产、获取各种数据的能力提高得很快。原因有很 多， 例如: 商品 条形码的 广泛使 用， 企业的信息 化程度的提高， 科学研究和 政府 部门中电子化事务处理技术的运用， 以及数据收集工具和技术的多元化 ( 从文本 扫描到卫星遥感) 等等。 除此之外， 互联网的发展更是为我们带来了海量的数据 和信息。 但存储在各种数据媒介中的海量的数据， 在缺乏强有力的工具的情况下， 已 经远远的 超出了人的理解和概括的能力。 为 此。 这种 大量的原始数 据和对功能 强大的 数据分 析工具的需求共存的局面， 被有的 人描述为“ 胖数据， 瘦信息” ( d a ta r ic h b u t in fo r m a t io n p o o r ) 。许多的数 据库也就成了 “ 数据坟墓， ( d a ta to m b ) 山东人学硕 ! :学位论文 换句话说 ， 这些数据很少被再访问。而与此同时，拥有这些数据库的决 策者们， 在做决策时不是基于数据库中蕴含的大量信息， 而是基于决策者的直觉。 让我们 在考察 一 下当前解决这个问 题的方法之一: 专家系统技术。 这种技术的一个很大 的 特点就是; 用于辅助决策的系统信息依赖于用 户或 某一领域的专家手工输入的 知识， 这个过 程一方面是十分费时的， 另一方面 它又是、 很难避免这样或那样的 人为的偏见和错误。 而我们即将谈到的数据挖掘技术可以在一定程度上克服上述 缺点: 从数据中产生知识的过程是自动的， 我们使用的数据是经过预处理 ( 包括: 去掉坏的数据、消除数据之间的矛后、 来 自不同数据源的数据的集成、数据的转 换、以及必要的数据精简和数据抽象)的历史数据， 这样我们就提高了所获知识 的可靠性。 数据的收集和创建: ( 七十年代之 前) 土要采用文件系统的有关技术 数据库管理系统的出现 ( 七十年代一八十年代早期) 层次和网络数据数据库系统的出 现; 关系数据库系统的出现; 数据库建模工具:实体联系模型等; 索引和数据组织技术:b + 树，散列等: 杳询语言:s q l 等 用户界面:表单、报告等: 杏询处理和汽询优化 事物管理:恢复和并发控制等 联机事务处理 ( o l t p ) 高级数据库系统 ( 8 0 年代中期一现在) 高级数据库模型: 扩充关系、 面向对象、对象、演绎; 面向应用:空间的、 时间的、 多媒体的、土动的科学的、 知识库 数据仓库和数据挖掘 ( 8 0 年代后期一现在) 数据仓库和o l a p 技术 数据挖掘和知识发现 基手we b 的数据库系统 ( 9 0年代一现在) 基于x ml的数据库系统 we b挖掘 新一代综合信息系系统 ( 2 0 0 0 - - 图 工 :数据库技术的演化 山东大学硕士学位论文 以上是从数据应用方面分析了一下数据挖掘技术的出现， 下面再从信息技术 的 演化的 角度分析一下数据挖掘技术怎样成为 这种演化的自 然结果131 ( 如图1 ) e 由该图 我们可以 看到， 信息技术的发展大 致可以 描述为 如下的过程: 初期是简单 的数据收集和数据库的构造; 后来发展到对数据的管理， 这包括:数据存储、 检 索以 及数据库事务处理: 再后来发展到 对数据的 分析和理解， 这时 候出 现了 数据 仓库技术和数据挖掘技术。早期的数据收集和数据库的建造为数据存储、检索、 和事务处理的技术的发展创造了必要条件， 同样随着查询、 事务处理等成熟技术 被频繁的应用在大量的数据库系统上， 对源数据的分析和理解也就当然的成为了 信息技术要发展的下一个 目 标。 那么什么是数据挖掘? 数据挖掘 ( d a ta m i n i n g ) ， 简单的 讲，就 是要从大量 的数 据中 整理出 或者说 挖掘出 有用的 知识， 这些知识是隐含的、 事先未知的 潜在 有用信息。注意这个词: “ 有用” ，对谁有用?不知道。计算机中程序的运行是基 于符号处理的， 符号本身是没有意义的， 至于从符号中所看出的意义对不同的人 是不一样的。这种“ 语义” 方面的东西对数据挖掘算法的影响在后面我们还会提 到， 我认为 注意到这一点 对数据挖掘工具的有效使用至关重要。 与数据 挖掘 这个 词意思相近的、常用的术语还有:知识挖掘 ( k n o w le d g e m in i n g ) ,知识获取 (k n o w le d g e e x tr a c ti o n ) 、 模式分析( p a tte rn a n a ly s is ) 、 数据考古( d a ta a r c h a e o lo g y ) 等 。 还 有 一 个 经 常 与 之 相 混的 术 语: k d d ( k n o w le d g e d i s c o v e r y fr o m d a t a b a s e ) , 一般的 看法是d m只是k d d的一个步骤 13 1 ( 见图z ) 。 但是由 于d m这个词的 广 泛使用，我们也可不对它们进行严格的区分，而把他们看成同义词。 山东人学硕 卜 学位论文 厦始致据库 、 数据规范化:包括去掉异常数据和不相干数据十 数据集成: 将不同数据源中 的数据集成到单个 系统中、 数据转化: 如将数据转变成统一的表现形式以 方便挖掘算法的实现、 刃 数据挖掘引擎是整个 系统的核心部分， 可以由以 下模块组成: 分类模块、 关 联规则模 块、 聚类分析模 块、 时序模块和异常分析模块等; 模式评价模块主要是根据一定的度量标准来与 数据挖掘模块交互， 以使得数据挖掘向着我们感兴趣的方向进行， 往往越是高效 的数据挖掘系统这种交互影响的程度越高; 图形用户界面主要是为方便用户与数 据挖掘系统的交互: 一 由用户提出挖掘任务、 指定重要的挖掘参数以及由当前返回 的结果指导进行更进一步的挖掘工作。 从上述关于数据挖掘系统的讨论来看， 它 所有功能的完全实现决非一件简单的事情， 正因为如此目 前市场上出 现的很多 “ 数据 挖掘” 系 统并 不是 严格意义上的 这类系统。 一个不能处理大数据量的系统 可能划分为其它类型的系统更为适合， 如它可能是一个机器学习系统、 或者一个 统计分析工具、或一个实验性系统原型等。同样， 如果一个系统仅能执行一些数 v ol 或信息检索任务，包括执行一些求和运算、或推导型查询问答，也只能被称为 山东人学硕 : 学位论文 信息 检索系 统或者推导型数据库系 统。 从 银行业的发展来看， 己经有 越来 越多的 银行开始运用数 据挖掘技术来 提升 私人金融业务的能力。从国外的情况看，早在 1 9 9 5年，美国前 1 0 0家商业银行 中， 就有超过5 0 家投产了数据挖掘项目 。 其中 美洲银行，就是非常典型的应 用 数据挖掘实现业务快速发展的案例。 在美洲银行的业务后台， 开发了先进的数据 仓库和数据挖掘系统，从每一笔信用卡交易中提取大范围的、十分宝贵的数据。 利用所掌握的交易数据，美洲银行分析细分群体客户的消费情况和偏好， 根据客 户的消费偏好信息去确定合作商业伙伴， 从他们那里得到最优惠的价格， 并提供 给客户。 美 洲银行的数据仓库通过持续的 数据挖掘， 清晰地反映出 客户的需求和 消费偏好， 这为美洲银行的 业务开 展提供了 最为有力的信息支持2 )。 从国内的 情 况看， 银行界流行讨论 8 0 / 2 0的原则，就是说， 银行 8 0 %的收入来 自于2 0 %的客 户，如何寻找这 加%的客户并且留住这些客户都需要通过数据挖掘技术来实现。 下面介绍一下 目前数据挖掘的基本方法。 2 . 2数据挖掘的基本方法 2 . 2 .，关联规则 关联规则挖掘主要是发现大量数据中项集之间有趣的关联或相关联系。随着 大 量数 据不停地收集和存储， 许多业界人士 对于从 他们的数 据库中 挖掘关联规则 越来越感兴趣。 从大量商务事务纪录中发现有趣的关联关系， 可以帮助许多商务 决策的制定，如分类设计、交叉购物和贱卖分析。 关 联 规 则 挖 掘的 一 个 典 型 例 子 是 购 物 篮 分 析 3 1 ( m a r k e t b a s k e t a n a ly s is ) 。 该 过程通过发现顾客放入其购物篮中 不同 商品 ( 如图4 ) 之ib i 的 联系， 分析顾客的 购买习惯。通过了解那些商品频繁地被顾客同时购买。 这种关联的发现可以帮助 零售商制定营销策略。 例如， 在同一次去超级市场， 如果顾客购买了牛 奶， 她 也 购买面包 ( 和什么类型的面包) 的可能性有多大?通过帮助零售商有选择地经销 和安排货架，这种信息可以引导销售。例如，将牛奶和面包尽可能放近一些， 可 以进一步刺激一次去商店同时购买这些商品。 山东大学狈 卜 学位论文 2 . 2 . 2 聚类分析 将物理或抽象对项的集合分组成为由类似的对象组成的多个类的过程被称 为聚类 ， 山聚类所生成的簇是一组数据对象的集合， 这些对象与同一个簇中的对 象彼此相似，与其它簇中的对象相异。在许多应用中，可以将一个簇中的数据对 象作为 一 个整体来对待。 在数据挖掘领域，聚类是一个富有挑战性的研究领域。 数据挖掘对聚类的典 型 要 求如 下 13 1. 1 )伸缩性: 许多聚类算法在低于 2 0 0 个数据对象的小数据集合上工作的很好: 但是，一个大规模数据库可能包含几百万个对象，在这样的大数据集合样 本上进行聚类可能会导致偏差的结果。因此，需要具有高度可伸缩性的聚 类算法。 2 )处理不同类型属性的能力:许多算法被设计用来聚类数值类型的数据。但 是，应用可能要求聚类其它类型的数据。 3 )发现任意形状的聚类: 许多聚类算法基于 欧几里得距离等度r ._q 3, 来决定聚 类o 墓于这样的距离度量的算法趋向于发现具有相近尺度和密度的球状簇。 但是，一个簇可能是任意形状的。 =1)用于决定输入参数的 领域知识最小化:许多聚类算法在聚类分析中 要求用 户输入一定的参数，例如希望产生的簇的数目。要求用户输入参数不仅加 重了用户的负担，也使得聚类的质量难以控制。 5 )处理噪声数据的能力: 绝大多数现实世界中的数据 库都包含孤立点， 空 缺， 未知数据或者错误的数据。一些聚类算法对这样的数据敏感，可能导致低 质量的聚类结果。 6 )对于 输入记录的顺序不敏感: 一 些聚 类算法对于输入数据的 顺序是敏感的。 例如:同一个数据集合，当以不同的顺序提交给同一个算法时，可能生成 差别很大的聚类结果。 7 )可解释性和可用性: 用户希望聚类结果是可解释的， 可理解的，和可用的。 针对这些约束， 就可以 对聚类的算 法进行研究了。 大体上，主要的聚类算法可以划分为如下几类: 山东大学硕十学位论文 1 ) 划分 方法 ( p a rt itio n in g m e th o d ) 给定一个 n 个对象或元组的数据库， 一个划分方法构建数据的k 个划分， 每 个划分表示一个聚簇。 也就是说， 它将数据划分为k 个组， 同时满足以下的要求: a ,每个组至少包含一个对象:b 、每个对象必须属于且只属于一个组。 2 ) 层次的方法 ( h i e r a r c h i c a l m e t h o d ) 层次的方法对给定数据对象集合进行层次的分解。根据层次的分解如何形 成， 层次的方法可以分为凝聚和分裂。 凝聚的方法， 也称为自底向上的方法， 一 开始将每个对象作为单独的一个组， 然后合并相近的对象或组， 直到所有的组合 并为一个， 或者达到一个终止条件. 分裂的方法， 也称为自 顶向 下的方法， 一个 开始 将所 有的 对象 置于一 个 簇中 。 在 迭代 的 每一步 中， 一 个簇 被分裂 为更 小 的簇 ， 直到最终每个对象在单独的一个簇中，或者达到一个终止条件。 3 ) 基于 密 度的 方 法 ( d e n s ity - b a s e d m e t h o d ) 其主要的思想是: 只要临近区域的密度 ( 对象或数据点的数日) 超过某个阑 值， 就继续聚类。也就是说， 对给定类中的每个数据点， 在一个给定范围的区域 中必须至少包含某个数日的点。这样的方法可以用来过滤 “ 噪声” 孤立点数据， 发现任意形状的簇 。 4 ) 基于网 格的 方法 ( g r id -b a s e d m e t h o d ) 这种方法把对象空间量化为有限数目 的单元， 形成了一个网格结构。 所有的 聚类操作都在这个网格结构 ( 即量化的空间) 上进行。 这种方法的主要优点是处 理速度很快， 其处理时间独立于数据对象的数目， 只与量化空间中的每一维的单 元数 日有关。 5 ) 基于模型的方法 ( m o d e l - b a s e d m e t h o d ) 基于模型的方法为每个簇假定了一个模型，寻找数据对给定模型的最佳拟 和。 一个基于模型的算法可能通过构建反映数据点空间分布的密度函数来定位聚 类。 2 .2 .3分类与预测 预测是利用历史数据要找出变化规律， 建立模型， 并用此模型来预测未来数 据的种类、特征等。例如，根据过去历史上销售情况，预测下一年的销售情况。 山 东人 学 硕十 学 位论 文 典型的预测方法是回归分析， 即利用大量的历史数据， 以时间为变量建立线 性或非线性回归方程。 预测时， 只要输入任意的时间值， 通过回归方程就可以求 出该时间的状态。近几年来，发展起来的神经网 络方法，如 b p 模型，实现了 非 线性样本的学习，能进行非线性函数的 判别。 用分类也能进行预测， 但分类一般用于离散数值， 而回归预测用于连续数值， 神经网络方法预测既可用于连续数值， 也可用于离散数值。 分类是数据挖掘中应 用最多的任务。 分类是找出一个类别的概念描述， 已 代表了这类数据的整体信息， 即该类的内涵描述， 一般用规则或决策树模式表示。 该模式能把数据库中的元组 影射到给定类别中的某一个。 一个类的内涵描述分为: 特征性描述和辨别性描述。 特征性描述是对类中的 对象的共同特征的描述: 辨别性描述是对两个或多个类之间的区别的描述。 特征 描述允许小同类中具有共同特征: 而辨别性描述对不同类不能有相同的特征。 辨 别性描述的较多。 分类是利用训练样本集通过有关算法而求得分类规则。 建立分 类决策树得方法，典型的有 工 d 3 , c 4 . 5 ，工 b l e 等方法。建立分类规则的方法，典 型的有八 q 方法，粗集方法、遗传分类器等。 h前，分类方法的研究成果较多，判别方法的好坏可以从二方面进行:a . 预测准确度 ( 对非样本数据的判别准确度) b . 计算复杂度 ( 方法实现时对时间和 空间的复杂度) c . 模式的简洁度 ( 在同样效果情况下， 希望决策树小或规则少) 。 2 . 3 x ml简介 x m l ， 称为可 扩展标 记语 言 ( e x te n s ib le m a r k u p l a n g u a g e ) ， 是一 种中介 标 示语言( m e sa - m a r k u p l a n g u a g e ) ， 可 提供 描 述结构 化资 料的 格式 p o t 。 它由 万 维网 协会( w3 c ) 创建， 用来克服 h t m l 的局限。 和h t m l 一样， x ml 也是基于s g ml 一标 准 通 用 标 记 语 言( s t a n d a rd g e n e ra liz e d m a r k u p l an g u a g e ) ell) . x ml 是一种可以 对信息进行自 我描述的语言。 已 允许定义一套符合自己需 要的标记，作为信息传输的载体。标记用于界定内容。x ml 语法允许自行定义 任 意复 杂的 标记结 构。 x m l 的 优点 在于 “ 从 1 ) 规范、简单。x ml 文挡有着一套严谨而简洁的语法结构。这为x ml 解 析器获取文档所含信息提供了前提。 山东大学硕士学位论文 2 ) 可扩展性。应用者可以按照需求定义自己的标记，而不象h t ml 那样其 标记 都是预先定义的。 3 )自描述性。自 描述性 使其非常 适用于不同 应用间的数 据交换， 而且 这种 交换是不以预先规定一组数据结构为前提的，因此具备很强的开放性。 x m l 提供了一个相当强大的在不同 数据间 交换数据的方法。 这个对 于数 据库特别有用， 因为 在不同 类型数据间发生的数据相互交换是相当困 难 的。 x m l 还是不同行业定义各自 领域置 标语言的工具13 1， 它将日 益 成为 数据交换、显示、索引等的基础，将进入我们当前处理的每一种应用和 设备。 4 ) x ml 的意义在于它可以 把所有的信息都存放在文档中， 采用h t t p 的 方式 传输， 而远程的应用程序又可以从中提取需要的信息。x ml 使用普通的 文本。而不是二进制的数据格式，因 此具 有跨平台的特点. 5 ) x m l 支持智能搜索。 尽管搜索引 擎这些年在稳步改 进， 但从搜索中 得到 错误的结果仍很常见。 如果您正 在搜索 包含名叫“ c h i p ” 的 人的 h t m l 页面，您可能还会找到有关功克力片、计算机芯片、木片以及许多其它 无用匹配的页面。 搜索 x m l 文档查找包含文本 c h 加 的 元素会给您一个好得多的结果集。 最近这几年，我们看到x ml 作为主要的存储和交换信息的标准得到了迅猛 的 发展。尤其是x m l 具有的这种自 我 描述的 性质对于表示半结构化信息的 能力 114 1使它很容易 处理w e b 上的半结构化数 据，同时随 着x m l 技术的发 展，如 x q u e ry 等， 使我们可以 象访问数 据库一 样访问 x m l 文 档中的数据， 使得 x m l 在 数据挖掘和数据仓库技术中占 有重要的地位。 基于 x m l 的数据挖掘技术己 经成 为今后的技术热点之一。 象数据库厂商如 o r a c l e 和i b m也都宣称在他们最 新的 产品中支持 x m l ，可以 将数据 库查询 直接转化成x m l ，如ib m 的d b 2 x m l e x t e n d e r . 目 前 访 问 x m l 文 档 的 方法 主 要 有 s a x ( s im p le a p i f o r x m l ) . d o m (d o c u m e n t o b j e c t m o d e l) 等 技 术 ， 在 本 文 中 ， 我 们 主 要 使 用 d o m 技 术 作 为 访问 x m i ,文档的 方法， 关于d o m技术及其实 现方法 将在后面的章节中进行 介绍。 山东人学硕 1: 学位论文 第兰章 本系统介绍 3 . 1系统概述 国内商业银行开展信用卡业务已 有多 年， 相关数据积累 较为完备、 真实， 信 用 卜 业务的经营运作也己从简单的扩大规模、以量取胜阶段进入到了成熟竞争、 以 质取胜的阶段。 根据商业银行多 种异 构数据库并存的实际 情况， 并且结合了 各 种数据挖掘系统和挖掘算法的优点，本文提出了基于x ml的异构数据库挖掘系 统， 重点 针对银行的信用卡系统， 分析客户关 系、 商户、 发卡机构、 交易以 及个 人消费 信贷等方面的 数据， 帮助银行全面科学分析客 户信息、 挖掘客户价值。 它 对银行加强管理防范风险、 提高收 益， 以 客户为中 心提供个性化服务， 提高服 务水平，增强核心竞争力具有现实和深远的意义。 3 . 2系统 目 标 本系 统主 要利用商业银行的信用卡业务数 据、 采用计算机处理的手段， 为 商 业银行建立一个集信用卡风险识别、 查询、报表、预警和在线分析于一体的信用 卡 数据挖掘系统，为信用卡管理层和个人消费信贷业务提供科学预测和决策依 据。 同时利用x m l 语言 在表示非结构 化和半 结构化数据上的 优势，为今后更好 的挖掘网上银行的 we b 数据做好准备。 系统的 目 标是对业务数据进行规范、 整理和挖掘，提升原有数据的价值， 提 高部门的工作效率， 为银行信用卡科学、 全面、 智能的管理提供全面的解决方案。 3 . 3系统功能 本系统通过对持卡人静态分析、 持卡人交易明细分析、商户交易分析、透支 分 析、客 户动态分析、 a t m 布点 分析 等， 从不同 的角度对客户进行详细而科学 的分析， 使银行能 够以这些分析结论为依据， 挖掘其中的知识， 。制定相应的策略， 进而改善 其整体经营状况。 这些业务统计分析结论不 仅能够以 文字形式提供， 而 且还能 够以 簇状图、堆积图、 折线图、 扇形图、 柱状图、 线图等多种形式表达， 使银行管理者一目了然。 山 东 大学 硕 士 学 位 论 文 系统解决方案包括了风险管理、商户管理、统计分析、客户关系管理、内部 业务管理 ( 会计、核算、业务管理和事后监督)等几大功能。 风险管理 识别、防范和控制信用卡申办和使用过程中的各种风险。 其业务流程包括客户档案的录入与审核、 资信评估与信用控制、 基础数据分 析、分类服务、透支管理控制、诉讼、 预警等多个环节，同时为商业银行稽核部 门 建立一个集信用卡风险识别、 查询、 报表、 预警和在线分析于一体的内 控系统; 商户管理 管理特约商户和特约商户 p o s 档案、 及时掌握特约商户的业务情况， 从多个 角度分析特约商户和特约商户 p o s 的交易情况。 包括:特约商户档案管理、 特约商户 p o s 档案管理、特约商户 p o s的交易分 析等。 银行可以 根据分析结果采取相应措施: 统计和分析 统计报告业务运行状况，分析业务运行结果的原因和趋势; 根据分析结论，建立新的业务运行模式、进行计算机模拟、评估和证实; 7i能根据业务建模的结论，重新制定业务发展计划; 客户关系管理 对客) 才 的消费情况、存款情况进行分析，及时为持卡人提供全面、有针对性 的各种信用卡服务， 建立重点客户管理; 对客户积分管理， 针对不同的客户推出 不同的积分计划; 内部业务管理 包括信用卡通存通兑业务统计和分析、 支行员工业务质量与业务量的统计和 分 析、 则务管理( 成本核算、 利润测算和分支行统计收付、 差错 管理、 印章 管理、 操作 _ 号管理、凭证调阅管理: 3 . 4系统实现 本系 统采用将银行业务系统的 数据转化为x m l 文档的方式得到商 业银行的 信用 仔 系统在一段时间内的业务数据， 并将数据整理、 验证、转换， 使之可以进 行数据挖掘， 并在此基础上进行每日的风险稽核、 分析、 管理等工作， 对办卡人、 山东大学硕 i- 学位论文 持卡人的资 信进行评估， 建立透支客 户台 帐， 对业务数据进行挖掘。 同时系统中 所有关于数据的定义、 存放信息、 数据库配置等信息都以x ml的方式进行存放。 对个 人综合消费信贷， 系统通过贷前、 贷中和贷后管理， 完全 控制整个贷款 流程，信贷人员可以方便的查询每个申请处于某个阶段，大大降低贷款的风险。 商户管理把原有的商户档案和 p o s 档案迁移到新的系统， 在功能和数据一致 性上大大增强。 统计分析通过多维分析工具， 实现了个人持卡人、 单位持卡人、 持卡人交易、 特约商户交易、跨行交易、持卡人透支、特约商户等分析主题。 本系统采用 j a v a作为编程语言，客户端采用 wi n 9 8 / 2 0 0 0加 i e浏览器方 式， 使用b o作为 数据展现的工具， 通过j d b c作为 访问数 据库的接口， 同时 采 用d o m, s c h e m a 和x q u e ry等技术实 现对x m l 文档的访问 。 3 5系统架构 系统由以下模块构成，如图5 所示: 1 .数据集成模块: 主要是指系 统根据需要读取存放在映 射文件中的参 数， 然后通过j d b c 作为统一的 接口 对异构数据库进行 访问， 并采 用 d o m 技术将查询到的数据存放在x ml文档中。 2 .数据验证模块:主要指系统采用 s c h e m a 技术根据模式文档文件对 x ml 文档进行有效性检测， 找出 不符合要求的 数据， 并进行改正， 为数据挖掘进行数据准备。 3 . x ml数据挖掘引 擎: 是本系统的 核心。主要提供以 下几方面的功 能:1 )提供与数据挖掘算法的接口，定义数据挖掘模型，选择算 法、 调用诸如聚 类分析，关 联规则 和分类预测等算法对x ml 文档 进行数据挖掘; 2 )提供与x m l 文档的接口， 查找需要进行挖掘的 数据; 3 )提供与用户界面的 接口， 接收用户的输入参数， 并返回 挖 娜 结果 ; 4 )对 用 户 的 请 求 进行 任务 调 度， 实 现多 任 务 处 理; 5 ) 处理异常情况。 4用户界面: 是用户与系 统进行对话的接口 ， 接收用户的定义 信息( 如 最小支持度、最小可信度等) ，同时将挖掘的结果显示给最终用户。 i i i 东大学硕士学位论文 并对最终的结果进行可视化，可以采用x ml 和 x s l结合的方法， 在客户端的