（管理科学与工程专业论文）数据挖掘算法在智能答疑系统中的应用与研究.pdf

山东师范大学硕- l 学位论文 摘要 数据仓库和数据挖掘是数据库研究、开发和应用最活跃的分支之一。数据挖掘 指的是从大型的数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的， 事先未知的潜在有用信息。数据挖掘工具将为基于数据仓库的决策支持系统开发提 供良好的技术支持，以发现数据仓库中潜在的知识。本课题将数据挖掘算法应用于 智能答疑系统中，提出了一套基于数据挖掘算法的答疑设计方案并加以实现，目标 是改正当前的汉语答疑系统中存在的一些缺点，实现一个高效快速准确的智能答疑 系统。 本课题首先对数据仓库技术和数据挖掘技术进行了简要的回顾，在提出其基本 概念的基础上，对数据仓库和数据挖掘的体系框架及运行过程也作了详细的探讨。 为本文的全面展开奠定了基础。然后重点讨论了关联规则挖掘算法和文本聚类算 法，做了一定的改进，并将其用于答疑系统数据仓库设计中。其基本思想：将基于 关键词的关联规则用于文档的相似度计算中，可以从每个问题所对应的许多答案中 抽取出一个最优答案生成一个一一对应的问题答案对库。再执行基于关联规则的文 本聚类算法，实现问题分类存储。将聚类后的每一类问题应用关联规则，可以得到 更加准确的关联表，同时也促使相似度的精确度得以提高。经过以上工作便可以得 到一个分类存储，答案准确度高的数据仓库。最后利用基于关键词关联度的相似度 计算方法进行系统答疑，实现一个答疑准确的智能答疑系统。 经过多次试验证明，基于数据挖掘算法的智能答疑系统可以有效的提高系统答 疑准确率，因实现了数据分类存储，因此在答疑的速率上也有了一定的提高。 关键词：数据仓库，数据挖掘，关联规则，相关性分析，文本聚类 山东师范大学颂七学位论文 a b s t r a c t d a t aw a r e h o u s ea n dd a t am i n i n gi so n eo ft h em o s ta c t i v ep a r t si n r e s e a r c h 、 d e v e l o p i n g 、a n da p p l i c a t i o no fd a t a b a s e d a t am i n i n gm e a n sap r o c e s so fn o n t r i v i a l e x t r a c t i o no f i m p l i c i t 、p r e v i o u s l yu n k n o - v v na n d p o t e n t i a l l yu s e f u li n f o r m a t i o nf r o md a t a i nd a t a b a s eo rd a t aw a r e h o u s e d a t am i n i n gp r o v i d e sg o o dt e c h n o l o g ys u p p o r tf o rd a t a w a r e h o u s e - b a s e dd e c i s i o ns u p p o r ts y s t e m ，a n dd a t am i n i n gt o o l sc a r ld i r e c t l ym i n i n gi n d a t aw a r e h o u s ef o rd i s c o v e r i n gp o t e n t i a lk n o w l e d g e t h ep a p e ra p p l i e st h ed a t am i n i n g a l g o r i t h mi n t ot h eq as y s t e m ，p u t sf o r w a r das e to fs c h e m ea b o u tq u e s t i o na n s w e r i n g s y s t e mb a s e do nd a t am i n i n ga l g o r i t h ma n dr e a l i z ei t t h ea i mo f t h es c h e m ei st og i v e 印 s o m ed e f e c t so f c u r r e n tq u e s t i o na n s w e r i n gs y s t e ma n d g e t a l le f f i c i e n c yq a s y s t e m a tf i r s t ，t h ea p p e a r a n c eo ft h ed a t aw a r e h o u s ea n dd a t am i n i n gt e c h n i q u ei s r e v i e w e di nb r i e f t h e nt h i sd i s s e r t a t i o ns t u d i e sa r c h i t e c t u r es t r u c t u r ea n dr u n n i n g p r o c e s so fd a t am i n i n ga n dd a t aw a r e h o u s e a l lo ft h ea b o v eb e c o m et h eb a s i sf o rt h i s d i s s e r t a t i o n t h es e c o n d ，t h ea s s o c i a t i o nr u l ea l g o r i t h ma n dt e x tc l u s t e r i n ga l g o r i t h ma r e e x p a t i a t e d 、i m p r o v e da n du s e dt od e s i g nt h ed a t aw a r e h o u s eo fq as y s t e m t h eg e n e r a l t h o u g h t ：a ni m p r o v e da s s o c i a t i o nr u l e sa l g o r i t h mb a s e do nk e y w o r d si sa p p l i e dt o c a l c u l a t et h ec o r r e l a t i o nv a l u eb e t w e e nw o r d si no r d e rt og e tt h es i m i l a r i t yo fq u e s t i o n s t h eb e s ta n s w e rc a r lb ef o u n db yt h em a x s i m i l a r i t yv a i u e w ec a l lg e tt h eo n et oo n eq a p a i r s ，t h e nt h et e x tc l u s t e r i n gi sp e r f o r m e do nt h eq ap a i r s t h eq u e s t i o n sw o u l db e s a v e db yc l a s s i f y b yu s i n gt h ea s s o c i a t i o nr o l e sa l g o r i t h mi n t ot h ee v e r yc l a s sa f t e rt e x t c l u s t e r i n g ，t h em o r ea c c u r a t ea s s o c i a t i o nt a b l ef o re x t r a c t i n gt h eb e t t e ra n s w e r sf r o mt h e d a t a b a s ec a r lb eg o t t e n ，a n dt h es i m i l a r i t yc o u l db ei m p r o v e d ，b yt h i sw a yac o m p r e h e n s i v e a n da c c u r a c yq ad a t a b a s ec a nf i n a l l yb ef o r m e dt h a tc a l lb eu s e dt od a t am i n i n g t h et h i r d ，t h e s i m i l a r i t yb a s e do nw o r d sa s s o c i a t i o nv a l u ei su s e dt oa n s w e rt h eq u e s t i o nt h a tt h eu s e r sa s k e d ，a r i da l l i n t e l l i g e n tq as y s t e mc o u l db eg o r e n e x p e r i m e n t ss h o wt h a tt h e m e t h o db a s e do nt h e d a t am i n i n ga l g o r i t h mc a l li m p r o v et h e a n s w e r i n gp r e c i s i o na n dt h eq u e s t i o n si nt h ed a t a b a s ea r ec l a s s i f i e db yt e x tc l u s t e r i n g s ot h es y s t e m l i 山东师范大学硕1 i 擘位论文 h a sm e r i t ss u c ha si n t e l l i g e n c e c o n t i n u o u ss e l f - r e n e w i n ga b i l i t y , s a v i n gs t o r es p a c ea n di m p r o v i n g e x e c u t i v ee f f i c i e n c ye r e k e y w o r d s ：d a t aw a r e h o u s e ，d a t am i n i n g ，a s s o c i a t i o nr u l e s ，c o r r e l a t i o na n a l y s i s ，t e x t c l u s t e r i n g ， i h 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得( 注：如没有其他需要特别声 明的，本栏可空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：两杏劣 导师签字： 学位论文版权使用授权书 恕丢彳苌 本学位论文作者完全了解尘塞垣整盔堂有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权出壅垣堇太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适 用本授权书) 学位论文作者签名：麦，1 痨艿 导师签字撕： 签字同期：2 0 0 7 年1 0 月1 6日签字日期：2 0 0 7 年1 0 月1 6 日 山东师范大学颂l 学位论文 1 1 课题研究背景及意义 第一章绪论 目前网络技术飞速发展，随着各种教学网站的出现以及基于网络教学研究的不 断深入，老师与学生的在线信息交流也日益丰富起来。在当前的很多教学系统中， 网上答疑已经成为了师生交流的基本工具与主要方式。目前高校网上答疑用的常见 模式”j 。o 有：最初学生可以通过电子邮件直接与老师交流，或者通过系统留言板发 布公告消息；接着有了b b s 聊天室，教师和学生同时进入聊天室可以进行“面对面” 的交流；后来又出现了专门的在线答疑，仍以聊天室的形式出现的，但是由后台数 据库管理员或专家在一定的时间内针对所有问题统一做出回答，这种答疑方式已经 成了教学平台的重要组成部分，更加方便了师生交流，也为质疑和解答提供了优良 的渠道；接着又出现了进行纯文本的关键字查询的在线答疑系统，这种系统已经初 步具有智能答疑的特征，其后台数据库含有问题和与其对应的答案，学生可以输入 问题的关键字对问题进行搜索，这要求用户具有一定的抽取关键词的能力，输入关 键字若不够精确，可能查到许多与其无关问题及其答案。这些方式费时、费力，并 且给出的答案形式单一，准确性也不高，仍然不能满足学生学习的需要，一种智能 化的自动答疑系统便成了迫切的需要。智能答疑系统的出现，实现了抽取问题的智 能性、答案评优的智能性和信息维护的自动性，从而使得用户可以更加方便的使用 系统，管理员可以更加容易的管理系统，系统返回的答案具有更高的有效性。简而 言之，查询更省时，管理更方便，答案更有效。 二十世纪，数据库技术“毋取得了决定性的成果并且已经得到广泛的应用。这 意味着，我们已具有将这样的“数据洪流”转换为“整齐有序”但却“堆积如山” 数据集合的能力。但是，面对“堆积如山”的数据集合，数据库所能做到的只是对 数据库中已有的数据进行存取和简单的操作，人们通过这些数据所获得的信息量仅 仅是整个数据库所包含的信息量的很少一部分，隐藏在这些数据之后的更重要关于 这些数据的整体特征的描述及对其发展趋势的预测的信息却无法得到，而这些信息 在决定制定过程中具有重要的参考价值，因此导致了“数据丰富，但信息贫乏”a 山东师范大学硕士学位论文 在需要对大量数据分析之后才能做出正确决策的领域中，这已是或将是普遍存在的 问题。这样，快速的数据产生与搜索技术和拙劣的数据分析方法之间形成了鲜明的 对照，需要新的技术来“智能地”和“自动地”分析这些原始数据，以使消耗大量 财力与物力所收集与整理的数据得以利用，面对这一挑战，数据挖掘技术应运而生， 并显示出强大的生命力。数据挖掘技术”可以高度自动地和智能地分析原有的数 据，从大量的数据中发现隐藏于其后的规律或数据间的关系，从中挖掘出潜在的模 式获取有意义的信息，归纳出有用的结构，帮助决策者做出正确的决策，它通常采 用机器自动识别的方式，不需要更多的人工干预，是目前国际上在数搌库、数据仓 库和信息决策领域最前沿的研究方向之一，也是计算机科学和技术应用的一大研究 热点。 本课题将数据挖掘技术应用到智能答疑系统中。通过分析大量的后台存储的答 疑信息，挖掘出问题与答案的相关关系与规则，根据这些规则进一步分析用户提出 的新问题，从后台库中找出最相关的答案，给用户解答提供一个有指导意义的参考， 为决策提供重要依据。 1 2 国内外研究现状 1 2 1 智能答疑系统发展现状 智能答疑系统越来越受到重视，在国内外都有了迅猛的发展，下面了解一下智 能答疑系统在国内外的发展动态： 国外动态： 国外的教学网站【9 1 0 , 1 1 , 1 2 1 _ _ 般都具有较好的交互，答疑功能和反馈机制，并且每 个学生都由专门的教师负责，利用e m a i l 、传真、信件、电话等进行答疑交流。同 时，国外也出现了一些比较成型的，能为用户解答不受限领域以及特定领域问题的 答疑系统。这些典型的问答系统有： ( 1 ) a s l d e e v e s ：该系统是美国a s k j e e v e s 公司开发的，该系统的网址为： h t t p ：w w w a s k j e e v e s t o m 。a s k j e e v e s 允许用户用自然语言句子提问，检索系统会 自动分析用户的提问，然后通过与用户的交互进一步明确用户的真j 下意图，这种检 山东师范大学硕l 学位论文 索方式检索到的网页比单纯基于关键词的网页更符合用户的需求。但是，a s k j e e v e s 返回的结果仍然是网页，而不是问题的直接答案。 ( 2 ) s t a r t ：是麻省理工学院开发的问答系统。于1 9 9 3 年开始发布在i n t e m e t 上， 网址为：h t t p ：w w w a i m i t e d u p r o j e c t s i n f o l a b 。该系统是第一个面向国际互联网的 自然语言问答系统，它能够回答针对m i t 信息实验室的地理学知识的用户提问， 同时，该系统的答案不局限于文本，也可以是图片、声音或者动画等。s t a r t 系统使 用主体关系对象三元组的形式存放系统知识以及回答问题，系统的精确性和鲁棒 性都比较差。同时，该系统是以英文为母语的，只能识别用英语提交的问题。 ( 3 ) a n s w e r b u s ：也是一个比较成熟的答疑系统。网址为： h t t p ：m i s s h o o v e r s i u m i c h e d u z z h e n g q a - n e w 。a n s w e r b u s 是一个多语种的自动答 疑系统，它不仅可以回答英语的问题，还可以回答法语、西班牙语、德语、意大利 语和葡萄牙语的问题。 ( 4 ) f a q f i n d ：芝加哥大学人工智能实验室开发的f a q f i n d e r 。该系统预先收集 “问答对”库( f a q 库) ，通过使用语义网分析与概念匹配技术，采用基于向量的 搜索引擎从问答对文件中抽取答案。 国内动态： 国内的智能答疑系统 1 3 , 1 4 , 1 5 , 1 6 】一般是作为远程教学支撑平台的一个子系统，而 不是一个独立的答疑系统。很多远程教学平台只是提供一些简单的答疑方式，并没 有专门的答疑系统。比如：让教师和学生通过留言板、b b s 、e m a i l 、实时聊天等方 式来答疑。这种方式大部分依靠人工来实现答疑，这些答疑方式对于远程教育来说 有很多缺点：一会耗费教师较多的对间来答疑，教师经常需要重复回答学生的一些 问题；二答疑经常会延时，有时学生提出的疑问好长时间没有回复，这在一定程度 上影响了学生的学习积极性和学习效率。另外，国内还有一些答疑系统采用较复杂 技术，实现了智能的答疑，克服了以上不足。它们大体上可以分为两类： ( 1 ) 基于f a q 库的智能答疑系统 比较典型的是上海交通大学的远程智能答疑系统。该系统的f a q 库存储了用 户可能提出的问答对。系统根据用户输入的自然语言句子，自动抽取其中的关键词 山东| i | j 范大学顾：t 学位论文 和库中问题进行关键词匹配，并将最匹配的问题的答案从库中返回给用户。也就是， 这类系统只是采用简单的基于关键词的匹配技术，并没有涉及用户问旬语义理解方 面的技术。哈尔滨工业大学也开发过基于常见问题库的问答系统。与上面介绍的系 统不同的是，它考虑了词语的语义，采用基于语义的句子相似度计算方法来实现问 题的答疑。该系统运用知网计算用户问题与f a q 库中的问题的词语语义相似度， 进而得到句子之间的相似度，将相似度满足一定条件的问题对应的答案从库中返回 给用户，这种解答方式深入到了词语的语义。答疑效果要比上面的系统好。另外北 京理工大学也开发了类似的系统。不同的是它对用户问句进行了比较深入的理解分 析，将理解结果表示成问句向量，通过本体推理以及利用知网计算问旬向量之间的 语义相似度等策略，完成问题的答疑。 ( 2 ) 基于全文检索的智能答疑系统 基于全文检索的智能答疑系统主要利用了信息检索技术来实现答疑。它的特点 是知识库不是现成的问题答案对，而是相关文档库。对用户问句进行自然语言理解 后，采用信息检索技术对文档库中的文档进行检索后，将文档按与查询的相关度排 序输出，最后系统对相关度比较高的文档采用答案抽取技术进行答案抽取后返回给 用户。如华南理工大学就开发过类似的系统。 ， 1 2 2 数据挖掘技术发展现状 数据挖掘在研究和应用方面发展迅速，尤其是在商业和银行领域，其应用比研 究的发展速度还要快。目前，根据国际上数据挖掘的发展趋势，其研究 1 7 , 1 5 , 1 9 1 主要 有：对知识发现方法的研究迸一步发展，如近年来注重对b a y e s ( 9 丑叶斯) 方法以及 b o o s t i n g 方法的研究和提高；传统的统计学回归法在数据挖掘中的应用；数据挖掘 与数据库、数据仓库的紧密结合。在应用方面包括：数据挖掘商业软件工具不断产生 和完善，注重建立解决问题的整体系统，而不是孤立的过程。用户主要集中在大型 银行、保险公司、电信公司和销售业，制造业的应用也正在逐渐展丌。国外很多计 算机和软件公司也非常重视数据挖掘的开发应用，i b m 和微软都成立了相应的研究 山东师范火学硕_ ：学位论文 中心进行这方面的工作。目前，世界上比较有影响的典型数据挖掘系统有s a s 公司 的e n t e r p r i s em i n e r , i b m 公司的i n t e l l i g e n tm i n e r , s g i 公司的s e tm i n e r , s p s s 公司的 c t e m e n t i n e , s y b a s e 公司的w a r e h o u s es t u d i o ，r u l eq u e s tr e s e a r c h 公司的s e e s ，还 有c o v e rs t o r y 、c x p l o r a 、k n o w l e d g ed i s c o v e r yw o r k b e n c h 、d b m i n e r 、q u e s t 等。数据挖掘试验室( w w w d a t a m i n i n g l a b c o m ) 网站提供了许多数据挖掘系统和工具 的性能测试报告。 与国外相比，国内对数据挖掘的研究稍晚，没有形成整体力量。1 9 9 3 年国家自 然科学基金首次支持对该领域的研究项目。目前，国内的许多科研单位和高等院校 竞相丌展知识发现的基础理论及其应用研究，如清华大学、中科院计算技术研究所、 空军第三研究所、海军装备论证中心等。北京系统工程研究所对模糊方法在知识发 现中的应用进行了较深入的研究，北京大学也在开展对数据立方体代数的研究：华中 理工大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等， 单位开展了对关联规则开采算法的优化和改造：南京大学、四川联合大学和上海交通 大学等单位探讨、研究了非结构化数据的知识发现以及w e b 数据挖掘。 现在尽管与国际上的进展相差并不远，一些研究成果例如：总参六十一所的李 德毅教授在云模型方面的研究、复旦大学的施伯乐教授在关系数据库中知识发现方 面取得很大的成果，南京大学开发的k n i g h t 系统等。但在实际应用方面却鲜有所 闻，成功的例子很少，没有形成整体力量。总的说来，国内在数据挖掘方面的开发 还挣留在实验的阶段，没有能够真正的投入到实际生产应用中去。 1 3 论文的研究工作成果 本文将数据挖掘技术用于智能答疑系统的数据清洗和智能答疑中，不仅有效的 提高了答疑准确度，而且为数据挖掘的应用提供了一个新的领域。最终论文取得的 研究成果主要包括： ( 1 ) 将数据挖掘算法用于莱教学平台答疑系统后台库中一对多的后台闯题答 案库的数据清沈，整理出一个一一对应、分类存储并可以直接用于数据挖掘的问题 山东师范大学硕： 学位论文 答案对仓库。 ( 2 ) 将关联规则算法应用于问题答案库中，得出了基于关键词的关联规则， 用于计算关键词间的关联度，进而计算文档之间的相似度。 ( 3 ) 针对现有的文本聚类算法对于小文档聚类效果差的问题，提出了一种改 进的k - m e a n s 聚类算法，该算法的文档相似度计算是利用关键词的关联度的方法得 出的，这种聚类算法有效了解决了小文档( 问题答案对) 的聚类问题，提高了聚类 得准确率和召回率。 ( 4 ) 实现了个回答自然语言提问，答疑准确、快速的智能答疑系统。 1 4 论文的组织结构 论文从结构上分为以下六个部分： 第章，首先对课题研究的背景作了大体的介绍，然后阐述了课题研究的意义， 最后分析了答疑系统和数据挖掘技术当前国内外的发展动态。 第二章，阐述了课题所涉及的技术数据仓库技术，主要包括数据仓库的发 展，定义，体系结构，功能描述及数据模型等。 第三章，阐述了课题所涉及的技术数据挖掘技术，包括数据挖掘的技术基 础，体系结构及挖掘步骤，并介绍了关于文本挖掘的相关知识。 第四章，深入研究了课题中涉及到的两个经典算法关联规则算法和文本聚类算 法，并针对这些算法的提出了改进方法，备用于答疑系统中数据仓库的设计中。 第五章，给出了答疑系统的整体设计流程，阐述了每一步工作原理，最后实现 系统答疑。经过实验，得出系统答疑的准确度结果，加以分析给出结论。 第六章，总结全文，并对下一步的工作进行展望。 6 山东师范大学硕1 ：学位论文 第二章数据仓库技术 数掘挖掘所依赖的数据来源多种多样，可以使常用的关系数据库，事务数据库， 文本数据库，多媒体数据库等，主要取决于用户的目的及所处的领域。目前，数据 挖掘的数据主要来自关系数据库和数据仓库。作为一个新兴的研究领域，数据仓库 技术发展的很快，许多大学和公司都正在这个领域内进行着广泛的研究，其中尤以 斯坦福大学、i b m a l m a d e n 研究中心、威斯康辛大学、微软和a t & t 的研究最具有 代表性口。川。 2 1 从数据库到数据仓库 数据库系统作为数据管理手段，主要用于事务处理。在这些数据库中已经保存 了大量的日常业务数据。传统的d s s 一般是直接建立在这种事务处理环境上的。数 据库技术一直力图使自己能胜任从事务处理、批处理到分析处理的各种类型的信息 处理任务。尽管数据库在事务处理方面的应用获得了巨大的成功，但它对分析处理 的支持一直不能令人满意，尤其是当以业务处理为主的联机事务处理( o l t p ) 应用与 以分析处理为主的d s s 应用共存于同一个数据库系统中时，这两种类型的处理发生 了明显的冲突。人们逐渐认识到，事务处理和分析处理具有极不相同的性质，直接 使用事务处理环境来支持d s s 是行不通的。 概括来说，事务处理不适宣d s s 应用的原因【2 2 】主要以下五条： ( 1 ) 事务处理和分析处理的性能特性不同： ( 2 ) 数据集成问题； ( 3 ) 数据动态集成问题； ( 4 ) 历史数据问题； ( 5 ) 数据的综合问题； 传统的0 l t p 数据库与数据仓库的区别比较( 表2 - 1 ) ： 山东师范大学硕士学位论文 对比属性传统数据库 数据仓库 数据内容当前值历史的，存档的归纳的计算的数据 数据目标面向业务操作程序重复处理面向主题，分析麻用 数据特性 动态变化，按7 段更新 静态，不能直接更新，只能定时添加、刷新 数据结构高度结构化复杂适合操作计算i 句单，适合分析 使用频率扁中到低 数据沛问董每个事务只访问少羹记录 有的事务可能需要访问火量记录 对响麻时间的萎求以秒为计量单位以秒、分钟、甚至小时为计量单位 2 2 数据仓库的定义 经过十余年的探索与研究，人们目前一致认为，数据仓库的鼻祖美国著名的 信息工程学家园蒙w h i n m o n 博士于1 9 9 2 年在其著作b u i l d i n gt h ed a t a w a r e h o u s e 一书中对数据仓库的特点描述是极其正确的【2 3 1 。在该书中他说：“数据 仓库( d a t a w a r e h o u s e ) 就是面向主题的( s u b j e c to r i e n t e d ) 、集成的( i n t e g r a t e ) 、 非易失的( n o n - v o l a t i l e ) 、时变的( t i m ev a r i a n t ) 的数据集合体。”我们可以从两 个层次予以理解2 舢，首先，数据仓库用于支持决策，面向分析型数据处理，它不同 于企业现有的操作型数据库：其次，数据仓库是对多个异构的数据源有效集成，集 成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不 再修改。 所谓主题，是指用户使用数据仓库进行决策时所关心的重点方面，如答疑系统 中问题与答案等；所谓面向主题，是指数据仓库内的信息是按主题进行组织的，为 按主题进行决策的过程提供信息。所谓集成的，是指数据仓库中的信息不是从各个 业务系统中简单抽取出来的，是经过系统加工、汇总和整理，保证数据仓库内的信 息是关于整个组织的一致的全局信息。这步实际上是数据仓库建设中最关键、最 复杂的一步。所谓稳定的，是指某个数据一旦进入数据仓库以后，一般情况下将长 期保留，也就是数据仓库中一般有大量的插入和查询操作，但修改和删除操作很少。 所谓随时间变化的，是指数据仓库内的信息并不只是关于整个组织当时或某一时间 点的信息，而是记录了整个组织从过去某一时间点到目前的各个阶段的信息，可以 山东卿范人学硕士学位论文 对整个组织的发展历程和未来趋势做出定量分析和预测。 2 3 数据仓库的体系结构 简单地说，数据仓库由可操作的外部数据源、一个或多个数据库和一个或多个 数据分析工具组成。因而其实现过程应包括三大步骤“”：汇集各种源数据( g e t t i n g d a t ai n ) 、存储并管理数据( m a n a g e m e n tt h ed a t a ) 和获取所需信息( g e t t i n gd a t a o u t ) 。如图2 1 所示： 仨 圈 综合数据j 圉 l 烁煳库厂 数据文件 】 臣萎l 当前数据i ic $ 工具l 。= 孓 元数据库历史数据 o l a p 工具 j 0 l 蔹耀_ r 一 数据建模 工具忑；：习 幽2 - 1 数据仓厍体系结构 1 ) 从任何业务处理系统源中取出决策所需数据； 2 ) 对数据源进行清理和整合i 3 ) 按主题进行数据仓库的装载和更新； 4 ) 根据决策支持系统的需要，以多种形式进行数据和信息的组织 5 ) 决策数据分析处理能力及数据挖掘； 6 ) 灵活多样的结果表现形式。 2 4 数据仓库的功能描述 数掘源的确定与采集1 2 6 1 ：数据源的确立实际上是数据仓库的源数据的来源问 题，也是整个组织的业务处理系统或整个组织能够提供的构建数据仓库的基础。数 9 山东师范大学硕士学位论文 据仓库的建立就是要通过数据源的确定和采集开始的。 数据的转换：因为确定的数据源采集来的数据并不能适应数据仓库的要求，所 以采集而来的数据必须经过析取、剔除、过滤、条件转换等操作才能载入数据仓库 之中。 数据的载入与存储o ：解决数据以什么结构和方式保存于数据仓库中的问题， 也就是数据是按主题、按维还是按其他结构放入数据仓库中，以提高联机分析的速 度。 数掘的联机分析：主要处理面向决策的数据调取分析，涉及一些o l a p 工具的 使用，如：查询各类视图的产生、报表的形成、对有价值的数据进行挖掘等。 元数据的定义：元数据是其他四部分的基础，是管理数据仓库的控制参数。它 包括源数据的定义、主题的定义、维的定义、粒度的定义、预处理的定义和字典的 定义。 2 5 数据仓库的数据模型 当前，数据仓库常用的逻辑建模工具【2 s 1 是以维数据建模来表示事实、维、粒度 的关系。 事实( f a c t s ) ：事实也叫主题，是实际分析的数据基础，也可以说就是用户 同常最关心的内容，如学生。教师，教室等。它们日积月累，数量庞大。 维( d i m e n s i o n s ) ：维是事实信息的属性，如学生课程的课程名，教师，成 绩等。他们一般变化不大，数量也相对较小。 粒度( u n i t s ) ：粒度是维划分的单位，如时间维可按同计，也可按旬、按月、 按年计：如教师维，可以按照教师名和分组来统计，也可按学院，系别等较粗的单 位来统计。这些信息一般没有变化或变化很小。 ( 1 ) 星型模型 星型模型是当前数据仓库常用的数据结构模型，它包括事实表和维表。事实表 包含被索引事实的数据行，一般为数据。维表是对事实的非范式模式。数据表和维 1 0 山东师范大学硕卜学位论文 表通过维键( k e y ) 联系在一起。星型模型的核心是事实表( f a c t s ) ，它是按维进 行查询的中心，存储真实数据( 即事实) 的地方。事实一般为数字型的属性，如分 额和数量，可以求和、求平均、求最大及最小，并且进行各种统计运算。事实属性 ( 维) 包含了适度的、关于事实表所管理内容的数字型值。 使用星型模型的主要原因是可以提高查询的性能和便于用户安排不同的查询。 一方面，由于主要数据都在庞大的事实表中，所以只要扫描事实表就可以进行查询， 而不必把多个庞大的事实表连接起来；同时由于维表一般都很小，甚至可以放在高 速缓存中，与事实表做连接时其速度较快。另一方面，对于非计算机专业的用户而 言，星型模型比较直观，通过分析星型模型，很容易组合出各种查询。 ( 2 ) 雪花模型 雪花模型是星型模型的扩展，它比星型模型增加了层次结构，体现了维的不同 粒度的划分。使用雪花模型进一步增加了查询的范围，以帮助主管部门决定教育管 理的策略。例如能回答“某一学院某门课程去年成绩如何”这样的问题，为后继的 教学任务计划提供依据。 2 6 数据仓库工具 数据仓库中的工具汹1 以分析型为主，但仍包括查询工具。对数据仓库的查询， 并不是指对记录级数据的查询，而是指对分析结果( 发展趋势或模式总结) 的查询， 这要求友好一致的界面。数据仓库中最主要的工具是分析型工具。根据数据仓库的 定义和用途，它面向的是用户中的中高管理层，主要执行决策和趋势分析类应用。 但是目前的存储和检索系统与用户对高层次信息的需求之间存在着巨大的鸿沟，原 有的d bt o o l 对此是无能为力的，解决之道唯有功能强大的分析工具。数据仓库工 具大体上可以分为两种模式冲o ：验证型( v e r i f i c a t i o n ) 和发掘型( d i s c o v e r y ) 。 l 、验证型工具 用户首先提出自己的假设，然后利用各种工具通过反复的、递归的检索查询以 验证或否定自己的假设。从用户的观点看，验证型工具是在从数据仓库中发现事实。 山东师范大学颂十学位论文 这方面的工具主要是多维分析工具。 2 、发掘型工具 发掘型的应用主要负责从大量数据中发现数据模式、预测趋势和行为。与验证 型工具一个很大的不同在于：用户在整个信息的发掘过程中无需或只需很少的指 导。发掘型的工具主要指的是数据挖掘( d a t am i n i n g ) 。 查询工具、验证型工具和发掘型工具结合在一起构成了数据仓库系统的工具 层，它们各自侧重点不同，因此适用范围和针对的用户也各不相同。从工具对数据 分析的深度来看，验证型工具处于较浅的层次，而发掘型工具处于较深的层次。从 工具实现的数据分析模型来看，验证型工具主要实现了前三种分析模型：绝对模型、 解释模型和思考模型；而发掘型工具实现了第四种分析模型，即公式模型。但是在 实际工作中，查询工具、验证型工具和发掘型工具是相互补充的，只有很好结合起 来使用，爿能达到最好的效果。建立三者合而为一的数据仓库工具层是数据仓库系 统真正发挥其数据宝库作用的重要环节。 2 7 数据仓库的实现 。数据仓库的实现。o 主要包括四个部分：数据仓库的设计，数据集成，数据存储 和管理，以及数据分析和展现。 ( 1 ) 数据仓库的设计。根据决策主题设计数据仓库结构，一般采用星型模型和 雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的 必要联系。主要有以下3 个步骤8 ”1 ：1 ) 定义该主题所需各数据源的详细情况，包括 所在计算机平台、拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。 2 ) 定义数据抽取原则，以便从每个数据源中抽取所需数据；定义数据如何转换、装 载到主题的哪个数据表中。3 ) 将一个主题细化为多个业务主题，形成主题表，从数据 仓库中选出多个数据子集，即数据集市( d a t a m a r t ) 。这些数据定义直接输入系统中， 作为元数据( m e t a d a t a ) 存储，供数据管理模块和分析使用。元数据存储在元数据库 中，它不仅是数据仓库的文档资料，供管理、维护人员使用，而且亦可供用户查询，使 山东师范人学硕十学位论文 之更好地了解数据仓库结构，提高自己的使用水平。 ， ( 2 ) 数据集成。该模块是根据元数据库中的主题表定义、数据源定义、数据抽 取规则定义对异地异构数据源( 包括各平台的数据库、文本文件、h t m l 文件、知识 库等) 进行清理、转换，对数据进行重新组织和加工，去掉无用的数据项。最后转换 成统一格式加载到数据仓库的目标库中。 ( 3 ) 数据存储与管理。数据仓库的存储可以选用“多维”数据库，也可以选用 关系型数据库或其他的特殊存储方式。要保证数据的安全性、完整性及一致性，同 时还要具有复杂的分析查询的高效性。 ( 4 ) 数据分析和展现。o l a p 是一项分析处理技术，他从企业的数据集合中收 集信息，并运用数学运算和数据处理技术，灵活、交互式地提供统计、趋势分析和 预测报告。通过多种o l a p 工具对数据仓库中的数据进行多维分析、汇总，形成图 表或报表的形式，使企业的决策者可以清晰地直观地看到分析结果，这就是数据仓 库系统所要达到的目的。 山东师范大学颈士学位论文 第三章数据挖掘技术 数据挖掘作为个只有十几年研究历史的较新的研究领域，许多概念和技术是 逐步发展起来的。确切地讲，d a t am i n i n g ( 简记为d m ) 跚是一种决策支持过程， 它主要基于a i 、机器学习、统计学等技术，高度自动化地分析各组织原有的数据， 做出归纳的推理，从中挖掘出潜在的模式，为管理人员决策提供支持。本章将系统 介绍其相关的内容。 3 1 数据挖掘的技术基础 3 1 1 数据挖掘的概念 数据挖掘口“( d m ，d a m m i m n g ) 就是从大量的、不完全的、有噪声的、模糊的、 随机的数据中，提取隐含在其中的、人们事先不知道的、但又潜在的有用信息和知 识的过程。 数据挖掘并不是一项全新的技术，它的出现与发展有着其自身的必然性。随 着各组织数据库的猛增，特别是数据仓库的出现，原有的数据库工具已无法满足用 户的需求，用户不仅需要一般的查询和报表工具，更需要的是那些能够帮助他们从 浩瀚的数据海洋中提取出高质量信息( 预测性) 的工具，d m 的出现和发展正符合了 这一潮流。 3 1 ，2 数据挖掘的方法与技术 d m 的技术基础| 3 6 1 是人工智能。人工智能是以自动机为手段，通过模拟人类宏 观外显的思维行为，从而高效率地解决事实世界问题的科学和技术。可以看出，人 工智能的目标非常高，除了需要复杂的算法外还需要特定的系统，甚至还需要特定 的机器。但d m 仅仅利用了人工智能中一些已经成熟的算法和技术，例如，人工神 经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) 、遗传算法( g e n e t i ca l g o r i t h m s ) 、决策 树( d e c i s i o nt r e e s ) 、邻近搜索方法( n e a r e s tn e i g h b o rm e t h o d ) 、规则推理( r u l e 山东师范大学硕十学位论文 i n d u c t i o n ) 、模糊逻辑( f u z z yl o g i c ) 等，其问题的复杂度和难度比人工智能降 低了许多。例如，在人工智能中，模式识别是一个重要的分支，而在d m 中模式识 别也有极其重要的意义。在a i 中，模式识别大致可以分为模拟信号数，预处理， 特征抽取与分类，解释环节等四步。但对于咖来说，所需要分析的数据是己存在 数据库中的逸录，并且其复杂度比a i 的数搀低许多，所以d m 中的模式识别问题比 起a i 来说是简化了许多。 需要说明的是，d m 是以a i 技术为基础，但其问题的规模和难度已大大降低， 从很大程度来说，d m 是a i 的某些成熟的技术在特定应用系统中具体面细微的应用。 3 1 3 数据挖掘的分析方法 d m 系统利用的技术越多，得出的结果精确性就越高。原因很简单，对于某一 种技术不适用的问题，其他方法却可能奏效。这主要取决于问题的类型以及数据的 0 类型和规模。无论采用哪几种技术来完成任务，从功能上可以将d m 的分析方法p 7 】 划分为以下四种( 根据i b m 的划分方法) ：关联分析( a s s o c i a t i o nr u l e s ) ；序列 模式分析( s e q u e n t i a lp a t t e r n s ) ；分类分析( c l a s s i f i e r s ) ：聚类分析 ( c l u s t e r i n g ) 。 ( 1 ) 关联分析( a s s o c i a t i o n s ) 顾名思义，关联分析的目的就是为了挖掘出隐藏在数据间的相互关系。关联分 析就是给定一组i t e m 和一个记录集合，通过分析记录集合，推导出i t e m 阃的相关 性，例如，“7 2 包含i t e ma ，b 的记录同时、也包含i t e md 和e 。”其中百分比7 2 称为规则“包含i t e ma ，b 和c 的记录同时也包含i t e md 和e ”的可性度，而a ， b ，c 则被称为d ，e 的对立面。本文在4 1 节对关联规则的挖掘问题进行了详细的 讨论。 ( 2 ) 序列模式分析( s e q u e n t i a lp a t t e r n s ) 序列模式分析和关联分析法相似，其目的也是为了挖掘出数据之间的联系，但 序列模式分析的侧重点在于分析数据间的前后( 因果) 关系。运用序列模式分析销 售记录，零售商则可以发现客户潜在的购物模式，例如客户在购买微波炉前常购买 何种商品。如果将序列模式分析法用于股市分析，则可能发现如下的规律：在5 天 山东师范大学硕士学位论文 的交易同中，如果