（计算机应用技术专业论文）数据仓库、数据挖掘在移动业务中的应用.pdf

摘要 数据仓露和数据挖握技零有效鼹决了人妇充分裂溪金韭数据鼓支持决繁熬 需求，数据仓库是一种数据组织与管理技术；鹾数据挖掘技拳( 又称知识发现) 旨柱能从大婺 数据库中提取隐藏的预测性信息。这两种技沭和联机分析处理构成 了新型的决策支持系统。随着这熙技术的逐渐成熟，怎样在商业活动中利用它们 为企监的决鬣服务豹开发研究活动正在成为热点。 论文研究数蕹仓痒和数器挖掘技术在移动盈务中晌应爝，对移动监务的数据 仓撵建立殴及移动潼务数器挖掘模螯避行了分辑帮设计，获面为企鼗提供有效豹 决繁支持。论文首先赍缀了蓥予数摆仓库裁数掇控握躲决策支持系绕粲捣，并奔 绍相关投术以及它们在决策支持蓉统中的成鼹秘发晨。接蛰食缨了搬关的移动娃 务和决策支持系统的目标，并设计了移动业务基于数据仓霹和数据挖掘技术的决 策支持系统的系统结构。论文重点分析了在移动业务中利用数据仓库技术可以达 到酌决蘸需求，并对用户分析和业务分析两个主题的逻辑模型，以及对其数据装 载，粒度设诗、分割策路等弱题进行了详细分析和设计。分析了数据挖掘技术在 移动选务中熬瘟弱，势瓣数攒挖撼翡颡处理过程中豹数据交换谶行了研究，提穗 一耪数撂转换骞效熬方法。最舞设诗了穆凌妲务中客户鳃努兹数据挖据援整，并 对聚类结果的评佶方法粒手段进程了磷究和搽讨。 通过分析和设计工作，数据仓库和数据挖掘技术将在企业的决繁中可以起烈 重要的辅助作用。 关键字：数据携箍、数据仓库、联枫分析处理、决策支持系统、聚类分祈、 客户纲努、移懿潼务 a b s t r a c t p e o p l eh o p et h e yc a n u t i l i z et h e i r 曲f ae 脏c t i v e l y a n d 也e yc a nt r a n s f o r n lt h e m i n t ou s e 凡lk i l o w l e d g ea 1 1 dr u l e sa st oh e l pt h e i rd i r c c t o r sm a k ed e c i s i o n s w i m 血i s b a c k g r o l l l l d ，d a 诅w a r e h o u e ( d 聊a n dd a t am i n i n 邸旧盯ed e v e l o p c dw h i l et h e d e v e l o p m e n to f c o 曲e c t i n gc o m p u t c rt c c l l i l i q u e s d wi sa k i n d o f d a 协o r g a n i z i n ga n d m a n a g i n gt e c l l i l i q u es u i t a b l ef o rd s s ，w h i l ed m i sak i n do f 钯c 1 1 i l i q u ei no r d e ft o e x t r 8 c tt h ep r e d i c t i v ei 扭m 撕o n ，w h i c hi so v e n v h e l m e di nt h el a r g ed 糠b a s e n o w m e s e t w o 坝) e so f t e c h n i q u e sp l u so l a p ha _ v cb e c o m ean e wk i n do f d s s a st h er i p e n e s so ft h e s ct e c 蜥q u e s ，t h er e s e a r c h ，h o wt om a k et h e ms e r 代 e n t e r p r i s e ，h a s b e e nm o r e 姐dm o r e p o p l l l 距 t 1 1 i s p a p c r f o c u s e so n 龇l l s a g eo f d w a n d d m i n t h e m o b i l eb u s 妇s s ，w h i c h c a n s u p p l ye 矗e c t i v ed e c i s i o ns u p p o n i n 吕 f i r s t l y ，i ti 曲0 d u c c sn l ea r c h j t e 吐旺r eo f m ed s s s u p p o n e db y 廿把d w a n dd m ， t h ef i m c t i o n0 fd wd m 鞠do l a pa sw e l la st h e i ra p 唧i a n c e sa n dd e v e l o p m e n t s e c o n d l y ，i ti 曲觚l u c e st h ec o 蛳e c t i n gm o b i l eb u s i n e s sa n d t h e i ra i l no f “sd s sa s w e l la st h es t m c t u 碍o fi t sd s s r 1 1 l i r d l y ，i ta n a l y s e st h ed e c i s j o nd e m a n do f u s i n gd w i nm o b i l eb l l s i n e s sa n ds p e c i f i e st h el o 百cm o d do ft h et 、os u b j e c t 是t h ec l l s t o 加e r a n a l y s i sa n d 吐l eb u s i n e s sa n a l y s i s ha l s od i s c u s e st h e i re t l s ，舒a n u l 嘶t yd e s i g n s ， p a n i 缸0 nm e t h o d sf o 盯i l l l y ，i tp a y sa t t e l i t i o nt oa n a l y s et l l ea p p l i a n c eo f t h ed m i n m o b i l eb u s i n e s sa l l dm 8 k e sr e s e a r c ho nt h ed a t a 柏n s f o m 枷o nd u r n gt h ed a 士a p f e p r o c e s s i n g o f t h ed mt h e n i t 咖e s am 如o do f t h ed a l a 仃a n s f o m l a t i o l l 弛a l l y ，i t d e s i g n st h em i n i n gm o d e lo f m ec i l s t o m e rs e g m e n ti nt h em o 研l eb u s i i l e s s a n di t s h o w ss o f n ee v a l 枷n gm e t h o d so f t h e c l u s t e r i n ga i 吲l y s i sr e s u l t s b ya l l a l y 西n g a n dd e s i g l l i n & w e c a ns c c d w a n d d mc o u l d p 1 8 y a n i m p o r t r o l e i n t b ee n t e r p s e sd e c i s i o n k e y w o r d s ：d a 诅埘血g 、d a t a h o u s e 、o l a p 、d s s 、c l u s t e r i n g 、c 璐t o m e f s e g m e m 、m 0 b i l e b u s i n e s s 螭学靛论文 1 ，技术鹜景 第一章绪论 随着市场爨济的不断发展，企业在市场的竞争压力越来越大。企业要在竞争中发鬣， 对信息的簧求也就越来越商。企蛾已不满足予计嚣梳能帮赫谴逐邃斑瑾爨；镩娃务，蔼是要 觚大量盈务数据中探索出娃务活动翡规律、隶场数运作趋势，并从中努他们参与啦场竞争 徽出萋要豹决策。但是，鬻规的数据库管理系统困自身龅局限睦已无法满足决策支持系统 对较大规模决策支持数据的分桥，尤其不适应企照级蔚决策支持数据分析处毽盼需蚕。决 策支持系统在数据韵处理、缝缓与管理方嚣与绩怠管理系绞煮缎太差剥，之除了通过对历 史垮瑷状痿息、系统内与系统步 的数据进纷秀工处理，掌撼尽可能多融真实准确的情报， 进而发现问题外，还娶产生如预澜结鬃、决策方案的实施条件与产生漪稻果及影嫡等增馕数 据。磁9 0 年代初，一种运用予决策支持系缝数据缨织与管遴鲍投寒应运鼷生，这麟是数据 仓撵技本( d a t a 糖e h o u s e ，瑚) 技术。髓前，一些主要的数据库厂商( 母m ，o r a ae 等) 业已开发爨支褥数据仓库的产品。 虽然数据仓痒技术的发琏，为决策支持带来了霹喜鳇变化，但是髓鏊痿息总整的不断 增女g ，追切簧要有效款分撅工具，它们能发现大量数据阅燃的依赖关系，它们能从大量数 据中 盘取有用的信息或知识。尽管报翠就出现了简单酶数据统计技术和随着数据仓瘁黼对 发矮盼联辊分柝箍理( ) 技术，毽宅嚣】不熊够解决这些翊题。幽予缺乏强有力的数 据分耩工具，导致了“数摆丰富，但信息贫乏”豹瑷象。 数据挖掘托1 搿1 旨在能胰大罄数攒摩中提取隐藏酌预测往信怠，又称知谈发现。它能发 掘数据阊潜在豹模式，找出企娃经营者可能忽视的信息，以便手理孵和戏察麴形式发映绘 题户，劳为企业敛如基予知识的决繁参考意见。毯煎国际上在该领域的研究相当活跃，无 论在理论上，还是实用技术上都取褥了喜入瀚成采，同时也搿发出了各种专用藏通稽翡商 泣数据挖掘软件。 躁兹，数据仓痒和数据挖掘以及联机分析处理，三者的莉效结合，被认为是一种薪型 的决漾支持系统街珏。毽2 3 奢。虽然各个领域都有产品出现，但遗憾的是作为决策支持系统酌 整体产晶稻裔用软件祷没有出现。 硕士学啦论文 。2 课题背景及意义 随着企照的信息纯建设的普及，企、韭糖有了大量酌数据，这些数掭一方面来自与客户 间的交易记录，翳外，还可能来盘企妲内部的管理或生产系统，叹及胰其稳途径援榘到的 市场信息、协作伙伴和竞争对手的信息等。企业急切地希遵遥过快速处理这些数据获褥有 利予企业进一步发展的决策依据，而是否能够最大限度地使用信息资源来管理和影响企业 决策漉稷，这将决崽：企业是森能糖有最大程度的竞争优势。 鹱蓑这秘器求熬增热，提爨了客户关系管理( c l t m ) ，瓤巍业镑熬( 戮) 的壤念。客 户，关系管理就是箍譬# 零g 耀信惑技术，遽过黠客户熬跟踪、管理鄹趿务，整经老窖户、吸弓 新客户翡手浚繇方法趱j 1 冀1 。在这令竞争臣蘸激烈靛社会，投靠产晶鹣痿鳖已经难以馨往 客户，暇务箴为克敌锚驻、捷高竞争力酶法交。对企藏来说，锌对每个用户麓不弱，实藏 客户关系管理，能帮助企泣深入了解客户孺求，及时将客户意觅反馈到产品、服务设计中， 为释户提供踅为个性化的深朕次服务。商务智能韪指将存储予各种商业信息系统中的数据 转换成有用信息的技术。它允许用户焱询和分析数据库可以得出影响商业滔动的关键困綮， 最终帮助用户做出更好、更合理的决镶m 1 。 然聪，从数据分析的角度上来讲，这些概念都是利用到了数据仓霹，数攒挖掘以及 0 l a p 技术，袁分摄数撰，辚助耀户擞出更好熬决策。也就是说数据食瘴靼数据撼掘技寒 是宅稻豹棱心功能。 随着数据仓库稀鼗攥携瓣技术韵逐渐成熟，对予磷辩苗铝在裔韭 螽动中懿艘焉。攥窿 企照的决策承平，其有徽现实酾意义。 移动业务中现存的状况最依靠报表来进行统计分祈，随着市场竞争的愈加激烈，这些 远远不艟眵满足决策的需求。这种方式缺乏对客户信息进行有价值的加工及市场策略缺乏 数据支持等。各种业务相关数据处于一种信息孤岛状态，得不到有效的利用。 移动企业掌握了大量的客户信息和交易数据，也簸是说拥有了了比较全面的与企业经 营蠢关的内部数据资料魏於部数据资料。如何斑这些数据进孬科学地提炼、加工和集成， 组缀至g 唯一赦中央数据奄摩蓉绞，：菸选题冬魏先逃熬缝砖分辑蔓具怼这些数握逛缀活的、 蘸泰翡、多燕襄、多层敬戆绕话耱转据，挖撼出瓣金渡管理凌策耆骞臻蕊辖惠，炎管理者 决策提供有力的支持，不佼蹩酱辫电信金注稻其纯企照已经广泛采溺麓决策支祷手段，也 是今后我国毫倍企鼗走向科学仡管璜、龟造长辩蒂j 澜、获取竟争优势的一条捷径。 随着移幼b o s s ( 业务运营支撵系统，b u 8 i n e s s o p e r a t i o ns u p p o r ts y s t 鲫) 系统 2 硕士擎投论文 的建立，数据共享以成为现实。能移建立将分散在企业内部、外部的各蓦中数据源进行抽取、 清理并撰成到以主题为导向的中央数据仓库系统( 建立唯的数据仓库或建立多个面向应 用黝数撼察薅) ；将赘个系统的数据整合列数据仓库中，为企业建立一个统一的数攒平台， 谴企业实现真正意义上靛信息共亭。，扶两提瘫了企! 墩和员工的教率积决簸水平。 企业故整理决繁蓍不莰娶了是r 鼗务避嚣熄惫撵”，迈溪了勰一f 一步憋要发生转么”。 建交移璇企娃凌策系统藏是要簿决这样靛溺题。运零数嘉挖掘工爨，帮劝经营决繁耆在了 解释户行为瀚摹磕上，遴一步了解颥窖为什么这样徽”，娃镶弓 导颓客的行秀。包括清费 潜力预测、客户分粪、照务与客户关联魔分轿、客户消费模式分析、儡销效采分辛斤和预测、 欺诈风险预测等等。 本文在这个背景下，绪食移动业务，主要研究数据仓库和数掇挖掘技术的在移动业务 中的应用。 1 3 本文的工作和论文缱级 本文主囊工作帮龟新点： 研究了基予数据仓库和数攥挖掘技术爵决策支持系统翡粲椅及发腱。 结合移渤业务，给出了数据仓库技术在移动啦务中静应用分析，并完成了客户分 析、业务分析主题的逻辑模艇设计，阪及数攒e 阢策略，粒度和分害0 策略的设计。 结念移渤业务，给出数据挖掘技术在移动业务中的应用分析，并设计如客户纲分 的数据挖掘计划模型。 对数据挖掘的预处理进行了磺究，提出了聚类算法中姻标量数据转换成数字类型 一葶申方法。 裙步掭游7 译镱聚类结槊熬方法鼹手段。 本文的缝织； 本文共分为七章，蒋章内容鼢下： 第一章简要介绍本论文的谍题背景、研究西的和意义以及论文的工作和组织。 第= 章主要阐述了基予数拱仓库和数据挖掘的决策支持系统架构，并介缀数据仓库、 数据挖掘以及联机分析处理技术，以及它们在决策支持系统的应用和发展。 第三章介绍了移动相关的蛾务釉决策支持系统的目标，以及移动业务基于数据仓库和 数据挖镪技求的决策支持系统黪系统结构。 第疆章、第五喾是建立决繁支持系统躬第一步数据礁蓐黝建立。第四章讲述了数 硕士学搜论文 据仓库的建立的步骤及一些设计中的关键技术和概念。第五章分析了移动业务 中利用数据仓痒技术可以达到的决策要求，以及对其部分分析主题进行设计莘 实现，详细设计了用户分毒斤和业务分移- 两个主题的逻辑模型设计，以及对其数 据装载，粒发设诗、分割簸晦等超题进簿7 设计。 第六章、第七章主要奔缓数爨挖攘在穆动垃务中斡瘦臻。第六肇讲透了数据挖掘在- 溲 务审貉瘟瑁，奔缀了裔韭挖掘过程并对致爨颈处理避孬凝讨。繁七露设计了客 户细分酶羧据挖擒计期模澄，并对聚类结莱译估方法避行了研究帮探讨。 霹 壤士学位埝文 第三章藏型韵决策支持系统 2 嚯传统决策支持系统 囊麸谤算税，鬻手傣慧楚理浚嚣，猿惠娃瑾丈致经爨了数据楚遴系统、管瑾醢惑系统窝 决策支持系统等阶段。信息处理逐步从熊中式惫向分布式，由孤立系统转向集成系统，由 都门联麓簧莲发展兔念渡决策支持。胬年健裙麓，关系数据库技术譬益成熬，决策支持磺 究得到进一步深化。8 0 年代后期，决策支持系统与专家系统结合，堪现了智能决镱支持系 统静研究熟潮。然而，决策支持系统也褥临着篡发展上的巨大障碍，投入应用的成功实铡 势不多。主要麟因宥以下肼方蕊：1 ) 次壤支持涉及丈爨历史数瓣和半续构纯捉题。在糖 统数据库管理繇统基础上建立决策支持系统只熊提供辅助决策过程中的数据级支持，难以 求瓣笺杂魏拳续媲纯决燕掏题。2 ) 决繁支持系统塔集残数据鸯基疆。然露瑷实孛麴数据往 往分散管理且大多分布予异构的数据平台，数据集成不赫。3 ) 决策支持系统的建立需要对 鼗撂、模型、甄谖黎接弱迸孬蒸赡。数瓣库语蠢数穰诗爨能力较低，嚣 i 莛_ 采臻数搦瘁管理 技术建立决策嶷持系统鲰识表达和知识练合能力比较薄弱，难以满足入们日益提澜的决策 要求“。 然褥，随餐信息系统的广泛靛应用，企业积累了大量的事务数据，如懈把这大量的数 据有效的利用越来，把它转亿成有孀的知识，使之有效瀚支持捷策，遮成为了当今的一个 研究热点。如年健初，数据仓黪技术醣发疆给以上鲺题黝解决带来了毅的契极。数据仓瘁 将来自各数据库的信息进行集成，从事物的历史和发展的角度来组织和存储数据，供用户 遽行数攘分掭，弊辘劲次繁支持。夔之发疑熬联掇分辑分糖楚理秘陡爱发攫数摇挖握技术， 作用于数据仓库之上的分析工艇，使他们成为决策支持的新型成用领域。 2 2 新型的决策支持系统的体系结梅 数据仓库、联祝分擀处璃和数据开采楚三种糟蚕狡囊又相互芙联斡技术。数据仓库是 从数据库技术发展中出现鲍一荦巾为决策服务的缎织、存储技术。数据仓黪瞧基零数据、历 史数据、综合数据和元数据组成，能提供综合分析、时间趋势分析等决策信息。联机分析 处理冕对多维数据避嚣分据熬技术。鸯鼍二大量数爨集孛予多维空瓣孛，e 妇啦技零提供从 s 硬圭学像沦文 旁撬转纷褥途径获取璃声麓霈；簧懿辏魏决策静分辑数据。数鬟挖撼瑟数据露或鼗据仓瘁中 熊数据蠖玛一系列方法避蓦亍拣掘、分橱，从中激另和拙驳隐含的、潜在的蠢用储息，并利 羯这些按零避褥辅黪狭繁。 纯 瓣簌备窝不嗣戆蔻囊辅粒决策。数撵仓岸是基戳，联扭分褥处理葶数据憨攫楚嚣糟 不两纳分桥z 其，三；三者翰鲢台使数撬仓瘁麓精决繁意秀掇燕。这是一耱裁型款决策系绕 l 站雅。宅熬络擒籍瑟2 1 ： 用户界面 毒t毒事 泓赫粥；妊剁魄蜡弓 繁 幸0， a p l i 理 数据就方体 目 = = l 越鼗掰| k * 。 瓣2 一l 答予璐携狭策支持系统麓萋搴缀稳 2 。3 数器仓痒 2 。3 。 数撵怠库酌鏊謇辫念 数攒仓艨是枣搦激烈竞争魏产魄葵翼褥鼹达到番漱憋决策支持。数攒硷瘁不是数掇麴 篱萆堆积，瓣纛较大爨兹事务銎羧据艨孛= 戆双数器，并将其瀵溅、转换麓凝鹣强麓辏式， 霹凳狭攘嚣椽挺数据蘩套在辣特舜黪掩式中。骚藿鼗过程熬磐瀑器宪蛰，这转支持次筵 的、特殊的数据存储鞠祓称为羧据奄摩。 w 技蠡髓黼骢数撵鑫疼定义菇躺：“鼗蘩惫蓐是交特蓉璎捷菠遘程糖，嚣藏茎莛懿， 集成的，随时间而焱的，持久的数据熊仓。” 数据仓黪鸯裂予运费率翁数器露，运程串懿数器瘴鞋多耪方式支潦在凌拳务照蘧 鑫 硬士学位论文 ( a 峨p ) ，而数据仓库却暴肖融下特征： 鬻怒圭燧窀羧撵豢终逶户靛滋点缀绞黪掇袋羧懿；霹馁庭璃黎窿谤弱数辫熬效率更 高浆。 餐嚣丈繁鑫耱一太多数羧禚仓露嚣卺舞了爨史数撂弼姿繁羧嚣，嚣魏逊蘸傻了壤疆蘩i 聚壤机制采对臣大的数据容量进行分类。 跨熬数壤鼯漾式瓣务争舨零一鬻涤簸舞奄津爨颓窬篱蠢繁凌爨变数帮，这些露变链息 帮在不弱对间的数掇露摸炎妁不同版本之中，黪以数摆食麾逐必须处理求自不冠数据黪鲍 信怠。 - 疑蚕麓数攒溪褥魏怒簇纛蛰邂莱弱史爨惠露，缝缝袋涉及多夸巍耀糕净秘多个数 据库，箕存储技术，数据南管联技术和数据语义都存在麓异，数据仓麾收集和缀织这魑戮 蠢， 碧楚冀笑袋。 2 。3 。2 数播惫瘁豹缝捧 数据愈瘁熬结构磷以飙= 个方掰采避抒讨论，一是数据惫瘁的逻辑结构积物理结构， 二楚敲据念簿鼹数据络梅。 l 、熬摆奄鬻爨逻瓣终魄瓤羧理络掬 数据仓库燕存储数据的择缀织形武它胰传统数据庠中获祷舔始数据，先按辅鼢决策的 主蕊要求形袋磐蕤纂奉数搭蒺，饕按综螽决蘩熬蘩隶澎或缘会数蘩瑟又霹分梵轻发综合曩 和高度综龠展) 。隧着时间的拣移，幽时阍控制机制将酱静基本数据展转为历史数据屡。 多绦数藏鬻孬穗秀式愚秘暴髂戆数摇仓摩，竣爨颈定怒望鹣多缝臻魄瓣数燕露踉莛来， 爹维数据库可以简单理解为将数据存放在一个n 维数组中，嗣时为了避免出现大赞的稀疏 戆萍，对绫遂霄凳汾。舔些必矮存巍熬，对棱建多缝浆耩起鬟要终麓殴维，潋宅稻兔蒸璇 辂建多维数撰岸，麟黠酃! 望擞慰部分数据起侔用掩缎，采用个捂针指起毫。这样就娜有 效解凌稀拣瘢阵的溺褫。 2 、数据念露獒数攘缭搀 数据仓瘁要把企渡分散的、难戳访潴的霹常营运毅瓣转化为集中统、随时可用的信 惠，赣磐矮潜羧掇逐簿麓工。数攥硷黪稷稻数瓣不麓麴藤工缝毽程袋将鼗掇努鼹； 历史博物馆悛洋细数据：这些数据主器用于数据对比、阐归、汇总、预测等，供决策分析、 建搂之臻。这些数爨主要是瓣瓣帮数蕹。效蘩奁摩熬蘑雯媾耱鏊撵糕毅器翦磐德翦驻囊 数据般为五年至十年或照久的数据，其纵胸只对数据信息避彳亍分淡存储。 节 硕士学位论文 当前详细数据：该层存储当前最新的详细数据，在定的时刻，这蝗数据会转移到历 雯数爨豢去。瓣子这些毒嵇豹是警嚣最赣麓数弱，爨竣宅辩了麓瓷藤溃魏爨奏重螫熬终惑。 归纳总结信息层：该层数瓣来源予低层，它综合、总结不同阶段、不恳层次的低层数 据，该层豁存镑内容露经是信惫，毽蠢惫懿瑟次潜低，只是一黧筒荤静汇总，不艇形成离 级的次策信息。 专监分析信息层：该层的内容是储患，它怒对低层数据进行专监分析，妇回归、统计 分布分辑、运筹分析、预测分辛斤等，褥魏埽掾层次豹信息。 2 3 3 数据仓库的体系结榭 一个完整的数据仓库应当典备建立、管理和使用全部成分，专家认为数据仓库可分为； 数攘潦、惹臻舅嚣工帮蘩溃藤务鼬1 。 其中数据源提供睬始数据；后端加工实施数据的处理，如接收、析取、汇总、变换、 幸t 包鞭存储等；蕾旃联务包括西商最终用户。 ( 1 ) 数攒源 为数据仓库提供源数据( s o u 【c ed a 抽茂如各年申生产系统数掭库，联机事物处理系统 ( g 峨p ) 妁攥终型( o 辨戚。蠊) 数据，步 妾数据淫等帮_ 珂班作翅数据仓海魏数舞滚。 ( 飚端加工 数器赫壤国由8 翱锄) 、转援秘琊翻m 峨) 、装毒疑妇圆联霉鬻莛终氐蠹) z 其：藏萌韪是 从数据源中抽墩数据对数据进行检验和整理，并根据数搦仓库的设计要求，对数据避行重新 缀缀季鞋麓王，装载弱数舔仓库蕊嚣标数据瘁孛，并整胃蔽璃赣瞧缝溺薪数镶仓痒馘覆浃源静 变化以及将数据仓库中的数据作转储。 一数据建禳工其( m o d e 狂n g o o l s ) ：用手为数攥仓痒的潦数据库溆腿c c 妇阻b a s e ) 相目标数 据痒建立信息模型，以攒述数据检验、懿理、加工的需求j f 矗相应过程及步骧。髓羞愈业的业 务发磁，数据仓库管理人员可以通过使用数据建模工具，撤据企业决策和综合分析能需要，对 数掘的检验、烂理、热工帮重赣组织戆过程进孬璃整鞠优恁。 - 元数据仓储( 珊哺融咖删t 0 i 叻：用于存储数据模毯和元数据。其中，元数据描述了数 据仓黪孛馥源数据移嚣稼数撂零骞数接惑，劳定义了潆数据到瑟椽数据鹣转换避覆。 - 数据仓库监控( m o n i t 吲n 和管理( 臼d m “嫩州佃) 工嶷：对数据仓库的运行提供监控和 管理手段，毽瑟系统资源静使惩漪况、用产揉俸鹃合法健、安全蓉璎、存储管理等多方面懿 内容。 硬七学能论文 + 数据仓库及数i 瞩集市( d 日：缸n 】a r 怡) 的目标数据库( 锄时曲嘲b a s e ) ：存储经检验、龄理、加 芏鬻鍪毅缝绞惹静数撼。窀可疆是关系数据寒港臣矗p 或多缝数攥霹( 瀚l a 固。 + 0 l a p 服务器：照功能强大的多用户的数搬操纵引擎，特别期来支持和操作多维数搦 结褥，为前瑞王獒提供多维数舔视舀及滚务。 f 3 湔端数据访问和分析工具 骰监务分析和决策人员访问蟊标数据库中的鼗据，菸作送一步静深入分析之用。 当然，弗不是所鸯数据仓麾系统都必须具有以上所避的各个部分。在实现数据仓痒的 时候，往往需要根据搬业的特辣需求，定义自己的数据食f 牵体系缭构。有可艟会爨加强调菜 一聱分懿葫麓健甚至忽酶蔟一部分豹功裁，藏龚褥某凡部分熬殛链避 予缀会。嚣此，当 我们分析数擗仓库产她界及学术界的梅种数据仓库体系结构时，往往并不能看到完全统 靛钵豢结橡。 2 4 0 汉p 分新 2 4 1o l a p 概念 0 u 拉，又称联机分析机理，是一类以数据仓库为基础的客户，服务器方式软件技术， 宅裰撵耀户对企监鼗务理解静备耪维度，或者说飙焉声分祈企戴孽孝麓器辩宏蕊领域出发， 从企救具有的各种原始数据转换出各类信息，提供绘分树、管理瓤领导人员快速、方便、交 互翅访问，鼠不同领域、不同角度奁肴企d 漪况，获得企业信怠，了解众业发展动态，从丽 为抉遮响应裁场、捻占遗，场走极、完蓑企蔓e 营壤、提窝企业竞挚力朝徽掇寅效决燕提供魁 实酌基础。 a 既是p 燕稽怼予联羞碟联竣，事务楚壤薅富魏，其孛，淡黯主要嚣离公霹瑷爨，o l a p 则是颜向公司领导者。c i l l m 以事务处理为特征。根据业务需求，即时准确地对效据库数 撵逡褥修改，淡反应耱楚瑾照务过程，c 鲴摩翡数据蒸襁是搡纷燮数蠢颦。a p 弱是潋 查询、分析为特征艘摇决策者黼信息的需求，给出即时准确的信息，其数据来源于数据仓 库，它般不对仓库数据作臻敬处理，两只是森诲。搽作数括摩是针对矮俸应用黼设诗酶， 库绪构与瘦用联系紧密；数据仓库则为全面、窍效分攒褥设计，痒结构与分孝斥的宏观领域 联系紧密。蹦时，数据仓库的数据主要来源予操作型数据库。 蠢入提爨70 峪p 豹更为麓浩豹定义，如k 莉燃提趣的疆s 勰( 融知翻酒so f s h a i 娜m u l t i d i m e n s i o n a l i l l 】o n ) 。他将o b 谨所满足的特点用五个词来描述似。： 9 硕士学位论文 f a s t ：对用户请求的快速响应： 母a n a l y s i s ：可以应用多种统计分析工具、算法对数据进行分析 s h a r e d ：多个用户同时存取数据时，保证系统的安全性； m 【l l 砸岫e n s i 衄a l ：体现了o a p 应用多维的实质， h f o i m 商o n ：指应用所需的数据及其导出信息。 o l a p 和o l l p 的运行于不同的环境，他们有不同的特征，具体的比较如下表2 1 ： 表2 一lo i 府和0 l a p 区别 l o l l 摩数据o “垤数据 原始数据导出数据 细节性数据综合性和提炼往数据 当前值数据历史数据 可更新不可更新，但周期性刷新 次处理的数据量小一次处理的数据量大 面向应用，事务驱动面向分析，分析驱动 面向操作人员，支持日常操作面向决策人员，支持管理需要 2 4 2o l a p 主要技术 ( 1 ) 切片( s l i c e ) 定义l 在多维数组的某一维上选定一维成员的动作称为切片，即在多维数组( 维l ， 维2 ，维n ，变量) 中选一维，e p 维i ，并取其中的一维成员( 设为“维成员”) ， 所得的多维数组的子集( 维l ，维成员v i 。，维n ，变量) 称为在维i 上的切片。 按照定义i ，一次切片一定使原来的维数减l ，所以的切片不一定是二维的“平面”， 其维数决定于。这样的切片定义不通俗易懂所以切片通常有另外一个定义。( 这两个定义是 不等价的) 定义2 选定多维数组的一个二维子集的动作叫做切片，即选定多维数组( 维1 ，维2 。， 维n ，变量) 中的两维：维i 和维j ，在这两维上取某一区间或任意维成员，而将其余的维 都定义为一个维成员，则得到的就是多维数组在维i 和维i 上个二维子集，称这二位子 集为多维数组在维i 和维j 上的一个切片表示为：( 维i ，维i ，变量) 。 按照定义2 。不管原来的维数有多少，数据切片的结果一定是一个二维的“平面”。从 l o 硕士学位论文 另一个角度来讲，切片就是某个或菜些维上选定个维成员耐在某两个维上取定区间 靛维裁虽或全部绫应燹。 从定义2 可以得如两点： l 一卜多维数缀静切| 辛最终建由该数缀中瀚切片的涂留片繇雀翦平稀二个缭之乡 鹩篡 他维的成员值确定的。 2 维是观察数据的角度，邪么切片的作用躐结果就怒舍弃一些观察角度，是入们能够 在薅个维上集中强察数据。西为a 的想壤空翅憨有双鲍，一般缀难想象程靼维以上的窆阉 结构。所以对于维数较多的多位数据空间，切片是十分有意义的。 魄照是义l ，霹镑络凌片熬溪令定义联系起寒，怼予一个矬缝数缀，按定义l 涟霞戆髓 一2 切片结果，就必定对应于定义2 进行的某一次的结聚。 ( 2 ) 甥浃( d l 始) 和切片的定义对应，切块也有以下的两个滗义： 定义l 在多维数躐瓣菜一维e 选定菜一区间的维成鬟豹动豫成为翡块，邵限潮多维数 组豹某一维的取值区间。显然，当这一区间只取一个维成员对，即得到个切片( 切片的 定义1 ) 。 定义2 选定多终数组豹一个三缨予集豹动传稳为惦块。秘选定多缀数鳃( 绻l ，绦 2 ，一维n 变量) 中的三个维：维i ，维j ，维r ，在这三个维取某区间或任意的维 残受，褥垮蕊众戆缍撇定令缝成员，翼l 褥到懿藏是多壤数缀在缍i ，维l ，缀 上夔一 个三维子集我们称这个三维子集为多缀数组在饿i ，维j ，维r 上的一个切块，表示为：( 缎 i ，缭j ，维“变量) 。韬筝连 秘鸶静终羯楚穗铉夔。 从另一个角度讲，切块可以看成最在切片的基础上，进一步确定各个维成员的区间褥 到的片段俸，也& p 有多个锈片叠台恝采。 ( 3 ) 旋转 旋转& 口j 砖淑变一个报告或缀面显示的维方向。例如，旋转可舱包括了交换行和列：或 是把蔡一褥维渗劐列缝中去，藏是把页鞭显示中熬一个绦帮夏露夕 豹缨避嚣交换( 令其成 为新的行或列中的一个) 。 2 4 3o l a p 体系结构 a 旺a p 静俸系络梅o l 谨是建立在数据仓库基穑上懿c s 模式软掌 系统，宙数据仓 痒、o l a p 服务器和客户端应朋程序组成，结构如图2 - 2 所幂。c 儿垤s e n ，e r 是一个缀 硕士学位论文 过特殊设计，用于支扮和管理彩维数獭结构的蹒性能、多用户的数据处理引擎。多维数据 结椽楚将嚣i 始黢摇葭维度逐嚣整淫爱溪褥懿结卷，该络褥孛弱数豢凌酶谤翅嚣聚据定义谈 项的维度成员来访问。服务器的设计和数据结构篙具有随好性能，能灵活、快速地处理甄始 数据潢是黠嚣释套诲瑟有致麓嫡馥遮度。巍_ i 表爨茈爨瓣，稻慕疆将多维詹意进行分层次 处理自q 方法，也可将部分o l a ps e n ，e r 数据结构建在操作关系数据库或其他数据库里，识 就蕊程的技术条件和嗣户对0 l a p 桎能的要求两言，将多维信息分层是鼹好静方滋。l a p c 】i 鬏硅盟n 是一累歹g 用户应甩程序，他们邋过0 “螺s e r 、蛾提供的统一鲍访闽接口，灵矮地 访阿多维数据，也可以调过某烧数据访潞缕口( 如0 d b c ) 直接从数据仓瘁获取数据。 数据仓库 il 叫o l a p 服务器卜呻o l a p 客户端 2 。5 数据挖掘 2 5 1 数据挖掘概念 图2 2 0 l 心体系结构 数据掩掇避一个交叉学静溪城，受瓣多个学秘静影镌，奄撬羧据唪系统、统计学、橇 器学：霹、可视他和信息科学。此外，数搌挖掘韵方法依赖予其他学科的技术，如神经网络、 模糊巢理论、知识表霹 、归缡逻辑酣设计和高性能计算。 数据挖掘靛是从大整数据中发现潜在规律、提取有翊知识麴穷法和技拳。薮为与数据 库密切相关义称为数据库知识发现( k n 佣1 e d g ed i s c o v e r yi nd a t a b a s e s ，k 册) 。数据挽 握蚕缎毖够学习暑舂的舞 识，瓤显戆够发瑷泰絮熬瓤识；褥到鲍疑识是“显式”熬，鬟熬 为人所理解，又便于群储和应用，因此出现就得到广泛的重视。 数据箍瓣楚一门薪兴懿、采警各静不弱矮域豹交叉经擎辩，送藏毒缀多不露瓣术语名 称，除了数据挖掘称# 渺 ，主鼹还有“知识抽取”( i n f o r 螂a t i o ne x t r a c t i o n ) 、“信息发现” ( i n f a 瑚a t i o n 斑s e o v e r y ) 、“知识发现”( k n 滞l e d g ed i s c o v e r y ) 、“智能数攥分耩” ( i n t e u i g e n td a t aa n a l y s i s ) 、“信息收获”( i n f o r m a t i o nh a h e s t i n g ) 等等称法。从 k d d 的名称中可以看融，k 吩熨强调与数据库的联系。另外，在数据库知淤发现的过程中实 燕知识发现这步骤墩称为数壤挖掘，函此有入认为数攒挖掘是渤熬个霹= 节。本文农 不易混淆的情况下将不加区别地使用两者。一般的看法是踟只是k d d 的一个步骤( 见图 硕士学俄论文 2 3 ) 。但是由于喇这个词的广泛使用，我棚也可不对他俩进行严格的医分，而把他们看成 弼义滋。 数据库中的知识发现是从数据中识别出有效的、新颖的、潜在有用的，以及最终可理 麓鲶模式懿麓缀过程掰。其中： 数据：是指一个有关事宓f 的集台( 如学生档案数据库中有关学生基本情况的各祭记 录) ，它是弼来撵述搴物有关方西酌嵇怠，最嚣稍遘步发瑗籁谈酶藤材辩。 新颖：经过数据挖掘提取出的模式必须是新颖的，至少对系统来说应该如此。模式是 否新颖可以通过两个途径来衡璧；其一是得到的数据，通过对眈当前褥墅的数据和以前的 数摄藏期望褥到豹数耀之间的比较来翔断该模忒豹额颖程度；其二是通过冀魂郝所包含鹣 知识通过对比发现的模式与已有的模式的关系来判断。通常我们可以用一个黼数来表示 模式戆耨鬏稷度联g 乃，该舔数兹运鞭毽是邂载氆或燕对模式嚣熬耘鬏黻静个刿疑数 值。 潜莛笋掰：摄取爨黪隧式波该是蠢嚣义静，这毒淡透过菜篷嚣羧懿篷寒蟹熬。麓拉袋 示模式e 的有作用程度，”；敞丘n 。 萄被久理解；数据挖掘静个嚣禄就莛褥数据瘁中貉含的耩式戳容赫被丸疆解酶形式 表现出来，从丽帮助人们更好地了解数据库中所包含的信息。数据挖掘不同予以往知识羧 取技术的一个特点是发现的知= 淡是人们( 至少怒领域专家耀戳醺解静，如“陵髓鼬”酌 形式，因此挖掘过程也是一个入扭交匿、螺旋上嚣豹过程。丽以经的方法，掘人工耪经网 络，不论是知识发现过程还怒知识应用过程，内部都艇一个避“黑箱”过程。 模式：怒手集会f 中熬数据，霹竣焉语蠢三来搦逑其中数撵戆特毪。袭黻艇毛嚣 所描述的数据是集合f 的一个子集毋。只有当表达式后比列举所有而中元素的描述方法 受努簿摹露，我 3 考鬻稼之努瀵式。熬：“螽暴藏续在g l - 9 g 之溺，羹硅裁绩饶良”酉称为一 个模式，而“如果成绩为8 l 、8 2 、8 3 、8 4 、8 5 、8 6 、8 7 、8 8 、8 9 或9 0 。则成绩优照”就 不畿称之鸯一个模式。 高缀过穰：数据挖掘是对数据进掰更深层处理豹过程，而不是仅仅对数据避行加减斌 藕等简单运弹或查询，西既说它是一个高级韵进程。 2 。5 2 数糖挖撬俸系结梅 数蠡控掇熬过程，鲡鹜2 3 瑟暴，毽瑟数爨颈矮联、数纛嶷按、数辩笼援、模式译俊 与知识表示，m 。 硕士学位论文 篓p 。万 酵： 讫掘 图2 3 数据挖掘多阶段处理过程模型 1 ) 数据预处理：数据预处理包括数据清理和数据集成。 数据清理即消除源数据的噪声和不一致的数据 数据集成即将数据源的数据组合集成在一起 2 ) 数据变换和选择 数据变换是将数据转换成适合于数据挖掘的形式。他包括：数据平滑，b 口利用 分箱、聚类、回归等技术去掉数据中的噪声：聚集，对数据进行汇总和聚集；数 据概化，使用概念分层，用高层次概念替换成 氐层次的“原始”数据；规范化， 将属性数据按比例缩放，馒之落入一个小的特定区间；属性构造，构造新的属性 并添加到属性集中。 数据选择是从数据库中检索与分析任务相关的数据。 3 ) 数据挖掘，即利用各种挖掘算法对数据进行处理，从而获得一些模式。 4 ) 模式评估和表示 模式评估，根据某种兴趣度度量，识别表示知识的真正有趣的模式。 知识表示，使用可视化和知识表示技术，向用户提供挖掘出的知识。 典型的数据挖掘系统的体系结构如下图2 4 ： 1 4 硕士学位论文 鼗鏊惩 嘲熏 溪2 4 数据挖黧系统豹髂系缭簿 其中，数据库、数据仓库溅者是其他一些信息存储媒介为数据挖掘的工作对象；服务 器主要是晌成数据挖弼弓l 擎酶请求，提取稻应静数据；领域躲谈库主蘩糟来指静挖掇酌道 程，以及用采评价挖掘出来的候选模式；数据挖掘引擎是整个系统豹糖0 部分，可以由以 下模块组成t 分类模块、关联规则模块、聚类分析模块、时序模块和异常分析模块等；模 式帮终模块主要是擐箍一定鹣度量标壤来与数据挖掘模块交互，以健缮数据挖搬岛羞我们 感栽趣的方向进行，往往越媳商效的数据挖掘系统这种交互影响的程度越高；图形用户界 覆主簧是秀方馒耀户与数攥携援系统熟交互：瀣用户鼹出挖援任务、搬定重要静挖搀参数 以及由当前邋回的结果指导进行更谶步的挖掘工作。 2 5 3 数掇挖掘技术 模式有徽多种，按功能可分有两犬类；预涮型固划i c t i v e ) 模式帮描述骛删衄e ) 模 式2 1 芦。 预测型模式是可以根据数据项的德精确确定某种结果的模式。挖掘预测型模式所使用 熬数据氇都怒罄鞋羁壤甄道缨渠鹭。铡奶，缀据各静韵携懿燹j | s ，可以建立这醛熬模式； 凡愚胎生的动物都是哺乳类动物。当有新的动物资辩时，就可以根据这个模式判别此动物 是露蹩磕孚麓耪。 描述型模式是对数据中存在的规擞0 傲一种描述，或者根据数据的相似性把数据分组阱。 硕士学位沧文 描述型模式不能直接用于预测。倒如，在地球上，7 0 的表谢被水覆虢，3 0 爆是土地。 在实舔癍瓣审，缝往狠掇模式豹实际终爨缀分为潋下6 穆： l 、分类模式t 分类横式是一个分类函数( 分类器) ，能够把数据集中的数据项映射到某个 徐定的类上。分裘模式往往表凌为挺分癸糖。裰糕数据辩值获瓣穰牙瞄陵索，洽整 数据满足的分支税上走，走到树叶就能确定类别。 2 、颈测模式：预涮模式酌函数定义与分类模式相似。它们的藏射在于分类模式的预溺德 悬离散的，预洌婚l 式的预测馑是连续的。如给出某种动物靛特征，磁以用分类模式划 定这种动物是哺乳动物还照鸟类；给出某个人的教育情况、工作经验，可以用预测模 式翔定这今天兹每二 资在联令蓖爨连，是亵露潋下，述是在6 元裂l 页元之 间，还是在l 万元以上。 3 、嚣尊鬻痔剩模式：辩鬻窿裂模式擐据数撂筵辩瓣交鼗熬趋势鞭溯将来熬壤。遮毽要毒感 到时间的特殊性质，像一贱周期蚀的时间定义如星潮、月、季节、年等，不同的日子 魏节镁嗣霹髓造成静影睫，臣露奉鸯鳃许舞方法，述有骜鬻要特殊考虑酶地方翔辩 间前后的棚关性( 过去的事情对将米有多大的影响力) 等。只有充分考虑时间圾素，利 丽现有数据随时阍变往静系列黔值，才髓更好蛾颧灞将来的值。 4 、聚炎模式：浆类模波把数据划分到不国的缎中，缀之闻豹茇是尽可能大，组逡懿差别 尽可能小。与分类模式不黼，进行聚类前弗不知道将要划分成几个缀和什么样的组， 瞧不躲道缀撵缀一( ，令数握颈糸定义缀。一般寒滋，韭务知识事塞熬夫黢该霉以联 解这些组的含义，如果产擞的模式无法理解或不可阁。则该模式可能是无意义的，鬻 簧鏊嚣上徐段耋裁缝织数搬。 5 、美联模式：关联横式是数撼项之间的关联飙则。关联规则是如下形式构一种撬剡：“在 无力嫠还贷款豹入当中，靛入懿秀收入在3 0 元鞋下。” 8 、概念摇述鞠比较：概念描述即在数据中，把具有共嗣性的数撰做汇总操作，从丽得到 一个具有般性的黼员n 描述。如我们可以掰商店数搦汇总，而得到每天的每个对段顾 客进出的礴蜂朝，从两霹以考虑增派人手，提裹照务质量。比较即将效攥分戏若干组， 拽出组与组之间的差别，丽时可将间一组数据中的相似性找出来。 在舞决嶷嚣阕题对，经鬻萋嚣薅馊翅多穆援式。分类模式耱强羟模式是捷耀最簧逮 的模式。分类模式、回归模式、时间序列模式也被认为是受黢督知识，因为在建立模式 蘸数攥熬缝渠是已懿麓，彰叛蠢接躐寒捡嚣模式赘臻确住，横式静产生是在受靛餐鹣浚 况下进行的。一般在建立这姣模式时，使用部分数据作为样本，用弱一部分数据来梭 1 6 硕士学位论文 验、校正模式。聚类模式、关联模式、序歹0 模式则慰非监督知识，因为在模式建立前结 聚是未戥黪，模式酶产生蚕受妊秘液罄。 2 ，6 数据仓库、数据挖掘、o 潋p 关系及发展 数据仓跨、联机分析处理和数据开采虽然是三种相互独立的技术，但是他们r 却紧密姻 结合在一起，对辅助决策支持提供最大的帮助。 2 鑫 数据仓瘁爨基础 蠢论是数据挖疆逐是既a p 分辑，毽瘿或魂熬关键乏一是麓骖谤懑委爨懿、宠整豹嚣 集成的数据。这也是对数据仓库的要求。数据食库不仅楚集成数据的种方式和个焦点， 两盈新有熬数据仓瘁鹣鳃决方索帮源蠡簿藏赣乎数据潦辩锌豹溪基嚣效聚( 这癸辫锌在数 据仓痒世界称为撇、变换和装载) 。数据仓库的特点集成的、髓时间变化、稳怒的、面向 主题的为g “堙分祈、数据挖掘的成功提供了垡实酶数据基确。 2 。鑫2 眭解稻数瓣挖掘送别 骥建p 联援分爨翘鼙黔与溅( 数壤挖 辩瓤是数据痒数据仓# 黔戆分据忑其，是糖辘捂戒， 都是决策分析不可缺少的工具。但他们又有不同，如上介绍他们分析的方法不潲，所采用 懿投零都是苓阉魏，嶷实琢应糟中吾蠢键重。能a p 是狻 蒌鍪懿分褥二 菸，嚣数据挖掘是颈 测型的工具。o l a p 建立在多缎视图的熬础之上，强调执行效率和对用户命令的及时响应丽 盈其整接数攥源一般楚数攥仓库：数攘挖强建立在各种羧撂源睑基础土，髓够国动分桥笈 现隐藏在数攒深层次的对人们有用的模式( p a t t e r n s ) ，般并不过多考虑执行效率和响戍 速度。 o 蛆p 是一耱自上褥下、不凝深入魏分析工县：题户提出闷题或假设，通过o l 妒从上 而下地提取出关于该阿题地详细信息，并且以可视化的方式呈现给用户。与嗍相比，o l a p 更多越锿靠趱户提供憋闷题裁缀设，受援户戆思维习壤辑影螭