（计算机软件与理论专业论文）商业智能在电视传媒广告管理系统中的研究与应用.pdf

中山大学硕士学位论文 商业智能在电视传媒广告管理系统中的研究与应用 计算机软件与理论 硕士生：吴永春 指导教师：汤庸教授 中文摘要 随着中国加入w t o ，媒体产业逐步开放，媒体之间的竞争加剧，电视媒体广 告业正面临着前所未有的挑战。如何将日益堆积的广告业务数据进行有效管理， 挖掘其中埋藏的信息，如何吸引客户和保有客户，发掘广告的盈收潜力，进行及 时、准确的决策已成为各电视台广泛关注的焦点课题。以数据仓库、联机分析， 数据挖掘为基础的商业智能技术可以帮助企业不同层次的决策人员将业务处理 系统积累的大量数据和信息加以整合，为管理者和决策人员提供综合的、全面的 信息和灵活的分析手段，挖掘蕴藏在数据中有价值的商业信息。实施商业智能系 统为电视台广告管理提供了一个有力的竞争工具。 本文以项目开发为实际应用背景，对商业智能技术及其在广告业务系统中的 应用进行了研究，论文首先分析了电视传媒广告行业的发展现状以及行业的业务 特点，接着对商业智能关键技术进行论述，提出了以数据仓库为核心的商业智能 系统建设方案，最后结合电视广告业务情况建立了一个合理可行的商业智能系 统，并详细论述了数据仓库、联机分析和前端展示开发的设计过程。 关键词：商业智能，数据仓库，数据挖掘，联机分析，广告管理 中山大学硕士学位论文 r e s e a r c ha n d a p p l i c a t i o no f b u s i n e s si n t e l l i g e n c ei n t e l e v i s i o nm e d i aa d v e r t i s e m e n tm a n a g e m e n ts y s t e m c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：w uy o n g c h u n s u p e r v i s o r ：p r o f t a n gy o n g a b s t r a c t w i t hc h i n a se n t r yi n t ow t o ，t h ep a c eo fo p e n i n gt ot h eo u t s i d ew o r l dw i l lb e f u r t h e rq u i c k e n e d ，t h e r ew i l lb em o r ei n t e n s ec o m p e t i t i o ni nt h ef i e l do fm e d i a i n d u s t r y t h et e l e v i s i o na d v e r t i s i n gi n d u s t r yi sf a c i n g a nu n p r e c e d e n t e dd e g r e eo f c h n l e n g e a n da d v e r t i s e m e n td e p a r t m e n tf a c e sas e r i e so fq u e s t i o n s ，s u c ha sh o w t o e x t r a c tk n o w l e a g eh i d d e nf r o ml a r g ev o l u m e so fa d v e r t i s i n gr a wd a t a ，h o wt oa t t r a c t t h ec u s t o m e ra n dh o l dt h ec u s t o m e ra n ds oo n 。w h i c hh a sb e c o m em o r ea n dm o r e i m p o r t a n tf o rt vs t a t i o n s d a t aw a r e h o u s i n g ，o l a p , a n dd a t am i n i n gb it e c h n o l o g i e s e n a b l em a n a g e r sa n da n a l y s t st og a i ni n s i g h ti n t od a t ao fi n f o r m a t i o n t h ee n dr e s u l t u n c o v e r sm o r em e a n i n g f u li n f o r m a t i o na b o u ty o u rb u s i n e s sa n dt h ei m p o r t a n tf a c t o r s t h a ti n f l u e n c ei t t h ei m p l e m e n t a t i o no fb u s i n e s si n t e l l i g e n c es y s t e mp r o v i d e sa p o w e r f u lc o m p e t i t i o nt o o lf o rt e l e v i s i o ns t a t i o n sa d v e r t i s i n gm a n a g e m e n t i nt h i sd i s s e r t a t i o n ，o nt h eb a s i so fd e e pr e s e a r c ho fd o m e s t i ca n df o r e i g n b u s i n e s s i n t e l l i g e n c ed e v e l o p m e n t ，t h e t h e o r i e so fb u s i n e s s i n t e l l i g e n c e a r e s y s t e m a t i c a l l ys u m m a r i z e d ，t h ea r c h i t e c t u r ea n dk e yt e c h n o l o g i e sa r ed e e p l ys t u d i e d ， a n dt h e a p p l i c a t i o no fb u s i n e s si n t e l l i g e n c ei nt e l e v i s i o n 。a d v e r t i s i n gm a n a g e m e n t s y s t e mi se s p e c i a l l ys t u d i e da c c o r d i n gt ot h ep r o j e c te x p e r i e n c e a tl a s t ，al i v i n g e x a m p l ei sg i v e nb a s e d o nt h ei m p l e m e n t a t i o no f b u s i n e s si n t e l l i g e n c es y s t e m k e yw o r d s ：b u s i n e s si n t e l l i g e n c e ，d a t aw a r e h o u s e ，d a t am i n i n g ，o l a p ， a d v e r t i s e m e n t m a n a g e m e n t 儿 中山大学硕士学位论文 1 1 课题背景 第一章绪论 随着中国加入i c r 0 ，中国媒体产业逐渐开放，外国媒体逐步的加入以及各种 新兴媒体的出现，使得国内广告市场的竞争日趋激烈。就电视广告行业而言，根 据2 0 0 5 年中国广播电视年鉴最新的统计显示，电视广告收入已经成为各电 视台的主要经济来源，即使在多种经营比较发达的电视台，广告收入在电视台全 部经营收入中所占的比重也高达9 0 以上。也就是说，其他诸项产业收入之和所 占份额还不到10 9 6 。可见，今天电视台的经济支柱事实上仍然是电视广告，广告 收入水平仍然是衡量电视优劣的重要标准。广告是电视台赖以生存和发展的经 济基础，广告业是电视传媒产业结构体系中的支柱产业。因此，从某种程度上可 以说，各电视媒体的竞争集中的表现在了电视广告的竞争上。 而作为目前电视台创收主要来源的广告竞争，已经不仅仅是价格的竞争、服 务的竞争，而是管理的竞争，应用现代化工具和手段的竞争。在这场竞争与变革 中，信息是可持续发展的最关键资源之一。利用信息技术来处理日益增多的业务 是电视传媒企业运作的基本保障，但如何利用信息技术来实现企业的经营目标， 如何利用信息技术来设计电视广告业的发展宏图，是一个严峻的课题。因此，有 效地对广告进行管理，设计开发出高效实用的电视广告管理决策系统已是目前各 电视台的迫切任务。 随着信息技术的高速发展，数据库应用的规模、范围和深度的不断扩大，各 电视台在日常的业务处理中积累了大量的、以不同形式存储的业务数据资料，各 业务之间的数据相互独立，形成信息孤岛，没能被充分利用。传统的数据库系统 即联机事务处理系统( o n li n et r a n s a c t i o np r o c e s s i n g ：o l t p ) 仅作为数据管理 手段，主要用于平时事务处理，大部分用户对现有数据除了做一些简单的、局部 的和浅层次的查询外，还缺少对这些数据的全面分析。这些繁杂数据资料仅仅依 靠数据库的查询检索机制和统计学方法己经远远不能满足现实需要了，迫切要求 自动和智能地将待处理的数据转化为有用的信息和知识，来达到为电视台领导提 中山大学硕士学位论文 供决策服务的目的。在这种情况下，我们提出将国际上流行的商业智能技术引入 到了电视广告业务系统中。 本课题就是基于上述的要求，就商业智能技术在电视传媒业的广告管理业务 系统中的应用作初步探讨和研究。 1 2 国内外发展状况 商业智能( b u s i n e s si n t e l l i g e n c e ，简称b i ) 的概念是g a r t n e rg r o u p 在2 0 世纪9 0 年代末提出来的。当时将商业智能定义为一类由数据仓库( 或数据 集市) 、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的，以帮 助企业决策为目的的技术及其应用。“1 。 商业智能的出现是一个渐进的复杂的演变过程，它经历了事务处理系统 ( t p s ) ，高级管理人员信息系统( e r s ) ，管理信息系统( m i s ) 和决策支持系统 ( d s s ) 等阶段，最终演变成今天的企业商业智能，且仍处在发展之中。 商业智能的实质是从数据中有效的提取信息，从信息中及时发现知识，为人 类的思维决策和战略发展服务”3 。 从技术上讲，商业智能并不是什么新技术，它只是数据仓库、o l a p 技术、 数据挖掘、g u i 技术、查询报表技术、统计学、人工智能、知识发现技术等理论 和技术的综合运用的一个体系结构。 从行业发展上来看，商业智能作为业务驱动的决策支持系统，其发展是以较 为完善的企业信息系统和稳定的业务系统为基础的。商业智能的应用与行业内信 息化的基础状况密切相关，尤其在金融、保险、电信、零售等商业领域都成功的 引入了商业智能技术，为企业决策提供强大的分析工具，同时商业智能技术正向 制造型企业、流通业等其他更多的行业渗透，尤其在电视传媒领域的应用还刚刚 起步。随着企业信息化水平的提高，商业智能技术将与企业现有的e r p 和c r m 等 管理软件技术进一步融合，带来企业科学管理的革命。目前已有一些e r p 厂商都 把商业智能嵌入到相应的e r p 系统内，比如国内有名的e r p 厂商用友就将它们的 n c 产品嵌套了b 0 公司的商业智能技术， 技术。c r m 与商业智能的融合也是一样， 同样金蝶软件也嵌套b r i o 的商业智能 商业智能技术从企业决策分析的角度拓 中山大学硕士学位论文 展出更大的发展空间。 从产品上看，目前，商业智能产品及解决方案主要可分为数据仓库产品、数 据抽取产品、o l a p 产品、前端展示产品、以及集成以上几种产品的针对某个行 业应用的整体解决方案等。 基础平台提供商，如n c r 、h y p e r i o n 、i b m 、o r a c l e 、m i c r o s o f t 、s a s 等， 主要专注于为b i 系统提供数据库、数据仓库、o l a ps e r v e r 等支撑平台： 应用平台提供商，如b u s i n e s so b j e c t s 、c o g n o s 、b r i o ( 已被h y p e r i o n 收 购) 、m i c r o s t r a t e g y 等，主要提供b i 展现工具及解决方案； 应用服务提供商，如h y p e r i o n ，用友，金蝶，s a s ，主要提供基于b i 技术 的各种业务领域应用套件。 专有工具提供商，如s a g e n t 、a s c e n t i a l 、s p s s ，主要提供相关技术工具。 同国外成熟的b i 和数据仓库产品相比，我国的商业智能发展还处于起步和 摸索阶段，大多数企业对信息化的建设还停留在传统的业务系统的处理上，致力 于数据的完备和日常运用，对商业智能还缺乏必要的了解和应用。然而，已有一 些有远见的企业已不满足于日常数据的简单处理，而是把目光投到了目前国际市 场上逐渐流行的商业智能技术，在数据管理基础设施逐步完善的同时，致力于从 数据到知识和智能化企业的转变。在当前全球化竞争日益激烈的经济环境下，商 业智能( b u s i n e s si n t e l l i g e n c e ，b i ) 已经成为继企业资源计划( e r p ) 之后最 重要的信息系统。在我国国内，商业智能已经被越来越多的企业管理者所认识， 其中包括金融、电信、零售、电力以及各种制造、服务行业的决策者。商业智能 已经成为这些行业信息化建设关注的焦点，也将成为企业信息化下一阶段的核心 内容。 1 3 课题研究的意义 在当今激烈的媒体竞争和快速的商业环境中，只有最具竞争力的传媒企业才 能在市场上持续取得成功，广告管理系统是电视传媒企业的核心业务系统，商业 智能的引入能将决策人员从繁重的业务数据中解放出来，充分挖掘广告资源，迅 速地从不同侧面获取企业数据信息，使他们能更深入的了解广告经营的本质，更 中山大学硕士学位论文 高效地为广告客户服务。 表现为，将现有电视台中的广告数据转化为知识，帮助电视台做出明智的广 告业务经营决策，并采取有效的商务行动，完善各种商务流程，提升各方面商务 绩效，增强综合竞争力的智慧和能力。 由此可见，基于商业智能技术的广告管理系统，对电视台来说，意义重大。 通过本课题的研究，可以为电视台的广告管理者提供一个决策支持工具，提升电 视媒体广告业竞争能力。同时也对其他将要实施商业智能系统的电视媒体业者提 供一定的参考作用。 1 4 研究内容及论文组织 课题研究的主要内容是对以数据仓库、o l a p 和数据挖掘等为核心的商业智 能技术进行研究，并将其引入到电视传媒广告管理系统的实际应用中，研究商业 智能的分析和设计方法，完成系统的设计与开发，并为用户提供了一个前端展现 工具。通过系统的实旖，使电视台能够对广告的营销状况有更深层的把握，为领 导层提供的决策工具，达到提升竞争力，实现电视广告管理的智能化。 本文的章节结构安排如下： 第一章绪论 概述课题提出的原因和和背景，以及商业智能在国内外发展的意义，阐明本 文的研究内容以及章节安排。 第二章商业智能相关理论综述 系统介绍了商业智能相关的理论和体系结构，并重点阐明以数据仓库、联机 分析、数据挖掘等为核心的商业智能关键技术。这些是商业智能系统实现的理论 基础。 第三章电视传媒广告商业智能系统的整体设计方案 本章根据商业智能理论与技术的研究，结合电视广告管理的思想，提出电视 传媒广告商业智能系统的整体设计方案，包括系统分析与设计。 第四章电视传媒广告商业智麓系统的设计与实现 本章以实际电视台的广告业务系统作为研究背景，对广告商业智能系统进行 4 中山大学硕士学位论文 详细设计和实例开发，并对实现过程中的问题进行实践，最后对数据挖掘在本系 统中的应用作了初步的探讨。 第五章结束语 总结全文所做工作，指出下一步的研究内容。 1 5 本章小结 本章首先介绍了论文的选题背景，指出了本文研究的内容和意义，以及商业 智能在国内外的发展情况，同时对论文的安排作了简单的介绍。 中山大学硕士学位论文 第二章商业智能相关理论综述 2 1 商业智能体系结构 商业智能( b u s i n e s si n t e l l i g e n c e ，简称b i ) ，是一种把数据转化为信息、 知识的技术手段。通过构建数据仓库、o l a p 、数据挖掘以及客户端数据展现等一 系列过程，提升企业数据价值，帮助企业的决策和管理者明晰企业绩效，及时做 出准确的决策。商业智能的概念最早是g a r t n e rg r o u p 于1 9 9 6 年提出来的。当 时将商业智能定义为一类由数据仓库( 或数据集市) 、查询报表、联机分析、数 据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。 商业智能系统主要包括数据源，数据存储与管理、数据分析及数据展现四个 主要阶段。商业智能系统首先从许多来自不同的企业事务处理系统( o l t p ) 、不 同来源、不同型态的数据中，提取出有用的数据，进行清洗以保证数据的正确性， 然后经过抽取( e x t r a c t i o n ) 、转换( t r a n s f o r m a t i o n ) 和装载( l o a d ) ， 即e t l 过程，以一致的格式整合到一个企业级的数据仓库( d a t aw a r e h o u s e ； d w ) 里，从而得到企业数据的一个全局视图。在此基础上，利用合适的查询和分 析工具、在线联机分析处理( 0 nl i n ea n a l y t i c a lp r o c e s s i n g ；o l a p ) 工具、 数据挖掘( d a t am i n i n g ；d m ) 工具、决策支持系统( d e c i s i o ns u p p o r ts y s t e m ) 工具等对数据仓库中的数据进行分析和处理，将数据信息变为可供辅助决策的知 识，最后将分析结果呈现给前端用户，为管理者的决策过程提供支持。商业智能 的系统架构如图2 1 所示： 6 中山大学硕士学位论文 数据集市： l i 一数据源叫_ 一数据储与管理+ o l a p 服务器一前端工具 图2 - 1 商业智能架构图 数据仓库是商业智能的基础，它从不同的数据源收集信息，以一个整齐一 致的模式存储起来所得到的数据集合，许多基本报表可以由此生成，并为多维分 析和数据挖掘提供所需要的数据。 数据分析是商业智能系统的关键，它一般包括在线联机分析处理( o l a p ) 和数据挖掘两大技术。联机分析处理( o l a p ) 和数据挖掘是相辅相成的，但它们 的侧重点不同，o l a p 主要通过多维交互的方式对数据进行分析、查询和报表， 在线联机分析处理( o l a p ) 不仅可以进行数据汇总、聚集，还提供了多种数据的 多维操作，主要包括对多维数据的切片、切块、下钻、上卷和旋转等数据分析功 能，便于使用者从不同角度查询和分析有关数据。数据挖掘则是个知识发现过程， 它从大量的数据中挖掘隐藏在数据中的模式和有用信息。数据挖掘的目标则是挖 掘数据背后隐藏的知识，通过分类，回归、聚类和关联等方法建立分析模型，预 测企业未来发展趋势和将要面临的问题。o l a p 的分析结果可以给数据挖掘提供 分析信息作为挖掘的依据，数据挖掘可以拓展o l a p 分析的深度，可以发现o l a p 所不能发现的更为复杂、细致的信息。 2 2 商业智能的价值 中山大学硕士学位论文 商业智能在企业应用中的价值主要体现在以下几个方面： 1 、提升企业决策效率 科学的、有效、全面绩效评价体系，为企业管理层提供科学分析的方法：实 时的报警服务、快速便捷的信息分发，保障了决策管理者能随时掌控企业的经营 状况，快速适应市场变化。并采取有效的商务行动，完善各种商务流程，提升各 方面商务绩效，增强综合竞争力的智慧和能力。 2 、提高管理可视性 根据不同需求提供大量的、实时的、全面的、真实的决策支持信息；强大的 数据查询和数据挖掘工具，方便决策管理者进行深入、专向的分析，迅速发现问 题的原因和找到合理的解决方案。 3 、降低决策风险 量化的绩效指标体系，完善的目标管理，使企业管理者能理性分析企业现状， 做出科学的、合理的、快速的决策。 4 、挖掘信息价值 能够从海量信息中探寻数据与数据之间的关系，形成各种动态报表，帮助企 业正确进行自我评价和竞争性决策。 我国各行业信息化应用已经历前期的基础设施建设，积累了大量的应用数 据，企业迫切需求对各项应用和数据进行整合、分析，从而在纷繁复杂的数据间 找到商机。因此，商业智能已成为使用户i t 建设投资发挥更大价值的重要技术， 也是众多方案提供商谋求自身增值以及为用户带来更多价值的一个重要应用领 域。无论是在原有客户资源的基础上拓展商业智能应用，为客户提供增值的服务， 还是积极与国内外专业b i 厂商合作提供整合的解决方案，都将有非常广阔的市 场前景。 2 3 商业智能与企业各种信息化系统的关系 商业智能作为一种企业信息集成解决方案，为企业不同的应用系统，如企 业资源规划( e r p ) 、客户关系管理( c r m ) 、供应链管理( s c m ) 、办公自动化 中山大学硕士学位论文 ( o a ) 、电子商务( e - c o m m e r c e ) 等系统之间架起了互通的桥梁。同时，这些信息 系统也为商业智能提供了数据源。但商业智能的价值又在这些系统之上，因为它 可以发现数据背后隐藏的商机或威胁，获得洞察力，了解企业和市场的现状，把 握趋势，识别异常情况，理解企业业务的推动力量，认清正在对企业的业务产生 影响的行为及影响程度如何等。图2 3 显示了商业智能系统与其他系统之间的 关系。 图2 - 3 商业智能系统与其它系统关系图 2 4 商业智能的关键技术 商业智能系统通过处理海量数据，为企业的决策过程提供科学的依据，它并 不是一种全新的技术，而是若干技术的综合应用，主要包括以下几个关键支撑技 术：数据仓库和数据集市、数据挖掘( d m ) 以及联机分析处理( o l a p ) 等。其中 数据仓库和数据集市商业智能的基础，而数据挖掘和o l a p 是商业智能中对数据 进行分析和处理的重要工具。 数据仓库是商业智能的基础，是因为它从不同的数据源收集信息，以一个整 齐一致的模式存储起来所得到的数据集合，为多维分析和数据挖掘提供所需要的 数据。商业智能的联机分析处理( o l a p ) 可以通过多维数据的分析得到随机的切 片、切块、钻取等信息。数据挖掘( d m ) 则从大量的数据中挖掘出有用的信息和 知识，并把知识运用于商业决策之中的过程。 9 中山大学硕士学位论文 2 4 1 数据仓库 1 9 9 2 年“数据仓库之父”w h i n m o n 在 b u i l d i n gt h ed a t aw a r e h o u s e 一书中对数据仓库的定义是：数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的 ( s u b j e c to r i e n t e d ) 、集成的( i n t e g r a t e d ) 、稳定的( n o n v o l a t i l e ) 、随时间变 化( t i m ev a r i a n t ) 的数据集合，用于支持管理决策。 根据数据仓库的定义可以发现，数据仓库具有以下四个基本特征同： 1 、数据仓库的数据是面向主题的，操作型数据库的数据组织面向的是事务处理 任务，各个业务系统之间各自分离，而数据仓库中的数据是围绕企业的主要 数据主题域进行组织的，一个主题通常与多个操作型信息系统相关。如：客 户、产品、销售等。数据仓库关注决策者的数据建模与分析，排除传统数据 库中对决策无用的数据，提供特定主题的简明视图。 2 、数据仓库的数据是集成的，是指数据仓库中的数据来自多个不同的异构数据 源。使用数据清理和数据集成技术，确保命名约定、编码结构和属性度量等 指标的一致性。 3 、数据仓库数据是稳定的，操作型数据库中的数据通常实时更新，数据根据需 要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据 操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长 期保留，修改和删除操作很少，通常只需要定期的加载、刷新 4 、数据仓库是随时间变化的，操作型数据库主要关心当前某一时间段内的数 据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时 点到目前的各个阶段的信息，以对企业的发展历程和未来趋势做出定量分析 和预测。 2 4 1 1 数据仓库的体系结构 整个数据仓库系统通常包含四个组成部分：数据源、数据存储与管理和o l a p 服务器及前端工具，如图所示： 1 0 中山大学硕士学位论文 操作型数据源 数据集市前端工具 图2 4 数据仓库体系结构 数据源：是数据仓库系统的基础，是整个系统的数据来源。它包括企业内 部信息和外部信息。内部信息包括存放于r d b m s 中的各种业务处理数据和各类文 档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。对于广 告业务来说，数据源主要是广告业务管理系统所收集的数据和外部的市场数据、 收视率数据等等。 数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数 据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也 决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的 核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进 行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围 可以分为企业级数据仓库和部门级数据仓库( 也称为数据集市) 。 o l a p 服务器：通过o l a p 技术，能完成即席查询和动态报表的生成。数据仓 库赋予数据多维的概念，使得用户可以从多种角度来观察数据，可以对数据进行 任意的旋转、切分和钻取。这使得用户可以随机的查询数据仓库中的数据，获得 数据仓库中的任意的数据。这就使得用户在完成特殊的查询时不需要编写程序， 而仅仅通过简单的人机交互即可完成。其具体实现可以分为：r o l a p ，m o l a p 和 中山大学硕士学位论文 h o l a p 。 前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工 具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针 对o l a p 服务器，报表工具、数据挖掘工具主要针对数据仓库。从人机界面来说， 目前的工具都支持多种类型的常用图表，如报表、直方图、饼图、折线图等；另 外，基于展现应用服务器的系统还可以为用户提供基于w e b 的访问方式，大大提 高的系统的易用性和易维护性。 此外数据仓库还包括元数据管理，元数据是关于数据的数据，用来表示、定 义数据项的意义及其在系统各组成部件之间的关系的数据，它包括每一数据项名 称、数据项意义描述、物理数据结构、源数据位置和物理结构、在整个数据仓库 各个层次之间的映射及转换规则、综合算法、代码、缺省值、安全要求及数据时 限等。实际上，数据仓库所提供的“统一的企业级的信息视图”能力，主要就是 靠元数据来体现。 2 4 1 2 数据仓库的粒度与分割 粒度是数据仓库的重要概念。粒度可以分为两种形式。3 ，第一种粒度是对数 据仓库中的数据的综合程度高低的一个度量，它既影响数据仓库中的数据量的多 少，也影响数据仓库所能回答询阀的种类。在数据仓库中，多维粒度是必不可少 的。由于数据仓库的主要作用是决策分析，因而绝大多数查询都基于一定程度的 综合数据之上的，只有极少数查询涉及到细节。所以应该将大粒度数据存储于快 速设备如磁盘上，小粒度数据存于低速设备如磁带上。还有一种粒度形式，即样 本数据库。它根据给定的采样率从细节数据库中抽取出一个子集。这样样本数据 库中的粒度就不是根据综合程度的不同来划分的，而是有采样率的高低来划分， 采样粒度不同的样本数据库可以具有相同的数据综合程度。 分割是数据仓库中的另一个重要概念，它的目的同样在于提高效率。它是将 数据分散到各自的物理单元中去，以便能分别独立处理。有许多数据分割的标准 可供参考：如日期、地域、业务领域等等，也可以是其组合。一般而言，分割标 准总应包括日期项，它十分自然而且分割均匀。 中山大学硕士学位论文 2 4 2 联机分析处理( o l a p ) 数据仓库为了支持决策的制定，须有强大的工具对数据仓库中的信息进行 分析决策。联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ，0 l a p ) 技术就是一 个得到广泛应用的数据仓库数据分析技术，专门用于完成各种复杂的查询分析动 作。联机分析处理( o l a p ) 概念是关系数据库之父e f c o d d 于1 9 9 3 年时提出的 s 9 3 当时他认为联机事务处理( o l t p ) 已不能满足终端用户对数据库查询分析 的需要。用户的决策数据分析需要对关系数据库进行大量计算才能得到结果，而 查询的结果并不能满足决策者提出的需求。因此，e f c o d d 提出了多维数据库 和多维分析的概念。 同时，e f c o d d 还提出了评估o l a p 的1 2 条准则。“，包括：多维概念视 图、透明性准则、存取能力推测、稳定的报表能力、客户服务器体系结构、维 的等同性准则、动态的稀疏矩阵处理准则、多用户支持能力准则、非受限的跨维 操作、直观的数据处理、灵活的报表生成、不受限的维与聚集层次。 由此可见，联机分析处理( o l a p ) 同目前常见联机事务处理( o l t p ) 系统有 明显的不同。 联机事务处理o l t p ( o n l i n et r a n s a c t i o np r o c e s s i n g ) 是传统的关系型 数据库的主要应用，主要是基本的、日常的事务处理，如银行交易、售票系统等。 这些系统通常自带有一些统计和查询的功能，但是随着人们信息应用的深入，就 会发现这种联机事务处理( o l t p ) 系统在数据统计和分析方面受到很多局限，这 也是为什么国际上在实际应用中都将统计分析与业务系统分开的原因。 而联机分析处理( o l a p ) 是数据仓库系统的主要应用，支持复杂的数据分析 操作，侧重智能决策支持，同时提供多角度直观易懂的查询结果。联机分析处理 ( o l a p ) 与联机事务处理( o l t p ) 的不同之处可以从表2 一l 中所列举的几个方 面来比较： 中山大学硕士学位论文 表一2 一lo l a p 与o l t 对比表 o u - p 数据o u 巾数据 原始数据导出数据 细节性数据综合性和提炼性数据 当前值数据 历史数据 可实时更新不可实时更新，但周期性刷新 数据对比 一次处理的数据量小 一次处理的数据量太 面向应用，事务驱动面向分析，分析驱动 面向操作人员，支持日常操作面向决策人员，支持管理需要 二维的分立的多维的集成的，统一的 用户操作人员低层管理人员决策人员高级管理人员 功能日常操作处理分析决策 数据库设计面向应用面向业务主题 存取读写数十条记录读写百万条记录 工作单位简单的事务 复杂的查询 用户数上千个上百个 数据库太小1 0 0 m b g b1 0 0 g b t b 2 4 2 1o l a p 相关基本概念： o l a p 是分析人员、管理人员能够从多角度对数据信息进行快速、一致、交 互地存取，从而获得对数据地更深入了解地一类软件技术。目标是满足决策支持 和多维环境下地特定查询和报表需求。它地技术核心涉及以下几个概念“”： 1 、维：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合 构成一个维( 时间维、地理维等) 。 2 、维的层次：人们观察数据的某个特定角度( 即某个维) 还可以存在细节程 度不同的各个描述方面( 时间维：日期、月份、季度、年) 。 3 、维的成员：维的一个取值。是数据项在某维中位置的描述。( “某年某月 某日”是在时间维上位置的描述) 。 1 4 中山大学硕士学位论文 4 、多维数组：维和变量的组合表示。一个多维数组可以表示为：( 维1 ，维 2 ，。维n ，变量) 。( 时间，地区，产品，销售额) 5 、数据单元( 单元格) ：多维数组的取值。( 2 0 0 3 年1 月，广州，电脑，6 0 0 0 ) 6 、度量值：度量值是一组值，它提供了最终用户感兴趣的数值，描述了数 据的实际意义。度量值是所分析的多维数据集的中心值，是最终用户浏览多维数 据集时重点察看的数据信息，是各维交叉的结合点。一般情况下，度量值是一个 数值度量指标，如：广告单价、广告额等。 2 4 2 2o l a p 多维数据分析方法 联机分析处理( o l a p ) 的基本多维分析指得是对多维数据集中的数据进行切 片、切块、旋转等方式来分析数据，使数据分析人员能从多个角度、多个侧面去 观察数据仓库中多维结构的数据，从而深入地了解包含在数据后面所蕴含的信 息。这种分析方式符合人们的思维模式，因此减少了出现错误解释的可能性。o l a p 分析的基本操作有： l 、切片和切块( s l i c ea n dd i c e ) ：在多维数据结构中，按二维进行切片，按 三维进行切块，可得到所需要的数据。如在“城市、产品、时间”三维立方体中 进行切块和切片，可得到各城市、各产品的销售情况。o l a p 切片分析如图2 - 5 示 意图： 产 品 时间 图2 - 5 立方体切片示意图 中山大学硕士学位论文 2 、钻取( d r i l l ) ：钻取操作是用户对数据深度的操作。钻取包含向下钻取 ( d r i l l d o w n ) 和向上钻取( d r i l l u p ) 上卷( r o l 卜u p ) 操作，钻取的深度与维所 划分的层次相对应，如图2 - 6 。 部门 合同额 广告一部 3 0 0 0 广告二部 5 0 0 0 广告三部 4 0 0 0 时间维向下钻取 = = = 令 0 = = 时间维向上钻取 2 0 0 5 部门 1 季 2 季 3 季 4 季 广告一部 5 0 01 5 0 03 0 07 0 0 广告二部 1 0 0 02 0 0 05 0 01 5 0 0 广告三部8 0 01 0 0 06 0 01 6 0 0 图2 - 6 钻取示意图 3 、旋转( r o t a t e ) 转轴( p i v o t ) ：通过改变维度的位置关系，将多维数据集 中的不同维进行交换显示，使用户可以从其他视角来审视多维数据。例如，将报 表的行和列交换，或者将某一个列维移到行维中去等，如图2 7 。 旋转 图2 7 旋转 2 4 2 3o l a p 数据的组织方式 目前o l a p 工具在实现上有多种，根据存储数据的方式不同，可以分为关系 o l a p ( r e l a t i o n a lo l a p ，简称r o l a p ) 、多维o l a p ( m u l t i d i m e n s i o n a lo l a p ， 简称m o l a p ) 和混合型o l a p ( h y b r i do l a p ，简称h o l a p ) 三种类型。 r o l a p 表示基于关系数据库的o l a p 实现( r e l a t i o n a lo l a p ) 。以关系数据库 为核心，以关系型结构进行多维数据的表示和存储。r o l a p 将多维数据库的多维 结构划分为两类表：一类是事实表，用来存储数据和维关键字：另一类是维表，即 对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事 1 6 中山大学硕士学位论文 实表通过主关键字和外关键字联系在一起，形成了”星型模式”。对于层次复杂的 维，为避免冗余数据占用过大的存储空间，可以使用多个表来描述，这种星型模式 的扩展称为”雪花模式”。 m o l a p 表示基于多维数据组织的o l a p 实现( m u l t i d i m e n s i o n a lo l a p ) 。以多 维数据组织方式为核心，也就是说，m o l a p 使用多维数组存储数据。多维数据在存 储中将形成”立方块( c u b e ) ”的结构，在m o l a p 中对”立方块”的”旋转”、”切块”、 ”切片”是产生多维数据报表的主要技术。 h o l a p 表示基于混合数据组织的o l a p 实现( h y b r i d0 l a p ) 。如低层是关系型 的，高层是多维矩阵型的。这种方式具有更好的灵活性。 根据综合性数据的组织方式的不同，目前常见的o l a p 主要有基于多维数据库 的m o l a p 及基于关系数据库的r o l a p 两种。m o l a p 是以多维的方式组织和存储数 据，r o l a p 则利用现有的关系数据库技术来模拟多维数据。r o l a p 与m o l a p 的性 能对比如表2 2 所示，在数据仓库应用中，0 l a p 应用一般是数据仓库应用的前 端工具，同时0 l a p 工具还可以同数据挖掘工具、统计分析工具配合使用，增强 决策分析功能。 表一2 2r o l a p 与m o l a p 比较 r o l a pm o l a p 优势没有大小限制性能好、响应速度快 现有的关系数据库的技术可以沿用专为o l a p 所设计 可以通过s q l 实现详细数据与概要数据的存 支持高性能的决策支持计算 储复杂的跨维计算 现有关系型数据库已经对o l a p 做了很多优多用户的读写操作n 化，包括并行存储、并行查询、并行数据管理、行级的计算 基于成本的查询优化、位图索引、s q l 的o l a p 扩展( c u b e ，r o l l u p ) 等大大提高r o a l p 的速度 缺点般比m d d 响应速度慢 增加系统复杂度，增加系统培训与 不支持有关预计算的读写操作维护费用 s q l 无法完成部分计算 受操作系统平台中文件大小的限 无法完成多行的计算制，难以达到t b 级( 只能1 0 2 0 g ) 中山大学硕士学位论文 无法完成维之间的计算需要进行预计算，可能导致数据爆 炸 无法支持维的动态变化 缺乏数据模型和数据访问的标准 2 4 3 数据挖掘( d a t am i n i n g ) 随着数据库技术的广泛应用和企业信息化的深入，人们积累的数据越来越 多，在海量的数据背后隐藏了许多重要的信息，人们希望能够对这些数据进行深 层次的分析，以便更好的利用这些数据。数据挖掘能从这些海量的数据中自动提 取隐含的、未知的、有价值的复合信息，并通过预测未来趋势和行为模式，为决 策者做出前瞻的，基于知识的决策。 数据挖掘( d a t am i n i n g ) ，又称数据库中的知识发现，是采用数学的、统计 的、人工智能和神经网络等领域的科学方法，如分类分析、聚类分析、关联分析、 决策树、神经网络、基因算法等技术，从大量数据中挖掘出隐含的、先前未知的、 对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持 的模型，提供预测性决策支持的方法、工具和过程。 数据挖掘( d m ) 是一种决策支持过程，高度自动化地分析企业原有的数据， 做出归纳性的推理，从中找出数据间隐藏的模式和关联，预测客户的行为，帮助 企业的决策者调整市场策略，减少风险，做出正确的决策。 数据挖掘的一般过程包括五个步骤。 ( i ) 预处理数据：收集和净化来自数据源的信息，并加以存储，一般是将 其存放在数据仓库中。 ( 2 ) 模型搜索：利用数据挖掘工具在数据中查找模型，这个搜索过程可以 由系统自动执行，从底向上搜索原始事实以发现它们之间的某种联系，也可以加 入用户交互过程，由分析人员主动发问，从上到下地寻找以验证假定的正确性。 对于一个问题的搜索过程可能用到许多工具。例如，神经网络、基于规则的系统、 基于实例的推理、机器学习、统计方法等。 ( 3 ) 评价输出结果。一般地说，数据挖掘的搜索过程需要反复多次，因为 中山大学硕士学位论文 当分析人员评价输出结果后，他们可能会形成一些新的问题或要求对某一方面做 更精细的查询。 ( 4 ) 生成最后的结果报告。 ( 5 ) 解释结果报告。对结果进行解释，依据此结果采取相应的商业措施。 2 4 3 1 数据挖掘方法 建立数据挖掘模型要根据实际应用的需要，采用一定的模式模型来模拟数据 的相互关系和数据发展趋势。有些模型可能是没有实际意义或者没有使用价值 的，也有可能不能准确的反映数据的真实意义，甚至在某些情况下是与事实相反 的，因此，如何建立模型、建什么样的模型是建立模型的关键，常用的数据挖掘 分析模型包括以下几种： 1 ) 分类分析： 分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多。分类就 是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述， 并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据 集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。 2 ) 关联分析： 关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另 一个事件也经常发生。两种常用的技术是关联规则和序列模式。关联规则是寻找 在同一个事件中出现的不同项的相关性；序列模式与此类似，寻找的是事件之间 时间上的相关性，如对股票涨跌的分析等。关联分析的重点在于快速发现那些有 实用价值的关联发生的事件。其主要依据是事件发生的概率和条件概率应该符合 一定的统计意义。 对于结构化的数据，以客户的购买习惯数据为例，利用关联分析，可以发现 客户的关联购买需要。 3 ) 聚类分析： 聚类分析是根据物以类聚的原理，将本身没有类别的样本聚集成不同的群 组，并且对每一个这样的组进行描述的过程。它