（控制理论与控制工程专业论文）面向大型服饰企业销售决策的分布式数据仓库设计.pdf

浙江大学硕士学位论文 摘要 在当今日益激烈的竞争和复杂的动态市场环境下，正确及时的决策是企业生 存和发展的重要环节。企业要在竞争中取胜，至关重要的是必须利用计算机和网 络技术并结合数据仓库等技术，深层次地挖掘和分析当前及历史的生产业务数据 信息，以及相关环境的相关信息，自动快速获取其中有用的决策信息，为快速、 准确和方便的决策提供支持。 随着企业在地域和业务分布性的快速发展，企业的数据仓库、决策支持系统 也向着分布式的方向发展。不同地域的分公司先相继建立自己的数据仓库平台， 然后集团公司总部在分公司的基础上建设一个面向集团公司的全局数据仓库，以 此形成一个两级或多级的分布式数据仓库体系结构，便成了一种较好的选择。 本文首先介绍了数据仓库的基础知识，对数据仓库理论以及相关技术做了详 细的剖析。按下来介绍了分布式数据仓库的特点，并结合b s 集团的物流分销系 统项目，给出了一个面向大型服饰行业销售决策的分布式数据仓库系统。本文最 后详细阐述了基于分布式数据仓库的o l a p 系统的实现。 关键词：数据仓库；决策支持系统；分布式数据仓库：o l a p 浙江大学硕士学位论文 a b s t r a c t w i mm o r ec o n 叩e t i t i o nn o w a d a y s ，c o e c t 觚dp m m p td e c i s i o ni s 姐i m p o r t a n t f k t o rf o rm es u r v i v a la n dd e v e l o p i n e n to fc o i p o 训o n su n d e rc o m p l i c a t e dd y n a 工n i c m a r k e tc i r c u m s t a n c e s t bw i naw a ro f f i e r c ec o m p e t i t i o n ，i t i so f u t t e r i n o s ti i n p o r t a n c e f 酐 c o i p o 珀t i o i l s t 0u s ec 唧u t e ra i l dn e 脚o r k s t e c l l i l o l o g y c o m b i i l c d丽1 i h t e c l l i l o l o 百e ss u c h 船d a t a o u s e 锄dd e 印l ye x c a v a t ea n da n a l y z ec u r r e m 趾d l l i s t o r i c a lp m d u c t i o n 讹i n f 0 衄a t i o na n dr e l a t i v ee n v i f o 衄e n t a li n f o n 删o n ，s ot h a t c o 耳埘a t i o n sc 趾a u t o m a t i c a l l yg e tq u i c ka c c e s st ot l l ei i l 硒m a t i o nt h a th e l p sm a k e d e c i s i o n ，s e n ，i n gf o rq u i c k ，c o 啾t 粕dc o n v e n i e n td e c i s i o n - m a k i n g a sm ec 唧硎o n t sb u s i n e s se x p e n d i n gt om o f ea n dm o r ea r 船s ，t h ed a t a w a r e h o u s ea n dd e c i s i o ns u p p o r ts y s t e ma l s 0t e n dt ob ed i s 砸b u t e dt h eb m c h e sa l s o n e e d l e i r0 w t ld a 扭w a r e h a l l s es y s t e m s s od i s 仃i b u t e d 讹w a r e h 0 1 l s ei sr e q l l i r e dt o m a i l a g et l l ei n f o 如曲t i o no f n l ew h o l ec 叩均t i o n t b ep a p e r 前r s t l yi 1 1 扛d d u c e ss o m eb a s i cc o n c 印to fd a t aw a r e h o l l s e ，a n d e x p a t i a t e so nm et h e o 巧o fd a t aw a r e h 仇l s ea n dr e l a t i v et c c l l i l o l o 垂e s t h 钮，t l l e c h a r a c t e r i s t i c so fd i g 仃i b u t e dd a _ 忸w a r e h o u s e 盯ee x p l a i e d ，a n dc o m b i n e dw i t ha 1 0 西s t i c sa n ds a l e sp m j e c to fb s u p ，am o d e lo fd i s 劬u t c dd a t aw a r e h o u s ef o r s a l e sd e c i s i o ns u p l o ns y s t e mi nl a 玛e s c a l ec 1 0 血i n gi n d u s 仃yi sp r o p o s e d a tt h ee n 血 t h ep 印c ri l l u s 饥n e s l ed e s i g no f0 l a ps y s t e mb 踮c do nm ed i s 仃i b u t e dd a t a w a r e b o u s e k 啊o r d s ：d a 诅w a r c h o 嘴d e d s i 蚰s u p p o r ts y s t e l ：i i ；d i s 伍b i l t e dd a 诅w 础o u ；o l a p 浙江大学硕士学位论文 第一章：绪论 摘要：首先概述了数据仓库技术的产生原因和发展过程，其次介绍了数据仓库技术在各个领 域的应用情况，然后分析了数据仓库技术在大型服饰行业销售领域的应用背景，最后提出了 本文的主要工作。 关键词：事务处理系统：决策支持系统；数据仓库；客户关系管理 1 1 数据仓库的产生 1 1 1 事务处理系统在信息分析领域的缺陷 当前，如何有效地管理公司和企业在运营过程中产生的大量数据和信息一直 是i t 人员面临的重要问题。2 0 世纪7 0 年代出现并被广泛应用的关系型数据库技术 为解决这一问题提供了强有力的工具。然而，从2 0 世纪8 0 年代中期开始，随着市 场竞争的加剧、数据库技术的不断发展以及数据库管理系统的广泛应用，数据库 中存储的数据量急剧增大。在大量的数据背后隐藏着许多重要的信息，如果能把 这些信息从数据库中抽取出来，将为公司创造很多潜在的利润，因此信息系统用 户开始感到需要从业务数据中挖掘出有用的信息，以便进行决策支持。但是事物 处理和分析处理具有极不相同的性质，直接使用事务处理系统来支持决策是行不 通的。 目前传统的事务处理系统在信息分析应用领域存在的普遍性问题包括f 高洪 深，2 0 0 0 1 ： 1 决策信息不足的现状 随着数据库技术的发展，各企业积累并存放了大量业务数据，但能够为企业 提供辅助决策的信息太少，需要改变目前现状。 2 异构环境的数据源 由于市场竞争激烈，新产品周期缩短，如何综合利用分散的异构环境数据源， 及时得到准确的信息是决定企业能否成功的一个重要方面。 3 事务处理环境不适宜决策支持系统( d s s ) 应用 1 ) 事务处理和分析处理的性能特性不同： 在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处 理的时间短；在分析处理环境中，用户的行为模式与此完全不同，某个d s s 应用 浙江大学硕士学位论文 程序可能需要连续使用几个小时，从而消耗大量的系统资源。将具有如此不同处 理性能的两种应用放在同一个环境中运行显然是不适当的。 2 ) 数据集成问题： d s s 需要集成的数据，全面而正确的数据是有效地分析和决策的首要前提， 相关数据收集得越完整，得到的结果就越可靠。当前绝大多数企业的数据是分散 而非集成的，造成这种分散的原团有多种，主要有事务处理应用分散，数据不一 致问题，外部数据和非结构化数据问题等。 3 1 数据动态集成问题： 静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这 些变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据应该在 一定的周期( 例如一天) 进行刷新，具有刷新特性的数据集成称为动态集成。显 然，事务处理系统不具备动态集成的能力。 4 ) 历史数据问题： 事务处理一般只需要当前数据，在数据库中大多是存储短期的数据，而且不 同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁， 未得到充分利用。但对于决策分析而言，历史数据是相当重要的，许多分析方法 必须以大量的历史数据为依托，没有历史数据的详细分析，是难以把握企业的发 展趋势的。d s s 对数据在空间和时间的广度上都有了更高的要求，而事务处理环 境难以满足这些要求。 5 ) 数据的综合问题： 在事务处理系统中积累了大量的细节数据，一般而言，d s s 并不对这些细节 数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合，而事务处 理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据 冗余而被加以限制。 1 1 2 数据仓库产生的原因 因此，要提高分析和决策的效率和有效性，分析型处理及其数据必须与事务 型处理及其数据相分离，必须把分析型数据从事务处理环境中提取出来，按照 d s s 处理的需要进行重新组织，建立单独的分析处理环境。数据仓库f d a 诅 w a r e h o u s e ) 正是为了构建这种新的分析处理环境而出现的一种数据存储和组织 技术 段云峰，2 0 0 3 。 2 浙江火学硕士学位论文 数据仓库是2 0 世纪9 0 年代来兴起的数据存储与处理技术，是数据库一种新的 应用和拓展。传统的数据库技术是以单一的数据资源，即数据库为中心，进行事 务处理、批处理、决策分析等各种数据处理工作，主要划分为两大类：操作型处 理( 或事务处理) 和分析型处理( 或信息型处理) 。而传统数据库系统优于企业 的日常事务处理工作，而难于实现对数据分析处理要求，无法满足数据处理多样 化的要求。操作型处理和分析型处理的分离成为必然，人们尝试对数据库中的数 据进行再加工，形成一个综合的，面向分析的环境，以更好支持决策分析，从而 形成了数据仓库技术。数据仓库技术作为一种决策支持的手段为越来越多的企业 接受。利用数据仓库技术可以很好地展现信息、发现信息、共享信息，可以全面 提升企业商业智能，提高企业决策的准确性、有效性和及时性。数据仓库技术能 把企业中长期积累的大量分散的数据综合集成到一个数据仓库中，从而使决策者 能从大量数据中得到有价值的信息，以更好的支持决策行为。 数据仓库将原始的操作数据进行各种处理并转换成综合信息，并提供功能强 大的分析工具对这些信息进行多方位的分析，以帮助企业领导做出更符合业务发 展规律的决策。建立数据仓库的目的，是把企业的相关数据进行有效的集成，为 企业的各层决策、分析人员使用。这些数据_ 二般是通过业务系统收集到的数据， 它们可能分布在不同的硬件、数据库、网络环境中，为不同的业务部门服务。这 些数据从结构上看，是相对独立的，是不利于企业决策者进行全面分析和查询的。 如果我们针对决策者的需求，对这些数据进行结构上的重组，按更方便决策分析 的角度去设计，并且充分考虑今后的扩展性与外部数据的接口，会对企业的宝贵 资源数据，实现真正的信息价值。数据仓库技术是为了有效的把操作形数据 集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称。所做的一 切都是为了让用户更快更方便查询所需要的信息，提供决策支持。 1 2 数据仓库的发展过程 数据仓库的概念可能出现得比一般人想象中要早一些，中间也经历比较曲折 的过程。其最初的目标是为了实现全企业的集成( h l t e 剐i o n ) ，但是在发展过程中 却往往退而求其次，建立战术性的数据集市( d a t am a r t ) 。到目前为止，数据仓库 领域还有很多分歧 毛波，2 0 0 4 。 1 2 1 开始阶段( 1 9 7 8 1 9 8 8 ) 数据仓库最早的概念可以追溯到2 0 世纪7 0 年代m r r 的一项研究，该研究致力 于开发一种优化的技术架构并提出这些架构的指导性意见。第一次，m i t 的研究 员将业务系统和分析系统分开，将业务处理和分析处理分成不同的层次，并采用 浙江大学硕士学位论文 单独的数据存储和完全不同的设计准则。 1 2 2 全企业集成( e n t e r p r i s ei n t e g r a t i o n ，1 9 8 8 ) 处理大量的企业信息时，一个不容忽视的问题是不断增加的信息孤岛，企业 中分立系统的数据集成问题，一直困扰着信息领域的工作者。1 9 8 8 年，为解决全 企业集成问题，国际商用机器( i b m ) 公司的b a r 】了d c v l i n 和p a u l m u 巾h y 第一次提出 了“信息仓库( m 南r n l a t i o nw a r e h o u s e ) ”的概念，将其定义为：“一个结构化的 环境，能支持最终用户管理其全部的业务，并支持信息技术部门保证数据质量”， 并在1 9 9 】年在d e c1 a2 的基础上把信息仓库的概念包含进去，并称之为t a l 规范( v i m 塘1 1 yi n t e g r a t e dt e c h i l i c a la r c l l i t e c n l r el i f ec y c l e ) ，将p c 、图形化界面、面 向对象的组件以及局域网都包含在t a l 里，并定义了多种信息仓库的组件，包 括数据抽取、转换、有效性验证、加载、c u b e 开发和图形化查询工具等。但是i b m 只是将这种领先的概念用于市场宣传，而没有付诸实际的架构设计。 由上述内容可以看出，在9 0 年代初期，数据仓库的基本原理、框架架构以及 分析系统的主要原则都已经初步确定，主要的技术，包括关系型数据存取、网络、 c s 架构和图形化界面均己具备。 1 2 3 企业级数据仓库( e n t e r p r is ed a t aw a r e h o u s e ，19 9 1 ) 1 9 9 1 年，w h m m o n 出版了其有关数据仓库的第一本书，这本书不仅仅说明 为什么要建数据仓库、数据仓库能给你带来什么，更重要的是，h u n o n 第一次提 供了如何建设数据仓库的指导性意见，该书定义了数据仓库非常具体的原则，主 要包括数据仓库是 w h h l i n o n ，2 0 0 3 ： 面向主题的( s u b j e c t - o r i e n t e d ) 集成的( i n t e 野a t e d ) 随时间变化的( t 妇e - v a r i a n t ) 非易失性的( n o n v o l a t i l e ) 面向决策支持的( d e c i s i o ns u p p o 啦 全企业范围的( e n t e r p r i s es c o p e ) 原子级的数据存储( a t o m i cd e t a i l ) 数据快照式的数据获取( s n a ps h o tc a p t t l r e ) 这些原则到现在仍然是指导数据仓库建设的最基本原则，虽然中间的一些原 4 浙江大学硕士学位论立 则引发了一些争论，并导致一些分歧和数据仓库变体的产生。但是，w h h 瑚o n 凭借这本书奠定了其在数据仓库建设的地位，被称为“数据仓库之父”。 1 2 4 数据集市( d a t am a r t 。1 9 9 4 _ 1 9 9 6 ) 数据仓库发展的第一明显分歧是数据集市概念的产生。由于企业级数据仓库 的设计、实施很困难，使得最早实施数据仓库开发的公司遭到大面积的失败，因 此数据仓库的建设者和分析师开始考虑只建设企业级数据仓库的一部分，然后再 逐步添加直至建成一个完整的企业级数据仓库，但是这有背于h n o n 的原则：各个 实施部分的数据抽取、清洗、转换和加载是独立。这导致了数据和接口的混乱与 不一致性，而且部分实施的项目也有很多失败。除了常见的业务需求定义不清、 项目执行不力之外，很重要的原因是因为其数据模型设计。在企业级数据仓库中， i n m o n 推荐采用第三范式进行数据建模，但是不排除其他方法，而h l m o n 的追随 者固守o u 曙系统的第三范式数据模型，从而无法支持d s s 系统的性能和数据易 访问性的要求。 这时，刚口h 嵇m b a l l 出现了，他的第一本书“t h ed a t aw a r c h o u s et o o l k i t ” 掀起了数据集市的高潮，这本书提供了如何为建设数据集市进行数据模型优化的 详细指导意见，多维模型的概念被推广，也为传统的关系型数据模型和o l a p 多 维分析之间建立了很好的桥梁 刚p hk j 加b a l l ，2 0 0 3 。从此，数据集市在很多地方 被使用，并获得很大成功，而企业级数据仓库已逐渐被人所淡忘。 1 2 5 混乱与争吵( 1 9 9 6 1 9 9 7 ) i 加n 的支持者坚持先建设企业级数据仓库，然后再建立各个数据集市，并 且固守传统的规范化关系数据模型。而商m b a l l 的追随者则认为应该先建设数据 集市，再合并成企业级数据仓库，并采用多维数据模型。双方争论不休，形成了 两个阵营。在初期，数据集市的快速实施和较高的成功率让飚m b a l l 阵营占了上 风，但是很快，他们发现自身也陷入了某种困境。企业中存在多个不同的数据集 市，分别有不同的数据提取转换装载程序，相互之间的数据格式也不完全一致。 由于接口的众多和复杂性导致了蜘蛛网效应的产生，另外还有大量的冗余数据存 在于每个数据集市中 w h h l m o n ，2 0 0 3 。同时，各个项目实施中也任意侵犯了 i n m o n 开始定下的准则：把数据集市当成众多o l t p 系统之后的又一个系统，而 不是一个基础性的集成系统；为保证数据的准确性和实时性，有时甚至可以由 0 u r p 系统直接修改数据集市里面的数据；为了保证系统的性能，有的数据集市 删除了历史数据；等等，不一而足。当然，这导致了一些新的应用的出现，例如 o d - s ，但是人们对da _ t aw a r e h o u s e 、d a 士am a n 、o l a p 的概念非常的模糊，经常 浙江大学硕士学位论文 混为一谈。有人说o l a p 就是数据仓库，也有人说我要d a t am a n ，不要d a t a w a r e b o u s e ；也有人说，d a t a m a n 建多了，自然就有d a 切w a r e h o u s e 了。但是h 皿o n 一直很旗帜鲜明：“你可以打到几万吨的小鱼小虾，但是这些小鱼小虾加起来不 是大鲸鱼”。 1 2 6 合并( 1 9 9 8 2 0 0 1 ) 经过多翻争吵，证明一种模型满足所有情况是不可能的，需要用不同的b i 架构来满足不同的业务需求。1 1 瑚o n 也推出了新的b 1 架构：企业信息工厂 ( c o 印o m t i o ni n f o r m a t i o nf a c t o r y ) ，把瞄i n b a l l 的数据集市包容进来了，并提出了 o d s ( 操作型数据存储) 、探索仓库以及数据挖掘仓库等概念 w h i n m o n ，2 0 0 4 。 企业信息工厂的核心思想是把整个架构分成不同的层次以满足不同的需求， 把数据仓库、数据集市、操作型数据存储的适用条件进行了详细的描述，现在企 业信息工厂已经成为建设数据仓库的框架指南。 1 3 国内外数据仓库的应用 数据仓库技术从提出开始，就受到了业界的广泛重视和关注。同时，联机分 析处理( 0 “廿) 技术和数据挖掘( d a 诅m i n i n g ) 技术的不断发展，也为数据仓库应用 市场的开发打下了良好的基础。目前许多厂家都投入到数据仓库解决方案的竞争 中。各大数据库厂商也都提出了他们的数据仓库解决方案及相应的产品，其中包 括0 r a c l e 、m m 、s y b a s e 、n c r 、h l f 0 n i x 、s a s 以及m i c r o s o f i 等知名公司。另外， b o 和b r i o 等专业软件公司也在前端在线分析处理工具市场上占有一席之地 【n e t s k y 2 0 0 4 】。 在欧美发达国家，以数据仓库为基础的联机分析处理和数据挖掘应用首先在 金融、保险、证券、电信等传统数据密集型行业取得成功f 袁磊，2 0 0 4 1 。近年来， 随着互联网和电子商务的发展，各大数据仓库产品供应商纷纷把注意力投向电子 商务领域，并且通过数据仓库技术来构造商业智能( b i ) 平台。数据仓库技术在政 府税收部门的应用带来的效益也非常可观，例如，澳大利亚政府税务部门将数据 仓库技术用于支持税收业务，系统经过3 年的运行，投入回报率达到1 ：1 5 王建新， 2 0 0 l 】。 数据仓库除了在传统的金融、保险、电信等行业中的应用外，在零售业的发 展前景也很好。零售业开放是一个大趋势，有不少国际大型零售企业正在积极进 军中国市场，国内的零售企业应该及早准备应付新的竞争形势，抓紧提高商场自 动化和管理决策智能化的水平。利用数据仓库，可以对不同商品在每个分店的销 6 浙江大学硕士学位论文 售趋势进行分析，使购买趋势、时令特点和定价策略一目了然，从而帮助经营者 及时准确地做出决策。 目前，数据仓库在欧美发达国家运用比较广泛，而且取得了明显的成效，而 在中国目前数据仓库主要运用在电信和银行业上，其它行业可以说是风毛麟角。 这主要是因为建立一个比较好的数据仓库需要大量的人力、财力。一般的企业不 可能一下拿出大量资金来建设一个它们目前还不太了解的事物，同时，在国内既 懂业务又懂技术的人才也很缺乏，所以在以后的一段时间内数据仓库是中国的一 大热门。 1 3 1 数据仓库在客户服务方面的应用 客户关系管理( c r m ) 是一个判断、获取、保持和增加可获利客户的过程。卡 尔森市场营销集团将其定义为“一项通过个别雇员、渠道或客户为某个组织或企 业建立形象，从而留住老客户，提升表现的商业策略”。尽管c r m 缺乏统一的 定义，但对c r m 能够帮助企业鉴别、吸引和留住有价值的客户方面被广泛认同。 另外，在何种商业活动和商业过程应包含c r m 方面，一致的意见是客户调查( 鉴 别客户) 、市场营销( 吸引客户) 和服务支持( 留住客户) 等活动。 c r m 在整个客户生命周期中都以客户为中心，它简化了各种与客户相关联 的业务流程，如销售、营销、服务和支持等，并将其注意力集中于满足客户的需 求上。c r m 还将多种与客户交流的渠道，如面对面、电话接洽以及w e b 访问等 方式融为一体。这样，企业可以按照客户的喜好使用适当的渠道及沟通方式与之 进行交流，并能从根本上提高员工与客户或潜在客户交流的有效性。c r m 还可 以改善员工对客户的沟通能力并对客户的整个生命周期有一个更为全面地了解。 c r m 的核心内容是通过不断的改善与管理企业销售、营销、客户服务和支 持等与客户关系有关的业务流程，提高各个环节的自动化程度，从而缩短销售周 期，降低销售成本，扩大销售量，抢占更多的市场份额，寻求新的市场机会，最 终达到从根本上提升企业核心竞争力的目的。 在静态层面，可以将c r m 概括成一种管理思想在管理软件系统中加以体现。 其目标是通过采用信息技术，使企业市场营销、销售管理、客户关怀、服务和支 持等经营环节的信息有序、充分并及时地在企业内部和客户之间流动，实现客户 资源的有效利用。其核心思想是将客户群体看成是企业宝贵的外部资源。 在动态层面，c r m 的生命周期又包括数据集成、客户分析和面向客户的战 略决策三个阶段，其中c r m 实施成功与否的关键是第二步，即用先进的理念和 精确的模型对集成化数据进行模拟和分析，从而挖掘客户的潜在价值，发展潜在 浙江大学硕士学位论文 客户。 因此可以将客户关系管理的定义概况为客户关系管理是管理理念与信息技 术相结合的产物，在管理理念方面表现为以客户为中心、通过客户关怀提升客户 满意度和客户忠诚度的思想，在应用系统和企业行为方面表现为以h l t 锄e t 和电 子商务、多媒体技术、数据仓库和数据挖掘、专家系统和人工智能和呼叫中心等 最新的信息技术为基础，实现企业识别、保留和挽回最具价值的客户，从而提升 企业核心竞争力。 数据仓库是以数据库技术为基础，但与传统的数据库应用有本质的区别， c r m 就是基于数据仓库技术的一种应用。由于不同企业的客户群各不相同，客 户管理的内容也千差万别，所以开发出“放之四海而皆准”的万能c r m 系统是 不可能的，而需要针对不同行业提供不同的c 脚产品。目前，s y b a s e 可以提供面 向四个行业领域的c 蹦产品。即屯信、金融、保险和医疗保健。在这四个产品 中，有2 0 的功能需要s y b a s e 和合作伙伴共同针对不同客户的不同需求开发。有 8 0 的功能是共同的，其中包括七个模块，即c i 中所谓的“7 p ”。 1 ) 客户概况分析( p r o f i l i n 曲，包括客户的层次、风险、爱好和习惯等。 2 ) 客户忠诚度分析( p e r s i s t e n c ”，指客户对某个产品或商业机构的重视程 度、持久性和变动情况等。 3 ) 客户利润分析( p r o 矗t a b i l i 叻，指不同客户所消费的产品的边缘利润、总 利润额和净利润等。 4 ) 客户性能分析( p e r f 0 啪c e ) ，指不同客户所消费的产品按种类、渠道和 销售地点等指标划分的销售额。 5 ) 客户未来分析( p r o s p e c t i n g ) ，包括客户数量、类别等情况的未来发展趋 势。 6 ) 客户产品分析( p r o d u c e ) ，包括产品设计、关联性和供应链等。 7 ) 客户促销分析( p ：r o m o t i o n ) ，包括广告和宣传等促销活动的管理。 1 3 2 数据仓库在营销领域的应用 建立面向市场信息的数据仓库的一个主要目的是保住客户，因此，这就需要 找到一种方法，运用收集的数据来预测用户未来的购买行为，这就是数据仓库营 销法的所在。数据仓库营销就是把数据挖掘与预测模型以及前台显示工具结合起 来，帮助市场营销人员对客户行为作深入的调查分析。其最终目的是预测客户的 浙江大学硕士学位论文 忠诚度，即哪些用户对该品牌依然钟情，哪些用户会转向其它产品或服务。如果 能够预测到这些行为，即可有更大的机会留住客户，减少用户的转向，从而保持 原有的用户市场。 成功实现数据仓库营销系统的关键在于三方面组件的集成： 1 ) 来自于业务系统并存储在数据仓库中的事实数据。 2 ) 统计技术和预测模型工具。 3 ) 功能强大的前台展示工具。 数据仓库营销系统的建立目标是实现一个能产生精确描述客户群的程序，一 旦数据挖掘引擎从数据仓库中找出相应的客户信息，下一步是进一步推测分析精 确的客户特征，这些特征反映哪些用户最有可能转向其它的产品或服务，对每一 轮新产生的客户数据，都产生一组新的统计模型来分析客户群。 理解预测模型及其如何实现并不容易，事实是大多数的i s 商家都没有独立进 行这种项目的准备。在这个领域，大多数的i s 经理认为其组件不可建立预测模型， 必须结合数据仓库技术和数据挖掘技术才可以很好的理解这些预测模型。 1 3 3 数据仓库在证券业中的应用 经济业务和证券公司业务以及投资银行业务，即所谓的三大业务，是证券商 的主要经济来源。单就经济业务而言，随着竞争的日益激烈，在今后几年的一段 时间内，这项业务带来的利润会大大降低。如何适应这种变化? 除了降低运营成 本，减少人员以外，在信息技术上也要有一定的新突破。既要降低成本，又要扩 大业务范围，这样就不可避免的产生很多的经营业务流量，如银证联网和远程交 易。这些业务肯定是今后的一个发展方向。随着业务范围的不断扩大，证券商必 然在技术上不断创新。 目前讨论较多的网上交易还需要迸一步完善功能基础性设旖，它可能是将来 扩大业务范围的一个主题方向，但要有很多的技术环境配合才能实现。如银证联 网，如果没有网上交易，那么联网范围就不会扩大。反之，全国银证联网实现以 后，这一业务范围就完全打破了区域性的限制，其他增值性的服务行业就会随之 发展，这一发展必然要以服务作为发展的保证条件。 数据仓库技术在证券行业的应用十分广泛，它可以处理客户分析、账户分析、 证券交易数据分析和非资金交易分析等多个业界关心的主题。证券公司利用客户 行为分析系统，对数据仓库中的所有的客户操作记录进行归类和整理，并结合行 情走势、上市公司的资料和宏观微观经济数据等，在掌握了大量数据的情况下， 浙江大学硕士学位论文 对客户的行为和市场各因素的关联、客户的操作习惯、持仓及盈亏情况以及公司 的利润分布等进行统计和分析，从而获得以往一直想获得但却无法获得的关于客 户在本公司的关键信息。获得这些信息后，证券公司就有能力为客户提供针对其 个人习惯和投资组合的建议，从而真正做到对客户的贴心服务。例如，深圳国信 证券的数据仓库系统建设的出发点就是为当前公司的决策者提供快速有效的各 种报表和分析方式，提高公司的市场反应速度和竞争力水平。在更好的发挥利用 原有数据库系统功能的基础上，建立面向公司和面向客户的不同主题域的数据仓 库( 数据集市) 和分析系统。同时，因为证券业务系统的不断完善和决策支持的 更高要求，在企业数据信息不断增加的情况下，充分考虑系统的可扩展性，并尽 可能的缩短系统处理的响应时间。以深圳国信证券公司的数据仓库系统为例，该 系统包括了客户分析、账户分析、证券汇总分析、资金交易分析和非资金交易分 析等多个业界关心的主题。 1 3 4 数据仓库在银行领域的应用 数据仓库、o u 心、数据挖掘、多媒体和高带宽网络技术为银行的科学管理 提供了新的技术支持。利用数据仓库的强大功能，银行可以建立企业客户群和个 人客户群的数据仓库，并对企业的结构、经营、财务以及市场竞争等多个数据源 进行统一组织，形成一个一体化的存储结构，为决策分析奠定基础。通过先进的 信息加工、分析和处理，加上银行的经营决策及信贷营销人员的经验，对每一个 投资方向和每一笔贷款做出科学的判断，可以有效控制投资及信贷风险。 银行决策支持系统是建立在银行管理信息系统之上的，它以银行数据库和数 据仓库为基础，包括各种辅助制定货币政策、开拓金融业务等功能的模型库、方 法库和知识库。目前，在国外有运用非常成功的银行决策支持系统。中国银行省 市两级金融管理信息系统在工程组织和总体方案设计上采用了数据仓库及 0 “圩的理论，系统重点围绕中国银行资产负债管理的要求，建立覆盖全省各个 分行的数据采集网络，初步实现了计算机业务系统数据和手工报表数据采集和存 储的自动化。同时面向各级经营管理人员，开发出财务分析、业务管理、动态报 表和金融咨询等5 0 多项系统管理分析应用模块。中国银行省市两级f m i s 系统在 利用和规范现有的网络和系统资源基础上，构造出数据采集、数据仓库和数据呈 现三个框架，与中国银行的收付清网络、中国银行办公自动化网络、香港德励财 经资讯网络，以及e s 9 0 0 0 、a s 4 0 0 0 主机业务系统均实现了连接和集成。 1 3 5 数据仓库在控制金融风险中的应用 金融风险是指金融业在进行技术创新和实现金融电子化过程中广泛使用计 1 0 浙江大学硕士学位论文 算机技术和网络通信技术时，由于计算机本身( 包括软硬件环境) 和涉及计算机 安全管理的制度缺乏有效的科学性、规范性和完善性，因而潜伏着许多不安全因 素而造成的潜在的或已发生的风险。 控制金融领域的风险是当今全球金融领域最为关心的一个问题。从金融业务 角度来讲，在2 0 世纪8 0 年代末期，p c 大规模普及，在此基础上，开展了许多新 的应用，这一方面丰富了业务种类，另一方面也形成了许多“信息孤岛”，使金 融机构难以将各种各样的应用统一起来，领导决策层也很难搞清楚机构的整体运 作情况。从技术角度上讲，在这种情况下，数据仓库是使得这些信息集成起来的 最有力方式，数据仓库技术和其他软件技术的有机集成，可以有效地进行金融风 险管理。这也是数据仓库产品和技术在近几年十分流行的原因。 防范金融风险的关键是强化中央银行的金融监管力度，特别是一旦人民币可 以自由兑换，我国的金融业将直接面对国际金融市场的冲击，中央银行的金融监 管作用就愈要加强。为加强金融监管和调控能力，从2 0 世纪8 0 年代中期开始，人 民银行就在加快金融电子化建设，建立了金融卫星通信网络，运行了全国电子联 兴系统等多项业务系统，1 9 9 3 年还开通了金融信息快速采集传输系统工程。在此 基础上，应不失时机地建立相应的建立在数据仓库之上的金融预警系统和智能化 的金融监控系统，一旦这些系统建成，并能实现互动操作，就将组成完整的中央 银行支付系统和金融监控系统，为有效履行中央银行的职能提供强有力的保证， 从而使我国的金融监控系统建立在可靠的基础之上，实施监控整个国民经济的运 行情况，防范各种金融风险于未然。 1 4 面向大型服饰行业销售的数据仓库应用背景 从上个世纪六十年代起，服装企业就经过了产品产量、产品质量、生产成本 的竞争。进入2 1 世纪，特别是随着工业经济的发展，以及近年来信息技术的突飞 猛进，全世界已进入知识经济时代，产品的市场竞争已转变为服装企业对市场响 应速度、服装产品品牌和技术创新能力的竞争。而竞争的核心就在于服装企业对 知识经济时代的理解和追赶，也就是服装企业要将信息化作为重点来抓。 随着服装工业的发展，2 1 世纪的服装工业呈现出朝着个性化、舒适化方向发 展的趋势。市场的需求加上科技的高速发展，使得服装这个古老的传统工业从过 去的粗放型、劳动密集型产业逐步转变成集约型、资本和技术密集型的产业。在 这种大环境下，对于服装企业来说，将高新技术应用于服装生产实践，加快企业 的发展，使之适应未来国际化市场竞争环境便成为一种迫切的需要。 随着信息技术的不断发展，国内服饰企业对有效信息的依赖性越来越强烈。 浙江大学硕士学位论文 经过多年的信息化建设，各大服饰企业都建立了一定规模的m i s 系统，并积累了 大量的历史销售数据。这些数据不应该仅仅满足审核和统计的日常需求，它其中 蕴涵的丰富信息可以成为决策部门分析运营情况、制定长期计划的依据，更能为 资源的合理分配，减少开销提供有力的支持。 但是现有的m i s 系统，大都是重视“事务处理”，轻视“分析处理”，缺 乏决策支持功能。计划人员在计算、编制经营计划时，决策者在做出战略战术决 策时，往往依靠个人经验，而没有充分利用历史数据中蕴涵的宝贵信息，这是对 数据资源的极大浪费。而且，这样做出的计划通常与实际之间存在较大的差距， 容易造成资金和材料的分配不合理、加大运营成本。另外，没有充分理解历史数 据单凭经验做出的决策往往是错误的，会给企业造成损失。 随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的 数据量急剧增大，在大量的数据背后隐藏着许多重要的信息，如果能把这些信息 从数据库中抽取出来，将为公司创造很多潜在的利润，数据仓库就是从这样的商 业角度开发出来的，它为从大量数据中挖掘出有效信息提供了一个平台。数据仓 库与数据挖掘技术已经成为当前数据库领域的研究新热点。 1 5 论文的研究内容和组织安排 本论文的具体章节安排如下： 第一章是本文的基础。作者首先阐述了数据仓库技术的产生原因和发展过 程，然后介绍了数据仓库技术在各个领域的应用情况，最后分析了数据仓库技术 在大型服饰行业销售领域的应用背景。 第二章是数据仓库理论的概述。作者首先介绍了数据仓库的概念和特点，并 对数据仓库系统体系结构以及各个组成部分进行了详细说明。然后阐述了两种常 用的数据仓库系统的开发实施策略，分析了各自的优缺点，并提出了一种推荐的 数据仓库开发方法。 第三章是对数据仓库模型的研究。作者首先介绍了数据模型的概念，然后对 数据仓库数据模型的选取做了解释，最后详细描述了星型销售数据仓库的设计过 程。 第四章是本文的重点。作者针对国内大型服饰企业销售决策，设计了一个分 布式销售数据仓库模型。先概述了分布式数据仓库模型及其在服饰行业的应用背 景和可行性，然后重点阐述了分布式销售数据仓库的粒度设计和结构设计，最后 分析了分布式数据仓库数据的提取与刷新，并提出了一个局部数据仓库到全局数 据仓库数据传输的解决方案。 浙江大学硕士学位论文 第五章是分布式销售数据仓库的o l a p 系统设计。作者先介绍了o l 圩的 基本概念、与数据仓库的关系、o l a p 的主要功能以及多维数据模型与多维数据 集的概念，然后提出了支持移动决策的o l a p 系统设计方案，最后介绍了该系 统在项目中的实际应用情况。 第六章对论文工作进行回顾和总结，并对本课题下一步的研究工作和方向进 行展望。 浙江大学硕士学位论文 第二章：数据仓库系统结构及开发概述 摘要：对数据仓库系统结构和开发策略进行了概述。首先介绍了数据仓库的概念和特点，并 对数据仓库系统体系结构以及各个组成部分进行了详细说明，然后阐述了两种常用的数据仓 库系统的开发实施策略，分析了各自的优缺点，并提出了一种推荐的数据仓库开发方法。 关键词：e 1 l ；数据集市；多维数据集；元数据 2 1 数据仓库的概念和特点 2 1 1 数据仓库的概念 引用数据仓库之父w h h h n o n 对数据仓库的定义，数据仓库是一个面向主 题的、集成的、非易失的、时变的，用来支持管理人员决策的包含汇总和详细数 据的数据集合。 2 1 2 数据仓库的特点 由定义可以看出数据仓库主要有以下四个特点【w h - h l m o n ，2 0 0 3 】： 1 ) 面向主题的： 主题是一个抽象概念，是指在较高层次上将数据综合、归类后进行分析利用 的抽象。面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完 整、统一并一致的描述，能完整及统一的刻画各个分析对象所涉及的有关的各项 数据，以及数据间的联系。 数据仓库围绕一些主题，如顾客、供应商、产品和销售来组织。数据仓库关 注决策者的数据建模与分析，而不是集中于组织机构的日常操作和业务处理。因 此，数据仓库排除对于决策无用的数据，提供特定主题的简明视图。 2 1 集成的： 通常，构造数据仓库是将多个异种数据源，如关系数据库、一般文件和联机 事务处理记录，集成在一起。当这些数据进入数据仓库时，需要使用数据清理和 数据集成技术，确保命名约定、编码结构、属性度量等的一致性。这是因为： 数据仓库的数据不能从原有数据库系统中得到，原有数据库系统记录的 是每一项业务处理的流水账，这些数据并不适合于分析处理。在进入数据仓库之 前必须经过综合、计算，抛弃分析处理不需要的数据项，增加一些可能涉及的外 1 4 浙江大学硕士学位论文 部数据。 数据仓库每一个主题所对应的源数据在源分散数据库中有许多重复或不 一致之处，必须将这些数据转换成全局统一的定义，消除不一致和错误之处，以 保证数据的质量。 对业务环境数据的集成是数据仓库建设中最为关键，也是最复杂的一步。 3 ) 非易失的： 数据仓库总是物理地分离存放数据，这些数据源于操作环境下的应用数据。 由于这种分离，数据仓库不需要事务处理、恢复和并发控制机制。数据一旦保存 到数据仓库中，最终用户只能通过分析工具进行查询和分析，而不能修改，即数 据仓库的数据对最终用户是只读的。通常，它只需两种数据访问：数据的初始化 装入和数据访问。 4 1 时变的： 数据仓库记录历史数据，数据仓库中的每个数据单元都只是在某一时刻是准 确的。数据仓库中的关键结构显式或隐式地包含时间元素，用以说明数据在哪一 时间是准确的。对一个数据仓库执行的所有查询几乎都具有某种相关的时间元 素。 数据进入数据仓库后，这些数据随时间变化而定期刷新。每隔一段固定时间 间隔后，抽取业务数据库系统中产生的数据，转换后集成到数据仓库中。而数据 的过去版本仍保留在数据仓库中，并随时间变化，数据以更高的综合层次不断综 合，以适合趋势分析要求。当数据超过数据仓库的存储期限，或对分析无用时， 则从数据仓库中删去这些数据。 2 2 数据仓库系统的体系结构 根据数据建模技术的不同，数据仓库系统有两种主流的体系结构：多维( m d ) 系统结构和企业信息工厂( c i f ) 体系结构。因为m d 体系结构方法是为了满足企业 内部的业务部门的需求，因此它使得数据管理从属于业务需求。另一方面，因为 c i f 体系结构方法是为整个企业服务，因此它是为从属的业务需求管理数据。两 种方法的相似点和不同点来源于这些基本差别。 2 2 1 多维体系结构 多维体系结构的模型见图2 1 ，主要部分包括：数据源、数据抽取装载转换、 数据集市、多维数据集和用户访问分析。因为多维体系结构是为了满足企业内部 浙江大学硕士学位论文 的各个业务部门的需求，数据管理从属于业务需求，因此不存在一个物理上的企 业级数据仓库。其数据存储于原子数据集市和聚集数据集市中c l 肌d i ai m h o 戌 2 0 0 4 。 原子数据集市 这些数据集市保存了最低公共级别( 整个环境中可用的最低细节级) 的多维 数据。它们也许还包含一些聚集数据以便提高查询性能。数据一般使用星型模式 数据模型存储。 聚集数据集市 这些数据集市包含与核心业务过程有关的数据，如市场营销、销售和财务等。 通常，原子数据集市为这些数据集市提供用于聚集的数据，但是这不是必须的。 可能直接从e t l 程序创建一个聚集数据集市。和原子数据