（计算机应用技术专业论文）农业科技成果转化资金项目数据仓库系统研究.pdf

l i i i iii ii i ii ! i ii ii1 11 目录y 17 8 7 12 9 目录 中文摘要i 英文摘要i i i l 弓i 言1 1 1 问题的提出1 1 2 国内外研究现状l 1 2 1 国外研究现状1 1 2 2 国内研究现状o 2 1 3 本课题研究的主要内容3 1 3 1 研究内容点3 1 3 2 研究思路。4 1 4 本文章节安排4 2 数据仓库与相关技术5 2 1 数据仓库。5 2 1 1 数据仓库的定义5 2 1 2 数据仓库的相关概念6 2 2 数据仓库关键技术7 2 3 1 数据抽取7 2 3 2 数据转换：8 2 3 3 数据加载9 2 3 联机分析处理9 2 2 1o l 啦的定义及特点9 2 2 20 l 气p 中的相关概念1 0 2 2 3 多维数据的分析1 1 2 4 数据仓库与o l 廿1 1 3 农业科技成果转化资金数据仓库的总体分析1 3 3 1 农业科技成果转化资金项目需求分析1 3 3 1 1 项目背景介绍1 3 3 1 2 项目需求分析王3 3 2 系统的设计目标及原则1 4 3 2 1 设计目标1 4 3 2 2 设计原则。1 4 3 3 系统的结构设计1 6 3 3 1 数据仓库的体系结构。1 6 3 3 2 系统的层次结构。1 7 3 4 系统的功能设计1 7 3 4 1 数据整合子系统1 8 4 3 3o l a p 的设计与实现3 3 5 系统的实现与展示3 8 5 1 系统平台及技术3 8 5 2 系统展现- 3 9 6 结论j 一4 5 致谢4 6 参考文献4 7 攻读硕士学位期间发表的学术论文5 0 产11叫ii _ c o n t e n t s c o n t e n t s c h i n e s ea b s t r a c t i e n g l i s ha b s t r a c t i i i 1i n t r o d u c t i o n 1 1 1r a i s et h er e s e a r c h i 1 2r e s e a r c hs t a t u sa th o m ea n da b r o a d 1 1 2 1o v e r s e a sr e s e a r c h 1 1 2 2d o m e s t i cr e s e a r c h 2 1 3m a i nc o n t e n t so ft h ep r o j e c t 3 1 3 1r e s e a r c hc o n t e n t s 3 1 3 2r e s e a r c hi d e a s ：4 1 4s e c t i o no ft h ea r r a n g e m e n t s 4 2d a t aw a r e h o u s ea n dr e l a t e dt e c h n o l o g y 5 2 1d a t aw a r e h o u s e 5 2 1 1d a t aw a r e h o u s ed e f i n i t i o n 5 2 1 2d a t aw a r e h o u s ec o n c e p t s 6 2 2k e yt e c h n o l o g yo f d a t aw a r e h o u s e 7 2 3 1e x t r a c t 7 2 3 2t r a n s f o r m 8 2 3 3l o a d 9 2 3o l a p 9 2 2 1t h ed e f m i f i o na n dc h a r a c t e r i s t i c so f o i d l p 9 2 2 2r e l a t e dc o n c e p t so f o l a p 1 0 2 2 3m u l t i d i m e n s i o n a ld a t aa n a l y s i s 11 2 4d a t aw a r e h o u s ea n do l a p 1 1 3o v e r a f la n a l y s i so f a g r i c u l t u r a lt r a n s f o r m a t i o nf u n d sd a t aw a r e h o u s e 1 3 3 1n e e da n a l y s i so f a g r i c u l t u r a lt r a n s f o r m a t i o nf u n d sd a t aw a r e h o u s e 1 3 3 1 1p r o j e c tb a c k g r o u n d “1 3 3 1 2p r o j e c tn e e d sa n a l y s i s 1 3 3 2s y s t e md e s i g no b j e c t i v e sa n dp r i n c i p l e s 1 4 3 2 1d e s i g no b j e c t i v e s 一1 4 3 2 2d e s i g np r i n c i p l e s 1 4 3 3t h es t r u c t u r a ld e s i g no f t h es y s t e m 1 6 3 3 1d a t aw a r e h o u s ea r c h i t e c t u r e 1 6 3 3 2s y s t e mh i e r a r c h y 1 7 3 4f u n c t i o nd e s i g no f t h es y s t e m 1 7 3 4 1d a t ai n t e g r a t i o ns u b s y s t e m 1 8 东北农业大学工学硕：j 二学位论文 3 4 2p r o j e c td a t ad i s p l a ys u b s y s t e m 1 9 3 4 3p r o j e c td a t ar e p o r ts u b s y s t e m 2 0 3 4 4p r o j e c td a t aa n ds t a t i s t i c a la n a l y s i ss u b s y s t e m 2 1 3 4 5s y s t e mm a n a g e m e n t 2 2 4d a t aw a r e h o u s i n ga n do l a pd e s i g n - 2 3 4 1d a t aw a r e h o u s em o d e ld e s i g n 2 3 4 1 1d e s i g no f d a t aw a r e h o u s ec o n c e p t u a lm o d e l 2 3 4 1 2d e s i g no fd a t aw a r e h o u s el o g i c a lm o d e l 2 3 4 1 3d e s i g no f d a t aw a r e h o u s ep h y s i c a lm o d e l 2 6 4 2d a t aw a r e h o u s ee t l d e s i g n 。2 8 4 2 1d a t a w a r e h o u s e e t l r e q u i r e m e n t s 2 8 4 2 2d a t aw a r e h o u s ee t ld e s i g n 2 9 4 2 3d a t aw a r e h o u s ee t lp r o c e s s i n g 3 0 4 2 4d a t aw a r e h o u s ee t l i m p l e m e n t a t i o n 3 0 4 3o l a pd e s i g n 31 4 3 1o l a pt o o li n t r o d u c t i o n 31 4 3 2m d x l a n g u a g e 3 2 4 3 3t h ed e s i g na n di m p l e m e n t a t i o no f o l a p 3 3 5s y s t e mi m p l e m e n t a t i o na n dd e m o n s t r a t i o n 3 8 5 1s y s t e mp l a t f o r ma n dt e c h n o l o g y 3 8 5 2s y s t e ms h o w 。3 9 6c o n c l u s i o n ，4 5 a c k n o w l e d g e m e n t 4 6 r e f e r e n c e s 4 7 p a p e r sp u b l i s h e di nt h ep e r i o do fm a s t e rd e g r e ee d u c a t i o n 5 0 研究生学位论文独创声明和使用授权书 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 ( 注；垫邀直墓丝益要挂型童塑的：奎拦亘窒2 或其他教育机构的学位或证 书使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示谢意。 学位论文作者签名：0 存遵 学位论文版权使用授权书 日期：w 。年缸 本学位论文作者完全了解学校有关保留、使用学位论文的规定，学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。 本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解 密后适用本授权书) 学位论文作者签名：龙茄生 日期：弘厂d 年厂且厂日 导师 签名：刭、彳亿5 q 日期：如加年月日 摘要 摘要 农业科技成果转化资金项目于2 0 0 1 年开始使用了单机c s 版软件，于2 0 0 6 年使用项目 上报、受理、审理、监理、验收为一体的网络管理系统，使农业科技成果转化资金项目全面 实行数字化管理。系统的应用积累了大量的项目相关数据，但是现有两个版本的系统采用的 数据库是传统的数据库，它们只进行事务处理，并且数据库之间难以实现有机结合，无法为 农业科技成果转化资金的分配提供分析和决策。数据仓库技术的出现满足了分析、决策方面 的需要。 本文介绍了国内外数据仓库的现状，以及数据仓库的相关理论知识和o l a p 分析处理。 在了解现有农业科技成果转化资金管理系统的基础上，本文提出了农业科技成果转化资金数 据仓库的需求以及设计目标及原则。通过对农业科技成果转化资金数据仓库项目的分析，研 究了构建数据仓库的整个过程。详细分析了农业科技成果转化资金的业务活动和数据关系， 设计了数据仓库的概念模型、逻辑模型、物理模型。在模型的基础上实现了数据抽取、转换、 加载。以申报项目系统数据源为基础，使用k e t t l e 工具实现数据的转换。系统把历史数据按 照主题重组，并在主题的范围内建立了相应的数据立方体，通过m d x 语言实现立方体中数 据的分析与查询。最后针对农业科技成果转化资金数据的相应特点，应用j a v a 语言实现了本 系统特有的e t l 和o l a p 的设计过程。 通过数据仓库技术与农业科技成果转化资金项目的紧密结合，实现了农业科技成果转化 资金的决策与分析，辅助科学技术部在农业科技成果转化资金的分配和使用，使农业科技成 果在各个领域二次开发分布平衡，并产生最大的经济效益和社会效益，为在决策分析方面数 字化的开展奠定基础。 关键词数据仓库；e t l 技术；联机分析；数据建模 a b s t r a c t s t u d yo f d a t aw a r e h o u s eo n a g r i c u l t u r e sc i e n c ea n d t e c h n o l o g y a c h i e v e m e n t t r a n s f o r m a t i o nf u n d s a bs t r a c t a g r i c u l t u r a ls c i e n c ea n dt e c h n o l o g ya c h i e v e m e n t si n t oc a p i t a lp r o j e c t si n2 0 0 1u s e dc s v e r s i o no ft h es o f t w a r e ，a n du s e dt h en e t w o r km a n a g e m e n ts y s t e mt h a ti n t e g r a t e dr e p o r t i n g , a c c e p t a n c e ，t r i a l ，s u p e r v i s i o n ，i n s p e c t i o na so n ei n2 0 0 6 ，s ot h a ta g e c u l t u r a ls c i e n c ea n dt e c h n o l o g y a c h i e v e m e n t si n t oc a p i t a lp r o j e c t sf u l l yi m p l e m e n t e dd i g i t a lm a n a g e m e n t t h ei n f o r m a t i o ns y s t e m h a sa c c u m u l a t e dal a r g en u m b e ro fp r o j e c t - r e l a t e dd a t a h o w e v e r , t h ee x i s t i n gs y s t e m sm a i n l yu s e d t r a d i t i o n a ld a t a b a s ef o rt h eo n l yt r a n s a c t i o np r o c e s s i n g , a n dd a t a b a s e sa r ed i f f i c u l tt oc o m b i n e , a sa r e s u l ts y s t e m sc a nn o tp r o v i d ea n a l y s i sa n dd e c i s i o nm a k i n gf o ra l l o c a t i o no fa g r i c u l t u r es c i e n c e a n dt e c h n o l o g ya c h i e v e m e n tt r a m f o r m a t i o nf u n d s t h ee m e r g e n c eo fd a t aw a r e h o u s et e c h n o l o g y m e e t st h en e e d so fa n a l y s i sa n dd e c i s i o n - m a k i n g t h i sp a p e ri n t r o d u c e dt h es t a t u so fd a t aw a r e h o u s e ，t h et h e o r yk n o w l e d g eo fd a t aw a r e h o u s e a n do l a pa n a l y s i sp r o c e s s i n g o nt h eb a s i so fu n d e r s t a n d i n go fe x i s t i n gs y s t e m s ，t h es y s t e m p r o p o s e dt h ed e m a n do fd a t aw a r e h o u s ea n dd e s i g ng o a l sa n dp r i n c i p l e s t h r o u g ha n a l y s i so f a g e c u l t u r es c i e n c ea n dt e c h n o l o g ya c h i e v e m e n tt r a n s f o r m a t i o nf u n d s ，t h i sp a p e rs t u d i e dt h ee n t i r e p r o c e s so fb u i l d i n gd a t aw a r e h o u s e s t h i sp a p e rd e t a i l e d l ya n a l y z e dt h er e l a t i o no fb u s i n e s s a c t i v i t i e sa n dd a t ao fa g r i c u l t u r es c i e n c ea n dt e c h n o l o g ya c h i e v e m e n tt r a n s f o r m a t i o nf u n d s ，a n d d e s i g n e dc o n c e p tm o d e l ，l o g i c a lm o d e l ，p h y s i c a lm o d e l o nt h eb a s i so ft h em o d e l ，s y s t e mc a r r i e d o u td a t ae x t r a c t i o n , t r a n s f o r m a t i o n ，l o a d i n g t a k i n gr e p o r t i n gp r o j e c ts y s t e md a t as o t l r c ef o r e x a m p l e ，t h ep r o j e c tu s e dt h ek e r l et o o lf o rd a t ac o n v e r s i o n s y s t e mr e c o m b i n e dh i s t o r i c a ld a t ab y t o p i ca n de s t a b l i s h e dd a t ac u b ei nt h et h e m e ，a n a l y s i s e da n di n q u i r i e dt h r o u g hm d xl a n g u a g ei n c u b e f i n a l l y , t h ep a p e ri m p l e m e n t e dt h es y s t e m - s p e c i f i ce t la n do l a pd e s i g na c c o r d i n gt o f e a t u r e so fl a n g u a g ea g e c u l t u r es c i e n c ea n dt e c h n o l o g ya c h i e v e m e n tt r a n s f o r m a t i o nf u n d sd a t aa n d c o r r e s p o n d i n gj a v al a n g u a g e t h r o u g ht h ed a t aw a r e h o u s et e c h n o l o g ya n da g e c u l t u r es c i e n c ea n dt e c h n o l o g ya c h i e v e m e n t f u n d sp r o j e c tc l o s e l yt oa c h i e v e ，i m p l e m e n t i n gd e c i s i o n sa n da n a l y s i so fa g e c u l t u r es c i e n c ea n d t e c h n o l o g ya c h i e v e m e n tt r a n s f o r m a t i o nf u n d s ，s u p p o r t i n g1 1 s ea n da l l o c a t i o no ff u n d si nt h e m i n i s t r yo fs c i e n c ea n dt e c h n o l o g yt ob a l a n c ed i s t r i b u t i o no fa g e c u l t u r es c i e n c ea n dt e c h n o l o g y a c h i e v e m e n ti nv a r i o u sf i e l d s ，a n dg e n e r a t i n gm a x i m u me c o n o m i cb e n e f i ta n ds o c i a lb e n e f i tt ol a y t h ef o u n d a t i o ni nd e c i s i o n - m a k i n go fd i g i t a l i i i i v 引言 1 引言 1 1 问题的提出 农业科技成果转化资金项目是经国务院批准设立，为加速农业科技成果转化，引导和推 动农业科技成果尽快转化为现实生产力，为新阶段我国农业和农村经济发展提供强有力的科 技支撑的政府专项资金。农业科技成果转化资金设立于2 0 0 1 年2 月，其目的是为了强化农业 技术创新能力和国家农业科技成果转化能力；提高农业科技成果转化的质量、速度和效益。 农业科技成果转化资金覆盖整个农业领域，重点针对区域优势农产品产业带建设、农业结构 调整、促进农民增收、改善农业生态环境、提高农产品国际竞争力和农村小康社会建设等重 大任务。在实践运行中，转化资金的具体管理策略和如何提高资金的使用效率值得研究分析。 针对转化资金项目建成的农业科技成果转化资金项目管理系统分为两个版本，一个是2 0 0 1 年到2 0 0 5 年c s 单机版的农业科技成果转化资金管理系统，另一个是2 0 0 6 年以后的b s 农 业科技成果转化资金管理系统。 现在运行的农业科技成果转化资金项目管理系统是面向业务处理的系统，可以方便高效 的进行数据的采集、查询与存储，但是无法对这些历史数据进行统一的分析，发现这些数据 隐藏的关系与规则，无法根据现有数据进行未来行为的指导与决策，多年来存储数据的价值 没有被挖掘出来，并且这些年的所有数据都存在两个版本的数据库中，造成了数据的分离，导 致2 0 0 6 年前的数据成为信息孤岛，造成数据的不连贯。 随着信息系统工程领域的发展，数据仓库已经成为数据库的新兴技术。数据仓库领域的 权威专家w h 1 n m o n 于上世纪9 0 年代初提出数据仓库的概念，随着数据仓库的发展与成熟， 数据仓库在国内外已被应用于如金融、通信等各个领域，它能有效的组织和存储数据，并把 数据按照主题的形式进行存储。数据仓库利用这些存储的高质量数据源对企业提供决策支 持。对数据的处理方式主要是分析，面向对象是中高层管理人员，利用分析数据的手段，结 合一些分析工具，如o l a p 工具等，挖掘出历史数据的潜在价值，充分发挥数据的作用。 1 2 国内外研究现状 1 2 1 国外研究现状 上世纪8 0 年代中期，美国著名信息工程学家w h i n m o n 在建立数据仓库一书中对 数据仓库做了如下定义：“数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的、集成的、稳定的、 包含历史数据的数据集合，它用于支持管理中的决策制定过程。”( 江键等，2 0 0 6 ) 。随着人们 对数据仓库的探索与研究，数据仓库技术越来越成熟。直到今天，数据仓库已经成为了信息 东北农业大学t 学硕+ 学位论文 技术中的一个研究热点，它的应用已经非常广泛。数据仓库主要是从业务处理系统中获得数 据，然后从这些数据中获取有价值的信息。作为数据管理市场的热点，许多厂商纷纷提出自 己的解决方案。这些厂商分为两种，一种是具有数据库产品为背景的数据仓库解决方案厂商， 一种是发展数据仓库外围工具的工具厂商。 数据管理的厂商主要有i b m ，l n f o r m i x ，m i c r o s o t t ，n c r ，o r a c l e ，s y b a s e 等。i b m 是同 时拥有硬件和软件的厂商。i b m 实验室进行了l o 多年的研究工作，在1 9 9 8 年9 月发布了 d b 2 u d b 的5 2 版，之后的几个月推向中国市场，i b m 还提供了一系列的相关产品，如v i s u a l w a r e h o u s e 用于联机分析处理的d b 2o l a ps e r v e r 后台服务器及前端工具，形成了一套完整 的基于可视数据仓库的商业智能解决方案。在数据仓库领域，i b m 最引人注目的是其s p 2 的m p p 硬件环境，其数据仓库核心采用的是d b 2 u n i v e r s a i s e r v e r ( 简称u d b ) 的p a r a l l e l e d i t i o n 。i n f o r m i x 是一家专业的数据库厂商，1 9 9 8 年并入了数据仓库供应商r e db r i c k 。近年 来该数据仓库成为该公司的一个重要发展领域。该公司主要发展以下几个方面：并行处理的 数据库服务器，在此基础上增加了针对决策支持操作的扩展，提供了m e t ac u b eo l a p 中间 件，以多层客户朋艮务器结构实现r o l a p 解决方案，并在其中集成了基于汇总和采样的查询 优化机制。i n f o r m i x 将数据仓库的整体解决方案命名为d e c i s i o nf r o n t i e r 。微软在数据仓库领 域计划将p l a t o ( 一个o l a p 服务器) 和d a t at r a n s f o r m a t i o ns e r v i c e s ( 数据转换服务，包括 数据抽取、转换和装载能力) 作为其s q ls e r v e r 7 0 数据库的免费组成部分。微软数据仓库的 核心是关系数据库s q ls e r v e r ，但s q ls e r v e r 并不是很擅长并行处理和决策支持扩展。微软 还提倡数据集市，对于数据集市这样的规模，微软的解决方案便可成为理想的选择。在传统 的数据仓库领域，n c r 占领很大的市场，它的著名数据仓库产品名为t e r a d a t as c a l a b l e w a r e h o u s e 取其超大规模数据之意。n c r 是专注于高端数据仓库的厂商，其t e r a d a t a 在大规 模系统和数据量下表现良好。但它的解决方案也面临着挑战，联机多维分析是它的弱项。 o r a c l e 公司对数据仓库的研究主要集中在o l a p 多维分析上，随着近年来r o l a p 的解决方 案渐渐成为主流，在o r a c l e 最新推出的数据仓库解决方案o r a c l ed a t am a ns u i t e 中o r a c l e 以 o r a c l e 9e n t e r p r i s es e r v e r 为数据仓库服务器。s y b a s e 公司的w a r e h o u s es t u d i o 是由专门的 o l a p 服务器s y b a s ei q 与数据仓库的相关工具打包而成，主要包括数据仓库的建模、数据 的e t l 、数据的存储与管理、元数据的管理及可视化分析等工具。o r a c l e 公司执行c u s t o m d e v e l o p m e n tm e t h o d 定制方法，主要包括o r a c l ee x p r e s s 和o r a c l ed i s c o v e r e r 两部分的解决 方案。 1 2 2 国内研究现状 在国内，针对数据仓库技术领域的研究和应用起步比较晚，发展也不成熟，相对于外国 有一定的差距。中国加入世贸后，国内大型企业规模的日趋壮大，管理的日益先进，势必导 致企业信息化和智能化的强烈需求，部署数据仓库解决方案成为一种必然的选择。国内在数 据仓库方面的研究主要集中于数据仓库的架构问题，包括数据模型建立的规则、数据仓库的 架构、系统组成、数据管理等方面。而现今国内企业在这方面的应用限于报表阶段，数据的 2 引言 多维分析、数据挖掘和知识发现等更高级的数据处理和决策支持技术还没能普及开来。但是 也有了一些成功的产品。如润乾公司产品：润乾报表和润乾决策分析平台；一系列的马 克威分析系统产品，如马克威分析系统一电信版、马克威分析系统一钢铁版。这些产 品具有针对性，不符合其它项目的需求，具有限制性，导致无法在国内得到更大范围的 推广应用。 目前，为了提升数据的应用能力、数据分析能力，国内很多企业都试图建立数据仓库。 大部分数据库的建立是用来进行传统的联机事务处理业务，也有一些企业建立了数据仓库系 统，但真正发挥效用的并不多见，主要是由于当前我国的应用基础尚不完善及企业意识不足。 随着我国信息化建设的逐渐完善和国外数据仓库技术发挥的显著作用，许多行业如税务、保 险、电信、金融等都认识到数据仓库所产生的巨大经济效益，于是企业纷纷建立数据仓库系 统。但是总体来讲，与国外相比还有相当的差距，并呈现投入大、产出小、应用处于起步阶 段，人才匮乏等特点。 1 3 本课题研究的主要内容 1 3 1 研究内容 课题主要的研究内容是：针对农业科技成果转化资金业务系统产生的大量数据，进行抽 取、转换，把分散的、独立的大量数据进行数据整合，进而建立农业科技成果转化资金项目 的数据仓库，并且在此基础上实现联机分析处理，使数据仓库系统的用户能够方便、直观、 快速的查看项目资金状态的改变以及所产生的各种效益。 可以把课题研究的主要内容分为如下几个部分： 1 农业科技成果转化资金项目数据仓库的e t l 农业科技成果转化资金项目业务系统的数据源都是分散、独立的数据库，并且这些数据 有些并不准确、信息并不一致，因此应进行e t l 抽取策略的研究，并建立数据抽取接口。在 对数据进行e t l 时，要进行数据的验证、清洗和过滤。 2 农业科技成果转化资金项目数据仓库模型的建立 分析农业成果转换资金项目的数据特点和相关模型理论知识，建立符合本系统的模型。 3 通过联机分析技术进行数据的统计分析 在数据仓库的基础上，利用o l a p 技术产生多维立方体，并对农业科技成果转化资金 数据进行相关主题的分析，产生的分析结果辅助决策者进行决策。 4 利用开发工具进行系统开发 使用j a v a 语言和s q ls e r v e r2 0 0 0 数据库工具，进行系统的开发。 3 东北农业大学t 学硕十学位论文 1 3 2 研究思路 1 首先了解数据仓库的背景和现状以及相关知识； 2 学习联机分析技术发展及相关工具的使用和知识结构； 3 了解农业成果转换资金项目相关需求并进行系统设计。 1 4 本文章节安排 本文在第一章前言里首先提出了所要研究的问题，分析了数据仓库技术目前的国内外现 状。最后描述了本课题研究的主要内容。 第二章介绍了数据仓库概念及相关定义以及数据仓库数据的抽取、转换、加载的关键技 术，分析了联机分析处理的概念、特点及其相关方法。在此基础上说明了数据仓库与o l a p 的相互之间的关系。 第三章对农业科技成果转化资金数据仓库做了总体分析。首先对本项目做了需求分析， 并对本系统定制了设计目标及原则。在需求分析的基础上完成了软件整体的架构，然后对系 统进行了初步的功能设计。 第四章进行农业科技成果转化资金数据仓库系统及联机分析系统的设计。首先对数据仓 库的模型进行了设计，其中包括概念模型设计、逻辑模型设计、及物理模型设计。根据系统 的需求设计了数据抽取、转换、加载方案和实现方法。在此基础上介绍了o l a p 的工具使用 及m d x 语言，并对o l a p 做了具体的设计。 第五章描述了系统的实现与展现。介绍了系统的开发语言及数据仓库系统中数据库所使 用的软件，并对系统主要功能模块做了相应的展现。 最后，对本文的研究进行总结，并对以后的研究工作进行展望。 4 数据仓库与相关技术 2 数据仓库与相关技术 数据仓库提供了集成化的、历史化的面向数据应用的数据管理技术。随着数据仓 库的发展，数据仓库已经逐渐成为决策支持系统和联机分析应用数据源的结构化数据 环境。数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技 术( 康晓东，2 0 0 4 ) 。 2 1 数据仓库 2 1 1 数据仓库的定义 计算机发展的早期，人们就已经提出了建立数据仓库的构想。一直以来，数据仓 库都没有统一的定义。在1 9 0 0 年， “数据仓库”一词由美国著名的信息工程专家 w i l l i a m h i n m o n 先生提出，在其著作g b u i l d i n gt h ed a t aw a r e h o u s e ) ) 一书中给予如下 描述：“数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c to r i e n t e d ) 、集成的 ( i n t e g r a t e ) 、相对稳定的( n o n v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) ，但信息本身 相对稳定的数据集合，用以支持管理决策过程”( 林杰斌等，2 0 0 3 ) 。从这个概念可以 看出两层含义，其一，数据仓库不同于操作型数据库，主要用于决策支持，对数据进 行分析处理；其二，数据仓库需要把已往的所有数据，不管是同构还是异构的数据源 集成，然后按照主题进行重组，所有的数据放入数据仓库后，数据一般不会被改变， 数据的状态比较稳定。 数据仓库出现之后，人们对数据库与数据仓库两个概念一直混淆不清。下面分析 一下数据仓库与数据库的区别。 首先看一下，在w hi n m o n 定义中数据仓库的四个基本特征( 张松，2 0 0 8 ) 。 1 数据仓库是面向主题的。这里的面相主题是相对于传统的数据库而言的，数据 仓库把历史