已阅读5页,还剩55页未读, 继续免费阅读
(计算机应用技术专业论文)商业智能在股票信息系统中的应用与研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 互联网技术的飞速发展改变着社会生活的各个方面。得益于网络的进步, 在我国经济发展中作用日益增强的股市也正发生着变化,人们可利用网络获取 各种股票信息,进行股票投资。但是由于网络本身具有开放性和分布性的特点, 网络数据量巨大,存在大量冗余和错误数据,导致用户经常花费了很多时间也 难以获得自己真正需要的信息,在高质量的数据基础之上进行股票数据分析也 就无法实现。而商业智能集合了数据仓库、联机分析处理、数据挖掘等技术, 为解决这一问题带来了契机,本文正是从这一契机出发,设计并实现了一个基 于商业智能技术的股票信息系统。 文章首先从分析国内外商业智能研究现状入手,结合商业智能的体系结构, 在明确股票信息系统的基本功能的基础之上,基于m i c r o s o f ts q ls e r v e r2 0 0 5 平 台提出了股票信息系统的商业智能解决方案,并分别从数据仓库、o l a p 数据库 以及报表三个方面阐述了系统的实现。 构建系统的数据仓库时,分别从数据源、数据仓库表及e t l p a c k a g e 三个 方面进行了阐述。对于数据源,主要结合w i n d o w ss e r v i c e 、s q l a g e n tj o b 和n e t 多线程分布式处理等技术,讨论了从w e b 上抽取股票数据的股票信息组件的设 计与实现;接着在讨论数据仓库的建模时,基于维度建模的思想,给出了股票 信息系统数据仓库的e r 图;在e t l 组件部分,则给出了基于s s i s 服务的e t l p a c k a g e 的构建方法和执行策略。 对于股票信息系统的o l a p 数据库部分,在研究o l a p 中的数据分析逻辑 之后,在s s a s 服务基础上创建一个a n a l y s i ss e r v i c e s 项目,实现了预定义的数 据分析逻辑,对股票数据进行分析,预测股票走势。 最后,以数据仓库和o l a p 数据库作为数据源,基于s s r s 服务实现系统的 报表组件,将数据有效组织起来呈现给用户,为用户提供决策支持。 关键字:商业智能,股票信息系统,数据仓库,联机分析处理,报表服务 a b s t r a c t t h ei n t e r n e tt e c h n o l o g yi sp e r v a d i n ge v e r ya s p e c to fo u rl i v e s t h es t o c ki sn o e x c e p t i o n ;a l lk i n d so f s t o c ki n f o r m a t i o nc a nb eg a t h e r e df r o mt h ei n t e r n e tt os u p p o r t p e o p l e si n v e s t i n ga c t i v i t i e s h o w e v e r , j u s tb e c a u s eo ft h ed i s t r i b u t i v i t ya n do p e n n e s s o fi n t e r n e t ,w h i c hi n e v i t a b l yl e a dt ol a r g ea m o u n to fr e d u n d a n td a t ao rd i r t yd a t a , p e o p l ec a n ta c q u i r ee x p e c t e di n f o r m a t i o ne f f i c i e n t l ya n da n a l y z et h ed a t aa c c o r d i n g l y i t st h eb u s i n e s si n t e l l i g e n c ew h i c hi n c l u d e sas e to ft e c h n o l o g i e sl i k ed a t aw a r e h o u s e , o i _ a pa n dd a t am i n i n gt h a to v e r c o m e st h e s ed i s a d v a n t a g e s i nv i e wo ft h i sf a c t , a s t o c ki n f o r m a t i o ns y s t e mi sc o n s t r u c t e db a s e do nb u s i n e s si n t e l l i g e n c e a f t e rs u m m a r i z i n gt h er e s e a r c hl e v e lo fb u s i n e s si n t e l l i g e n c ea th o m ea n d a b r o a d ,t h ea r c h i t e c t u r eo fb u s i n e s si n t e l l i g e n c ew a si l l u s t r a t e d i na c c o r d a n c e ,a b u s i n e s si n t e l l i g e n c es o l u t i o no fs t o c ki n f o r m a t i o ns y s t e mo ns o ls e r v e r2 0 0 5 p l a t f o r mw a sp r o p o s e d t h i sp a p e rd i s c u s s e dt h ei m p l e m e n to fs t o c ki n f o r m a t i o n s y s t e mf r o mt h e3a s p e c t sa sb e l o w :d a t aw a r e h o u s e ,o l a pd a t a b a s ea n dr e p o r t t h ed a t aw a r e h o u s ei sc o m p o s e do f3p a r t s :d a t as o u r c e ,e t la n dw a r e h o u s e t a b l es c h e m a f o rd a t as o u r c e ,as t o c ki n f o r m a t i o nc o m p o n e n tw h i c he x t r a c t ss t o c k i n f o r m a t i o nf r o mi n t e r a c ti sc o n s t r u c t e db a s e do nw i n d o w ss e r v i c e ,s q la g e n t j o b ,n e ta s y n c h r o n o u sc a l l b a c km e c h a n i s m f o rt a b l es c h e m a ,t h ee - rd i a g r a mi s g i v e nw h i c h i sb a s e do nd i m e n s i o n a lm o d e l f o re t l p a r t ,i na d d i t i o nt oi l l u s t r a t et h e c o n s t r u c t i o no fe t l p a c k a g e sb a s e do ns s i s ,t h ee x e c u t i o np l a no fp a c k a g e si sa l s o d i s c u s s e d t h eo l a pd a t a b a s ei sc o n s t r u c t e db yc r e a t i n ga na n a l y s i ss e r v i c e sp r o j e c tt o i m p l e m e n tt h ep r e d e f i n e dd a t aa n a l y s i sl o g i c f i n a l l y , t a k i n gt h ed a t aw a r e h o u s ea n do l a p d a t a b a s ea sd a t as o u r c e ,t h er e p o r t c o m p o n e n t i sc r e a t e db a s e do ns s r st od i s p l a ys t o c ki n f o r m a t i o n ,w h i c hp r o v i d e st h e d e c i s i o ns u p p o r tf o ru s e r s k e yw o r d s :b u s i n e s si n t e l l i g e n c e ( b i ) ,s t o c ki n f o r m a t i o ns y s t e m ,d a t aw a r e h o u s e , o n l i n ea n a l y s i sp r o c e s s i n g ( o l a f ) ,r e p o r t i n gs e r v i c e s 独创性声明 本人声明,所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他 人已经发表或撰写过的研究成果,也不包含为获得武汉理工大学或其它教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了谢意。 签名:率日期:半 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定,即:学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅 和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库 进行检索,可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时 授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论 文,并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) :叠翟导师( 签名) :丝日期:半y 武汉理工大学硕士学位论文 1 1 研究目的及意义 第1 章绪论 互联网技术的飞速发展使得信息采集、传播的速度及规模都达到了空前的 水平,信息共享克服了传统的时间和空间限制,将世界连为一体,使得人们的 信息获取方式发生了巨大变化,可以通过网络获取海量的数据。股票作为经济 活动中的一个重要组成部分,得益于网络的进步,人们也可以方便的通过网络 获取各种股票相关数据。 目前,人们可通过各大专业财经网站或股票软件获取各类股票信息,如新 浪财经、雅虎财经、证券之星以及大智慧等;同时,还可以通过以关键字为基 础的搜索引擎获取,如g o o g l e 、百度、l i v es e a r c h 等。这虽然从某种程度上来 说可以满足用户的信息需求,但是这两种方式也还存在很大的不足。网络资源 本身存在的开放性和分布性的特点,使得相同主题的信息分散在全球众多不同 的服务器上,相同的股票数据独立存在于各大财经网站,没有通过有效的方式 组织起来,从而形成了一个个数据冗余的信息孤岛,这也可能导致数据的不一 致性。另外,海量的数据必然会导致一些无用甚至是错误的数据,但是股票这 类与经济利益直接相关的行业,数据的质量保证又必不可少。庞大的数据量和 令人担忧的数据质量,使得人们在使用这些数据的时候,不得不花费大量的时 间去进行人工筛选,效率及其低下。如何有效获得高质量的股票数据,并对数 据进行分析,从中提取出有价值的信息,最终转换为具有商业价值的知识,从 而为各类经济实体的股票投资提供决策支持,成为了商业r r 界关注和研究的热 点,而商业智能技术恰好能够很好的解决这一问题。 商业智能“描述了一系列的方法和概念,通过应用基于事实的支持系统来 辅助商业决策的制定州。商业智能并不是一项新的技术,它只是一系列概念、 方法和技术的集合,其本质是利用数据仓库、联机分析处理( o l a p ) 、数据挖 掘等技术来完成从数据到信息的提炼,最终转换为对企业经营和决策有用的知 识。它是一种智能解决方案,首先对源数据执行e t l 过程,实现数据的清洗和 转换操作,装载到数据仓库中,为后续对数据进行操作提供一个全局视图;然 武汉理工大学硕七学位论文 后在此基础上利用合适的查询和分析工具、数据挖掘工具以及o l a p 对数据仓 库中的数据进行分析,将提炼出的知识呈现给用户,为用户提供决策支持 2 1 。本 文正是从这一架构出发,将商业智能技术应用到股票信息系统( s t o c ki n f o r m a t i o n s y s t e m ,s i s ) 中,从w e b 上抽取股票数据,并对抽取的数据进行分析处理,最 终转换为知识,并将结果以有效的形式呈现给用户,为用户股票投资提供决策 支持。 论文研究将商业智能的体系架构引入到现有的股票信息系统中,提出并实 现一个基于商业智能技术的股票信息系统解决方案,旨在为用户提供一个完整 的股票数据视图,并根据需要为用户提供股票投资决策支持。 论文研究的意义:从理论上讲,将商业智能技术引入到股票信息系统中, 实际上将数据仓库、联机分析处理、数据挖掘等技术与股票信息系统融合到了 一起,这首先是对股票信息系统研究领域的拓展,同时还积累了商业智能技术 方面的重要经验,对以后该技术的推广和应用具有很强的借鉴性。另外,股票 和信息系统分属经济和计算机两个不同的领域,本论文的研究也为学科综合积 累了经验,具有一定的研究价值。从实际情况看,随着中国经济的持续快速发 展,股票越来越彰显其在经济发展中的巨大作用,人们也越来越积极地参与到 经济活动中,股票正受到越来越多的关注,股民热切期望能够及时准确的获得 股票信息,得到有效的股票投资决策支持。在这种背景之下,将商业智能技术 引入到股票信息系统中,能够很好的满足股民的需求,具有非常广阔的经济前 景。最后,由于商业智能中的关键技术之一,数据仓库可以改善w e b 源数据的 质量,可增强网民对网络信息的准确度的信任,有利于进一步推进信息网络化 进程。因此构建一个基于商业智能技术的股票信息系统,有效整合网络上的股 票数据,并将其最终转化为知识,为用户的股票投资决策提供有效的数据支持, 这一立题具有一定的理论及现实意义。 1 2 商业智能定义 商业智能( b u s i n e s si n t e l l i g e n c e ,b i ) 的概念最早是由g a r t n e rg r o u p 的h o w a r d d r e s n e r 于1 9 9 6 年提出来的,将商业智能定义为一类由数据仓库( 或数据集市) 、 查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业 决策为目的技术及其应用。从用途来看,它是将企业中现有的数据转化为知识, 2 武汉理工大学硕士学位论文 帮助企业做出正确的业务经营决策的工具 3 1 。从技术层面讲,商业智能是数据仓 库技术、o l a p 技术、数据挖掘技术、数据采集和迁移技术、网络技术、g u i 技术、查询和报表技术、统计学、人工智能、知识发现技术等理论及技术的综 合运用。从这个意义上,把商业智能看成是一种体系结构比较恰当。商业智能 技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将 这些数据转化为有用的信息,然后分发到企业各处,为企业作业层、战略层和 战术层决策提供依据【4 j 。 随着技术的进步和商务环境的变迁,人们对于商业智能有了更加深入的认 识,但是不同的人对商业智能的理解也仍然还存在一定的差别,各大公司对商 业智能也都有不同的定义。例如i b m 认为商业智能足一系列由系统和技术支持 的以简化信息收集和分析的策略集合,它应该包括企业需要收集什么信息、谁 需要去访问这些数据、如何把原始数据转化为最终导致战略性决策的智能、客 户服务和供应链管理;而i d c 则指出商业智能是终端用户查询和报告的工具、 o l a p 工具、数据挖掘软件、数据集市和数据仓库产品等软件工具的集合; m i c r o s o f t 也对商业智能有着自己的见解,认为商业智能是任何尝试获取、分析 企业数据以更清楚地了解市场和客户、改进企业流程和更有效地参与竞争的努 力;s a p 认为商业智能是一大类收集、存储、分析和访问数据以帮助企业用户 更好进行决策的应用程序与技术。商业智能应用程序包含如下活动:决策支持、 查询和报表、联机分析处理、统计分析、预测和数据挖掘【5 1 。尽管各自对商业智 能的理解与描述有所不同,但是仍然能够从这些定义中看出商业智能的一些共 同特征t ( 1 ) 商业智能以更好的为用户提供服务,使用户获得更高回报为目的,有 助于用户迅速、准确的做出商业决策,并使相关活动更加简洁和自动化。 ( 2 ) 商业智能以业务逻辑为中心,离开具体的业务逻辑,商业智能也就失 去了其本身存在的价值。 ( 3 ) 商业智能是多种技术的综合应用,是一种信息系统集成解决方案,建 立在现有的普通的信息系统基础之上,但是又有所不同。 ( 4 ) 商业智能两大核心技术:数据仓库和数据分析。 3 武汉理工大学硕士学位论文 1 3 国内外研究现状 自商业智能的概念提出以来,它就一直都是人们研究、讨论的焦点。目前, 商业智能已经成为全球软件市场最热门的领域,对该领域的基础及应用研究也 越来越深入,并且它也正被越来越多的企业管理者所认识和接受,成为各行业 信息化建设的重中之重。 正是看到了企业对商业智能的迫切需求,各大以提供工具平台和软件平台 为主的企业也都纷纷加入到商业智能的研究和开发上来。商业智能市场的竞争 日益激烈,导致2 0 0 7 年出现了一股b i 企业的并购热潮,传统的商业智能市场 前3 甲h y p e r i o n 、b o 和c o g n o s 分别被o r a c l e 、s a p 及i b m 收购。目前4 大综 合b i 解决方案提供商i b m 、s a p 、m i c r o s o f t 和o r a c l e 逐渐成为市场主流,同时, s a s 、t e r a d a t a 及m i c r o s t r a t e g y 等专业商业智能厂商对其发展的引领作用也越来 越明显1 6 j 。目前市场上的b i 产品大致可划分为大型数据库厂商、统计软件厂商 的衍生产品和独立的软件产品两类,其中前者与数据库技术密切结合,有强大 的后台数据库支持,如i b m 、o r a c l e 和m i c r o s o f t 等企业推出的完整的商业智能 工具系列;后者则有些仅有前端展示工具,没有后端数据仓库的支持,有些属 于整合的解决方案l 丌。 在国外,技术的日趋成熟以及企业对商业智能作用的认同,使得商业智能 得到了非常广泛的应用,企业都希望能够通过商业智能充分利用以往企业对信 息技术的投资,改善决策、提高利润、提高运营效率和增强透明度【8 】。在北美, 商业智能已经被应用到社会生活的方方面面,如政府管理决策、商业经营、科 学研究和企业决策支持等,甚至在普通用户的桌面电脑上都有其身影1 9 1 。美国 5 0 0 强企业中9 0 以上都在利用企业管理和商业智能软件帮助管理者作决策f 1 0 l 。 到目前为止,国外已经有很多成功实施商务智能的经典案例。例如a t & t 公司通过部署商务智能解决方案,每年减少了信用卡欺诈高达8 0 0 0 万美元; c a d b u r y 巧克力公司借助商务智能使市场份额很快从2 8 提升到了3 0 ;美国花 旗银行在商务智能系统的帮助下,能够有效分析其分布于5 7 个国家的客户和信 用卡的寿命价值,据此提供独具特色的金融服务,满足客户的特殊金融需要。 在亚太地区,商务智能也有很好的应用前景,商务智能软件市场正以每年2 3 的速度增长,促进商务智能软件市场增长的主要因素是存储、数据仓库、客户 关系管理解决方案和互联网应用的增长【1 1 d 3 1 。 4 武汉理工大学硕士学位论文 相对国外而言,国内商业智能的研究和发展尚处于导入期,商业智能应用 的程度和实际效果都与国外企业还有很大差距1 1 4 1 。据统计,国内超过8 0 企业 对这一技术、产品或解决方案不熟悉1 1 5 l 。但是,商业智能在国内市场一直呈现 增长态势,国内诱人的市场规模以及良好的发展势头,极大刺激了国外商业智 能厂商大规模进入中国。目前,世界著名的b i 厂家大都已进入国内市场,国内 一些厂商也在这种激励下迅速成长1 1 6 j ,例如金蝶、用友等公司已经开始推出一 些商业智能软件旧。同时,国内一些高等院校也已经开始在商业智能领域针对 商业智能的体系结构以及核心技术,如e t l 过程【1 8 1 ,数据仓库【1 9 1 、o l a p 2 0 和 数据挖掘技术【2 1 , 2 2 l 进行了一些研究。而且在一些信息化程度较高的行业如金融证 券【2 3 伽、电信【2 剐、电力【2 9 1 、零售【3 0 , 3 1 l 、保险等得到了应用。 但是,从目前查阅的文献来看,基于商业智能体系架构,以w e b 数据作为 数据源的股票信息系统很少有人研究。因此利用现有的网络资源,搜集尽可能 多的股票信息进行股票走势预测,有效地为人们提供股票投资决策支持,构建 一个基于商业智能技术体系的股票信息系统,具有很大实用价值和一定的理论 价值。 1 4 本文主要研究工作 本文主要完成以下几个方面的研究工作: ( 1 ) 在深入分析、探讨商业智能技术特点及其体系结构的基础上,基于s q l s e r v e r2 0 0 5 平台给出股票信息系统的b i 体系架构,提出股票信息系统的解决方 案。 ( 2 ) 分别论述s i s 中的三个核心部分数据仓库、o l a p 以及报表的设计与 实现。其中:对于数据仓库,主要从数据源、e t l 、数据仓库表的创建三个方面 给出其相应的解决方案,并讨论其具体实现方式;对于o l a p ,则主要介绍o l a p 数据库中的业务逻辑以及实现过程;对于报表,主要从报表中的数据源,数据 集以及报表主体三个部分出发,通过构建主框架报表,详细说明s i s 中各个报表 的创建。 ( 3 ) 利用c 撑和n e t 完成股票信息组件的编程,实现s i s 从w e b 上抽取股 票数据。讨论组件抽取股票数据的方法,以及基于s q l a g e n tj o b 、多线程异步 回调以及w i n d o w ss e r v i c e 的组件的具体实现。 5 武汉理工大学硕士学位论文 ( 4 ) 通过对s i s 进行集成测试,证明将b l 技术引入到股票信息系统中的技 术可行性;所建立的基于b i 技术的股票信息系统能够有效的组织股票信息,并 将数据转化为知识,有力地支持用户的股票投资决策。 1 5 本文结构 本文共分6 章,主要内容如下: 第1 章,绪论。本章首先介绍了基于商业智能技术的股票信息系统研究的 目的和意义;其次简要介绍了商业智能技术的相关概念;接着介绍了商业智能 技术的国内外研究现状以及一些成功应用案例;最后给出了论义的主要研究内 容和组织结构。 第2 章,s i s 的b i 解决方案。本章首先简要介绍了商业智能体系架构以及 基于s q ls e r v e r2 0 0 5 的b i 解决方案框架。然后提出了建立在s q ls e r v e r2 0 0 5 平台之上的股票信息系统的b l 解决方案。 第3 章,s i s 数据仓库的构建。本章围绕s i s 中数据仓库的设计与实现展开, 首先论述了从w e b 上抽取股票数据到源数据库的股票信息组件的设计;接着讨 论了数据仓库中表的设计,包括维度表和事实表两个部分;最后讨论了基于s s i s 服务的e t lp a c k a g e 的构建及执行策略。 第4 章,s i so l a p 数据库的构建。本章在已经建立的数据仓库的基础上, 基于s s a s 服务构建s i s 的o l a p 数据库。首先详细论述了o l a p 数据库中进 行股票数据分析的业务逻辑,并通过实际数据验证了业务分析逻辑的有效性和 准确性;然后详细介绍了s i so l a p 数据库中c u b e 的创建,以及m e a s u r eg r o u p 的定义。 第5 章,s i s 报表的设计与实现。本章在数据仓库和o l 廿数据库的基础之 上,详细介绍了基于s s r s 服务的s i s 的报表的构建。 第6 章,总结与展望。主要是对本文的工作进行总结和未来工作的展望。 6 武汉理工大学硕十学位论文 第2 章s i s 的b i 解决方案 目前网络上存在大量冗余和错误数据,用户要想有效地从网络上获取信息, 需要对海量的数据进行人工筛选和鉴别,效率低下,而商业智能能够很好解决 这一问题,通过对w e b 数据执行抽取( e x t r a c t ) 、转换( t r a n s f o r m ) 及装载( l o a d ) 过程,将数据合并到数据仓库中,为所有数据提供一个全局视图,这电就是通 常所酤的e t l j 生程:在数据仓库的基础之j :进步对数据进行分昕处理,最终 转换为知1 5 _ ! 呈现给_ r | 户,为用,、提d i 决策上持。商业智能技术可咀使得数据处 理更加高效,用户因此能够更快更好的做出决策。 本章正是为了帮助用户更准确地作出股票投资决策,将商业智能技术引入 到股票信息系统s i s 中,在介绍了s i s 的基本功能阻及用户需求之后,提出了 s i s 的瑚解决方案。 2 1 商业智能体系结构 商业智能的体系结构是指通过识别和理解数据在系统中的流动过程和数据 在企业中的应用过程来提供商业智能系统应用的主框架【3 2 l 。通常情况下,商业 智能体系结构如图2 - 1 所示删。 l 曼里虱广_ 一、圈n 圈 黔圈j 筐_ 屠h 需 i 案 7 画u l 兰j 图2 1 商业智能体系结构 武汉理工大学硕士学位论文 商业智能体系结构可以指导商业智能系统的成功建立与实施,其建立和实 施过程可分为3 个主要的阶段【蚓: ( 1 ) 识别和确定数据源,进而进行数据仓库建模 在商业智能解决方案中,最重要也最基础的就是数据,商业智能的数据来 自众多不同的数据源,可以来自内部数据,也可以是外部来源。通过需求分析, 可以确定解决方案中的数据源,并在数据源基础之上根据业务逻辑需要建立起 数据仓库的逻辑和物理模型。 ( 2 ) 进行数据集成与存储管理,实现数据的抽取、转换与装载 数据仓库是商业智能中最为关键的技术之一,通过前瞻性地预测用户的需 求,把可能会用到的各个数据源中的数据集成到数据仓库中,为数据提供一个 全局的视图。在将数据装载到数据仓库之前,需要对数据执行e t l 过程,这一 过程最大程度地保证了装载到数据仓库中数据的质量,为后续在数据仓库基础 之上进行的数据分析提供了数据支持。数据仓库中数据质量的好坏直接影响了 最终分析的结果,对用户决策有着很大影响。 ( 3 ) 进行数据分析,生成报表为用户提高决策的数据支持。 在数据仓库的基础之上,利用各种数据分析和报表工具,应用数据挖掘, 神经网络等智能技术,结合各种商业逻辑,对数据进行分析,可提取出在数据 中隐含的、未知的但具有价值的潜在规律,实现商业智能中数据到知识的转换, 最终通过报表的方式展现给用户,从而为用户提供决策支持。 2 1 1 数据源 在商业智能解决方案中,无论是数据仓库的建立,还是在数据仓库基础之 上进行的数据分析,都离不开数据的支持。数据源是整个商业智能解决方案的 奠基石,没有了数据,方案也就成了无水之源。在商业智能解决方案中,数据 仓库将从众多不同数据源中提取数据。例如对于一个企业而言,则可能包含其 电子商务系统数据、e r p 数据、c r m 数据等等。总之,数据源具有分散性、异 构性等特点,各个数据源在存储格式、存储介质、度量单位等方面千差万别。 在商业智能系统中,其数据源根据组织形式不同可主要分为两个大的类别: ( 1 ) 结构化数据 结构化的数据是商业智能系统中传统意义上数据的主要来源,这类数据以 8 武汉理工大学硕士学位论文 一定的格式和结构组织起来,通常被存储在某一数据库系统中,或存储于数据 文件中。例如,一个企业的e r p 或c r m 数据库中的数据,用来表示某一领域 专业知识的元数据库中的数据,某种可供读取的数据文件中的数据,这都属于 结构化的数据,可作为商业智能系统的数据源。 ( 2 ) 半结构化w e b 数据 近十几年来,随着i n t e r n e t 的飞速发展与广泛应用,w e b 数据量正在以惊人 的速度不断增长。在这大量的信息资源中,其实蕴含着具有巨大潜在价值的知 识。但是相对于传统的结构化的数据而言,w e b 数据由于没有特定的模型描述, 各个站点的数据都独立设计,属于半结构化甚至是非结构化的。另外,网络上 的每个站点就是一个数据源,每个数据源都足异构的,站点问的信息和组织结 构各不相同,这构成了一个庞大的异构数据库环境。同时,w e b 数据还具有复 杂性、多样性以及动态性等特点【3 5 】。因此,w e b 数据虽然具有巨大潜在价值, 却很难得到有效利用,但是随着w e b 数据挖掘等网络技术的不断发展,w e b 数 据的价值正越来越被重视。 2 1 2 数据仓库 数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的、集成的、随时间变化的、 非易失性的主要用于决策支持的数据集合【蚓。利用数据仓库技术,可以动态将 异构系统中的数据抽取集成到一起,经过数据清理、转换之后加载到数据仓库 中,为用户提供一个一致的数据视图,为数据分析提供高质量的数据。数据仓 库相对于其数据源独立存在,数据仓库中的数据在载入之前经过了e t l 过程, 数据质量相对于普通事务性数据库更高,因此能够更加有效快捷的为用户提供 数据服务。 数据仓库的建立不必严格地参照传统关系数据库设计中的范式和e r 模型, 它是基于维度模型建模的。维度模型中的关键是用户所关心的可累加型的度量, 例如产品的销售利率、销售量等,所有相关的度将被存放在同一个事实表( f a c t t a b l e ) 中。事实表中各个度量的值随着相应事件的发生而改变。 同时,可以从不同的角度去看事实表中的度,例如,我们可以看产品的整 体销售利率,也可以看产品在每个销售区域的利率。这些不同的角度在数据仓 库中被称作维,维是一种描述型信息,被存放在维表中,数据仓库中的数据一 9 武汉理工大学硕士学位论文 般都是多维数据。 对于数据仓库而言,时间性是其一个显著的特点,其最重要的维就是时间 维。数据仓库中的数据是随时间变化的,这些数据都是一系列某一时刻所生成 数据的快照,每个数据单元都与时间有关。因为时间维的存在,可以以一种符 合真实世界的方式对事实表中的数据进行统计。例如,可以利用时间维来查看 上一年的销售总量,或者本季度相对上一季度的销售增长情况等。 数据仓库是一个独立的数据环境,需要通过e t l 过程将数据从联机事务处 理环境、外部数据源和脱机的数据存储介质导入到数据仓库中。e t l 作为b i d w 的核心和灵魂,能够按照统一的规则集成并提高数据的价值,足负责完成数据 从数据源向目标数据仓库转化的过程,足实施数据仓库的重要步骤。如果说数 据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么e t l 就是建 设大厦的过程。在整个系统的实施过程当中,最困难的部分是用户需求分析和 模型设计,而e t l 规则设计和实施则是工作量最大的,约占整个项目的6 0 - - 8 0 ,这是从国内外众多实践中得到的普遍共识。在技术上,e t l 主要涉及到关 联、转换、增量、调度和监控等几个方面;数据仓库系统中的数据不要求与联 机事务处理系统中数据实时同步,所以e t l 可以定时进行,允许具有一定的延 迟,但不同e t l 过程的操作时间、顺序和成败对数据仓库中信息的有效性至关 重要。 ( 1 ) 抽取 数据抽取是从数据源捕获数据的过程,可以通过如o d b c 、o l e d b 等数据 库访问接口来提取数据。数据仓库并不要求数据的实时性,数据抽取是周期性 运行的,如每天一次或每周一次。数据抽取主要有两种不同的抽取模式: 完全抽取:对源数据库的数据进行完全复制。该复制可能替换数据仓库中 的内容,及时在新的时间点上添加完整的新副本,或者与目标数据进行比较, 以便在目标中生成一条修改记录 增量抽取:捕获源数据库中被修改过的数据,如何捕获数据修改与数据源 本身是密切相关的,实际上是逐个实现的问题。 ( 2 ) 转换 数据转换首先对抽取的数据进行验证和清理,经过一系列操作,如数据类 型和数据格式的验证和转换,使得数据更加精确有意义,然后结合复杂的业务 逻辑、数据转换规则等将数据转换为满足数据仓库要求的数据。 1 0 武汉理工大学硕士学位论文 ( 3 ) 装载 数据装载将经过转换过后的数据通过s q l 标准i n s e r t u p d a t e d e l e t e 操作存 入到数据仓库对应的表中。对于事实表,数据装载的操作大部分都是利用i n s e r t 操作插入某一个时间范围内的数据;对于维度表,除了利用i n s e r t 插入数据外, 还可能会利用u p d a t e 操作去更新已有数据的属性。由于数据仓库本身保存历史 的特点,u p d a t e 和d e l e t e 操作极少会用到,因为这会覆盖历史记录。 2 1 3 数据分析 历史数据能对当f i 的决策产生有价值的指导,它能通过核心业务帮助人们 执行优化的商业运作,增长市场份额,培养客户忠峨度。数据仓库是一种用来 存储商业智能所需数据的常规结构。但如果存储在数据仓库中的数据不能转换 成决策制定者所需要的信息,它们就毫无用途。在商业智能中,数据分析正是 为了实现知识的提取而存在。根据数据分析的层次不同,主要可分为三种类型: ( 1 ) 信息处理:包括查询和基本的统计分析,如使用交叉表或图进行报表 的展示。 ( 2 ) 分析处理:支持基本的o l a p 操作,如上钻、下钻、旋转、切片和切 块等,其表现形式也以报表为主。 ( 3 ) 知识发现:是商业智能数据分析的第二个层次的应用,主要是指的数 据挖掘( d a t am i n i n g ,d m ) 技术,通过它可以找出隐藏的模式和关联,进行分 类和预测【3 7 j 。 目前,在商业智能的应用中,仍然以前两种类型的分析即信息处理和分析 处理为主,统计和报表还是商业智能系统的重点,但与此同时也应该充分认识 到的是,商业智能系统中的统计和报表与基于普通事务型数据库的统计和报表 有着本质的区别。在商业智能系统中,报表的数据来源不是关系型数据库,而 是综合企业众多数据源中的数据进行分析提取出的知识。同样是报表,商业智 能系统中的报表往往有很强的自定义功能和很强的表现能力f 3 引。 商业智能系统在数据分析阶段利用o l a p 数据库以多维形式存储和表示信 息。o l a p 是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中 转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快 速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。 武汉理丁大学硬l 。学位论文 o l a p 的目标是满足决策支持或者满足在多维环境下特定的查询和报表需 求,它的技术核心是“维”这个概念。“维”是人们观察客观世界的角度,是一 种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复 杂。通过把一个实体的多项重要的属性定义为多个维( d i m e n s i o n ) ,使用户能够 对不同维上的数据进行比较。因此o l a p 也可以说是多维数据分析工具的集合。 0 l a p 的基本多维分析操作有钻取( r o l lu p 和d r i l ld o w n ) 、切片( s l i c e ) 和切块( d i c e ) 、以及旋转( p i v o t ) 、d r i l l a c r o s s 、d r i l lt h r o t l g h 等。 2 2s o ls e r v e r2 0 0 5b i 解决方案 目前,商业智能已经成为微软产品线中不可或缺的一个部分,微软商业智 能产品线目前已经涵盖了其所有功能点。其中s q l s e r v e r 2 0 0 5 就提供了对商业 智能解决方案的完全支持,在s q l s e w e r2 0 0 5 中集成了商业智能相关的一系列 组件,如用于e t l 的s s i s 服务,用于数据分析的s s a s 服务以及用于生成报表 的s s r s 服务。s q l s e r v e r2 0 0 5 为商业智能项目的开发和管理也提供了完整的 支持,其中s q l s e r v e r m a n a g e m e n t s t u d i o 被用来进行商业智能项目的管理, b u s i n e s si n t e l l i g e n c ed e v e l o p m e n ts t u d i o 被用来进行项目的开发。s q l s e r v e r 2 0 0 5 中一个典型的商业智能解决方案框如图2 - 2 所示【3 q 。 图2 - 2s q l s e r v e r2 0 0 5 典型m 解决方案 ( 1 ) 数据库引擎( d a t a b a s e e n g i n e ) :s q l s e r v e r 2 0 0 5 数据库引擎提供了对 关系型数据库的支持。它是一个安全、可靠、可伸缩、高可用的数据库服务器。 数据库引擎在b i 体系结构中起着非常重要的作用,被用来存储经过e t l 过程后 得到的高质量数据,同时,s s a s 服务将在其之上建立o l a p 。 ( 2 ) 集成服务( i n t e g r a t i o n s e r v i c e s ,s s i s ) :s s i s 提供了数据e t l 服务, 可支持数据仓库和企业范围内数据集成的抽取、转换和装载能力,为数据仓库 武汉理工大学硕+ 学位论文 提供高质量的数据。另外,利用s s l s 还可完成一些管理性任务。利用集成服务 创建的e t l p a c h g c 通常由s q l a g e n tj o b 统调度执行。 ( 3 ) 分析服务( a n a l y s i ss e r v i c e s ,s s a s ) :s s a s 是微软s q l s e r v e r2 0 0 5 中的多维联机分析处理组件,它在商业智能分析方案中集成关系数据和o l a p 数据。联机分析处理功能町用于多维存储的大量、复杂的数据集的快速高级分 析。同时,s q l s e r v e r2 0 0 5 将数据挖掘也集成在了s s a s 中,处理之后的数据 可被存入多维数据集,供s s r s 报表利用。 ( 4 ) 报表服务( r e p o r t i n gs e r v i c e s ,s s r s ) :s s r s 提供了完整的报表解决 方案,可创建、管理和发布传统的、可答应的报表,也可创建交日竹、基十w e b 的报袁。s s r s 为用户提供一种b - s 模式的报表服务。用户可通过s s r s 服务器 据供的w e b s e r v i c e s 接口访问已定义好的各类报表。 2 3 s i s 的b i 解决方案 在深入分析、探讨商业智能的技术特点的基础上,结合s q l s e r v c r2 0 0 5 所 提供的商业智能解决方案,给出了股票信息系统中商业智能解决方案的架构如 图2 - 3 所示。 ( i 至 c l o s i n g p r i c et h e n1e l s e0e n d a si s e s t u p 这一逻辑可以在事实表s t o c k t r a n s a c t i o n f a c t 的基础之上创建相应的视图实 现,基于s t o c k t r a n s a c t i o n f a c t 创建的视图如下所示。 在创建o l a p 数据库时,首先需要定义数据源以及数据源视图( d a t as o u r c e 4 1 武汉理工大学硕士学位论文 e w ,d s v ) ,股票信息系统o l a p 数据库的数据源视图定义如图4 - 1 所示。 # 誊i = :“? :譬:氩= 警= _ ” 露嚣舞7 篇嚣| “。一薷参,! 謦鬻黪1 碧 畔暑挚 塑斛图i 鍪銎e 二一激| 鍪罗i ; 拣lf 蒜篇| “! 匪旧蒿兰f 喜彗鼍 r 单鳝i 肉 龋薰掣 尉 瞬蠢擎 图4 1o l a p 数据库的数据源视图 o l a p 数据库中c u b e 的m e 醛u r eg r o u p 和d i m e n s i o n 的定义都基于数据源 视图。在o l a p 数据库中定义的c u b e 结构如图4 - 2 所示。 武汉理工大学硕士学位论文 臼一辩正一| i 图4 - 2 0 l a p 数据库c u b e 结构 在s i s 的c u b e 中根据业务逻辑需要,创建了2 个m e a s u r eg r o u p ,分别 处理股评和股票交易数据。以处理股票交易数据的s t o c k t r a n s a c t i o n m e a s u r e g r o u p 为例,该g r o u p 中包含了3 个m c a s u r c :i s a c c u r a t e e s t u p c o u n t 、s t o c k t r a n s a c t i o n c o u n t ,l a s t l s e s t u p 。其中i s a c c u r a t e l 三s t
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 鸽大肠杆菌病的诊断与治疗
- 医疗机构新媒体运营与管理
- 预防常见病、传染病及食物中毒的措施
- 高血压病的健康教育课件
- 2027年宁夏高考二模英语押题密卷及答案
- 痔疮的中医理疗缓解措施
- 八年级道德与法治模拟卷(2027年寒假开学摸底考试)
- 医学教育国际化与本土化研究与实践
- 生物信息学与药物基因组学
- 2027年四川省中考适应性考试语文真题卷
- 2026福建福州旗山供水有限公司招聘2人考试模拟试题及答案解析
- 北京市朝阳区2026-2027学年度第一学期期中质量检测高三英语试卷(含答案)
- 2026山东省防疫安全协管员招聘考试(畜牧兽医)历年参考题库含答案详解
- 正大集团人才评估行测题目
- UL 9540A 2026 储能电池热失控传播测试标准中文版 模组防火试验规范
- 物业服务履约评价报告
- 光伏组件拆除方案
- 2026年出版社招聘考试面试题及参考答案
- 2025-2026学年江西省赣州市大余县部分高中高三上学期11月期中考试英语试题
- 小区物业消防安全培训课件
- 空乘课件教学课件
评论
0/150
提交评论