（计算机软件与理论专业论文）基于商务智能的借用国外贷款决策系统的实现.pdf

太原理工大学硕士研究生学位论文 基于商务智能的借用国外贷款决策系统的实现 摘要 随着科技信息技术的发展，电子政务系统在我国得n t 快速的发展。我 们利用信息技术生产和搜集数据的能力得到了大幅度的提高，各级政府部 门、机构开发出了成千上万数据库，数据呈指数级地增长，数据类型也变 得越来越复杂。我们存储了大量的历史信息数据，假如仍然按照传统的手段 来处理海量的数据和复杂的数据，依靠主观的经验判断来进行决策、制定 计划，这是不合适宜的。 借用国外贷款是改革开放以来，我国利用外资的重要形式之一。多年 来通过不断扩大借用国外贷款的数量、方式和渠道，扩大了我国同国际问 的交往，加深了彼此的沟通与了解；各级管理部门通过借用国外贷款项目 的实施，学习和借鉴各国在经济发展方面的理念、丰富的实践管理经验， 提高了项目管理水平；通过借用国外贷款，有助于促进国际间的资本流动、 优化资源配置、引进先进技术，在推进经济管理体制改革、适应市场经济 的要求、缩小各个地区间的差距等方面发挥了积极作用。随着世界经济的 发展、市场竞争的不断加剧，如何将过去的海量数据利用起来，从现有系统 中提取有用的数据信息，及时准确地将信息提供给决策人，为决策分析提 供帮助，发挥国外贷款的积极作用，成为一个紧迫而复杂的课题。 借用国外贷款决策系统结合山西省借用国外贷款2 5 年回顾与总结项 太原理工大学硕士研究生学位论文 目，运用商务智能解决方案来解决电子政务决策分析的问题。它将源数据 库系统中的原始数据经过抽取、清洗、转换，加载到数据仓库中，构成面 向主题的、集成的、反映历史变化的数据仓库，有效地实现各类信息的整 合、共享，实现及时准确的贷款分析，为决策提供及时可靠的参考信息依 据；运用o l a p 和数据挖掘技术将现有的数据转化为知识，帮助管理层做出 明智的决策。使我们在经济的快速发展中，不断的适应国内外环境的变化， 做出快速而准确的管理决策，将科学发展观全面落到实处。 将商务智能解决方案应用于决策系统是现在较为普遍的做法。本文以 借用国外贷款决策系统为例，介绍了建立借用国外贷款决策系统的意义和 作用，详细阐述了系统的设计与实现过程。主要研究内容有：从当前的众 多软件开发平台里，选择出一套适合子本项目需求的解决方案；结合国外 贷款知识对系统进行了详细的分析，包括需求分析、体系结构、各个功能 模块分析；具体阐述了从源数据管理系统的实现，到e t l 过程，确定数据 仓库的主题域，构建数据仓库。并在此基础上进行o l a p 、d m 开发，最后通 过前端开发以j s p 的方式实现了这些功能；分析了b i 实施过程中易出现的 问题，并对以后研究工作和发展方向的提出了展望 关键字：商务智能，数据仓库，e 亿在线联机分析 太原理工大学硕士研究生学位论文 i m 口l e 正n t a t i o no f d e c i s i o ns u p p o r ts y s t e m i ne x t e r n a i ，b o r r o 州gi nl o a n s b a s e do n b i a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n i q u e ，e - g o v e r n m e n to b t a i n e d t h ef a s td e v e l o p m e n ti no u rc o u r l t t y t h ea b i l i t yo ft h ei n f o r m a t i o nt e c h n o l o g y p r o d u c t i o na n dc o l l e c t i o nd a t ao b t a i n e dt h el a r g es c a l ee n h a n c e m e n t a l ll e v e l s o fg o v e m m e md e p a r t m e n t sa n do r g a n i z a t i o n sd e v e l o p e dt e n so ft h o u s a n d so f d a m b 瓣s ，t h ed a t ag r e wb ye x p o n e n t i a lo r d e r , a n dt h ed a t at y p ea l s ob e c a m e m o r ea n dm o r ec o m p l e x w es t o r e dt h em a s s i v eh i s t o r i c a li n f o r m a t i o nd a t a i f w es t i l lu s et h et r a d i t i o n a lm e t h o dt op r o c e s st h em a g n a n i m o u sc o m p l e xd a t a a n dd e p e n ds u b j e c t i v ee x 删e n c et od e c i d e ，i ti sn o t p r o p e r e x t e r n a lb o r r o w i n gi nl o a n si so n eo ft h ei m p o r t a n tf o r m so f u s i n gf o r e i g n f u n d si no u rc o u n t r ys i n c er e f o r ma n do p e n n e s s b ye x p a n d i n gs c a l eo fe x t e r n a l b o r r o w i n gi nl o a n su n c e a s i n g l yf o rm a n yy e a r s w eh a v ee x p a n d e da s s o c i a t i o n w i t hf o r e i g na n dh a v ed e e p e n e dc o m m u n i c a t i o ne a c ho t h 甑b yp u t t i n gt h e i i i 太原理工大学硕士研究生学位论文 p r o j e c ti n t oe f f e c t ，a l lo ft h ev a r i o u sl e v e l sa d m i n i s t r a t i v ed e p a r t m e n t sh a v e s t u d i e di d e ai nt h ef i e l do fe c o n o m i cg r o w t ho fe v e r yc o u n t r y , a n dp r a c t i c e m a n a g e r i a le x p e r i e n c e b ye x t e r n a lb o r r o w i n gi nl o a n s ，i th e l p e dp r o m o t i n g t h e m o v e m e n t so fi n t e r n a t i o n a lf u n d s ，o p t i m i z i n gt h ea l l o c a t i o no fr e s o u r c e s ， i m p o r t i n gt h e a d v a n c e dt e c h n o l o g y w i t ht h ed e v e l o p m e n to ft h ew o r l d e c o n o m ya n d t h ea g g r a v a t i n go fm a r k e tc o m p e t i t i o n , h o wt oa b s t r a c tu s e f u ld a t a i n f o r m a t i o nf r o ma v a i l a b l es y s t e m , a n dp u te x t e r n a lb o r r o w i n gi nl o a n si n t oa p o s i t i v ee f f e c t , h a sb e c a m e a l lu r g e n ta n d c o m p l i c a t e dp r o b l e m t h ed e c i s i o ns u p p o r ts y s t e mi ne x t e r n a lb o r r o w i n gi nl o a n ss u c c e e d e di n a p p l y i n gt ot h ep r o j e c to ft h er e v i e wa n ds a l l l n a l yo ne x t e 删b o r r o w i n gi n l o a n si ns h a n x ip r o v i n c ef o r2 5y e a r s i tu s e sb it od e a lw i t ht h ep r o b l e mo f e - g o v e r n m e n td e c i s i o ns u p p o r t i te x t r a c t s ，c l e a n sa n dt r a n s f o r m so r i g i n a ld a t a f r o ms o u r c ed a t a b a s ea n dl o a d si tt od a t a w a r e h o u s e , c o m p o s i n g s u b j e c t - o r i e n t e d , i n t e g r a t e da n dt i m e v a r i a n td a t ao r g a n i z i n gs t y l e ，i ti se a s yt o a n a l y z ea n dd e a lw i 廿1 i tt r a n s f o r m st h ee x i s t i n gd a t at ok n o w l e d g e 。h e l p s e x e c u t i v e st od e c i s i o n so rd r a wu pa p l a n d u r i n gt h ed e v e l o p m e n to fe c o n o m y , i tm a k e sa st og r a s pt h ec h a n g e so fv a r i a b l ei n t e r n a t i o n a le n v i r o n m e n t , m a k e p r o m p t a n de x a c td e c i s i o n , a n d i m p l e m e n tt h e s c i e n t i f i co u t l o o ko n d e v e l o p m e n t n o wb ia p p l i e dt ot h ed e c i s i o ns u p p o r ts y s t e mi sc o m m o n t h i sp a p e r t a k e st h ee x a m p l eo f d e c i s i o ns u p p o r ts y s t e mi ne x t e r n a lb o r r o w i n gi nl o a n s i t i n t r o d u c e st h es i g n i f i c a n c ea n de f f e c to fb u i l d i n gt h i ss y s t e m i te l a b o r a t e st h e 太原理工大学硕士研究生学位论文 s y s t e m a t i cd e s i g na n dr e a l i z i n gp r o c e s s t h em a i nc o n t e n ti sa sf o l l o w s ：t h ef i r s t i sc h o o s i n gas o l u t i o nt h a ti ss u i t a b l et ot h ep r o j e c tf r o mal o to fs o f i w a r e d e v e l o p i n gp l a t f o r m s t h es e c o n di sc a r r 蜘go u td e t a i l e da n a l y s i sf o rt h e s y s t e m , i n c l u d i n gd e m a n da n a l y s i s ，s y s t e ms t r u c t u r ea n de a c hf u n c t i o n sa n a l y s i s t h e 1 _ 耐e l a b o r a t e sh o wt ob u i l ds o u r c ed a t am a n a g e m e n ts y s t e m ，e t l ，b u i l d d a t aw a r e h o u s e ，a n di m p l e m e n tt h eo l a pa n dd m t h el a s tr e a l i z e st h e s e f u n c t i o n st h r o u g hj s p i ta n a l y s e st h ei n c i d e n t a lp r o b l e md u r i n gt h eb ip r o c e s s ， a n dc o n c l u d e sw i t has e r i e so f v i s t a so f w o r ka n dr e s e a r c hi nt h ef u t u r e k e y w o r d s ：b i ，d a t aw a r e h o u s e ，e t l ，o l a p v 声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下。 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本盅明的 法律责任由本人承担。 做作者签名：么蛩魄 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定。其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的。 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) o 签名：么圣量隗 导师签名：趑笸 日期： 太原理工大学硕士研究生学位论文 1 1 课题研究背景 第一章绪论 当前，世界已经进入知识经济时代，信息化的浪潮正在席卷全球为了适应时代潮 流，在更大目的上是为了提高社会的效率、减少资源的浪费、方便人们的生活。从大量 数据中提取信息来辅助决策显得越来越重要，各国政府积极推动社会的信息化进程，包 括政府信息化、教育信息化、企业信息化等内容。据i b m 公司的测算，目前许多企业花 费昂贵代价建立起来的数据库，真正有用的只有7 ，问题就在于怎样发现那些真正有 用的信息。政府部门虽然不比企业有大量的销售、客户和供应商信息。但是政务方面的 信息量也很庞大，对多年积累下来的业务数据的整理也是一项繁杂的工作，如何高效、 准确地提取数据，提高决策的科学性和规范性，以达到提高政府办公效率、促进经济发 展的目的，这就需要科学的方法和工具。解决“信息庞大，知识贫乏”问题，使政府的 决策者能有效地从收集和捕获到的数据中获得有用的信息，并用于决策，以获得最大效 益，是当前各部门都在研究的问题。借用国外贷款作为对外开放的有机组成部分，弥补 了国内建设资金不足，拉动了投资，促进了产业结构调整和技术进步，提高了项目的管 理水平，推进了改革开放、市场化进程，为我国的可持续发展做出了巨大的贡献，为我 国社会主义现代化建设起到了子传播，示范带动，媒介催化作用。我国借用国外贷款工 作历经了2 5 个年头。通过借用国外贷款，有力地促进了我国国民经济和社会事业的发 展，促进了我国经济体制改革和对外开放。为了能够更好的发挥国外贷款对我国经济建 设的促进作用，国家发改委发改办外资 2 0 0 5 2 7 1 4 号通知要求，各省、自治区、直辖 市、计划单列市发展改革委、国务院有关部门，以及中央管理企业组织开展借用国外贷 款2 5 年回顾与总结工作山西省发改委按照通知要求，积极组织人力，成立项目 工作组认真地开展这项工作。为了能够快速、有效的获取数据，对数据进行深层的分析、 挖掘，积极的总结山西省这2 5 年来国外贷款的基本情况，分析借用国外贷款的发展规 律及结构、特点，发现其中的分布状况，根据项目要求开发适用于借用国外贷款的决策 系统，使山西省发改委高效、高质的完成回顾总结工作，认真深入地总结2 5 年来借用 国外贷款的经验教训，为今后山西省借用国外贷款工作打下了基础【l j 。 太原理工大学硕士研究生学位论文 1 2 课题研究意义 电子政务决策支持系统是在分析了历史数据后，为政府决策提供有效支持。它具有 以下几个特点：一，去除大量不必要的数据，有效获得和正确取舍不同部门和机构的信 息、决策经验、专家意见等信息。要整合地区经济、科技、人文、社会、环境等信息资 源，并通过对地区各种信息进行实时、动态的综合处理和分析，为政府制定整体发展战 略、优化规划等全局性宏观决策提供科学依据，为领导决策提供服务。二，具备足够的 数据分析能力。电子政务的决策支持过程是一个从非结构化数据中抽取结构化信息，再 提供非结构化决策分析结果的过程。在这个过程中最重要的是中间环节是抽取结构化信 息。政府决策不是一个看数字下结论的过程，而是一个运用了多个合理的专家模型和经 验模型的理性分析过程。因此，电子政务系统要为决策者提供一个良好的决策环境，要 为决策者提供进行科学决策所必须的工具，能够利用电子计算机进行信息收集、存储、 加工和处理，模拟不同的决策方案，提供给决策者进行优化和选择。三，政务决策支持 过程是一个分布式过程。政务决策工作在跨区域、跨行业，各个部门领导在分布式的大 环境里，根据各区域或部门实际情况进行综合和判断，进而进行政策制定。政务决策支 持系统本身是建立在电子政务平台上的，利用各区域，部门政务信息系统提供政务信息 和数据，在网上进行决策分析 2 1 。 借用国外贷款的决策系统作为电子政务决策支持系统的一部分，它的研究成功满足 了山西省借用国外贷款2 5 年回顾与总结工作的要求，解决了借用国外贷款数据的查询、 统计、分析及预测问题，帮助掌握借用国外贷款的规律、特点，分析并预测借用国外贷 款的走势，推测其背后的原因，发现工作中存在的问题。它为制定决策提供支持，使决 策者能够及时的调整方针、政策，发挥国外贷款对我国经济建设的积极作用起帮助作用。 它在避免了过去人工收集处理数据等烦琐工作的同时，由于整个工作无须人为操作，也 保证了分析过程的安全性和真实性，使决策者根据真实状况做出决策决定 将商务智能( b i ) 套件应用于电子政务决策支持系统的实现，是一次积极有意义的 尝试。b i 系统从不同的数据源搜集的数据中提取有用的数据，e t l 工具对这些数据进行 清洗，以确保数据的正确性，然后对数据进行转换、重构等操作后，将其存入数据仓库 中；以数据仓库为依托，o l a p 工具实现对数据的多维分析，使信息变为辅助决策的知 识，并将知识以适当的方式展示在决策者面前，删工具对数据挖掘做出预测，发现规 2 太原理工大学硕士研究生学位论文 律，为决策提供依据供决策者运筹帷幄。探索出一条比较实用而且可行的解决方案，成 功的实现基于b s 模式的数据仓库、数据挖掘系统及o l a p 系统，实现客户端与数据仓 库的动态连接，并实现数据灵活地呈现给决策者【，】1 4 】。 通过本课题研究，从理论和实践上提供一套有效的方法和工具，为利用商务智能解 决方案全面进行数据仓库、知识挖掘、决策支持系统的研究与开发提供参考。政府部门 l 成功地建立数据仓库，不仅能有效地提高历史数据利用率和信息利用能力，。而且能全面 提高政府部门决策对社会经济发展的促进作用，推动政府部门决策者决策水平的提高。 1 3 国内外研究现状 自上世纪7 0 年代提出决策支持系统( d s s ) 以来，d s s 已经得到了很大发展。它是在 管理信息系统( m i s ) 基础上发展起来的m i s 是利用数据库技术实现各级管理的管理业 务，在计算机上进行各种事务处理工作。d s s 则是要以各级管理者提供辅助决策的能力。 1 9 8 0 年s p r a g u e 提出了决策支持系统三部件结构，即对话部件、数据部件( 数据库 d b 和数据库管理系统d b i s ) 、模型部件( 模型库岫和模型库管理系统惦h i s ) 。该结构明 确了d s s 的组成，也间接地反映了d s s 的关键技术。即模型库管理系统、部件接口、系 统综合集成。它为d s s 的发展起到了很大的推动作用。 8 0 年代末9 0 年代初，决策支持系统与专家系统结合起来，形成了智能决策系统 ( i d s s ) 。专家系统是定性分析辅助决策，它和以定量分析辅助决策的决策支持系统结合， 进一步提高了辅助决策能力。智能决策支持系统是决策支持系统发展的一个新阶段 数据仓库和o l a p 是9 0 年代初提出的概念，到9 0 年代中期已经形成潮流。在美国， 数据仓库已成为紧次于i n t e r n e t 之后的又一技术热点。数据仓库是市场激烈竞争的产 物，它的目标是达到有效的决策支持大型企业几乎都建立或计划建立自己的数据仓库， 数据库厂商也纷纷推出自己的数据仓库软件。目前，已建立和使用的数据仓库应用系统 取得了明显的经济效益，在市场竞争中显示了强劲的活力 9 0 年代中期从人工智能、机器学习中发展起来的数据挖掘，是从数据库、数据仓 库中挖掘有用的知识，其知识的形式有产生式规则、决策树、数据集、公式等对知识 的推理即形成智能模型，它是以定性分析方式辅助决策的。数据开采的方法和技术包括 决策树方法、神经网络方法、粗集方法、概念树方法、遗传算法、公式发现、统计分析 方法、模糊论方法、可视化技术。 3 查堕里三盔兰堡主堡塞皇兰垡堡壅 把数据仓库、o l a p 、数据挖掘、模型库结合起来形成的综合决策支持系统，是更高 级形式的决策支持系统。其中数据仓库能够实现对决策主题数据的存储和综合，o l a p 实现多维数据分析，数据挖掘用以挖掘数据库和数据仓库中的知识，模型库实现多个广 义模型的组合辅助决策，专家系统利用知识推理进行定性分析。它们集成的综合决策支 持系统，将相互补充、相互依赖，发挥各自的辅助决策优势，实现更有效的辅助决射”。 美国权威i t 顾问咨询公司g a r t n e rg r o u p 于1 9 9 6 年提出商业智能是一j 同用数据仓 库、联机分析处理和数据挖掘等先进方法和技术将企业的数据转变为业竞争优势的信息 开发，能使企业领导依靠其对市场变化的掌控能力和敏锐的洞察力，真正了解自身的运 营状况，做出符合市场未来发展方向的经营决策。商业智能已成为目前企业信息化的热 点、国内外企业界和学术界的研究方向。d s s 是b i 的一部分，b i 是一种商业方案，它 的功能更为强大，更实用化。它的提出为决策分析系统的实现提供了解决方案，许多以 提供软件平台和工具平台的大型i t 公司通过多年与企业的交流，已经认识到企业对商 业智能的迫切需求，纷纷加入到从事商业智能的研究与开发上来。据i d c ( i n t e r n a t i o n a l d a t ac o r p ) 最新的研究报告称，2 0 0 6 年商业智能系统的市场规模将翻倍且在世界范围 超过1 4 0 亿美元，而亚太地区b i 解决方案市场将达3 3 亿美元，这是2 0 0 5 年市场价值 1 2 亿美元的近3 倍。 有h y p e r i o n ，i n f o r m a t i c a ，m i c r o s t r a t e g y ，b u s i n e s so b j e c t s ，c o g n o s 等国际 知名的传统的商业智能软件厂商，包括o r a c l e 、i b m 、s a p 、微软等公司也纷纷推出了 支持b i 开发和应用的软件系统。据市场分析员介绍，b i 已经成了企业信息技术最为重 要并且极具潜力的领域。在国外已有很多实旌商业智能的成功案例：a t & tu n i v e r s a l 公司通过部署商业智能解决方案，每年减少信用卡欺诈额高达8 0 0 1 万美元；c a d b u r y 巧克力公司借助商业智能使市场份额很快从2 8 提升到了3 0 ；美国第二大银行花 旗银行( c i t i b a n k ) 在b i 系统的帮助下，能够有效分析其分布于5 7 个国家的客户和信息。 在国内，商业智能的应用方面还处于刚刚起步阶段，但它的需求潜力巨大。在过去几年 里，博科、金蝶、用友等公司也发布了相关的b i 产品。这些国内厂商一方面同国际商 业智能软件厂商建立良好的合作关系以维持发展；另一方面也在积极提升产品和解决方 案的内在品质，向客户提供更完美的决策支持服务。在国内，将b i 应用于电子政务管 理决策也不乏成功的案例，如国家烟草总局，国家审计署，商务部都在利用商务智能方 案来实施分析，决策工作。 4 太原理工大学硕士研究生学位论文 b i 以数据为基础，所以b i 最早应用于金融、保险、电信等行业，而b i 在政务系 统的应用还很少，有很大的发展空闻。目前国内的b i 应用仍然存在许多闯题，主要表 现在数据分析、知识发现能力、效率低，或者缺乏知识发现，而更像一个操作型应用系 统。很难在决策支持方面发挥b i 应有的作用。首先应该认识到b i 发展、应用的总体趋 势，其次多借鉴国外b i 成熟的技术和方法，开发或不断完善真正意义上的b i 系统。希 望借用国外贷款的决策系统对电子政务b i 系统的研究与开发会有所启发。 1 4 论文安排 论文全文可以分为以下几个部分。 第一部分为第一章，这个部分主要对论文的课题研究背景、课题研究意义、相关的 研究状况和整篇论文的结构作简单介绍，让读者对本课题的研究内容及相关背景有一个 总体的印象。 第二部分为第二章和第三章，这个部分对于本课题所涉及的基础理论及采用的相关 工具技术作了全面的分析，第二章概述了商务智能的概念、特点，介绍了它所包含的数 据仓库的概念、特点和结构，o l a p 的内容、实现方法和数据挖掘的分类及过程，深入 探讨了它们之间的关系商务智能是一个新的概念，它所提出的解决方案又是采用了许 多大家所不熟悉的工具、环境，而开发环境的选择还是我们工作的重点，所以在第三章 着重介绍了采用的工具及其技术特点。数据建模工具p o w e rd e s i g n e r ，开发编程软件 j d e v e l o p e r ，工作流软件o r a c l ew o r k f l o w ，新的j 2 e e 技术a d f 架构，以及o r a c l e 公司 提出的商务智能解决方案包括：数据仓库o r a c l ed a t a b a s e ，数据仓库开发工具o r a c l e w a r e h o u s eb u i l d e r ，o l a p 开发工具o r a c l eb u s i n e s si n t e l l i g e n c eb e a n s ，数据挖掘 工具o r a c l ed a t am i n i n g 。 第三部分为第四、五章，这个部分是借用国外贷款决策分析系统的分析、设计与实 现部分。第四章全面的介绍了该系统的分析过程包括了系统开发前的需求分析，功能分 析，具体的各个部分源数据管理模块分析、数据仓库分析、o l a p 多维分析、数据挖掘 分析，还有系统的体系结构，最后分析了系统实现的难点。第五章阐述了系统的实现过 程及其具体的方法，从源数据管理模块的实现，数据仓库的创建，到o l a p 模块的开发、 数据挖掘功能的开发。详细的介绍了数据仓库的设计和e t l 过程。 最后是第六章，对系统的开发工作进行了总结，分析了系统的不足之处，并对以后 5 太原理工大学硕士研究生学位论文 的发展进行了展望。 论文的研究重点是：一从现行种类繁多的集成工具中选择可行的符合系统开发要 求的一套解决方案。二根据借用国外贷款2 5 年回顾与总结工作要求，对该系统进行详 细的分析设计。三研究数据仓库的构建，前端的o l a p 展现的实施过程。 6 太原理工大学硕士研究生学位论文 2 。1 引言 第二章商务智能 商务智能也称作b i ，是英文单词b u s i n e s si n t e l l i g e n c e 的缩写。商务智能通常 被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自 企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商 业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。 为了将数据转化为知识，需要利用数据仓库、联机分析处理( o l a p ) 工具和数据挖掘等 技术。因此，从技术层面上讲，商业智能是数据仓库、o l , m o 和数据挖掘等技术的综合 运用。 商务智能有三种比较典型的定义：( i d c ) 将商务智能解决方案定义为帮助企业跟踪、 分析、模拟和预测他们自己的业务过程以及他们的客户、供应商和合作伙伴关系的解决 方案。( 企业界) 认为b i 是指一种通过智能地使用企业的数据财产来制定更好的商务决 策能力。( 学术界) b i 是帮助企业提高决策能力和运营能力的概念、方法、过程以及软 件的集合，其主要目标是将企业所掌握的信息转换成竞争优势，提高企业决策能力、决 策效率、决策准确性【6 1 。 它主要包括以下三个部分： ( 1 ) 信息处理：支持查询和基本的统计分析( 使用交叉表，图表或者图进行报表的 展示等) ； ( 2 ) 分析处理：支持基本的o l a p 操作( 上钻，下钻，旋转，切片，切块等) ； ( 3 ) 知识发现：支持数据挖掘，如：找出隐藏的模式和关联，进行分类和预测，构 造分析模型以及数据可视化等： 商务智能不是一个单纯的产品，而是一个解决方案。它是代表为提高企业运营性能 而采用的一系列方法、技术和软件的总和，是帮助企业提高决策能力和运营能力的概念、 方法、过程以及软件的集合。 7 太原理工大学硕士研究生学位论文 2 2 数据仓库( d a t aw a r e h o u s e ) 2 2 1 数据仓库概念与特点 数据仓库系统是商业智能应用的核心，它是整个系统存储和管理数据和信息的地 方。著名的数据仓库专家w h i n m o n 在其著作 b u i l d i n gt h ed a t aw a r e h o u s e 一书 中给予如下描述：数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c to r i e n t e d ) 、 集成的( i n t e g r a t e ) 、相对稳定的( n o n - v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) 的数 据集合，用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解，首先， 数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库。其 次，数据仓库是对多个异构的数据源有效集成集成后按照主题进行了重组，并包含历 史数据，而且存放在数据仓库中的数据一般不再修改川。 数据库与数据仓库比较如下： 袁2 - i t j i b l e 2 1 数据库( 操作型数据) 数据仓库( 分析型数据) 细节的综合的、提炼的 在存取瞬间是准确的代表过去的数据 可更新的不可更新的 操作需求事先知道 操作需求事先不知道 生命周期符合s d l c生命周期完全不同 对性能要求高 对性能要求宽松 一个时刻操作一单元 一个时刻操作一集合 事物驱动分析驱动 面向应用面向主题 一次操作数据量小 一次操作数据量大 支持日常事务 支持管理需求 数据仓库拥有以下四个特点： 8 查堡里三盔兰堡主堡壅生堂垡丝苎 ( 1 ) 面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各 自分离，而数据仓库中的数据是按照一定的主题域进行组织； ( 2 ) 集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上 经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内 的信息是关于整个企业的一致的全局信息； ( 3 ) 相对稳定的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主 要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数 据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷 新； ( 4 ) 反映历史变化。数据仓库中的数据通常包含历史信息，系统记录了企业从过去 某一时点( 如开始应用数据仓库的时点) 到目前的各个阶段的信息，通过这些信息，可以 对企业的发展历程和未来趋势做出定量分析和预测； 2 2 2 数据仓库结构 数据仓库系统一般是由数据获取、数据仓库管理和查询分析工具三大部分组成的 在数据仓库体系中，数据的流程从后台处理开始，经过中间的存储管理，以前台的用户 访问工具结束，其他如数据仓库管理工具、安全系统、元数据等则贯穿整个流程馐嗍。 图2 - 1 数据仓库体系结构 f i 鲫他2 - 1 皿es t r u c t u r eo f d , 毗aw a , e h o u s e 9 奎堕里三查兰堡主堑壅圭兰垡丝塞 在数据仓库体系结构中，后端的数据获取部分，确定数据抽取规则和方法，从外部 数据源获取数据，经过数据抽取、清理、转换和集成后装载到数据仓库中：中间的数据 存储和管理部分，利用d b m s 的功能，负责数据仓库的管理，包括数据存储组织、数据 维护、数据分发等；前端的查询分析工具部分，面向决策用户，通过查询检索、多维分 析和数据挖掘等工具实现提取信息、分析数据和挖掘数据，以统一的、集成的和丰富的 信息来支持企业决策。 ( 1 ) 数据获取：是数据仓库系统的基础，是整个系统的数据源泉，通常包括企业内部 操作型数据源和其他外部数据源。内部操作型数据源包括存放于数据库中的各种业务处 理数据和各类文件数据；外部数据源包括各类法律法规、市场信息和竞争对手的信息等 等； ( 2 ) 数据仓库管理：这个部分是整个数据仓库系统的核心，负责数据仓库的内部维护 和管理。其提供的服务包括数据存储的组织、数据的维护、数据仓库的维护等。数据仓 库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形 式； ( 3 ) 查询分析工具：主要包括各种报表工具、查询工具、数据分析工具( o l a p ) 、数 据挖掘( 叫) 工具以及各种基于数据仓库或数据集市的应用开发工具，能面向不同种类 的最终用户满足用户的各种决策要求。其中数据分析工具主要针对o l a p 服务器，报表 工具、数据挖掘工具主要针对数据仓库。 2 2 3 元数据介绍 元数据是关于数据的数据，是管理商业智能系统的数据，其主要部分类似于数据字 典。在数据仓库中，元数据扮演着很重要的角色。构建元数据库及实现高效的元数据管 理，在一个成功的数据仓库系统中是必不可少的 整个数据仓库的组织结构由元数据来组织，它不包含任何业务数据库中实际的业务 数据内容。其内容贯穿了商业智能应用的各阶段，记录着从e t l 到分析展现各个阶段和 各组成部分的管理信息。在系统管理上，试图提供统一的平台对元数据进行管理和维护， 并通过元数据的状态驱动系统各部分的运转。以概念、主题、集团或层次等形式建立了 数据仓库中的信息结构，用于描述整个册的组织从数据仓库管理人员来看，元数据 是在数据仓库中所有内容和所有处理过程中的一个全面的仓库和文件；从最终用户的观 1 0 太原理工大学硕士研究生学位论文 点来看，元数据是数据仓库中所有信息的路标。只要是支持和管理数据仓库操作的任何 所需的信息，元数据都包括【1 0 1 。具体来说，可有以下内容： ( 1 ) 数据仓库数据源的信息，包括现有的操作型数据、历史数据及外部数据； ( 2 ) 数据模型信息，如仓库中的表名、关键字、属性、仓库模式、视图、维等； ( 3 ) 操作型环境向数据仓库环境的映射关系，包括源数据及其内容，安全性等； ( 4 ) 操作元数据，如抽取历史、访问模式、仓库使用统计和审计跟踪等； ( 5 ) 汇总用的算法，包括度量和维定义算法，数据粒度、聚集、汇总、预定义的查 询和报告； ( 6 ) 商业元数据，包括商业术语和定义、数据所有者信息和收费策略等。不过，元 数据的概念在数据仓库业界尚未拥有一个统一的标准，各个数据仓库厂商的产品间元数 据也是不能够互通的。 元数据就象一座桥梁，将数据仓库中的数据和用户有机的结合了起来，它不仅在整 个数据仓库系统，而且在整个决策支持系统中，都有着重要的作用。u l 】 2 2 4 数据集市 数据集市( d a t am a r t ) 数据集市存储了由数据仓库来的，经过裁剪和归整的数据， 这些数据针对某个业务部门或某种业务分析应用而建立。数据集市与数据仓库的差别不 只是数据量的大小而已。事实上，数据仓库是企业级的，能为整个企业各个部门的运行 提供决策支持手段。而数据集市则是一种微型的数据仓库，它通常有更少的数据。更少 的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管 理人员服务，因此也称之为部门级数据仓库。数据仓库是大型的数据处理系统，它的建 立需要大量的资金、时间和不同组织间的合作，而且投资风险也大而数据集市可作为 建立数据仓库的过渡项目，针对某一具体部门，如财务、销售、生产部门，建立专门的 具有数据仓库特征的数据管理系统，这些系统只涉及到较少的使用者、资金和数据，在 较短的时间内就可建设完成，实现投资的回收。同时这种小型系统又是开放的，可添 加的，当数据仓库技术发展更成熟，建立数据仓库的各种条件更具备时，就可把各种数 据集市融合为大型的数据仓库。 数据集市一般都对数据进行了各种层次的汇总，并建立多维分析的模型，同时也包 括了数据采样。数据集市的存储主要有关系数据库和多维数据库。其中，多维数据库存 太原理工大学硕士研究生学位论文 放多维分析数据，而关系数据库则存储星型模式。数据集市就相当于数据仓库多层结构 中的部门级数据仓库、小型的、面向部门或者工作组的数据仓库。不同的数据集市可以 按业务的分类来组织，也可以按数据仓库的主题或者地域分布来组织。 2 2 5 数据转化饵r l ) 数据转化是数据仓库建立的核心过程。它按照统一的规则集成和整合并提高数据的 价值，负责完成数据从数据源向目标数据仓库转化的过程，负责增量维护数据仓库的驱 动力，是保障数据仓库数据质量的关键，是实施数据仓库的重要步骤。 e t l 分别是三个单词首字母的缩写( e x t r a c t ，t r a n s f o r m ，l o a d ) ，也就是抽取、 转换、装载。e t l 包含了三个方面，首先是“抽取”：将数据从各种原始的业务系统中 读取出来，包括将数据从0 l t p 系统、脱机存储介质和外部数据源等处获取、导入到数 据仓库中，这是所有工作的前提。其次是。清洗和转换”：按照预先设计好的规则将抽 取出来的数据进行清洗和转换，使不合法的数据被清洗掉，纠正不符合要求的数据，使 本来合法异构的数据的格式能够统一起来。最后是“装载一：将经过整理、清洗、转换 和集成以后得到的一致性数据，按计划一次性全部或增量的导入到数据仓库中装载数 据一般应该在操作系统空闲时进行。在系统实现时一般采用数据抽取工具和应用编程实 现，并拥有调度管理和控制功能。 囤2 - 2b t l 勰图 f i g u r e2 - 2t h ef l o wc h a r to f e t l 2 3 联机分析处理( o l a p ) 联机分析处理是商业智能应用涉及数据和信息的展现部分，它是用户使用商业智能 系统的界面。目前的商业智能系统一般提供以下两类功能：1 、客观呈现用户想要信息。 如查询和报表、联机分析处理( 0 l a p ) 。2 、对数据进行进一步的分析，发现新知识，如 1 2 奎堕里三查兰堡主旦塞皇堂竺堡塞 数据挖掘和数理统计等。 当今的数据处理大致可以分成两大类：联机事务处理o l t p 和联机分析处理o l a p 。 o l t p ( o n l i n et r a n s a c t i o np r o c e s s i n g ) 传统的企业数据库系统( 管理信息系统) 即联机 事务处理系统，是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理， 例如银行交易。o l a p 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支 持，并且提供直观易懂的查询结果。o l a p ( o n - l i n ea n a l y t i c a lp r o c e s s i n g ) ：联机分析 处理又称多维分析，1 9 9 3 年，关系数据库之父e f c o d d 在( p r o v i d i n go i a