（计算机软件与理论专业论文）商业智能及其技术.pdf

摘要 伴随着全球经济一体化进程的加快，国内企业将面临来自国际大型跨国公司 的巨大竞争压力，企业所处的环境更加复杂多变，市场竞争趋向白热化，企业在 不断壮大自身的同时，其组织结构也变得越来越复杂。企业要想在这种环境下生 存和发展，就必须高效、正确的响应各种状况，这时候就需要一种手段来帮助企 业对经营过程中产生的数据进行收集、整理、分析以及评估，然后做出正确的预 测，从而实现从数据到信息、从信息到知识、从知识到利润的转化，这种手段就 是商业智能( b i ) 。 商业智能( b i ) 是在计算机软硬件、网络、通讯、决策等多种成熟技术的基 础上出现的，用于处理海量数据的一项技术。它需要从来源多样的数据资源( 数 据库、数据仓库、w e b 等) 中发现规律，而这将主要依赖数据仓库( d w ) ，联机 分析处理( o l a p ) ，数据挖掘( d m ) 等技术来实现。商业智能不仅用来辅助商业 活动作出快速反应，发现商务运营过程中存在的问题，加快知识的获取速度，满 足决策层对信息知识的时间性和准确性的要求。而且通过商业智能，能够把先进 的信息技术应用到整个企业、不仅为其提供信息获取能力，而且通过对信息的开 发，将其转变为企业的竞争优势。 本文在对国内外的商业智能发展情况进行充分研究的基础上，系统总结了商 业智能的研究背景、概念和发展现状，阐述了商业智能系统的体系架构和核心技 术，并通过案例详细介绍了商业智能的实际应用。 关键词：商业智能、数据仓库、数据挖掘、联机分析处理 a b s t r a c t a c c o m p a n y i n gw i t ht h ea c c e l e r a t e dg l o b a l e c o n o m yi n t e g r a t i o nc o u r s e t h e d o m e s t i ce n t e r p r i s ew i l lb ec o n f r o n t e dw i t he n o r m o u sc o m p e t i n g p r e s s u r et h a tc o m e s f r o mt h ei n t e r n a t i o n a ll a r g e s c a l em u l t i n a t i o n a lc o r p o r a t i o n ，s ot h ee n v i r o m n e n t2 0 t a l o n gb ye n t e r p r i s ei se s p e c i a l l yc o m p l i c a t e da n dc h a n g e f u l ，m a r k e tc o m p e t i f f o nt e n d s t ot u r n i n gw h i t e - h o t ，w h o s ef r a m e w o r ko f o r g a n i z a t i o na l s ob e c o m e s m o r ea n dm o r e c o m p l i c a t e dw h i l ee n t e r p r i s ee x p a n d i n go n e s e l f u n c e a s i n g l y e n t e r p r i s en e e d st ow a n tt oe x i s ta n dd e v e l o pu n d e rt h i se n v i r o 舳e n t i ti s n e c e s s a r yh i g h 。e f f e c ta n dc o r r e c t r e s p o n d i n gt ov a r i o u ss i t u a t i o n ，t h i sm o m e n t r e q u l r e st h a to n ek i n do ft h em e a n s h e l p se n t e r p r i s et om a n a g et h ed a t ab yc o l l e c t i n g ， a ir a n g l n g ，a n a l y z i n ga sw e l la sa p p r a i s i n g ，a n dt h e nc a r r i e so u tt h ec o l l r e c tf o r e c a s t t h e r e b yc o m et r u et h ec o n v e r s i o nf r o md a t at o i n f o r m a t i o n ，f r o mi n f o m a t i o nt o k n o w l e d g e ，f r o mk n o w l e d g et op r o f i t ，t h i sm e t h o di sc o m m e r c i a li n t e l l i g e n c ef b i ) c o m m e r c ei n t e l l i g e n c e ( b i ) i st oa p p e a ro nv a r i o u sm a t u r e t e c h n o l o g yb a s e s s u c ha sc o m p u t e rs o f t h a r d w a r e ，n e t w o r k ，c o m m u n i c a t i o n ，d e c i s i o n m a k i n g ，i so n e l t e mt e c h n o l o g yu s e df o rh a n d l i n gm a g n a n i m o u sd a t a i t r e q u i r e st od i s c o v e r i n gt h e 1 a wf r o mt h ev a r i o u sd a t ar e s o u r c e ( d a t ab a s e ，d a t aw a r e h o u s e ，w e be t c ) ，a n d t h i s w l l lb e m a i n l yd e p e n d e n to nt h ed a t a s t o r e h o u s e ( d w ) ，o n l i n ea n a l y t i c a l p r o c e s s i n g ( o l a p ) ，d a t am i n i n g ( d m ) n o to n l yc o m m e r c ei n t e l l i g e n c ei su s e dt oa s s i s t c o m m e r c ea c t i v i t vt om a k ea q u i c kr e s p o n s e ，t od i s c o v e rb u s i n e s sa f f a i r s ，t oa c c e l e r a t e sk n o w l e d g e g a i n t os a t i s f y a e c l s l o n m a k i n gs t r a t at e m p o r a l i t ya n da c c u r a c yd e m a n do ft i e r t oi n f o n n a t i o n k n o w l e d g e b u ta l s ob yc o m m e r c ei n t e l l i g e n c e ，b ea b l et oa p p l ya d v a n c e di tt oe n t i r e e n t e r p r i s e ，g a i na na b i l i t yt op r o v i d ei n f o r m a t i o n ，a n db yt h e e x p l o i t a t i o nt o i n f o r m a t i o n ，c h a n g ei ti n t ot h ee n t e r p r i s ec o m p e t i t i v ee d g e o nt h eb a s i so ff u l lr e s e a r c ht ot h ed o m e s t i ca n df o r e i g nc o n l m e r c i a li n t e l l i g e n c e d e v e l o p m e n ts i t u a t i o n ，t h i sa r t i c l eh a ss u m m e du pc o m m e r c ei n t e l l i g e n c er e s e a r c h b a c k g r o u n d ，c o n c e p ta n dp r e s e n ts i t u a t i o n ，h a ss e tf o r t hc o m m e r c e i n t e l l i g e n t s y s t e m ss y s t e mf r a m ea n d k e yt e c h n o l o g y , h a si n t r o d u c e dt h ec o m m e r c i a l i n t e l l i g e n c ep r a c t i c a la p p l i c a t i o nb yt h ec a s ei nd e t a i l k e yw o r d s ：b u s i n e s si n t e l l i g e n c e ，d a t aw a r e h o u s e ，o l a p , d a t a m i n i n g 附：学位论文原创性声明和关于学位论文使用授权的声明 原创性芦明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究曾做出重要贡献的个人和集体，均己在文中以明确方式标明毛本人 完全意识到本声明的法律责任由本人承担。 论文作者签名： 日 关于学位论文使用授权的声明 本人完全了解贵州大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权贵州大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：垒渤导师签名 第1 章绪论 1 1 研究背景 从全球范围来看，商业智能( b i ) 已经成为最具有前景的信息化领域。从国 内来看，商业智能已经被越来越多的企业管理者所认识，其中包括金融、电信、 保险、能源、零售等行业的决策者，商业智能已经成为这些行业信息化建设的重 中之重。据c h i n a b i 统计，2 0 0 7 年中国大陆地区( 不含港、澳、台) 的b i 市场 份额约为2 0 亿元人民币，同比2 0 0 6 年增长3 5 ，其中b i 产品许可证约为9 亿 元人民币；b i 系统集成( 不包括许可证) 约为1 1 亿元人民币。现有b i 厂商包括产 品提供商、集成商、分销商、服务商等有近5 0 0 家，包括各行业从业人员在内约 为8 万人。在未来几年内商业智能市场需求旺盛，市场规模增长迅速。 商业智能( b i ) 为什么受到目前国内外企业界和软件界如此广泛的关注? 可 以用两点来回答这种热点出现的原因：首先、信息技术的高速发展带来了企业利 用信息技术提高本身竞争力的巨大空问：信息技术不但使企业获取需要的信息， 而且，促进企业对信息的再利用，以此营造企业的竞争优势：其次、i t 界许多以 提供软件平台和工具平台的大公司通过多年与企业的交流，已经认识到企业对商 业智能的迫切需求，纷纷加入到从事商业智能的研究与开发上来。i b m 建立了专 门从事b i 方案设计的研究中心，s a s 、o r a c l e 、微软等公司纷纷推出了支持b i 开发和应用的软件系统，有的直接进入了b i 的开发领域。 目前，商业智能及其技术的理念以及它们可能为企业、事业和政府所带来的 经济效益和管理水平的提高已经得到部分认可。但由于b i 目前尚处于从起步阶 段到发展阶段的转型时期，国内许多企业决策者对b i 及其技术尚处于观望状态， 甚至许多人对b i 的理解存在一定的偏差。很多人认为b i 仅仅是一个进行数据分 析的软件包，一些较为悲观的人认为b i 是存在于理想家头脑中的、企业永远不 可能达到的境界。据市场研究机构i d c 发布2 0 0 7 年标志性研究报告表明，全球 企业的业务决策制定正处在一个关键的十字路口，而商业智能( b i ) 技术现已成为 导致领先企业与普通企业差异化的重要因素。如何利用技术来构建和实施商业智 能，使企业的决策者能够对企业信息进行有效、合理地分析和处理，并为生产决 策提供可靠的依据，是我们亟待解决的问题。 1 2 研究目的和意义 企业资源规划( e i 冲) 、销售终端( p o s ) 、市场调查、供应商、客户、网络、 政府部门等都在不断地往我们的桌面上添加信息，实际上平均每1 8 个月信息量 就翻一番，但是能分析的数据究竟有多少呢? 有些项目专家估计目前被利用的数 据只有5 1 0 ，并且我们能分析的数据仅限于数据库中的数据。那么怎样j 能把大量的数据转换成可靠的、商用的信息以增加利润和市场份额，这已成为企 业和i t 界关注的问题。 2 0 0 7 年，市场研究机构i d c 对市场领先企业和普通企业在使用b i 技术以支 持决策制定方面的差距做了量化。有6 6 的市场领先企业将其管理层对b i 投资 需求的理解评为优秀，而普通企业的这一比例仅为1 5 。领先企业更倾向于在运 营第一线使用b i 技术，并将其推广到客户和供应商。由此看出，优秀企业意识 到商业智能应用于商业活动中的积极作用，也就是技术服务于企业决策，并愈加 拉大与普通企业的距离。 商业智能是随着i n t e r n e t 的高速发展和企业信息化的不断深入而产生的。b i 使得企业的决策者能够对企业信息进行有效、合理地分析和处理，为生产决策 提供可靠的依据。很多人以为b i 是新兴的技术和理念，应用也刚刚开始。然而 事实并非如此，b i 早已在潜移默化中渗透到了企业的应用中去，像金蝶和用友 的财务软件很早就加入了智能分析的功能，只不过没有将其单独区分开来。当然 b i 的功能决不仅仅是财务智能分析，企业中的各项业务都可以通过b i 系统进行 分析。 本文首先系统地诠释了b i 的概念，从多方面总结了b i 具有的特点、功能及 实施流程，接着分析了b i 的研究内容及其技术。为了让读者更加清晰了解b i 及其技术，本文用案例讨论了b i 的实施过程，最后，本文分析了b i 面临的机遇 以及制约b i 健康发展的若干因素，希望能对尝试了解和实施商业智能的用户得 到一些启示和帮助。 1 3 国内外研究现状 近年来，商业智能技术日趋成熟，越来越多的企业决策者意识到需要商业智 能来保持和提升企业竞争力。在美国，5 0 0 强企业里面已经有9 0 以上的企业利 用企业管理和商业智能软件帮助管理者做出决策。国外己经有很多成功实施商业 2 智能的案例。我国的商业智能研究和发展尚处于导入期，商业智能应用的程度和 实际效果都与国外企业有很大差距。近年来，国内外商业智能供应商和高等院校 都开展了广泛的商业智能的基础研究和应用研究。 在2 0 0 6 年中国数据管理技术应用年会上，赛迪顾问发布了( 2 0 0 5 2 0 0 6 中国 数据管理技术应用软件市场研究年度报告，该报告显示，商业智能作为整体数 据管理技术应用软件市场中发展最快的一个领域，其在中国市场销售额的增长率 己超过5 0 。然而，在这一组高速的发展数字背后，赛迪顾问的分析师却发现， 中外企业在商业智能软件的实施和应用水平上已经具有了相当大的差距，目前在 中国，由于尚未形成一套统一且能够与国际接轨的评判标准，使企业几乎很难去 评估商业智能项目的成败。从表面现象来看，这主要是由于中国企业的需求层次 不高所导致的，但如果再往更深层次去探讨，那么可以看到，管理模式的差异才 是导致中外差距的最根本原因。 当前商业智能的研究热点和技术走势如下： 研究热点：( 1 ) 集成的商业智能体系研究；( 2 ) 商业智能的预测功能；( 3 ) 商业智能网络的研究；( 4 ) 决策支持工具的研究；( 5 ) 企业建模方法研究；( 6 ) 信息的收集与获取研究。 技术走势：据c h i n a b i 观察，技术走势主要有3 个方向：企业级b i ( e n t e r p r i s e b i ) 、操作型b i ( o p e r m i o n a lb i ) 、数据挖掘、主数据管t _ 里( m a s t e rd a t am a n a g e m e n t ) 。 随着商业智能需求日益扩大，各技术开发商竞争越演越烈，2 0 0 7 年，o r a c l e 以 3 3 亿美元收购h y p e r i o ns o l u t i o n s ，s a p 以6 8 亿美元收购b u s i n e s so b j e c t s ，i b m 以5 0 亿美元收购c o g n o s 。一系列的并购改变了市场格局，今后的b i 软件市场 将由i b m 、o r a c l e 、s a p 、m i c r o s o f t 统治，除此之外s a s 、i n f o r m a t i c a 、m i c r o s t r a t e g y 等专业b i 厂商对b i 发展的引领作用将越来越明显。目前国内b i 厂商占据中国 b i 市场分额的3 6 ，其中国内b i 许可证的销售金额只占全部b i 许可证的6 。 1 4 论文创新点及主要工作 商业智能可以说是一个智能决策支持系统，它不是一种产品或服务，从某种 意义上商业智能是一种概念或者一种商业理念。论文通过商业智能应用案例，主 要阐述了如何在数据仓库的基础上，利用联机事务分析( o l a p ) 和数据挖掘获 取商业信息、以辅助和支持商业决策的全过程。通过商业智能，用户能充分地了 解他们的产品、服务、客户以及销售趋势，为企业带来竞争优势和提高商业利润。 本文的主要工作如下： 第1 章简要介绍了商业智能的研究背景，研究原因及主要工作。 第2 章对商业智能及其技术做概述。 第3 章商业智能的三种核心技术详细分析。 第4 章商业智能的案例实现。 第5 章是结束语，对全篇论文做了总结，探讨了以后的努力方向。 4 第2 章商业智能概述 2 1 商业智能定义 商业智能( b u s i n e s si n t e l l i g e n c e ，简称b i ) 的概念最早是g a r t n e rg r o u p 的 h o w a r dd r e s n e r 于1 9 9 6 年提出来的，我国学者将之翻译为”商业智能”或”商务智 能”，本文选用”商业智能”作为b u s i n e s si n t e l l i g e n c e 的中文翻译。当时将商业智 能定义为一类由数据仓库( 或数据集市) 、查询报表、数据分析、数据挖掘、数 据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。 2 0 0 7 年，国内国外普遍加深了对b i 的理解。g a r t n e r 商业智能峰会重定义了 b i ，视b i 为一个伞状的概念，它包括了分析应用、基础架构和平台以及良好的 实践。此举印证也进一步引导b i 实现着三个转折：从数据驱动转向业务驱动、从 关注技术转向关注应用、从关注工具转向关注工具产生的绩效。其实质是b i 以 业务为驱动，根据商业策略及其所需要的分析以运用数据。认识的转变对技术的 研发有着重大的指导作用。 2 2 商业智能的特点及核心技术 商业智能，首先是基于信息的大规模生产和数据库技术的运用。目前，商业 智能具有如下特点： 1 、即时性 传统手工数掘处理，从数掘收集、整理到分类、汇总，都需要经历漫长的 时问过程。但是，商业智能使用的技术，可以实时地从业务系统中获得最新的数 据。在对时间性敏感的决策分析中，这点尤其重要。 2 、准确性 在准确性方面，因为计算机数据处理，避免了手工操作中存在的失误，所 以计算结果是绝对准确和可靠的。 当然，这其中会存在因为业务逻辑关系的缺失而导致的错误，即程序中设定 的限制条件不充分而导致数据失误。所以，对待重要的决策信息，应同时建立数 据核对机制，以保证建立在即时信息的准确性基础上的决策的f 确。 3 、自动化 商业智能，包括一个数据抽取、转换、装载( e t l ) 的过程，这个过程可以 5 按照用户的要求，设定e t l 的时间和周期，因此，整个基础数据的获得、数据 的处理，以及数据的展现，都是一个自动化的过程，无需手工参与。使用者每同 甚至每时获得的信息，都可以是最新数据。这就为决策分析信息提供者的工作带 来了极大的便利。 4 、灵活性 决策支持的展现方式灵活多样，充分体现了智能的特点。 对于初级阶段分析的展示，可以使用图标和图形的方式。譬如结构百分比， 可以使用饼图、三维饼图的方式；对于趋势百分比、同比、定比、环比，可以使 用折线图、柱状图等；对于k p i 指标，可以使用仪表盘管理；其他的散点图、 泡泡图等，都可以根据实际业务的需要而建立。 在图表数据方面，可以进行数据的钻取、旋转和切片操作。当需要进一步了 解明细数据的时候，需要使用数据钻取功能，当需要从不同的角度观测数据以发 现数据变动规律时，需要利用多维数据的旋转功能，而当需要关注特定数据的时 候，可以对特定区域的数据进行切片分析。商业智能分析的灵活性，建立在分析 模型设计时周全的考虑。 从商业智能系统建立的技术角度来看，构建一个完整的商业智能系统涉及到 以下几种核心技术： 数据仓库( d a t aw a r e h o u s i n g ) 联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ，简称o l a p ) 数据挖掘( d a t am i n i n g ) 数据仓库主要是对分散在不同系统的数据进行收集、整理和分析，用于克服 常常出现的信息孤岛问题，使机构对客户和自己内部有一个完整、准确的理解， 更好地服务于客户，有效的管理内部。它是管理信息的基础工程，是企业和政府 走向智能管理的关键和基石。联机分析处理和数据挖掘是数据仓库上获取两种不 同的数据增值技术，将这两类技术在一定程度上融合，会使分析操作智能化，使 挖掘操作目标化，从而全面提高商业智能技术的实用价值，一方面，联机分析技 术可以为数据挖掘提供预期的挖掘对象和目标，避免挖掘的盲目性。另一方面， 数据挖掘技术可以使联机分析处理智能化，减少分析人员的负担。把联机分析处 理技术和数据挖掘技术进行融合和互补，将是商业智能技术发展的未来走向。 6 2 3 商业智能的体系结构及构建流程 商业智能所涉及的数据包括来自企业业务系统的订单、库存、交易账目、客 户和供应商资料及来自企业所处行业和竞争对手的数据，以及来自企业所处的其 他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既可以是操作层 的，也可以是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓 库、联机分析处理( o l a p ) 工具和数据挖掘等技术。因此，从技术层面上讲， 商业智能并不是基础技术或者产品技术，它是数据仓库、联机分析处理o l a p ( o n l i n e a n a l y t i c a lp r o c e s s i n g ) 和数据挖掘等相关技术走向商业应用后形成的一 种应用技术，其系统架构如图2 1 所示： 臣圈 三， 二! 堕 二h 囝 图2 - 1 商业智能系统架构图 从图中可以看到，实现商业智能应用有4 个十分关键的环节，包括数据源、 e t l 过程、数据仓库及其应用和b i 前端展现四个主要阶段。 1 、数据源，数据仓库系统的数据来源主要是外部的操作性应用系统，这些 数据源包括数据的业务含义和业务规则，表达业务数据的表、字段、视图、列和 索引。 2 、e t l 过程，e t l 过程即抽取( e x t r a c t i o n ) 、转换( t r a n s f o r m a t i o n ) 和装 载( l o a d ) 。e t l 过程负责将业务系统中各种关系型数据、外部数据、遗留数据 和其他相关数据经过清洗、转化和整理后放进中心数据仓库。 3 、数据仓库及其应用，数据仓库是商业智能系统的基础，是面向主题的、 集成的、稳定的和随时间不断变化的数据集合。通过联机在线分析处理( o l a p ) 。 可以对数据仓库中多维数据的钻取、切片及旋转等分析动作，可以完成决策支持 需要的查询及报表。通过数据挖掘( d m ) ，可以挖掘数据背后隐藏的知识，通 过关联分析、聚类和分类等方法建立分析模型，预测企业未来发展趋势和将要面 临的问题。 4 、b i 前端展现，在海量数据和分析手段增多的情况下，b i 前端展现主要保 障系统分析结果的可视化。一般认为数据仓库、o l a p 和数据挖掘技术是商业智 能的三大核心技术。 最后，决策者通过正确运用商业智能，将使用结果加以反馈。通过反馈，可 以暴露出潜在的问题，同时，也可以根据情况变化，表达新的需求，提高商业智 能流程内在质量的提高。 2 4 商业智能行业应用 1 、电子商务 分析商品销售，协助改善网站经营状况；实时分析客户行为、消费倾向，从 而实施更具针对性和高效的商业战略；帮助决策者优化经营模式、发现新市场， 提高用户忠诚度。 2 、零售业 商业智能在零售业中有如下一些应用： 预测：对需求进行预测，根据预测结果更好地管理库存。 营销：对顾客数据进行分析，从而不仅了解卖掉了什么，同时了解“谁”买 了什么，实现由消费者“拉动的营销。 产品销售模式：某种产品的销售特点，不同产品之间的关联关系，作为进货 和商店御局的参考。 3 、保险业 商业智能在保险业中有如下一些应用： 理赔分析：根据险种、保单持有人、理赔类型以及其它特征分析理赔趋势， 以确定准备金的数量，理焙分析可以帮助识别保险欺诈。 顾客利润率分析：分别按不同的品种、不同的地区、不同的代理人、不同的 客户群的服务的成本和所得到的收益进行量化分析，找出利润率差异的原因，以 利用丌发新品种、对于已有品种进行客户化改进并识别能带来高利润率的顾客。 客户价值分析：顾客利润率不是评价顾客对于保险公司价值的唯一指标，也 许一个顾客具备在将来购买高利润率保险产品的潜力，也许会成为很好的高利润 率顾客的介绍人，因此要考虑顾客在与保险公司打交道的整个过程中的价值。 客户划分：将有各种共同特征的客户划分为不同的客户群，掌握其需求和产 品的使用模式，以分别确定营销方案；分析委托人的利润率，识别机会，改进服 务。 风险分析：了解引入新险种和发展新客户的风险。识别高风险客户群和能带 来机会的客户群，减少理赔频率。 4 、金融和证券业 商业智能在金融和证券业中有如下一些应用： 顾客利润率分析：了解各个顾客在当自仃的和长远的利润率。使尽量提高对于 高价值顾客的销售，减少用于低价值顾客的成本。 信用管理：了解各种产品的信用状况，建立不同顾客群的信用模式，及早帮 助顾客避免信用问题的发生，预测信用政策变化所产生的影响，减少信用损失； 5 、电信业 商业智能在电信业中有如下一些应用： 用户划分：分析用户使用电信产品的历史数据，进行用户呼叫行为分析，提 供个性化服务和有效的激励手段： 需求分析：分析用户各种产品使用及其花费数据，深入了解顾客对于新产品 和服务的需求，对于通信网络投资、定价和竞争性进行分析。 6 、制造业 商业智能在制造业中有如下一些应用： 市场营销：提供面向顾客的交易数据，实现由消费者“拉”动的营销； 预测：( 同零售业) ： 采购分析：掌握供应商的成本、供货及时性等因素； 2 5 商业智能的促进作用 9 1 、促进e r p 、s c m 、c r m 应用软件规范使用 对于超市里诸如销售员业绩分析、销售订单与收款对比分析，需要应用软件 在设计上做出调整，以便在信息录入的过程中就记录下其间的关联关系。 又譬如，某些e r p 软件中的产品成本信息只能归集到产品大类的级别，无 法真实记录和归集每个产品的成本信息。在这种情况下，企业的替代做法是将大 类产品成本数据，按照一个标准( 如明细产品的重量或者金额) 划分到每个明细 产品中去。这是按照假设使用了一个可以接受的核算方法。但是，如果改进e r p 软件的核算机制，完全有可能将产品成本的记录明细到单个产品上。 对于零售业的客户会员信息，企业也可以采取一些相关措施，如对真实信息 实行积分奖励的办法，促进消费者提供真实的信息。 正是由于商业智能分析软件的运用，才会认识到企业应用系统中存在的问 题，才会有针对性地改进和完善。 2 、发现企业隐藏的问题 由于大量数据可以被及时和准确地提供，企业运营中的异常数据，即便是不 使用数据挖掘技术，也可以很及时地被发现。 如超市旱的销售毛利率异常波动、库存商品呆滞期过长、应收帐款呆账需要 及时处理、超过信用额度的销售发货等等，都是容易被隐藏的经营情况。 3 、辅助工作人员提高工作效率 事实上，商业智能分析报表不仅仅局限于决策支持。在商业智能分析过程中， 很多报表其实是为普通操作者服务的。特别是对于需要向公司领导层提供报告的 操作者，需要很多企业经营方面的报表数据作为原材料。 目前的e r p 系统中，查询报表很不方便，客户一旦有新的查询需求，就需 要软件公司提供二次开发。 但是只要用户提供了可能的查询角度，则商业智能分析系统中就可以存在相 应的查询报表，可以在用户需要的时候，只通过简单操作即可实现。 2 6 影响商业智能解决方案的因素 商业智能利用数据仓库技术，o l a p 和数据挖掘技术不断发现新的知识，扩 充到现有的企业知识中来。但就目前国内企业应用现状和算法实现上来看，制约 知识发现的因素较多，同时也影响了b i 的性能。 1 0 1 、基础数据建设不完善 对于小企业来说，使用诸如e r p 、s c m 、c r m 等在线交易系统的时f 白j 还不 长，系统内存储的数据量还不是很大。但随着信息化的发展，中型企业基本上已 经是比较成熟的e r p 用户了。正是进行商业智能分析的大好时机。 一般来说，基础数据的不完善，存在着这样2 方面情况： 首先，是数据之间缺乏关联关系。 譬如希望分析采购订单与收货记录，以考核交货及时率，但是系统的数据库 表中并不存在采购订单与入库验收单之间的关联；希望考核销售员业绩，但是系 统的数据库表中不存在销售订单与销售员之间的关联关系。这些关联关系，都是 在在线交易系统使用过程中实时录入的，同后维护工作极大也不可行。 其次，是数据不真实。 譬如超市对销售客户的分析。为了分析客户的购买习惯，需要按照客户的性 别、年龄、家庭住址与超市的距离、家庭收入、家庭成员数等进行分类，但是， 实际客户填写的资料并非是真实的。据此分析的结论显然不会真实。 2 、智能决策程度不高 由于目前中小型企业在扩张过程中，往往存在管理滞后的现象，以数据支持 决策的工作还没有得到成熟的阶段。所以目前阶段的商业智能分析，仍然处于收 集数据、分类汇总、及时展现的初级阶段。 目前的一些大型企业的商业智能项目，其项目实现的目标并不实用，它们仅 仅是实现了会计的三大报表( 资产负债表、损益表、现金流量表) ，以及预算与 实际的对比，而在预算与实际对比的系统运用中，并不如理想中的方便。有的企 业的商业智能分析软件，是提供一个接口，让操作者在e x c e l 电子表中制作相应 格式的报表，然后定期导入到智能分析软件中，完全丧失了软件的自动化功能。 所以，中小企业应该以务实的念度来对待商业智能分析系统。应该通过商业 智能分析，决策者看到报表数据，立刻可以决定下一步的行动计划。决策者所需 要的，仅仅是及时提供数据准确的报表。 3 、系统智能不能很好实现 现有数据挖掘算法大多尚不成熟，效率较低。另外，作为b i 数据基础的数 据仓库或数据集市中数据量一般比较大，新知识形成的速度和准确性比较低，致 使现有的b i 系统在知识发现方面的能力不能满足用户要求。 4 、系统工具缺乏 目前大多数b i 系统功能集中在数据分析方面，如数据查询、报表、o l a p 、 数据可视化，很少有丌发商在系统中配有知识发现工具。因此，功能比较集中， 更深一层次的要求无法满足。 5 、用户需求不明确 大多数企业用户对商业智能的认知还比较有限，如何准确定位这些企业的需 求，激发其对于商业智能应用的意识? 企业决定实施商业智能的项目，需要具备多个条件。字串5 企业信息化的建设已有一定的基础； 一对科学决策有一定的认识和需求； 一对实施自 后应该带来的变化有一个初步的预估。 然而国内的大多数企业离这些要求还有一定的距离，在认识的层次上还有待 提高。随着商业智能领域的扩大，应该有效地引导新客户在这方面的需求，扩大 市场范围，从长远来看有利于商业智能的发展和提高。 6 、标准的不统一 目前由于商业智能应用尚处于初期，许多概念并不清晰明确。就算是商业智 能这个概念本身，不同的业界人士都会有不同的解读，更不用说大多数对这个领 域知之甚少的企业决策者。企业在实施商业智能项目的时候，可能会遇到由于 该行业发展良莠不齐而导致的损害，企业投资却得不到应有的回报等问题。字 串5 以历史上e r p 和b p r 的开发应用以及大面积的失败率为鉴，商业智能领域 急需未雨绸缪，建立统一的商业智能的理念和实施标准，这也是在商业智能发展 路上所面临的一个巨大的挑战。 第3 章商业智能技术 3 1 数据仓库( d w ) 3 1 1 数据仓库定义 数据仓库之父b i l li n m o n 在1 9 9 1 年出版的“b u ii d in gt h ed a t a w a r e h o u s e ”一书中所提出的定义被广泛接受：数据仓库( d a t aw a r e h o u s e ) 是 一个面向主题的( s u b j e c to r i e n t e d ) 、集成的( i n t e g r a t e d ) 、相对稳定的 ( n o n v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) 的数据集合，用于支持管理 决策( d e c is io nm a k i n gs u p p o r t ) 。 对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支 持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据 仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史 数据，而且存放在数据仓库中的数据一般不再修改。 3 1 2 数据仓库特点： l 、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统 之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个 抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通 常与多个操作型信息系统相关。 2 、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数 据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的 数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源 数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信 息。 3 、相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时 发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是 数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是 数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的 加载、刷新。 4 、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点( 如开始 应用数据仓库的时点) 到目前的各个阶段的信息，通过这些信息，可以对企业的 发展历程和未来趋势做出定量分析和预测。 企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基 础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供 他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息 加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任 务。因此，从产业界的角度看，数据仓库建设是一个工程，也是一个过程。 3 1 - 3 数据仓库体系结构： 一般来说，大公司或企业内存在着各种各样的信息系统，这些应用驱动的操 作型信息系统为企业不同的业务系统服务，具有不同接口和不同的数据表示方 法，互相孤立。利用数据仓库技术可以动态地将各个异构系统中的数据抽取集成 到一起，进行清洗、转换等处理之后加载到数据仓库中，通过周期性的刷新，为 用户提供一个统一的干净的数据视图，为数据分析提供一个高质量的数据源。 整个数据仓库系统是一个包含四个层次的体系结构，具体由图3 一l 表示。 芒j 芒3 e 3 眵 戮掘绛 芒3 韵绣工覆 蔓丑鬣谰互巽 j _ 醚爱芝工段 。蹙烈、由昕工冀 璺毒圆中签， 魏瓣复希 ：盹a p 嚼务貉： 图3 - 1 数据仓库系统架构图 数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内 部信息和外部信息。内部信息包括存放于r d b m s 中的各种业务处理数据和各类文 档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等； 数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数 据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也 1 4 决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的 核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进 行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围 可以分为企业级数据仓库和部门级数据仓库( 通常称为“数据集市”) 。 o l a p 服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以 便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：r o l a p 、m o l a p 和h o l a p 。r o l a p 基本数据和聚合数据均存放在r d b m s 之中；m o l a p 基本数据和 聚合数据均存放于多维数据库中；h o l a p 基本数据存放于r d b m s 之中，聚合数据 存放于多维数据库中。 前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工 具以及各种基于数据仓库或数据集市的应用丌发工具。其中数据分析工具主要针 对o l a p 服务器，报表工具、数据挖掘工具主要针对数据仓库。 数据仓库不会是一个完善的提供战略信息的软件或者硬件产品，而是一个用 户可以从中找到战略信息的计算环境。在这个环境中，用户可以通过与数据的直 接接触来做出更好的决策。它是一个以用户为中心的环境。 3 1 4 数据仓库的功能 一般来说，大公司或企业内存在着各种各样的信息系统，这些应用驱动的操 作型信息系统为企业不同的业务系统服务，具有不同接口和不同的数据表示方 法，互相孤立。利用数据仓库技术可以动态地将各个异构系统中的数据抽取集成 到一起，进行清洗、转换等处理之后加载到数据仓库中，通过周期性的刷新，为 用户提供一个统一的干净的数据视图，为数据分析提供一个高质量的数据源。 就其在商业智能过程中的作用而言，数据仓库具有以下功能： 1 、数据建模2 、数据抽取3 、数据转换4 、数据装载5 、数据清洗检验6 、 查询和报表7 、o l a p8 、内部的中间件9 、自身的管理维护 3 2 联机分析处理( o l a p ) 3 2 1 联机分析处理( o l a p ) 定义 对于数据仓库中的数据，可以使用一些增强的查询和报表工具进行复杂的查 询和即时的报表制作，可以利用o l a p 技术从多种角度对业务数据进行多方面的 汇总统计计算，还可以利用数据挖掘技术自动发现其中隐含的有用信息。 联机分析处理( o l a p ) 最早由a r b o r 软件公司的e f c o d d 于1 9 9 3 年提出， 他在为分析型用户提供o l a p 工具：信息技术的新需求首次区分了面向事务 处理的o l t p 系统和面向分析处理的o l a p 系统，并为o l a p 确定了诸如多维概念 视图、透明性、存取能力等1 2 条规则。这些规则可概括为业务应用和技术应用 这两类。其中多维概念视图，以多角度观察数据的方式方便了业务类用户带着解 决问题的假设以及自己解决问题的逻辑推理的思维过程，也就是说，o l a p 分析 提供了用户在演绎型思考中前提、逻辑两个步骤中所需的帮助，因此它有助于提 高用户分析结果的准确性。可见，o l a p 分析工具是综合分析层次的工具之一。 3 2 2o l t p 和o l a p 的比较 当今的数据处理大致可以分成两大类：联机事务处理o l t p ( o n - 1i n e t r a n s a c t i o np r o c e s s i n g ) 、联机分析处理o l a p ( o n l i n ea n a l y t i c a l p r o c e s s i n g ) 。o l t p 是传统的关系型数据库的主要应用，主要是基本的、日常的 事务处理。o l a p 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策 支持，并且提供直观易懂的查询结果。图3 2 列出了o l t p 与o l a p 之间的比较。 1 6 o l f po l a p 甬户 操作人员，支持日常操作 决策人员，高级管