商业智能(BI)解决方案

1、IBM公司数据仓库/商业智能解决方案目录第一章 概述.1第二章 商业智能综述.22.1商业智能基本结构.22.1.1IBM 数据仓库架构 .32.1.2数据仓库：用于抽取、整合、分布、存储有用的信息. 42.1.3多维分析：全方位了解现状 .42.1.4前台分析工.具52.1.5数据挖掘.52.2商业智能方案实施原则 .52.2.1分阶段、循序渐进的原则 .52.2.2实用原则.62.2.3知识原则6.第三章 XXX 公司 BI 系统方案 .73.1XXX公司 BI 系统的需求分析 .73.2IBM的解决方案.73.3建议架构.9第四章 所选 IBM 产品简介 .114.1 DB2 UDB.1

2、14.1.1概述： DB2 家族 (Family) 与 DB2 通用数据库 (UDB) V.2DB2 通用数据库 (UDB) V7.2 的特色 .4.1.3DB2 通用数据库 (UDB) 的其他先进功能 .4.2 DB2W AREHOUSE M ANAGER (数据仓库管理器 ) .4.2.1DB2 Warehouse Manager的主要部件 .4.2.2数据抽取、转换和加载(ETL) 功能 .4.2.3元数据 (Meta Data) 管理.4.2.4DB2 Warehouse Manager的其它技术特点 .4.3 IBMOLAP S ERVER ( 多维数据库服务器 ).4

3、.3.1DB2 OLAP Server引擎.4.3.2DB2 OLAP Server各个附件 .4.3.3 DB2 OLAP Server与 DB2 Warehouse Manager集成 .4.3.4DB2 OLAP Server支持的前端工具 .NALYZER4.4 DB2 OLAP.4.5 数据挖掘工具（ IBMINTELLIGENT M INER ） .4.5.1数据挖掘的实现方法 .11122226262731313333343636373738IBM公司数据仓库/商业智能解决方案数据挖掘基本方法.数据挖掘与多维分析相结合.第五章工程服务和售后服务.5.1 工程服务.5.2 售后服务

4、.5.2.1 IBM数据仓库的安装及配置服务 .5.2.2 IBM数据仓库的维护服务 .5.2.3 IBM数据仓库的顾问服务 .5.2.4 IBM培训服务 .5.3 技术文档.39404141414141424242IBM公司数据仓库/商业智能解决方案第一章概述随着市场竞争的日益激烈，各家公司纷纷把提高决策的科学性、合理性提高到一个新的认识高度。在此背景下，利用信息技术的最新手段，利用业务数据进行面向决策的分析这一方法纷纷被国内外许多公司所采用。通过有目的、有选择地采集业务数据，并将其转换为对决策有用的信息，用于智能化的分析、预测和模拟等目的，这样的应用被称为商业智能应用。从国内外各行各业的发

5、展经验看，实施商业智能是提高企业进行高效的业务分析和科学决策的有效手段。作为一个具有八十多年历史，以开发信息技术和商业应用而闻名的“蓝色巨人”， IBM 在这一领域进行了多年的研究，发展出完备的商业智能技术，为商业数据自动转化为商业知识提供了现实的方案。商业智能的本质，是提取收集到的数据，进行智能化的分析，揭示企业运作和市场情况，帮助管理层做出正确明智的经营决定。一般现代化的业务操作，通常都会产生大量的数据，如话单、账单以及客户资料等，其中一部分是决策关键数据，但并不是所有的数据都对决策有决定意义。商业智能包括收集、清理、管理和分析这些数据，将数据转化为有用的信息，然后及时分发到企业各处，用于

6、改善业务决策。企业可以利用它的信息和结论进行更加灵活的阶段性的决策：如采用什么产品、针对哪类客户、如何选择和有效地推出服务等等，也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等。这一切都是为了降低成本、提高利润率和扩大市场分额。XXX公司/IBM中国有限公司机密第 1 页IBM公司数据仓库/商业智能解决方案第二章商业智能综述2.1 商业智能基本结构当今，许多企业认识到只有靠充分利用，发掘其现有数据，才能实现更大的商业效益。日常的商务应用生成了大量的数据，这些数据若用于决策支持则会带来显著的附加值。若再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时，上述处理

7、过程产生的效益可进一步增强。而数据仓库正是汇总这些商用信息后，进而支持数据发掘、多维数据分析等当今尖端技术和传统的查询及表报功能，这些对于在当今激烈的商业竞争中保持领先是至关重要的。那么怎样把这样大量的数据转换成可靠的、商用的信息以便于决策支持呢？建立数据仓库正被广泛地公认为最好的转换手段。图1数据仓库建立过程根据 IDC 的调查，使用数据仓库的投资回报率平均超过 400 ，尤其是从小型数据仓库开始实施的平均超过 500 。XXX公司/IBM中国有限公司机密第 2 页IBM公司数据仓库/商业智能解决方案数据仓库架构IBM 早在 90 年代初期，就投入大量优秀技术人员和资金开始了数据仓库的研究，

8、并启动了 Star-Burst 大型科研项目。该项目主要就是为了攻克数据仓库领域的一些技术难题，例如优化星型连接(Star-join) ，实现多维分析。因此，IBM 现在发布的数据仓库产品都是经过反复推敲和久经考验的，真正做到让用户买起来放心，用起来舒心。基于对数据仓库结构的深刻理解和多年积累的经验，IBM 设计了自己的数据仓库结构，见下图：数据仓库的组成。作为一个开发式结构，它方便了用户的产品选择、实施和今后的扩展。图2IBM 数据仓库架构上图为 IBM 三层次数据仓库结构： 从第一层 OLTP 业务系统到第二层数据仓库为建仓过程，从第二层到第三层数据集市为按主题分类建立应用的过程。第一步包

9、括数据抽取、数据转换、数据分布等步骤，按照统一的数据格式标准进行统一的数据转换，建立可被企业各部门充分共享的数据仓库。其中，数据抽取阶段完成对各种数据源的访问，数据转换阶段完成对数据的清洗、汇总和整合等，数据分布阶段完成对结果数据存储的分配。这三个阶段通常紧密结合在一起，由一个产品或几个产品配合实现。例如， DB2 Warehouse Manager 既可独立完成，又可结合 DataJoiner 、 DataPropagator 实现对异构数据和数据 复制的处理。 DB2 Warehouse Manager 可进行数据映射的定义，以定期地抽取、转换和分布数据；XXX公司/IBM中国有限公司机密

10、第 3 页IBM公司数据仓库/商业智能解决方案DataJoiner 可访问的各种关系型数据库包括 DB2 数据库家族、 ORACLE 、 SYBASE 、 INFORMIX 和 MS SQL Server 等； DataPropagator 主要用于数据复制，采用数据复制的方式可对业务数据仓库进行增量数据更新，避免对作业系统事物处理性能的影响和大量重复抽取数据。 数据的存储由 DB2 家族产品来完成， 以保证数据仓库始终高性能地运转，提供完整、准确的数据，便于将来的升级和扩展。第二步，在按主题分类建立应用时，若既想拥有多维数据库的独特功能，又要把数据存放在关系型数据库中以便管理，则DB2 OL

11、AP Server是用户的最佳选择。DB2 Warehouse Manager中提供的 Information Catalog通过描述性数据帮助用户查找和理解数据仓库中的数据， Intelligent Miner 用于数据挖掘以便帮助决策者预测或发现隐藏的关系。 最后，我们以报表或图形的方式将结果数据呈现给用户，这通常由第三方产品来实现， 它们包括： Hyperion Analyzer, Cognos ，Brio ，Business Objects 等。商业智能的实现方式多种多样，其规模和特点由用户的需求来决定。但万变不离其宗，其基本体系结构往往包括三个部分。数据仓库：用于抽取、整合、分布、存

12、储有用的信息一个企业的信息往往分布在不同的部门和分支机构，管理者要综观全局、运筹帷幄，必须能迅速地找到能反映真实情况的数据，这些数据也许是当前的现实数据，也可能是过去的历史数据。因此，有必要把各个区域的数据集合起来，去其糟粕、取其精华，将真实的、对决策有用的数据保留下来，随时准备管理人员使用。因此，数据仓库不仅仅是个数据的储存仓库，更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据，使得放在仓库里的数据有条有理，易于使用。多维分析：全方位了解现状管理人员往往希望从不同的角度来审视业务数值，比如从时间、地域、产品来看同一类业务的总额。每一个分析的角度可以叫作一个维，因此，我们把多角度分析方

13、式称为多维分析。以前，每一个分析的角度需要制作一张报表。由此产生了在线多维分析工具，它的主要功能，是根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快抽取到所要的记录，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在您面前。XXX公司/IBM中国有限公司机密第 4 页IBM公司数据仓库/商业智能解决方案前台分析工具提供简单易用的图形化界面给管理人员，由他们自由选择要分析的数据、定义分析角度、显示分析结果。往往与多维分析工具配合，作为多维分析服务器的前台界面。以上三部分是商业智能的基础。它完成的是对用户数据的整理和观察，可以说，它的工作是总

14、结过去。在此基础结构之上，商业智能可以发挥更进一步的作用，利用数据挖掘技术，发现问题、找出规律，达到真正的智能效果：预测将来。数据挖掘正如在矿井中可以挖掘出珍贵的矿石，在数据仓库的数据里也常常可以挖掘出业务人员意想不到的信息。它比多维分析更进一步。例如，如果管理人员要求比较各个区域某类业务在过去一年的情况，可以从多维分析中找答案。但是，如果管理人员要问为何一种业务在某地区的情况突然变得特别好或是不好，或者问该业务在另一地区将会怎么样，这时数据挖掘工具可以作出回答。简单的说，数据挖掘使用统计、分析等数学方法、以及电脑学习和神经网络等人工智能方式，从大量的数据中，找寻数据与数据之间的关系。这种关系

15、，一般显示数据组之间相似或相反的行为或变化。一个细心的分析者，往往能从这些发掘出来的关系得到启示。而这种启示又很可能使得到它的业者，获得其他竞争者所没有的先机 。数据挖掘要求有数据仓库作基础，并要求数据仓库里已经存有丰富的数据。因此，在实施商业智能方案时， 一般分两步走： 第一步实现数据仓库和多维分析，构造商业智能的基础，实现分析应用；第二步实现数据挖掘，发挥商业智能的特色。2.2 商业智能方案实施原则实施商业智能方案项目工程，与实施传统的应用系统有很大的不同。其中最重要的是，商业智能的实施是不断的交流过程，只有双方紧密的合作才能取得实施的成功。 我们建议，工程实施上采取以下原则：分阶段、循序

16、渐进的原则任何一个项目的实施都是一个发现问题，解决问题，积累经验，又遇到新问题，再解决，再积累的循序渐进的过程。我们建议XXX 公司 应根据现有的资源以及今后发展的方向，分阶段、循序渐进的实施商业智能方案。XXX公司/IBM中国有限公司机密第 5 页IBM公司数据仓库/商业智能解决方案实用原则在第一步实现数据仓库时，尽量针对当前电信最关心的主题，并将该主题进行细致分析，尽可能用简单、统一、易于使用的方式来实现，避免追求片面的复杂和完美。知识原则普遍说来，由于商业智能技术相对而言比较新，企业的信息技术人员对数据仓库、多维分析、数据挖掘等系统涉及的知识往往存在着不足或偏差，实际应用经验也很欠缺。因

17、此，我们建议在实施过程中结合专家培训和服务，在商业智能系统的设计、开发、实施当中，逐步培养出企业自己的系统管理、维护和开发人员。当系统投入使用时，这些人员可以对系统进行维护和管理，并负责对最终用户进行培训。XXX公司/IBM中国有限公司机密第 6 页IBM公司数据仓库/商业智能解决方案第三章XXX 公司 BI 系统方案3.1 XXX 公司 BI 系统的需求分析在 XXX 公司 的 BI 系统中，可以实现如下一系列经营过程中的分析和决策支持：除了以上列出的一系列分析和预测外，利用 BI 系统，还应该能够根据 XXX 公司的需求很方便地扩展其功能。3.2 IBM 的解决方案基于 XXX 公司 BI

18、 系统的需求，以及 IBM 公司在数据仓库领域的经验，我们提出以下解决方案：采用一个企业级的数据仓库， 实现各分行业务数据的自动采集、 清洗、汇总，并且通过多维分析工具，让用户能够有效的将数据转化为灵活的报表和决策支持信息，最终满足用户的信息需求。该方案的实现方式如下：首先，在数据主要来源于两个方面：综合业务系统和新录入的数据。综合业务系统中的数据通过数据仓库工具进行自动采集、清洗、整理，而需要新录入的数据则通过浏览器方式录入。在构造数据仓库的过程中，我们采取以点带面的做法，采用小步长、逐步地建立数据仓库的策略。以 XXX 公司 报表系统为开端，分阶段地实现商业智能应用。小的项目可以立即显示数

19、据仓库的价值，同时也提供了更快的投资回报。而且，先在只有少量的数据和用户的小系统上进行学习和实践，对技术人员来说会学得更快。我们希望首先在需求较为迫切的领域，选择一些比较有意义的主题；基于这些主题，我们将建立一个数据集市，待用户能够对数据仓库的概念和一些技术有了比较深刻的认识之后，再综观全局，构建起企业级的数据仓库。数据录入可以采用数据文件快速装入的方式，也可以采用专门应用的方式。如果采用后者，我们可以考虑使用 IBM 的 WebSphere 和 VisualAge for Java 进行开发，它们产品是 IBM 电子商务应用的重要部件。 利用这两个工具， 我们可以方便地建立 Web 页面，生

20、成 Java 程序，包括 Applet 、 Servlet 和 Application 等等。并且系统的维护工作也比较方便，当需要修改应用时，只需要修改服务器上的程XXX公司/IBM中国有限公司机密第 7 页IBM公司数据仓库/商业智能解决方案序就可以了，不需要在客户端做工作。另外，这种结构对客户机的配置要求也不太高。在建造数据仓库的过程中，我们推荐使用IBM 的 Warehouse Manager，该产品是 IBM 用来建立数据仓库的工具，利用该工具，我们可以方便、快捷地构造起数据仓库来，因为我们应该认识到数据仓库必须建立在一个开放的、可更改的结构上，以便能够处理数据和需求的不断膨胀。War

21、ehouse Manager正是这样的一个工具。提供一个开放的，从数据源到数据仓库的一致的解决方案。在 XXX 公司 的 BI 系统中，通过 Warehouse Manager管理器可以方便地建立数据加工的流程(process) 和步骤 (step) ，这些步骤反映了XXX 公司 具体业务数据的流程、规则。在各步骤中可以定义代理(agent) 来自动运行数据传递、清洗和汇总功能，这些步骤可以按时间、事件运行，或由其它步骤触发。代理可以运行在 Warehouse Manager 服务器上，也可以运行在远程的业务主机上，并且可以有多个代理运行以提高效率。可以以非常直观的图形化方式管理数据仓库，当报

22、表系统的业务需求发生变化时，可以非常方便地修改步骤，满足变化多端的商业竞争环境。Warehouse Manager 是专门为商业应用设计的， 它可以自动在网络上进行数据的传送，不需要人为干预，并且利用它的日志功能可以对系统运行很好地监控。在 DB2 Warehouse Manager(DWM)中含有 Warehouse Agent部件，它可以用来在位于数据仓库的目标数据库DB2 UDB 中执行直接执行数据仓库的数据加工。另外，在数据仓库服务器于业务系统之间的文件数据FTP 传输以及从表中抽取少量数据也可以通过 Agent 直接执行。建立数据仓库之后，选择一些有意义的主题，抽取相关的数据到DB2

23、 OLAPServer 中，利用 DB2 OLAP Server 的强大分析功能，给最终用户提供在线多维分析的功能，能够让最终用户充分挖掘出数据中包含的信息。DWM 在执行完数据的提取任务后，自动触发预先定义好的OLAP 操作，将数据经过汇总计算后加载至DB2 OLAP Server中。最终用户工具我们选用 DB2 OLAP Analyzer ，这个产品是一个数据仓库的前端分析工具，利用这个工具用户可以很容易地访问 OLAP Server 中经过处理的数据，制作各种形式、风格的报表，报表内容可以包括数字、图像、曲线等，使得管理层可以直接、直观地查看企业的经营情况。XXX公司/IBM中国有限公司

24、机密第 8 页IBM公司数据仓库/商业智能解决方案3.3 建议架构DB2 UDB EEDB2 Warehouse ManagerDB2 Intelligent Miner for DataDB2 Intelligent Miner ScoringDB2 OLAP Server生产系统 1生产系统 2RS/6000WarehouseOLAP DataData查询分析 WEB 应用服务器DB2 OLAP Analysis ServerHTTP Server生产系统 3Meta Data 管理 / 数据仓库控制DB2/Warehouse Control CenterDB2 Warehouse Ser

25、verDB2 OLAP Server Application ManagerDB2 Intelligent Miner ClientWindows 2000Windows 2000Intranet/InternetBrowser图 3XXX 公司 BI 系统软硬件配置示意图在此方案中，采用 RS/6000 服务器作为运行数据仓库目标数据库的服务器，其上安装 DB2 UDB EE 、DB2 Warehouse Manager ，用来从生产系统抽取对决策有用的业务数据，经过加工后存放在数据仓库中。在海量数据仓库基础上针对每一类具体业务问题建立数据集市。由于XXX公司 BI 系统中的业务问题大多是多

26、维分析问题，故利用另外一台RS/6000 服务器运行 IBM 公司专门的多维分析服务器产品 DB2 OLAP Server ，以极大地加快多维分析的速度。XXX公司/IBM中国有限公司机密第 9 页IBM公司数据仓库/商业智能解决方案在数据仓库服务器上同时安装DB2 Intelligent Miner for Data，从数据仓库服务器中抽取数据进行智能挖掘；此外，在数据仓库上安装DB2 Intelligent MinerScoring ，用来将数据挖掘的结果作用到数据仓库中，实现打分功能。所有客户端以浏览器方式，通过查询和多维分析的WEB 应用服务器访问数据仓库和多维分析服务器中的数据。整个

27、系统需要在一台运行Windows 2000的PC 服务器上安装 DB2 OLAP Analyzer Analysis Server 以及 HTTP Server ，作为为前端浏览器客户提供统一入口的应用服务器。为提高系统响应时间及提供负载均衡能力，可以配合WebSphere Application Server共同使用。另外，需要配置一台 PC 服务器运行 Windows 2000 作为整个系统的控制服务器，安装 DB2 Warehouse Control Server 、 DB2 Control Center 、 OLAP Server 控制台 OLAP Server Application

28、 Manager 以及挖掘服务器前端 DB2 Intelligent Miner for Data Client 。此方案的优点：基于公司的业务需求。各业务部门可以根据自己的需要定义数据集市的内容，并进行各种指标的多维分析，在实际应用中不断扩展系统，为决策者提供必要的信息。高性能、高效率。数据都在本地运行，数据量相对较小，因此对服务器计算能力的要求相对较低。同时由于在局域网上运行，对网络带宽基本不会有压力，并且用户响应时间可以得到保障。最大限度地减少网络负荷。各客户端通过浏览器方式从中心数据仓库中获取数据，只有需要的数据被传输。满足 XXX公司 未来发展的需要。此方案具有很好的可扩展性，随着X

29、XX公司 业务量的增加， 业务数据的增多， 各种业务系统的建立， 此方案可以容易的适应这些变化，满足业务的需求。一次性投资，长期受益。此方案不仅可以满足XXX 公司 目前 BI 系统的需要，更为重要的是为XXX 公司 商业智能应用打下了一个坚实的基础。XXX 公司 可以在此基础上开发各种商业智能应用，辅助决策者制定业务计划和措施，在激烈的竞争中保持良好的势头。XXX公司/IBM中国有限公司机密第 10 页IBM公司数据仓库/商业智能解决方案第四章所选 IBM 产品简介在这次的商业智能解决方案中，采用的产品包括数据库DB2 UDB 、数据仓库(DB2 Warehouse Manager) 、多维

30、数据库 (OLAP Server) 、前台分析工具 (DB2 OLAP Analyzer) 及智能数据挖掘服务器 (DB2 Intelligent Miner for Data) 。以下是各个产品的描述说明。4.1 DB2 UDB概述： DB2 家族 (Family) 与 DB2 通用数据库 (UDB) V7.2IBM DB2 家族的各种关系数据库管理系统适用于各种硬件平台，其中包括基于 Intel 的微机、 IBM 的或非 IBM 的各种 RISC 服务器和工作站、大型并行处理机、 AS/400 中型计算机系统以及运行 VM 、VSE 和 MVS 、 OS/390 操作系统的主机系统。各种平

31、台上的 DB2 有共同的应用程序接口， 因此运行在一种平台上的程序可以很容易地移植到其他的平台。 DB2 家族产品能够满足不同用户的需求，它包含了从单用户的微机系统到支持 80 万用户的主机系统。 DB2 家族除了包含在各种平台上运行的数据库管理系统内核之外，产品包中还包括了数据复制、数据库系统管理、环球网(Internet) 网关支持、在线分析处理、多媒体支持和各种并行处理能力， 免费提供 DB2 UDB V7.2 在 PC 和 UNIX 平台上的客户机端产品 (DB2 CAE) ，并为所有平台上的异构数据库访问提供 “中介件 ” (Middleware) 解决方案。可运行在基于Intel

32、的微机及各种RISC 服务器 (UNIX平台 )上的 DB2 UDBV7.2 包括： DB2 for AIX ， DB2 for HP-UX，DB2 for SUN Solaris ， DB2 for OS/2 ，DB2 for Windows NT ，DB2 for Win95 ， DB2 for Win98 ，DB2 for Linux ， DB2 for SCO ，DB2 for Sinix ， DB2 for NUMA-Q 等等。这些产品是全功能、具有工业强度的关系数据库管理系统，分别用于服务器和工作站平台。可以把它们配置到单个的系统上，或者配置到支持客户机工作站的 LAN 服务器上，

33、还可以把它们配置为环球网 (Internet) 上的数据库服务器。 如果使用服务器配置，那就允许 DOS 、Windows 、 OS/2 、 Win95 、 Win98 、Macintosh或 UNIX客户机去访问DB2 服务器，可以使用TCP/IP 、 IPX/SPX 、NetBIOS 或APPC 等网络协议；如果作为环球网上的数据库服务器，则可由一台浏览器(WebBrowser) 作为客户机访问。DB2 通用数据库 (UDB) V7.2 产品建立在一个共同代码的基础之上，依据多进程/多线索结构进行设计，其数据库引擎的核心技术来自Starburst 研究项目以及DB2 for OS/390等主机产品，而且它们在数据和应用的可移植性两个方面与DB2XXX公司/IBM中国有限公司机密第 11 页IBM公司数据仓库/商业智能解决方案家族中的其他成员完全兼容。 因而任何受过一种平台上的 DB2 培训的人员能够很容易地使用其他平台的 DB2 产品。在保持这种外