BI商业智能系统

1、BI商业智能系统 随着企业各种信息系统的建设和完善，企业所拥有的数据 越来越多。决策者面对的问题已经不再是缺少信息，而是如何 得到正确的信息以帮助制定决策。典型的公司拥有数十乃至上 百个 应用，但是却难于从中提取、综合、使用这些系统的数据， 继而 从数据中提取有用的信息，发掘并提升数据的价值。 商业智能(Business Intelligence ,简称 BI)提供 了提取数据、处理加工、信息访问的技术手段。经过多年发展， 其运用范围逐渐由支撑特定业务过程的战术性决策发展到在企业 范围内系统 化地创造价值。因此，越来越多的企业已将其视为 战略性的企业应用。 商业智能通过将分散在企业各系统中的数

2、据进行整合，使 得繁琐的信息获取过程变得简便易行。任何用户都能够容易的运 用这些技术进行决策，业务执行、业务管理、企业管理各个层次 上的用户都能够使用不同的工具和技术做出明智的决策，全方位 的提高企业的竞争力。 信息技术在企业中的地位正在由业务支撑工具逐步走向中 心性地位，在很大程度上影响着企业如何开展业务和创造新的价 值。企业要求IT系统不仅要能够支撑特定业务的执行，而且还 要能够创造出新的价值。 由于IT在业务中逐步走向中心地位，对这些信息的访问也 需要扩展到原来创建系统所服务的对象之外。系统之间越来越需 要广泛的互相连接，以及扩展连接到客户和合作伙伴的系统。 与此同时，由于系统是业务的载

3、体，所以必须要能够跟随 业务变化而变化，成为快速革新的助推器而不是障碍。作为企 业的关键资产，IT不仅被期望是一个运行良好的成本中心， 而且是企业成长和扩张的贡献力量。 业务对IT要求的多种重要能力： 广泛互联的能力：连接客户、合作伙伴，赋予员工新的 能力。通过将内部员工、合作伙伴和客户的数据进行整合，并 进行加工和提炼后再提供出来供内部员工、合作伙伴和客户使 用，商业智能系统提升了三者业务上互相联接的能力 适应变化的能力：随着业务的发展而变化，促进而非阻碍 业务发展。 创造价值的能力：在业务的各个不同层面上创造价值。商 业 智能系统为企业各个不同层面的人提供合适的工具和信息，使得 获取准确信

4、息和做出明智决策的能力不仅仅局限于决策层，而是 所有人员都能够在各自的层面上借助BI系统提供能力，从而全 方位的增强企业决策能力，全面创造价值。 这些能力的重要价值在于增强了企业敏捷性，能够更主动 地 适应企业内部和外部的变化。 商业智能的核心议题始终围绕在为员工提供正确信息的周 围，使他们能够在合适的时间完成一个特殊的目标。使这些承诺 成为真实的需求，成为全面的、安全的、与操作系统集成的、全 天候的商业智能解决方案。 下图为商业智能发展缩影图： 力实合综构机和业企与值价化息信 4 商业智能的技术架构 商业智能是由数据仓库、查询报表、数据分析、数据挖掘、 数据备份和恢复等部分组成的、以帮助企业

5、决策为目的的技术及 其应用。商业智能是数据库技术、OLAP技术、数据采集和迁移 技术、网络技术、 GUI技术、查询报表技术、 统计学、人工 智能、知识发现技术等理论和技术的综合运用，其核心内容是 从许多来自企业不同的业务处理系统的数据中，提取出有用的 数据，进行清理以保证数据的正确性，然后经过抽取 (Extraction )、转换 (Transformstion )和装载 (Load ),即ETL过程，整合到一个企业级的数据仓库里, 从而得到企业信息的一个全局视图, 利用合适的查询和分析工 具、数据挖掘工具等对数据仓库里的数据进行分析和处理，形 成信息，把信息提炼岀辅助决策的知识，最后把知识呈

6、现给管理 者，为管理者的决策过程提供支持。 二、商业智能的体系结构 商业智能的整个系统被划分为4个层面，根据数据的处理 和应用过程分成7个环节。从数据源经过抽取 (Extraction )、转 换(Transformation )和装载(Load )过 程加载到中央数据仓库, 再从数据仓库经过分类加工放到数据集市(Data Market , DM ), 或者将数据集市中的数据进一步存放到多维数据库 Multi-dimension Database , MDD ),这都属于数据组织 的问题，从中间层到终端用户或从多维数据库到终端用户可将其 划归为前端应用实现的问题。而贯穿整个体系数据处理环节 的

7、，是系 统的流程调度控制和元数据管理，其结构 管理 多维数据 分析 数据存储数据集中 数据集市DM 中央数据库 数据仓库 ODS 流程调度 数据清洗转换装载 数据访问抽取 元数据 管 1所示。 数据 源 外部数 据 业务数据1业务数据2 业务数据 3 图1商业智能体索结构 面对商业智能的完整的体系结构作如下解释: (1) 数据源：数据源可以是企业日常运作积累下来的各类的业 务数据，也可以是外部的数据。数据仓库的体系结构必须能处 理这种多样性带来的种种问题，并解决由于数据远程迁移所带 来的完整性和安全性的问题。 (2) 数据抽取、转换和装载(ETL )：从源数据抽取数 据、进行一定的变换、装载到

8、数据仓库。需要进行数据处理，包 括：简单变换一一一次只针对一个字段，而不是考虑相关字段的 值；清洁和刷洗一一为了保证前后一致地格式化和使用某一字段 或相关的字段群, 检查字段和字段组中的实际内容而不仅是存 储格式；集成一一要把从全然不同来源的数据结合在一起，真 正的困难在于将其集成为一个紧密结合的数据模型；聚集和概 括一一按照一个和几个业务维将相近的数值加在一起，聚集是 将不同业务元素加在一起成为一个公共总数，在数据仓库中它 们是以相同的方式进行的。 (3) 数据仓库：数据仓库的一个目的就是把企业的信息访 问基础从一种非结构化的或发展中的环境改变成一种结构化或规 划良好的环境。 (4) 数据集

9、市：数据集市是为部门范围级别的决策支持应 用而设计的，其数据模型设计和数据组织上更多地服务于一个部 门的信息需求。 (5) 操作型数据存储区：操作型数据存储区 (Operational Data Store , ODS )是业务系统和 DW 之间 更偏向业务系统的数据存储区域。 (6) 元数据：元数据(Meta-data )通常定义为“关于 数据 的数据”，是描述和管理数据仓库自身内容对象、用来表 示数据项的意义及其在系统各组成部件之间的关系的数据。数 据仓库所提供的“统一的企业级的信息视图”能力，主要就是靠 元数据来体现。实现元数据管理的主要目标就是使企业内部元数 据的定义标准化。数据仓库的

10、维护工具可以根据元数据完成数据 的抽取、清洗和转换，并做适度的汇总，数据仓库的元数据包 括： 数据资源：包括数据源模型，描述源数据属性及业务含 义，源数据到数据仓库的映射关系； 数据组织：数据仓库、数据集市表的结构、属性及业务 含义，多维结构等; 数据应用：查询与报表输出格式描述、 OLAP、数据挖 掘等的数据模型的信息展现、商业术语; 数据管理：数据仓库操作过程以及数据仓库操作结果的模 型，包括描述数据抽取和清洗规则，数据加载控制，临时表结 构、用途和使用情况，数据汇总控制。 (7) 前端应用：数据仓库的前端应用是建立数据仓库的目 的，即根据用户的特点提供不同的界面。最终用户对数据仓库 的访

11、问方式包括：即席查询、报表、联机分析处理 (OLAP )、数据挖掘以及领导信息系统(EIS )等。 (8) 数据挖掘(Data Mining , DM):数据挖掘是采用数 学的、统计的、人工智能和神经网络等领域的科学方法，从大 量数据中 挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和 趋势并用这些知识和规则建立用于决策支持的模型，为商业智能 系统服务的各业务领域提供预测性决策支持的方法、工具和过 程。 (9) 信息门户(Enterprise Information Portai , EIP )：为使 数据仓库的使用者可以根据自己的需要获得想要的 信息，需要从 界面、应用系统交互等角度

12、进行门户的建设规 划。如果将这些功 能模型进行抽象，可以归结为以下的功能层 次： 集成：包括信息的集成、人的集成和流程的集成。 内容管理：对现有信息实现统一的目录分类管理 (Categorization )。包括结构化数据和非结构化信息的分 类、编目、摘要、审核和发布。 搜索：分类和搜索是组织和获取信息的紧密联系的两个 方面。 以人为本的核心安全架构：支持统一面向自然人的用户 身份认证，统一用户的访问权限控制和统一用户资源管理，实 现单次登录就可以访问所有相关信息资源是门户的一个重要功 厶匕 能。 个性化：即信息门户的数据和应用可以根据每一个人的 要求来配置，为用户提供个性化的应用界面，提高员

13、工工作效 率，增强对用户的亲和力和吸引力。 可访问性：在门户中，用户可以在安全机制的保护下， 在任何时间任何地点方便地访问企业的信息和应用，完成对信息 和数据的处理和提交，保证企业的业务运转永不停顿。 协作与共享：提供同事间、部门间、企业间、客户和厂 商间的协作和交互。 管理和调度：可以实现日常性的信息采集和分送的调度 和管理维护。 信息门户实施后，员工日常需要的各个应用和信息集中展 现 在员工的桌面。只要在统一的信息访问入口进行一次登录的 身份 验证，便可真正地实现信息一站式服务。 三、商业智能需求 商业智能需求形成的价值链: 商业智能需求所形成的价值 正确的决策和行动 采集数据 更大的效益

14、 分析数据 企业信息门户 信息和知识 使业务更 加高效 商业智能王具的分析和 提炼 银行领 y J 分析人员P 离员工 h生瞥.界 商业智能需求按照成长历程来说，大体分为两个阶段: r 技术驱动时代；业务驱动时代。 技术驱动的时代：商业智能的需求分析更多地是侧重在 BI工具的应用。例如用报表工具来实现一些管理性的报 表，用OLAP来实现一些经常性的数据统计与分析，用 ETL工具来替代手工编写代码方式的数据迁移。这个阶 段的需求分析过程有非 常明显的技术倾向性，这种项目 往往有个前提，就是目标技术平台往往在项目启动之初 已经敲定。需求分析师首先要非常了解目标技术平台的 各项技术指标，并且把目标用

15、户的需求引导并且框定在 这个目标技术平台的能力范围之内。 在业务驱动的时代，需求分析师首先需要非常熟悉目标用 户的日常业务，商业智能系统比传统业务系统相比，需求的把 握与定义是非常困难的，传统业务系统的流程是非常清晰的， 类似银行业务的核心业务系统，诸如储蓄业务，对公业务，国际 业务即使种类很多，而对于落实到具体业务的需求的时候，起 码同一家银行是有一个标准的业务操作的流程的，不论流程多么 复杂，所对应的需求总是明确的，可见的，用程序化的方式来 表达也是 简单的，而且作为生产系统，早日投产比完善往往是更 具价值，在这个大前提是，花繁为简，稳定压倒一切是甲乙双 方都认同的。而作为以辅助业务中战术

16、决策的商业智能系统， 首先要迈过的一个关口就是，在战术智慧上，系统的决策水平 要起码高明于一个中等层次的业务人员的商业智慧，这样他才 会觉得系统对他是有帮助的。目前，一些大公司依靠影响力， 组织了一群技术专家 经过多年的类似项目经验沉淀后，形成了一 套模板，一则让BI需求分析师对于业务思考模式的学习和理解 可以从客户现场退 回到自己的公司内部。二则，也试图用既成事实的行业标准的 做 法迅速而直接的影响用户的思维，业界内俗称，给客户“洗 脑”，然而，针对个别企业的业务所分析出来的模板能推广， 有一个预设前提，就是这种业务在全世界有一个可以普遍使 用，而且有同质度非常高的标准成功模式，事实上，每个

17、企业 和人一样，是个 性发展的产物，不是标准形成的产物，标准的 推行本身就意味着企业的持续变革，这里也形成了一个悖论， 持续的变革是否需要模板也需要持续的调整，然后模板的调整 是否又需要持续的变革来配合 在BI领域，这个以优化为名的迭代几乎形成了一个没完 没了的怪圈。这个怪圈的形成，给每一位商业智能工作者提了 个 醒，商业智能不是一个目标，而是一个过程。通过目前商业智 能需求获取的阶段分析，商业智能需求必然走向的是价值驱 动，商业智能的需求经过多次否定之否定的螺旋式上升发展的 过程后，商业智能的应用与企业价值链的优化组合是必然的趋 势，只有把商业智能的需求和企业价值链的形成与提升结合起 来，商

18、业智能的实际价值才能得到真正的体现。 正如前面的分析，各种内外因素的组合作用，使企业必 然信息驱动为核心的生产和管理方式，在企业利润形成的整个 价值链条中，信息使这条价值链从模糊逐渐走向清晰，将数据 作为企业战略资产并且在数据质量方面继续投资，是使企业成 为行业先 锋的重要保证，运用商业智能的环境来回答诸如客户价 值贡献 度，地区市场差异，资本充足率，商品生命周期，成本与 财务预算，定价策略，资金周转率等与企业利润的形成密切相 关，商业 智能把历史数据从“数据监狱”里释放出来，成为企业 的一笔有形的资产。 商业智能从“智能”走向“商业”是一条商业智能需求走 的必由之路，技术至上的观点，不但会成

19、为商业智能发展的桎 梏，甚 至会成为扼杀商业智能应用推广的无形黑手，所以，作 为商业智 能项目主导的这些需求分析负责人，首先，就要明确 地树立的是做商业智能是为客户赚钱的商业观念，在和客户需 求形成的过程中，把客户的需求引导向对客户有利而同时也对降 低自身实施成 本，加快投产速度也有利的角度，不要认为做报 表和查询是一种身价的贬低，如果一份“简单”的报表或一笔 “简单” 的查询能为客户一年节省过千万的成本, 避免一笔过 千万的风险损失，一份报 表就把客户对项目的全部投资都收回 来了，这笔帐，这样的商 业智能项目，难道还会受到客户的冷 遇和拒绝吗? 四、商业智能系统的实施 商业智能的实施主要有3

20、类风险：技术风险、工程管理风险 和业务风险。应对商业智能项目风险的最好方法是米用一套成熟 的方法学(Methodology ),方法学是人们在数据仓库构建实践 中所积累的成功和失败的经验的总结。商业智能项目是一个需要 不断优化的循环过程。商业智能在需求的环节会更加依赖于用户 的思维习惯和认识水平，商业智能项目具有长期性和艰巨性 商业智能的实施方法有3种方式： (1) 自上而下，顶层设计思想。全局考虑，全面实施，建立 适合企业信息共性需求的完整的数据模型，然后从业务运营系统 中提取数据，进行数据的清洗、合并、规范化和合理化，并加载 到数据仓库中，形成企业统一的数据集成平台，最后可以根据 部门个性

21、需要将数据仓库的数据分发到面向主题的数据集市中。 优 点包括：企业统一的数据集成平台；集中化的控制管理；数据 容易分发到各个数据集市中。缺点包括：开发过程复杂，费用 高；开发时间长，难以满足快速变化的业务需求；需要进行大 量的业务需求分析，需要大量的资源。 (2) 自下而上。根据特定的业务主题，分部门考虑，分部门 实施，在很短的时间内实现部门级的数据集市，多个数据集市组 成企业联邦制的数据仓库。优点包括：可以并行开发；见效快； 分散化的资源和管理控制。缺点包括：很难协调各个数据集市 的建设；可能存在着部门之间数据集市归属问题；多种数据源 采集系统，可能造成对业务系统的冲击和数据的不一致。 (3

22、) 元数据驱动的实施方法。元数据管理在商业智能项目开 发建设中有很重要的作用。元数据驱动、螺旋上升的数据仓库 建立的过程就是“建立元数据一一构造数据仓库集市”的不断循 环、不断上升的过程，元数据驱动的数据仓库开发过程可以细 分为以下阶段： 建立元数据：包括定义元数据的数据源；定义元数据的内 容和属性；定义元数据使用规则；声明元数据联合使用的规则。 构造数据仓库/集市：基于元数据进行数据抽聊/清洗/转 换/聚合/加载/分布；基于元数据进行前端应用界面定制。 这种开发方式优点包括：建立企业数据的统一视图；有统一 的元数据管理；具有灵活可扩展的的体系结构；分步式开发，螺 旋式上升，既能快速看到效果，

23、又能保证系统的连续性、一致 性。缺点就是如何真正实现这种方式，提取和维护元数据并不 是一件很难的事情，而在实际的实施过程中，如何真正地实现 元数据的驱动则不是一件容易的事情，由于受传统程序开发思想 的影响，很多开发者对需求问题的解决更多地依赖于程序设计， 这样使得很多控制逻辑很难被抽象出来，因此也难于把数据的 处理过程标准化、规范化，这种以程序驱动的方式很容易把所 谓的元数据驱 动流于形式。 商业智能的实施原则如下：(1)总体规划原则：整个项 目建设应该统一进行规划，建 立一个能够支持企业长期发展的总 体系统架构，为将来的应用打下坚实的基础。 (2)分阶段、循序渐进的原则：任何一个项目的实施都 是一个发现问题，解决问题，积累经验，又遇到新问题，再 解决，再积累的循序渐进的过程。 3)