BI商业智能系统概要

1、BI商业智能系统随着企业各种信息系统的建设和完善，企业所拥有的数据 越来越多。 决策者面对的问题已经不再是缺少信息，而是如何得 到正确的信息以帮助制定决策。典型的公司拥有数十乃至上百个 应用,但是却难于从中提取、综合、使用这 些系统的数据，继而 从数据中提取有用的信息，发掘并提升数据的价 值。商业智能（Businesslntelligenee,简称BI提供了提取数据、处理加工、信息访问 的技术手段。经过多年发展,其运用 范围逐渐由支撑特定业务过程的战术性决策发展到在企业范围 内系统化地创造价值。因此,越来越多的企业已将其视为战略性的企业应用什么是商业智能商业智能通过将分散在企业各系统中的数据进

2、行整合，使 得繁琐的信息获取过程变得简便易行。任何用户都能够容易的运 用这些技术进行决策,业务执行、业务管理、企业 管理各个 层次 上的用户都能够使用不同的工具和技 术做出明智的决策 , 全方位的提高企 业的竞争力。信息技术在企业中的地位正在由 业务支撑工具逐步走向中 心性地位 , 在很大程度上影响着企 业如何开展业务和创造新的价 值。企业要求 IT 系统不仅要能够支撑特定业务的执行,而且还 要能够创造出新的价值。由于 IT 在业务中逐步走向中心地位 ,对这些信息的 访问也需要扩展到原来 创建系统所服务的对象之外。 系统之间越来越需 要广泛的互相 连接,以及扩展连接到客户和合作伙伴的系 统。

3、与此同时, 由于系统是业务的载体, 所以必须要能够跟随业 务变化而变化, 成为快速革新的助推器而不是障碍。 作为企业的 关键资产, IT 不仅被期望是一个运行良好的成本中心 ,而且是 企业成长和扩张 的贡献力量。业务对 IT 要求的多种重要能力 :广泛互联的能力:连接客户、 合作伙伴,赋予员工新的能力。 通过将内部员工、 合作伙伴和客 户的数据 进行整合 ,并进行加工 和提炼后再提供出来供内部 员工、 合作伙伴和客 户使用,商业智 能系统提升了三者 业务上互相联接的能力适应变化的能力 :随着业务的发展而变化, 促进而非阻碍业 务发展。创造价值的能力:在业务的各个不同层面上创造价值。 商业 智能

4、系统为企业各个不同 层面的人提供合适的工具和信息 ,使得 获取准确信息和做出明智决策的能力不 仅仅局限于决策 层,而是所有人员都能够在各自的层面上借助 BI 系统提供能力,从而全 方位的增强企业决策能力 ,全面创造价值。这些能力的重要价 值在于增 强了企业敏捷性, 能够更主动地 适应企业内部和外部的 变化。商业智能的核心议题始终围绕在为员工提供正确信息的周 围, 使他们能够在合适的时间完成一个特殊的目标。使这些承诺 成为真实的需求，成为全面的、安全的、与操作系统集成的、全 天候的商业智能解决方案。下图为商业智能发展缩影图:一、商业智能的技术架构商业智能是由数据仓库、查询报表、数据分析、数据挖掘

5、、数据备份和恢复等部分组成的、以帮助企业决策为目的的技术及其应用。商业智能是数据库技术、OLAP技术、数据采集和迁移 技术、网络技术、GUI技术、查询报表技术、统计学、人工智能、知识发现技术等理论和技术的综合运用,其核心内容是从许多来自企业不同的业务处理系统的数据中,提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction、转换（Transformation和装载（Load,即ETL过程，整合到一个 企业级的数据仓库里,从而得到企 业信息的一个全局 视图, 利用 合适的 查询和分析工具、 数据挖掘工具等 对数据仓库里的数据进行分析和 处理,形成信息 ,把信息提炼出辅助决

6、策的知 识,最后 把知识呈现给管理者,为管理者的决策 过程提供支持。二、商业 智能的体系 结构商业智能的整个系 统被划分为 4个层面,根据数据的 处理 和应用过程分成7个环节。从数据源经过 抽取（Extraction、转换（Transformation和装载（Load 过程加载到中央数据 仓 库,再从数据仓库经过 分类加工放到数据集市 （DataMarket, DM , 或者 将 数据 集 市中 的 数据 进 一步 存 放到 多 维数 据 库 （Multi-dimension Database, MDD , 这都属于数据 组织 的 问题 ,从中间层到终端用户或从多维数据库到终端用户可将其划归为

7、前端应用实现的问题。 而贯穿整个体系数据 处理环节的, 是系统 的流程调度控制和元数据管理 ,其结构如图 1所示图1商业智能体系结构F面对商业智能的完整的体系 结构作如下解释:(1数据源:数据源可以是企业日常运作积累下来的各类的业务数据,也可以是外部的数据。 数据仓库的体系结构必须能 处理这种多样性带来的种种问题,并解决由于数据远程迁移所带 来的完整性和安全性的 问题。(2数据抽取、转换和装载(ETL :从源数据抽取数据、进行一定的变换、装载到数据仓库。需要进 行数据处理,包括:简单变换一次只针对一个字段,而不是考虑相关字段的 值;清洁和刷洗 为了保 证前后一致地格式化和使用某一字段或 相关的

8、字段群 , 检查字段和字段组中的实际内容而不仅是存储格 式;集成 要把从全然不同来源的数据 结合在一起, 真正的困 难在于将其集成 为一个紧密结合的数据模型 ; 聚集和概括 按 照一个和几个 业务维将相近的数 值加在一起,聚集是将不同 业务 元素加在一起成 为一个公共总数,在数据仓库中它们是以相同的 方式进行的。(3 数据仓库:数据仓库的一个目的就是把企 业的信息 访 问基础从一种非结构化的或 发展中的环境改变成一种结构化或 规划良好的环境。(4数据集市:数据集市是为部门范围级别的决策支持应 用而设计的, 其数据模型设计和数据组织上更多地服务于一个部 门的信息需求。(5 操作型数据存 储区:操

9、作型数据存 储区 (OperationalDataStore ,ODS 是业务系统和 DW 之间更偏向 业务系统的数据 存储区域。(6元数据:元数据(Meta-data通常定义为 关于数 据的数据”,是描述和管理数据 仓库自身内容 对象、用来表示数 据项的意义及其在系 统各组成部件之 间的关系的数据。 数据仓库 所提供的 “统一的企业级的信息 视图”能力,主要就是靠元数据 来体现。 实现元数据管理的主要目 标就是使企 业内部元数据的定义标准化。数据仓库 的维护工具可以根据元数据完成数据的抽 取、清洗和转换 ,并做适度的汇总,数据仓库的元数据包括 :数据资源:包括数据源模 型,描述源数据属性及

10、业务含 义,源数据到数据 仓库的映射关系 ; 数据组织:数据仓库、数据集市表的结构、属性及业务 含义，多维结构等; 数据 应用:查询与报表输出格式描述、 OLAP 、数据挖掘等 的数据模型的信息展 现、商业术语 ; 数据管理 :数据仓库操作过程以及数据 仓库操作结果的模 型, 包括描述数据抽取和清洗 规则, 数据加载控制,临时表结构、 用途和使用情况 ,数据 汇总控制。(7 前端应用:数据仓库的前端 应用是建立数据 仓库 的目的, 即根据用户的特点提供不同的界面。 最终用户对数据仓库的访问 方式包括 :即席查询、报表、联机分析处理(OLAP、数据挖掘以及领导信息系统(EIS等。(8数据挖掘 (

11、Data Mining , DM :数据挖掘是采用数学的、统计的、人工智能和神 经网络等领域的科学方法 , 从大量数据中 挖掘出隐含的、先前未知的、对 决策有潜在价 值的关系、模式和 趋势并用这些知识和规则建立用于决策支持的模型 , 为商业智能 系统服务的各业务领域提供 预测性决策支持的方法、工具和过 程。(9 信息门户(Enterprise Information Portal, EIP :为使数据仓库的使用者可以根据自己的需要 获得想要的信息 , 需要 从界面、 应用系统交互等角度 进行门户 的建设规划。 如果将这些 功能模型进行抽象,可以归结为 以下的功能 层次: 集成 :包括信息的集成

12、、人的集成和流程的集成。 内 容 管 理 :对 现 有 信 息 实 现 统 一 的 目 录 分 类 管 理 (Categorization 。包括结 构化数据和非 结构化信息的分 类、 编目、摘要、审 核和 发布。 搜索:分类和搜索是 组织和获取信息的 紧密联系的两个 方面。 以人 为本的核心安全架构 :支持 统一面向自然人的用 户 身份 认证, 统一用户的访问权限控制和 统一用户资源管理 , 实现 单次登录就可以访问所有相关信息 资源是门户的一个重要功能。 个性化:即信息门户的数据和应用可以根据每一个人的 要求来配臵 , 为用户提供个性化的 应用界面, 提高员工工作效率 , 增强对用户的亲和

13、力和吸引力 可访问性:在门户 中,用户可以在安全机制的保 护下, 在任何时间任何地点方便地 访问企业的信息和 应用,完成对信息 和数据的 处理和提交 ,保证企业的业务运转永不停 顿。 协 作与共享 :提供同事 间、部门间、企业间、客户 和厂 商间 的协作和交互 管理和调度:可以实现日常性的信息采集和分送的 调度 和管理维护。 信息门户实施后,员工日常需要的各个 应用和信息集中展 现 在员工的桌面。 只要在统一的信息 访问入口进行一次登录的身份 验证,便可真正地 实现 信息一站式服 务。三 、商业 智能需求商业智能需求形成的价 值链 :商业智能需求所形成的价 值链提炼商业智能需求按照成 长历程来

14、说,大体分为两个阶段:技术驱动时代;业务驱动时代。技术驱动的时代:商业智能的需求分析更多地是 侧重在BI工具的应用。例如用报表工具来实现一些管理性的报表,用OLAP来实现一些经常性的数据统计与分析，用ETL工具来替代手工编写代码方式的数据迁移。这个阶段的需求分析过程有非常明显的技术倾向性,这种项目往往有个前提，就是目标技术平台往往在项目启动之初已经敲定。需求分析师首先要非常了解目标技术平台的各项技术指标,并且把目标用户的需求引导并且框定在这个目标技术平台的能力范围之内。在业务驱动的时代，需求分析师首先需要非常熟悉目标用户的日常业务,商业智能系统比传统业务系统相比,需求的把握 与定义是非常困难的

15、，传统业务系统的流程是非常清晰的，类似银行业务的核心业务 系统,诸如储蓄业务,对公业务,国际业务 即使种 类很多, 而对于落实到具体业务的需求的 时候, 起码同一 家银行是有一个 标准的业务操作的流程的 ,不论流程多么复 杂, 所对应的需求总是明确的 ,可见的, 用程序化的方式来表达也是 简单的,而且作为生产系统,早日投产比完善往往是更具价 值,在这个大前提是 , 花繁为简, 稳定压倒一切是甲乙双方都 认同的。 而作为以辅助业务中战术决策的商业智能系统,首先要迈过的一 个关口就是 , 在战术智慧上, 系统的决策水平要起 码高明于一个 中等层次的业务人员的商业智慧, 这样他才会 觉得系统对他是有

16、 帮助的。目前,一些大公司依靠影响力 ,组织了一群技 术专家 经过多年的 类似项目经验沉淀后 ,形成了一套模板 ,一则让 BI 需求分析师对于业务思考模式的学 习和理解可以从客 户现场退 回到自己的公司内部。 二则, 也试图用既成事实的行业标准的做 法迅速而直接的影响用 户的思维,业界内俗称 ,给客户“洗脑”, 然而, 针对个别企业的业务所分析出来的模板能推广 ,有一个预 设前提, 就是这种业务在全世界有一个可以普遍使用 , 而且有同 质度非常高的 标准成功模式 ,事实上,每个企业和人一样,是个 性发展的产物, 不是标准形成的产物, 标准的推行本身就意味着企业的持续变革,这里也形成了一个悖 论

17、, 持续的变革是否需要模板也需要持续的调整,然后模板的调整是否又需要持续的变革来配合在 BI 领域,这个以优化为名的迭代几乎形成了一个没完 没了的怪圈。 这个怪圈的形成 , 给每一位商 业智能工作者提了个 醒,商业智能不是一个目 标,而是一个过程。通过 目前商业智能 需求获取的阶段分析, 商业智能需求必然走向的是价 值驱动, 商 业智能的需求 经过多次否定之否定的螺旋式上升 发展的过程后, 商业智能的 应用与企业价值链的优化组合是必然的 趋势, 只有把商业智能的需求和企 业价值链的形成与提升 结合起来, 商业智能 的实际 价值才能得到真正的体 现。正如前面的分析 ,各种内外因素的 组合作用 ,

18、 使企业必然 信息驱动为核心的生产和管理方式 ,在企业利润形成的整个价 值 链条中, 信息使这条价值链从模糊逐渐走向清晰, 将数据作为企 业战略资产并且在数据 质量方面继续投资,是使企业成为行业先 锋的重要保 证,运用商业智能的环境来回答诸如客户价值贡献 度,地区市场差异,资本充足率 ,商品生命周期 ,成本与财务预 算,定价策略,资金周转率等与企业利润的形成密切相关 ,商业 智能把历史数据从 “数据监狱”里释放出来,成为企业的一笔有 形的资产。商业智能从“智能”走向“商业”是一条商业智能需求走 的必由之路 , 技术至上的 观点, 不但会成 为商业智能发展的桎梏 ,甚至会成为扼杀商业智能应用推广

19、的无形黑手 ,所以, 作为商业 智能项目主导的这些需求分析 负责人,首先,就要明确地树立的 是做商业智能是为客户赚钱的商业观念,在和客户需求形成的 过 程中, 把客户的需求引导向对客户有利而同时也对降低自身实施 成本, 加快投产速度也有利的角度 , 不要认为做报表和查询是一 种身价的贬低,如果一份 “简单”的报表或一笔“简单”的查询 能为客户一年节省过千万的成本 ,避免一笔过千万的 风险损失, 一份报表就把客户对项目的全部投 资都收回来了 ,这笔帐,这 样的商业智能项目,难道还会受到客户的冷遇和拒 绝吗 ?四、商业智能系统的实施商业智能的实施主要有 3 类风险:技术风险、工程管理风险 和业务风

20、险。 应对商业智能项目风险的最好方法是采用一套成熟 的方法学 (Methodology , 方法学是人 们在数据仓库构建实践中 所积累的成功和失 败的经验的总结。 商业智能项目是一个需要不 断优化的循 环过程。商业智能在需求的 环节会更加依 赖于用户 的 思维习惯和认识水平,商业智能项目具有长期性和 艰巨性商业智能的实施方法有 3 种方式:(1自上而下 ,顶层设计思想。全局考虑 ,全面实施,建立 适合企业信息共性需求的完整的数据模型 , 然后从业务运营系统 中提取数据 ,进行数据的清洗、合并、规 范化和合理化 ,并加载 到数据 仓库中, 形成企业统一的数据集成平台 , 最后可以根据部 门个性需

21、要将数据 仓库 的数据分 发到面向主 题的数据集市中。 优点包括:企业统 一的数据集成平台 ;集中化的控制管理 ;数据容 易分发到各个数据集市中。缺点包括 :开发过 程复杂,费用高; 开发时间长 , 难以满足快速变化的业务需求;需要进行大量的业 务需求分析,需要大量的 资源。(2自下而上。根据特定的业务 主题,分部门考虑,分部门 实施, 在很短的时间内实现部门级的数据集市,多个数据集市 组 成企业联邦制的数据 仓库。优点包括:可以并行开 发;见效快; 分散化的资源和管理控制。 缺点包括 :很难协调各个数据集市的 建设; 可能存在着部 门之间数据集市 归属问题; 多种数据源采集 系统,可能造成

22、对业务 系统的冲 击和数据的不一致。(3 元数据驱动的实施方法。元数据管理在商业 智能项目开 发建设中有很重要的作用。 元数据驱动、 螺旋上升的数据 仓库建 立的过程就是 “建立元数据构造数据仓库集市”的不断循环、不断上升的 过程, 元数据驱动的数据仓库开发过程可以细分为以 下阶段: 建立元数据 :包括定 义元数据的数据源 ;定义 元数据的内 容和属性;定义元数据使用规则;声明元数据联合使用的规则。 构造数据仓库 /集市:基于元数据进行数据抽聊 /清洗 /转换 /聚合 /加载 /分布;基于元数据 进行前端应用界面定制。这种开发方式优点包括:建立企 业数据的 统一视图;有统一 的元数据管理 ;具

23、有灵活可 扩展的的体系 结构;分步式开发,螺 旋式上升, 既能快速看到效果 , 又能保 证系统的连续性、 一致性。缺点就是如何真正 实现这 种方式, 提取和维护元数据并不是一件 很难的事情, 而在实际的实施过程中, 如何真正地 实现元数据的 驱动则不是一件容易的事情 ,由于受传统程序开发思想的影响 , 很多开发者对需求问题的解决更多地依 赖于程序设计, 这样使得 很多控制逻辑很难被抽象出来 ,因此也难于把数据的 处理过程标 准化、 规范化, 这种以程序驱动的方式很容易把所 谓的元数据驱 动流于形式。商业智能的 实施原则如下:(1总体规划原则:整个项目建设应该统 一进行规划,建 立一个能够支持企业长期发展的总体系统架构,为将来的应用打 下坚实的基础。(2分阶段 、循序渐进的原则:任何一个项目的实施都 是一个发现问题, 解决问题,积累经验, 又遇到新问题,再解决,再积累的循序渐进的过程。(3实用原则:尽可能用 统一、简单、易于使用的方式来 实现。(4 知识