商业智能的概念.doc

商业智能的概念商业业智能是什么?简而言之,它是能够帮助用户对自身业务经营做出正确明智决定的工具。一般现代化的业务操作,通常都会产生大量的数据,如订单、库存、交易帐目、通话记录、及客户资料等。如何利用这些数据增进对业务情况的了解,帮助我们在业务管理及发展上作出及时、正确的判断,也就是说,怎样从业务数据中提取有用的信息,然后根据这些信息来采用明智的行动-这就是商业智能的课题。 目前，商业智能产品及解决方案大致可分为数据仓库产品、数据抽取产品、OLAP产品、展示产品、和集成以上几种产品的针对某个应用的整体解决方案等。商业智能领域的技术应用：商业智能的技术体系主要有数据仓库（DW）、在线分析处理（OLAP）以及数据挖掘（DM）三部分组成。数据仓库是商业智能的基础,许多基本报表可以由此生成,但它更大的用处是作为进一步分析的数据源。所谓数据仓库（DW）就是面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定过程。多维分析和数据挖掘是最常听到的例子,数据仓库能供给它们所需要的、整齐一致的数据。在线分析处理（OLAP）技术则帮助分析人员、管理人员从多种角度把从原始数据中转化出来、能够真正为用户所理解的、并真实反映数据维特性的信息，进行快速、一致、交互地访问，从而获得对数据的更深入了解的一类软件技术。数据挖掘（DM）是一种决策支持过程，它主要基于AI、机器学习、统计学等技术，高度自动化地分析企业原有的数据，做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策。商业智能常见名词浅释Data Warehouse本世纪80年代中期，数据仓库之父William H.Inmon先生在其建立数据仓库一书中定义了数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可以购买的产品。Data mart数据集市，或者叫做小数据仓库。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只是面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。OLAP联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时，Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念，即OLAP。Codd提出OLAP的12条准则来描述OLAP系统：准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能力推测准则4 稳定的报表能力准则5 客户/服务器体系结构准则6 维的等同性准则准则7 动态的稀疏矩阵处理准则准则8 多用户支持能力准则准则9 非受限的跨维操作准则10 直观的数据操纵准则11 灵活的报表生成准则12 不受限的维与聚集层次ROLAP基于Codd的12条准则，各个软件开发厂家见仁见智，其中一个流派，认为可以沿用关系型数据库来存储多维数据，于是，基于稀疏矩阵表示方法的星型结构（star schema）就出现了。后来又演化出雪花结构。为了与多维数据库相区别，则把基于关系型数据库的OLAP称为Relational OLAP，简称ROLAP。代表产品有Informix Metacube、Microsoft SQL Server OLAP Services。MOLAPArbor Software严格遵照Codd的定义，自行建立了多维数据库，来存放联机分析系统数据，开创了多维数据存储的先河，后来的很多家公司纷纷采用多维数据存储。被人们称为Muiltdimension OLAP，简称MOLAP，代表产品有Hyperion(原Arbor Software) Essbase、Showcase Strategy等。Client OLAP相对于Server OLAP而言。部分分析工具厂家建议把部分数据下载到本地，为用户提供本地的多维分析。代表产品有Brio Designer，Business Object。DSS决策支持系统（Decision Support System），相当于基于数据仓库的应用。决策支持就是在收集所有有关数据和信息，经过加工整理，来为企业决策管理层提供信息，为决策者的决策提供依据。ETL数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。Ad hoc query即席查询，数据库应用最普遍的一种查询，利用数据仓库技术，可以让用户随时可以面对数据库，获取所希望的数据。EIS主管信息系统（Executive Information System），指为了满足无法专注于计算机技术的领导人员的信息查询需求，而特意制定的以简单的图形界面访问数据仓库的一种应用。BPR业务流程重整（Business Process Reengineering），指利用数据仓库技术，发现并纠正企业业务流程中的弊端的一项工作，数据仓库的重要作用之一。BI商业智能（Business Intelligence），指数据仓库相关技术与应用的通称。指利用各种智能技术，来提升企业的商业竞争力。Data Mining数据挖掘，Data Mining是一种决策支持过程，它主要基于AI、机器学习、统计学等技术，高度自动化地分析企业原有的数据，做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策CRM客户关系管理（Customer Relationship Management），数据仓库是以数据库技术为基础但又与传统的数据库应用有着本质区别的新技术，CRM就是基于数据仓库技术的一种新应用。但是，从商业运作的角度来讲，CRM其实应该算是一个古老的应用了。比如，酒店对客人信息的管理，如果某个客人是某酒店的老主顾，那么该酒店很自然地会知道这位客人的某些习惯和喜好，如是否喜欢靠路边，是否吸烟，是否喜欢大床，喜欢什么样的早餐，等等。当客人再次光临时，不用客人自己提出来，酒店就会提供客人所喜欢的房间和服务。这就是一种CRM。Meta Data元数据，关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。正确理解商业智能商业智能（BI）是目前在国外企业界和软件开发界受到广泛关注的一个研究方向。可以用两点来总结这种研究热点出现的原因：一、信息技术的高速发展带来了企业利用信息技术提高本身竞争力的巨大空间：信息技术不但使企业获取需要的信息，而且，促进企业对信息的再利用，以此营造企业的竞争优势；二、IT界许多以提供软件平台和工具平台的大公司通过多年与企业的交流，已经认识到企业对商业智能的迫切需求，纷纷加入到从事商业智能的研究与开发上来。IBM建立了专门从事BI方案设计的研究中心，ORACLE、微软等公司纷纷推出了支持BI开发和应用的软件系统，有的直接进入了BI的开发领域。由于BI尚处于从起步阶段到发展阶段的转变时期，许多人对BI的理解存在一定的偏差。很多人认为BI仅仅是一个进行数据分析的软件包，一些较为悲观的人认为BI是存在于理想家头脑中的、企业永远不可能达到的境界。本文首先系统地诠释了BI的概念，从多个方面总结了BI具有的功能，接着分析了BI的研究内容和发展趋势。为了让读者更加清晰地把BI与MIS系统区别开来，本文讨论了BI与DSS（决策支持系统）、EIS（经理执行系统）的主要区别。最后，本文分析了制约BI健康发展的若干因素。1.商业智能概述商业智能不是一个新名词。多年来，企业一直在寻找对商业智能的理解和实现的方式，以增强企业的竞争力。早在80年代，当时“商业智能”的标准是能容易地获得想要的数据和信息。90年代是商业智能真正起步的阶段。到目前为止，关于BI还没有统一的定义，不同的人只是从不同的方面表达了对BI的理解。早在90年代初，Garter Group的Howard Dresner把EUQR（终端查询和报表）、DSS、OLAP称为商业智能。企业使用这些工具使企业获得的优势也被称为商业智能。后来，出现了数据仓库、数据集市技术，以及与之相关的ETL（抽取，转换，上载）、数据清洗、数据挖掘、商业建模等，人们也将这些技术统归为商业智能的领域。目前，存在将商业智能与数据仓库和基于数据仓库的分析方法等同起来的认识趋势。其实，商业智能代表为提高企业运营性能而采用的一系列方法、技术和软件的总和。商业智能，是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合。对该定义的正确解释，从四个层面展开： 信息系统层面：称为商业智能系统（BI System）的物理基础。表现为具有强大决策分析功能的单独的软件工具和面向特定应用领域的信息系统平台，如SCM、CRM、ERP。与事务型的MIS不同，商业智能系统能提供分析、趋势预测等决策分析功能。数据分析层面：是一系列算法、工具或模型。首先获取与所关心主题有关的高质量的数据或信息，然后自动或人工参与使用具有分析功能的算法、工具或模型，帮助人们分析信息、得出结论、形成假设、验证假设。知识发现层面：与数据分析层面一样，是一系列算法、工具或模型。将数据转变成信息，而后通过发现，将信息转变成知识；或者直接将信息转变成知识。战略层面：将信息或知识应用在提高决策能力和运营能力上；企业建模等。商业智能的战略层面是利用多个数据源的信息以及应用经验和假设来提高企业决策能力的一组概念、方法和过程的集合。它通过对数据的获取、管理和分析，为贯穿企业组织的各种人员提供信息，以提高企业战略决策和战术决策能力。总之，商业智能的目标是将企业所掌握的信息转换成竞争优势，提高企业决策能力、决策效率、决策准确性。为完成这一目标，商业智能必须具有实现数据分析到知识发现的算法、模型和过程，决策的主题具有广泛的普遍性。这个特点是本文定义商业智能时应特别强调的。基于以上定义的商业智能应具有以下功能：数据管理功能：从多个数据源ETL（抽取、转换、转贮）数据、清洗数据、数据集成能力；大量数据高效存储与维护能力。数据分析功能具备OLAP，Legacy等多种数据分析功能；终端信息查询和报表生成能力；数据可视化能力知识发现功能从大型数据库中的数据中提取人们感兴趣的知识的能力。这些知识是隐含的、事先未知的、潜在有用的信息，提取的知识表示为概念（concepts），规则（rules），规律（regulations），模式（patterns）等形式。企业优化功能辅助企业建模的能力。2.BI研究内容、发展趋势商业智能为更好地制订战略和决策提供良好的环境，为特定的应用系统（如客户关系管理CRM、供应链管理SCM、企业资源计划ERP）提供数据环境和决策分析支持。当面向特定应用的特定战略和决策问题，商业智能从数据准备做起，建立或虚拟一个集成的数据环境。在集成的数据环境之上，利用科学的决策分析工具，通过数据分析、知识发现等过程，为战略制订和决策提供支持。最终，是如何解释和执行分析和发现结果的问题。整个过程中，集成的数据环境和决策分析工具是十分重要和不要缺少的。使用数据仓库和数据集市建造集成的数据环境是逐渐走向成熟、也是目前最理想的做法。数据仓库提供数据存贮环境，而且是面向特定主题的决策支持环境。来自各种数据源中的数据经过清洗、ETL（抽取，转换，上载），按某一主题存贮。数据集市是面向特定主题的小型数据仓库，解决了企业级数据仓库要存储大量数据而带来的建设周期长、造价高、可扩展性差等缺陷。OLAP是基于数据仓库环境的数据分析工具。用户首先提出自己的假设，然后利用OLAP工具检索查询以验证或否定假设，是用户制动式的分析方式。OLAP解决了基于OLTP分析效率低、不能进行多维分析的缺点。相比较而言，知识发现（大多数人也称数据挖掘）是较难理解的，它利用知识发现工具挖掘事先未知的、潜在有用的知识的过程，是一种主动式自动发现方法。图2是文章总结的商业智能系统框架。 2.1.研究内容商业智能是利用当今计算机前沿技术作支撑、运用现代管理技术进行指导的应用系统，它的研究热点集中在三个方面：支撑技术的研究、体系结构的研究、应用系统的研究。2.1.1.支撑技术的研究商业智能作为一个在90年代末期出现的跨学科新兴领域，必须借鉴两方面的先进成果，一是计算机技术的前沿技术，一是企业管理方面的新理论、新观点。企业管理方面的新理论、新观点为战略制订和决策提供先进的管理模式，帮助企业更好地运营；先进的计算机技术是提高系统性能的有力手段。商业智能的支撑技术包括以下几项：一是计算机技术，包括：数据仓库、数据集市技术；数据挖掘技术；OLTP、OLAP、Legacy等分析技术；数据可视化技术；计算机网络与WEB技术。二是企业管理，包括：统计、预测等运筹学方法；客户管理、供应链管理、企业资源计划等管理理论和方法；企业建模方法。支撑技术的研究主要围绕两部分展开：决策支持工具研究和企业建模方法研究。企业建模是为解决如何建立特定企业模式的辅助工具。IDEF 等研究方法是较程式化的企业建模方法，比较新的建模方法包括基于UML的企业建模等方法。数据挖掘算法的研究是目前计算机界研究的热点之一，它逐渐成为一个跨越人工智能、数据统计等多学科的研究领域。决策分析工具的研究还包括各种分析方法的研究。2.1.2.体系结构的研究图2描述了一个典型的商业智能体系结构。面向特定应用会有相应改进的体系结构，使商业具有良好的性能，例如：建立如何的数据存贮和数据模型能很好地支持主题和数据分析和知识发现的需要；选择何种决策分析工具，包括选择实现何种任务、选择实现这种任务的何种工具；将分析和发现的信息和知识通过何种接口达到需要的用户等等。2.1.3.应用系统的研究对应用系统的研究的重点在于对各个应用领域所面临的决策问题的分析。根据对各类问题的解决方式和解决方案来决定商业智能系统应该提供的功能以及具体实现方法。目前，商业智能被广泛应用于与企业运营过程相关的各个领域，并且在很多领域已经形成其特有体系。目前具有代表性的应用领域包括：企业资源计划（ERP）、客户关系管理（CRM）、企业性能管理（BPM）、人力资源管理（HRM）、供应链管理（SCM）、电子商务（E-business）。2.2.发展趋势与DSS、EIS系统相比，商业智能具有更美好的发展前景。近些年来，商业智能市场持续增长。IDC预测，到2005年，BI市场将达到118亿，平均年增长率为27%（Information Access Tools Market Forecast and Analysis: 2001-2005, IDC#24779, June 2001）。随着企业CRM、ERP、SCM等应用系统的引入，企业不停留在事务处理过程而注重有效利用企业的数据为准确和更快的决策提供支持的需求越来越强烈，由此带动的对商业智能的需求将是巨大的。商业智能的发展趋势可以归纳为以下几点：功能上具有可配置性、灵活性、可变化性BI系统的范围从为部门的特定用户服务扩展到为整个企业所有用户服务。同时，由于企业用户在职权、需求上的差异，BI系统提供广泛的、具有针对性的功能。从简单的数据获取，到利用WEB和局域网、广域网进行丰富的交互、决策信息和知识的分析和使用。解决方案更开放、可扩展、可按用户定制，在保证核心技术的同时，提供客户化的界面针对不同企业的独特的需求，BI系统在提供核心技术的同时，使系统又具个性化，即在原有方案基础上加入自己的代码和解决方案，增强客户化的接口和扩展特性；可为企业提供基于商业智能平台的定制的工具，使系统具有更大的灵活性和使用范围。从单独的商业智能向嵌入式商业智能发展这是目前商业智能应用的一大趋势，即在企业现有的应用系统中，如财务、人力、销售等系统中嵌入商业智能组件，使普遍意义上的事务处理系统具有商业智能的特性。考虑BI系统的某个组件而不是整个BI系统并非一件简单的事，比如将OLAP技术应用到某一个应用系统，一个相对完整的商业智能开发过程，如企业问题分析、方案设计、原型系统开发、系统应用等过程是不可缺少的。从传统功能向增强型功能转变增强型的商业智能功能是相对于早期的用SQL工具实现查询的商业智能功能。目前应用中的BI系统除实现传统的BI系统功能之外，大多数已实现了图2中数据分析层的功能。而数据挖掘、企业建模是BI系统应该加强的应用，以更好地提高系统性能。3.BI与DSS、EIS的比较商业智能作为一种新兴的决策支持体系，与传统的DSS、EIS相比，在以下方面存在明确的优势。3.1.使用对象范围商业智能的使用对象不再像DSS、EIS仅仅局限于企业的领导与决策、分析人员，而是扩展到企业组织内外的各类人员，为他们提供决策支持服务，既有企业经理一类的企业领导和高层决策者，又有企业内部各部门的职能人员，还包括客户、供应商、合作伙伴等企业外部用户。3.2.具有的功能从以上分析看出，商业智能具有传统DSS、EIS所不具有的强大的数据管理、数