商业智能系统

1、商业智能系统相关技术的研究1 商业智能1.1商业智能概念的定义 商业智能的概念最早是Gartner Group于1996年提出来的。商业智能是由数据仓库、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的的技术及其应用。商业智能所涉及的技术与应用,在Gartner Group命名之前就有,起初被称为经理信息系统 (E IS) ,在演化成商业智能之前叫决策支持系统 (DSS)。商业智能是数据库技术、OLAP（联机分析处理Online Analytical Processing,简称OLAP)）技术、数据采集和迁移技术、网络技术、GUI技术、查询报表技术、统计学、人工智

2、能、知识发现技术等理论和技术的综合运用，其核心内容是从许多来自企业不同的业务处理系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即E几过程，整合到一个企业级的数据仓库里，从而得到企业信息的一个全局视图，利用合适的查询和分析工具、数据挖掘工具等对数据仓库里的数据进行分析和处理，形成信息，把信息提炼出辅助决策的知识，最后把知识呈现给管理者，为管理者的决策过程提供支持。 1.2正确理解商业智能商业智能应该是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合。对该定义的正确解释, 可以

3、从四个层面展开。信息系统层面: 称为商业智能系统 ( BI Sys-t em) 的物理基础。表现为具有强大决策分析功能的单独的软件工具和面向特定应用领域的信息系统平台, 如 SCM、CRM、ERP。与事务型的 MIS 不同, 商业智能系统能提供分析、趋势预测等决策分析功能。数据分析层面: 是一系列算法、工具或模型。首先获取与所关心主题有关的高质量的数据或信息, 然后自动或人工参与使用具有分析功能的算法、工具或模型, 帮助人们分析信息、得出结论、形成假设、验证假设。知识发现层面: 与数据分析层面一样, 是一系列算法、工具或模型。将数据转变成信息, 而后通过发现, 将信息转变成知识; 或者直接将信

4、息转变成知识。战略层面: 将信息或知识应用在提高决策能力和运营能力上; 企业建模等。商业智能的战略层面是利用多个数据源的信息以及应用经验和假设来提高企业决策能力的一组概念、方法和过程的集合。它通过对数据的获取、管理和分析, 为贯穿企业组织的各种人员提供信息, 以提高企业战略决策和战术决策能力。总之, 商业智能的目标是将企业所掌握的信息转换成竞争优势, 提高企业决策能力、决策效率、决策准确性。为完成这一目标, 商业智能必须具有实现数据分析到知识发现的算法、模型和过程, 决策的主题具有广泛的普遍性。2商业智能系统 商业智能的整个系统被划分为4个层面，简单的说就是主要包括数据预处理、建立数据仓库、数

5、据分析及数据展现四个主要阶段。从数据源经过抽取（Extra，E）、转换（Transform，T）、装载（Load，L）过程加载到中央数据仓库，再从数据仓库经过分类加工放到数据集市（Data Market，DM），或者将数据集市中的数据进一步存放到多维数据库（Multi-dimension Database，MDD），这都属于数据分析的问题，从中间层到终端用户或从多维数据库到终端用户可将其划归为前端应用实现（数据展现）的问题。而贯穿整个体系数据处理环节的，是系统的流程调度控制和元数据管理，其结构如下图所示。商业智能系统（体系结构）数据分析是体现系统智能的关键,一般采用联机分析处理和数据挖掘两大技

6、术。联机分析处理不仅进行数据汇总/聚集,同时还提供切片、切块、下钻、上卷和旋转等数据分析功能,用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏的知识,通过关联分析、聚类和分类等方法建立分析模型,预测企业未来发展趋势和将要面临的问题。在海量数据和分析手段增多的情况下,数据展现则主要保障系统分析结果的可视化。3商业智能系统的研究内容商业智能系统是以现代管理理论为指导，信息技术为支撑核心的集成系统。近年来，它的研究热点主要集中在三大方面：支撑技术的研究、体系结构的研究、应用系统的研究。（1）支撑技术的研究技术研究确切地讲，BI 并不是一项新技术，它将数据仓库(DW)、联机分析

7、处理(OLAP)、数据挖掘(DM ) 等技术与CRM、ERP等系统结合起来应用于商业活动实际过程当中，实现了技术服务于决策的目的。商业智能的支撑技术主要包括两方面。一是计算机技术。包括：数据仓库、数据集市技术；数据挖掘技术；OLTP、OLAP、Legacy等分析技术；数据可视化技术；计算机网络与WEB技术。二是现代管理技术，包括：统计、预测等运筹学方法；客户管理、供应链管理、企业资源计划等管理理论和方法；企业建模方法。支撑技术的研究主要围绕两部分展开：决策支持工具研究和企业建模方法研究。企业建模是为解决如何建立特定企业模式的辅助工具。IDEF(ICAM Definition method, I

8、CAM-Integrated Computer Aided Manufacturing) 等研究方法是较程式化的企业建模方法，比较新的建模方法包括基于UML(Unified Modeling Language)的企业建模等方法。数据挖掘算法的研究是目前计算机界研究的热点之一，它逐渐成为一个跨越人工智能、数据统计等多学科的研究领域。决策分析工具的研究还包括各种分析方法的研究。（2）体系结构的研究(a)体系结构的研究所谓体系结构(Architecture)是指一整套的规则和结构，为一个系统或产品的整体设计提供主框架。而一个商业智能的体系结构是指通过识别和理解数据在系统中的流动过程和数据在企业中的应

9、用过程来提供商业智能系统应用的主框架。BI基础结构下图(a)描述了一个基本的商业智能体系结构。根据不同的商业需求可以得到与之相应改进的体系结构，使之更好地解决商务问题。例如，根据主题和数据分析的需要设计不同的数据仓库，选择合适的中间软件和决策分析工具，我们可以看出要预留不同的应用程序接口，以便后续的各种方案的比较与操作。网络环境下BI体系结构网络环境下的商业智能系统建立在基于流程的扁平化组织基础上，可以改变内部传统的基于职能的多字塔式的“科层制”组织模式，提高对市场及客户的反映速度，降低运营成本，实现物流、资金流、信息流的集成统一，实现事前、事中的集中计划与管理控制。网络环境下的商业智能系统模

10、型如图(b)所示。图(a) BI基础结构图(b) 网络环境下BI体系结构（3）应用系统的研究对应用系统的研究的重点在于对各个应用领域所面临的决策问题的分析。根据对各类问题的解决方式和解决方案来决定商业智能系统应该提供的功能以及具体实现方法。目前，商业智能被广泛应用于与企业运营过程相关的各个领域，并且在很多领域已经形成其特有体系。具有代表性的应用领域包括：企业资源计划（ERP）、客户关系管理（CRM）、企业性能管理（BPM）、人力资源管理（HRM）、供应链管理（SCM）、电子商务（E-business）4商业智能的实施过程商业智能的实现是一个循环的螺旋式上升的过程。商业智能实施一般可分为5个阶段

11、:确定目标阶段(targeting)、数据收集与预处理阶段(Tracking)、信息发送阶段(Routing)、数据解释建模阶段(interpreting)及基于知识的行动阶段(Action)。(1)确定目标阶段。商业智能所解决的一般都是一个客户面临的关键问题,如何确定和理解问题就成为商业智能实施的起点和成功的关键。问题的确定方法可以有多种,如了解客户当前新业务推广、客户流失及信用欺诈等。但关键一点是确定问题的商业价值,简单来说,客户在商业智能系统上的投入,通过问题的解决,能带来确定的收益,否则这个项目从开始就是失败的。(2)数据收集与预处理阶段。数据的收集难度和客户的实际情况有较大的关系,如

12、果客户已经拥有自己规范和完整的数据存储,收集工作较容易,反之,就很有可能把多种介质多种规格的数据通过清洗、构造、集成和格式化转化成所需要的数据。(3)信息发送阶段。信息的价值不在于拥有,而在于如何恰当利用,因为有更多的人共享同样的信息,就可以更好地相互理解和沟通,做出更好的决策。因此,信息价值与获取,分析该信息的用户人数及用户所属商业领域数量的函数关系可表示为:价值(信息)=用户数2所属商业领域数量。(4)数据解释与建模阶段。这一阶段是商业智能实施的核心部分。但是,到目前为止对商业智能模型训练结果的优劣并没有绝对的衡量标准,在一定程度上给建模人员和分析系统的产品化带来了困难。针对确定的数据和问

13、题,采用多种算法比较、分割数据集验证及调整参数比较等方式找到相对优的模型。模型建立后,应该对模型训练结果及建立过程等进行评估,以便做出是否调整模型和完成的决定。(5)基于知识的行动阶段。通过对模型训练的结果来决定是否采取行动,如果模型被证明是客观和有意义的,那么就可以根据模型训练的结果采取相应的企业策略。5商业智能系统实施注意的问题人的精力是有限的，不可能一天24小时盯着系统看。在这种情况下，应该给BI系统装一只“眼睛”，让系统帮忙盯着业务。当业务有异常时，要在第一时间通知用户，以便于相关人员在第一时间采取补救措施。亡羊补牢也来得及。对于报警这块内容，在实施时需要关注如下问题。（1） 规划需要

14、报警的内容一般来说，需要对报警的内容进行合理的规划。范围设置的太小，报警信息会有很多。管理员无法对这些数据进行疑义甄别。范围设置的太宽，则也会漏掉有价值的信息。故这个范围的设置，直接关系到报警功能的使用价值。通常如下这些信息需要设置报警功能。（a）在价格分析中，一些异常的价格需要报警。如销售订单价格低于规定的价格或者说采购订单价格高于规定的最好价格。如订单数量比较多或者让供应商赶货，价格会存在一些异常的情况。BI系统在数据分析时，要及时的告知相关人员，便于他们确认相关的事项。（b）在库存数据分析时，当实际库存低于所规定的安全库存时，系统要能够进行报警。通常情况下，企业为了保证正常的生产计划，会

15、在企业仓库中预备一定的库存数量。而在BI 库存数据分析时，会将库存数据与安全库存的要求进行比对。（c）基础数据的更新。BIS的运转需要有基础数据的支持。现在大部分的BIS，可以设置自动在某个时间从某个系统导入基础数据，然后进行分析。如果这些数据是采用无人值守的方式进行的，则有可能在数据导入的过程中，遇到一些意外情况，而无法成功导入或者导入不完全。如果遇到这种情况的话，那么系统要能够及时的将这种异常信息发送给管理员。（2）规划报警的手段报警的对象确定好之后，接下去要考虑的就是报警的手段。现在BIS一般有三种报警方式。分别为邮件报警、即时消息报警和手机短信报警。这三种方式也各有优劣。一般对于一些比

16、较重要且紧急的消息，可以采用手机短信的方式进行通知。不过手机短信也有一个不足的地方。简单的说，就是手机短信由于信息有限，收到的内容不够详细。如不能够详细说明哪些数据因为哪些原因而导入不成功。通常的做法是，手机短信是一个提醒的功能。相关的信息还是要通过电子邮件等信息来传达。手机短信中只包含一些简短的信息。如果管理员意识到问题的严重，需要查看更加详细的内容，就需要登陆邮箱来查看。从这个层面来说，手机短信报警工具并不市独立存在的。而往往是跟其他手段，如电子邮件或者即时信息结合使用。（3）定时对报警的有效性进行验证报警措施设置好之后，还需要定时的对报警的有效性进行验证。因为由于环境的变化，原先的报警设

17、置可能会失效，或者说不符合企业的实际情况。此时就需要对此进行调整。（a）需要定时抽查原先的报警设置是否有效。如当数据导入发生异常时系统有没有正常发生手机短信通知，一般来说，如果发生意外的话，都会在系统中留下记录。如在系统日志中会留下错误信息。管理员可以根据这些内容，来判断原先的设置是否有效。如果发现无效的话，要即使分析问题的原因，并及时采取相应的补救措施。（b）判断相关的参数设置是否符合企业最新的实际情况。报警的实质就是看数据是否违反了即定的规则，这些规则往往是管理者根据当时的情况制定的。如果情况发生了变化，那么参数也需要进行适当的调整。（4）分类对报警信息进行管理在报警信息设置时，会给每个报

18、警信息附带一个编号。这就好像系统错误信息中的错误代码一样，就看错误代码就可以知道错误信息的种类。在BI系统中的报警信息管理中，也需要对报警的代码进行编码，这有利于用户对信息进行分类的管理，如将跟库存相关的警告信息，发送给仓库管理人员，而不发给销售相关人员。分类管理可以提高报警信息的针对性，主要是对警告信息的编码进行合理的规划。如采用6位数字编码，那么前面两位可以是类别代码，表示是哪个作业或者哪张分析报表产生的警告信息。而后面四位表示流水码。有经验的用户，一看前面两个代码，就能够判断是在哪个报表上出现了问题。有时为了阅读的方便，前面两位类码还可以使用拼音或者英文单词的简写来代替，理解起来更加的方便。如安全库存报表，就采用AK表示分类代码等等。无论采用什么样的编码方式，都要遵循一个简单的原则：简明易懂。而且在后续分析时，也可以根据这个代码类别来统计，某一段时间内发送警告的数量。