商务智能技术及项目总结

商务智能技术及项目总结撰稿人张伟随着郑州地税BI项目接近尾声，本月郑州BI项目组也针对BI的整体概念以及BI的各个方面进行了总体的讲解和详细的工具使用，同时觉得自己有必要对该项目和BI技术进行一下总结，同时提出自己对BI的观点和理解。一般说来，商业智能的首要目的就是在针对产品、销售和客户等数据分析的基础上，为企业的决策和信息应用提供数据的分类和管理。随着近年来数据仓库技术的不断成熟，商业智能已经开始在国外的许多大型企业和机构拓展其成熟的应用。下面简要介绍一下BI的三大技术数据仓库（DW）、在线联机分析（OLAP）和数据挖掘（DM）。一、数据仓库1数据仓库是数据信息的整合，它解决了从数据库中获取信息的问题。你能从下图告诉我一共有多少根火柴吗图11如果我们利用数据仓库技术对数据进行整合，图1将变成如下图所示图12呵呵，这样是不是就能轻易的说出火柴的数量了。数据整合是将分布在企业中的各种各样的数据从各种不同的、分散的数据源、不同的应用中汇集，转变成结构化、可复用、准确可信的数据的过程。你能从下图告诉我销售额最大的客户吗图13对上面的数据进行分析，得出如下图形（前四条是一条数据）图14所以整合后的数据应该是如下图所示图15所以如上所说，数据仓库解决了从数据库中获取信息的问题。图16图172数据仓库为在线联机分析（OLAP）和数据挖掘（DM）提供了数据源的结构化的数据环境。图17二、在线联机分析1OLAP是一种方法广义上定义通过切片、旋转、钻取等方法对数据进行分析的方法。狭义上定义通过对事实和维度表的存取分析，从多种角度对原始数据进行分析。2OLAP按照数据的存储方式可分为三种MOLAP，ROLAP，HOLAPROLAP潜力数据仓库未来的发展方向优点支持即席查询，支持TB级操作，使用灵活，汇总和明细可以无缝访问缺点一般比MOLAP响应速度慢。但是随着技术的进步，差距在缩小。代表产品SYBASEIQ/IBMDB2UDB/BO/MSTR/BRIO/COGNOSREPORTNET下图就是我们常说的“星型模式”数据仓库某税务机关10年来税收趋势图税收收入本期和同期趋势对比图征管质量八率指标分析申报行为分析税收排名分析图21星型模式我们可以这样理解事实表一般是存放各个维度的主键字段和度量（就是我们常说的指标）维度表一般用来存放维的元数据,主要包括这个维度的层次以及描述字段。维度的层次也就是我们在OLAP进行钻取的层次，比如时间维度的年月日，税务机关维度的省级市级县区级科所级。当然维度的主键一般为最小级别的字段，比如上述的“日”和“税管员”。MOLAP本质对那些因大批量查询无法及时响应而引进的汇总数据集。优点专为OLAP所设计，响应速度快，支持度量之间的复杂运算。缺点复杂度增加，占用大量空间，需要预处理时间，使用不灵活，难以支持TB级应用代表产品HYPERIONESSBASE/ORACLEEXPRESS/MSANALYSISSERVER/COGNOSPOWERPLAYMOLAP中有一个非常重要的概念CUBE，就是数据立方体，见下图图22数据CUBE（立方体）对于MOLAP我们可以简单的理解为后台需要将数据进行预计算，而前台只负责获取数据，而不进行任何的计算，其实就是“用空间换时间”的模式。HOLAP不再多说，就是以上ROLAP和MOLAP的结合。这样我们可得出OLAP与我们传统的OLTP业务系统的关系和各自的工作原理。图23数据CUBE（立方体）SQL数据集请求结果集数据库DBMS前台展示ROLAPSERVER元数据请求处理图24ROLAP工作原理图SQL数据集请求结果集加载数据库RDBMS前台展示MOLAPSERVER元数据请求处理图25MOLAP工作原理图结果集或者SQL查询SQL数据集请求结果集加载数据库RDBMS前台展示MOLAPSERVER图26HOLAP工作原理图下面我们通过两个图形简单的了解一下OLAP的功能图27OLAP钻取功能在数据分析过程中，我们可能需要在现有数据基础上，将数据进一步细化，以获得更为精确的认识。这就是OLAP中数据钻取的概念。比如，在上图中，当我们以时间维度和产品类别为维、以收入和数量为度量进行分析的时候，可能希望进一步观察产品类别下的不同类别的度量值，这时我们就可以在产品类别这个数据维度下进行钻取，从而获得相应的信息，可谓“既见一叶又见森林”。数据的钻取包含向下钻取DRILLDOWN和向上钻取DRILLUP操作，钻取的深度与每个维度所划分的层次相对应图28OLAP其他功能示意图切片（块）在多维数据结构中,不仅通过钻取可获得想要的数据，还可以按二维进行切片,按三维进行切块得到所需要的数据。切片（块）可能大家还不是很理解，其实说的通俗一点，切片（块）就是我们说的通过过滤和查询指定数据，对指定数据进行重点观察。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。旋转将水平维度和垂直维度的数据进行转换，来达到不同视角的展示效果。旋转只是视角的不同而已，并不影响度量的改变。三、数据挖掘数据挖掘与传统的数据分析如报表、联机应用分析OLAP的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知，有效和可实用三个特征。简单来说,DATAMINING就是在庞大的数据库中寻找出有价值的隐藏事件，由统计及人工智能的科学技术，将资料做深入分析，找出其中的知识，并根据企业的问题建立不同的模型，以提供企业进行决策时的参考依据。近年来，数据挖掘已成为企业热门的话题。愈来愈多的企业想导入数据挖掘的技术，美国的一项研究报告更是将数据挖掘视为21世纪十大明星产业，可见它的重要性。一般数据挖掘较长被应用的领域包括金融业、保险业、零售业、直效行销业、通讯业、制造业以及医疗服务业等。因会有专门一期讲解郑州地税BI系统中用到的数据挖掘算法，故在此不再多做解释。四、郑州地税BI系统郑州市通用查询统计分析系统,以查询统计为主,兼顾比对分析、支持决策的功能。项目的定位及所占的比例如下信息提供80问题发现15决策支持5项目的整体架构图如下图郑州地税通用查询统计分析系统应用架构图1报表减负图41报表减负流程图42报表填报图43报表查询图44报表录入数据2重点税源管理重点税源的管理分为重点税源认定、重点税源监控分析、重点税源报表查询三大部分。重点税源认定管理，是从计财处、流转税处、所得税处三个不同角度，按照各自不同的认定标准对重点税源纳税人进行分别认定、分别管理。重点税源监控分析，是对已被认定为重点税源的纳税人，从税源构成、税收比重、同比、环比、税收排行、申报行为、欠税、减免税等不同角度进行监控和分析。重点税源报表查询，是从计财处、流转税处、所得税处三个不同角度，按照各自需求，按照固定的报表格式进行查询，统计出查询结果。图45重点税源认定图46重点税源分析报告图47重点税源报表查询图48关键指标分析图49户数构成分析图410税收排名分析3一X式查询一X式以某一纳税户/税务机关/税管员为关注对象，抽取纳税户/税务局局长（所长）/税管员最关心的查询内容，集中展现在统一的仪表盘上，并采用图表的灵活方式直观展示查询结果。在“一户式”仪表盘中，分户展现每个纳税人涉税指标的情况，以便于基层有重点地实施监控管理。同时，根据预警指标的重要程度设定不同分值，将发现的疑点问题按照由重到轻，设计了红、橙、黄三级预警级别，提示和帮助基层税收管理人员把握问题轻重缓急，提高管理针对性。图411一户式查询图412一户式仪表图413一户式仪表盘预警信息图414一户式图表展示图415一局式仪表盘图416一局式图表展示4税收预测图417税收收入分析预测图418税收分析预测图表展示由于郑州地税征管系统等传统的数据库管理系统,满足不了对数据作深层次分析的需求,通用查询统计分析系统的实现,使得税局对全局及其下属税务机关的整个业务有了全局的掌握,税局领导及业务人员既可以通过查询及时了解他们想知道的各种数据信息,而且,更主要的是该系统充分利用已有历史数据，支持多层次的数据分析和预测，从而指导了业务人员进行合理的业务操作,为税局获取最大收益提供了科学的依据。五、个人对BI的理解BI，发展至今，在中国还算是一个小众圈子，其实它的作用却应该更大众。无论哪个行业，无论什么样的系统，总是有数据需要分析。只是还未到那个阶段而已。另外个人认为项目开发人员对BI的理解对项目的进展是很重要的，单纯的BI工具毕竟只是一种手段,不能代替人的分析思考。记得有人说过从什么都不能做到什么都能做，是一个对工具掌握的过程。从什么都能做到什么都不能做，是一个对工具进一步了解的过程。再从什么都不能做到知道什么能做什么不能做，是一个对工具精通的过程。总之,我觉得现在BI人应该多学习新技术,不能老依靠什么工具,不然出现新的技术就不能跟上时代的新需求,自己不会编程,而受制于工具的局限,且监守已经很成熟的技术,特别是工具,对于职业发展也是很不利的分析思维比分析技术更重要；不管BI工具如何强大，它始终只是一个工具，项目要成功除了有一个强大的工具，更重要是工具的使用者。1发展趋势1BI与其他软件的集成这应该是当前软件界公认的BI发展方向。虽然BI进入中国市场已经多年，但发展道路却非常艰难，由于很多企业对BI宣传的神乎其神的功能不太相信，而且BI缺少竞争，价格偏高。所以对很多企业来讲，拿几十万几百万进行BI的信息化投资是不现实的事情，所以，最近几年，BI软件一直处于买方市场。软件公司在竭尽全力的吆喝，但是效果平平。而且随着经济危机的袭击，很多企业在信息化项目的投资上也趋向于理性。所以单凭一个商务智能软件，在未来很难在企业中单独的推广。不少软件公司也看到了这种现状，所以，纷纷把商务智能软件当作他们软件产品中的一个模块，跟其他的软件进行集成。从另一角度讲，从业务系统实时获取分析数据，经过分析做出决策，并将决策结果返回给业务系统，从而影响业务下一步的发展的BI流程，是一个完整而理想的应用。因此，与业务系统，例如企业资源计划系统（ERP）进行有效地整合、互动，成为当前BI厂商公认的一个发展方向，因为脱离业务系统，单纯的BI系统是无法对业务人员的日常工作提供支持的。2发展趋势2OLAMOLAP主要有两个特点,一是在线性,体现为对用户请求的快速响应和交互式操作二是多维分析,这也是OLAP技术的核心所在。DMDATAMINING,是从大量原始数据中抽取模式的一个处理过程,抽取出来的模式就是所谓的知识。OLAMOLAPMINING从以上的分析中我们可以发现,OLAP和DM虽然都是数据库数据仓库的分析工具,但其应用范围和侧重点是不同的。OLAP的在线性体现在与用户的交互和快速响应,多维性则体现在它建立在多维视图的基础上。DM与OLAP不同,主要体现在它分析数据的深入和分析过程的自动化,自动化是说,其分析过程不需要用户的参与,这是它的优点,也正是它的不足,因