基于数据仓库的烟草决策支持系统研究_BI_管理信息化.doc

基于数据仓库的烟草决策支持系统研究_BI_管理信息化1 引 言 近几年来，烟草行业政策不断变化，随着中闷加入WTO，国外的烟草公司也会进入中国市场，中国烟草公司作为垄断地位的优势将会逐渐削弱。在这样的形势下，正确及时的决策将是烟草企业生存与发展最重要的环节。决策来源于信息，信息需要数据，烟草企业并不缺少数据，而是受阻于太大的数据量和过量冗余数据与数据不一致。由于烟草行业内早有大茸成熟的数据库应用系统，这些系统产生了大量的业务处理数据，包括销售数据、客户数据、财务数据、人事数据等。所有这些数据从结构上看，是相对独立的，不利于企业决策者进行全面分析和查询。同时，许多历史数据都被存储在磁带、光盘中，或是分布在不同的硬件、数据库内，要查询一次历史数据时，费力费时，更不用说把不同业务部门的数据来关联比较分析了，同时也会遇到像数据类型不匹配、数据定义不同、数据不一致、数据冗余等问题。 如果针对烟草行业的特点和发展需求，对这些数据进行结构上的重组，按更有利于决策分析的角度去设计，就会使企业的宝贵数据资源，实现真正的信息价值。本系统提出了一种新的基于数据仓库的决策支持方案，即以数据仓库为基础，以联机分析处理和数据挖掘技术为手段，将各种异构源数据进行采集、整理、分析、反馈、调节等一系列连续的处理后，再次在下一周期参与战术决策，从而提取企业数据中有价值的信息，为企业的客户服务、市场营销等工作提供科学有效的支撑，提升企业的运营水平和竞争能力。2 概 述 1998年才发展起来的数据仓库(Data Warehouse)技术对许多人来说也许还很陌生，而它在国外已是如火如荼了。数据仓库之父WHInmon将其定义为“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合”。数据仓库与传统的数据库系统相比有着本质的区别，数据库是一种通用平台，建立于严格的数学模型之上，用来管理企业数据，进行事务处理，完成相关业务。而数据仓库没有严格的数据理论，更偏向于工程，它不是花钱就可购买到的成品，而是企业日积月累的建立过程，它的应用对象是不同层次的管理者，它的数据源是多种数据源，库中数据无须修改删除，主要是大规模查询和分析，因此要求有大量的历史数据和汇总数据。3 总体架构 烟草企业掌握着大镀的运营方面的数据，通过这些数据，可以分析出用户的行为特征和卷烟品牌的市场预测等多方面的信息，从而指导企业市场活动。下面介绍基于数据仓库的烟草决策支持系统的总体架构。 如图1所示，该系统分为四层次结构：操作层为数据仓库的输送系统，负责将各种数据源如SQL Server、db2等事务处理数据库系统及文本文件中的源数据进行集成、迁移，提供对业务有价值的信息。ETL层是抽取，转换，加载层，负责将不同系统、不同格式的数据加载到数据仓库中。其中：过渡区为一个相对独立的过渡空间，用来接收、传输和处理数据；数据仓库层丰要包括元数据管理、基础数据管理、综合管理等；元数据管理丰要完成数据源元数据管理、ETL规则管理、应用逻辑元数据管理等功能。基本数据由事实表、维表的多维结构表示，是数据仓库中最核心的数据部分。综合管理对基本数据按层次结构进行总计。形成实体化视图方阵，以此作为决策支持系统的基础。表示层负责将数据仓库中的方阵数据进一步按照主题来汇总，形成数据集市、多维总计方阵，通过联机分析处理、商务智能、数据挖掘等一系列分析及展示，生成决策分析结果，并将决策支持系统变更后的运作数据收集、反馈回数据仓库层和操作层。该数据流从下一个周期开始参与新一轮的分析、检查和度量，以此形成闭环的决策支持系统。图14 决策支持系统实现 4.1 数据的抽取 数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增最、转换、调度和监控等几个方面。数据仓库的数据并不要求与联机事务处理系数据仓库的构建统保持实时的同步，因此数据抽取可以定时进行，但多个抽取操作执行的时问、相互的顺序、成败对数据仓库中信息的有效性则至关重要。 在技术发展上，数据抽取所涉及的单个技术环节都已相对成熟，其中有一些是离不开编程的，但整体的集成度还很不够。目前市面上所提供的大多是数据抽取工具。这些工具通过用户选定源数据和目标数据的对应关系，会自动生成数据抽取的代码。但抽取工具支持的数据种类是有限的；同时数据抽取过程涉及数据的转换，它是一个与实际应用密切相关的部分，其复杂性使得不可嵌入用户编程的抽取工具往往不能满足要求。因此，实际的数据仓库实施过程中往往不一定使用抽取工具。整个抽取过程能否因工具的使用而纳入有效的管理、调度和维护则更为重要。 4.2 数据仓库的构建 数据仓库是企业进行信息分析、挖掘的基础。本系统采用多层次、多扇区的结构来建立数据仓库。为保证数据来源的固定性和数据的完整性，应用统一的元数据管理，以确保跨越不同数据集市进行分析的正确性。基于烟草企业的管理系统大多采用关系型数据库及业务系统生成的数据馈非常大的特点，在进行数据仓库没计时，多表连接、表的累计、数据排序、大量数据的扫描等操作是面临的主要问题。星型模式通过对各个维作大量的预处理，如按照维进行预先的统计、分类、排序等操作，能够大大提高处理速度，很好地解决以上问题。因此，为满足客户端用户对多维数据分析的要求，本系统采用基于关系型数据库的星型模式(ROLAP)。 粒度是设计数据仓库的一个重要方面。综合考虑建造成本、业务数据黄、访问效率、访问和回答查询的能力等因素，本系统采用多重粒度表1所示。表1 数据仓库采用多层次、多扇区系统结构。事实表应用分区技术，将数据表按时间序列(年、季度、月)分割成多个小表区，以便于管理。在基本数据的基础上通过一系列总计、凝聚、计算、整合，形成高度综合、多维的总计方阵，用于动态、全面的查询和分析。在内部结构中，每一层都为自己的内层提供隔离和保护，从而实现对基础数据的卸载，平衡系统负载，提高系统的效率和性能。 决策反馈信息的收集采用信息流技术及高级队列技术，来捕捉变化数据、发表和订购机制及过程，从而实现从原数据系统到目标数据系统的更新自动化。 4.3 烟草数据OLAP多维分析 采用Oracle作为源数据库，应用Brio enterprise作为系统的开发工具以实现OLAP分析和前端展示。Brio enterprise是最易于使用的商业智能产品，它提供一个完备的、集成的决策支持平台，支持信息的发布、分析和各种决策支持。Brioenterprise服务器通过push和pull的服务器技术来完成自动查询处理、报表分发、零管理和Web动态查询等功能。通过对分析时段、纬度旋转、分析类型的选择，可实现按年、季、月等对产品、客户类型、行业等维度进行切片、钻取等操作，利用不同的分析图形来满足用户的OLAP分析需求。 以订单分析为例，订单分析的目的就是寻找出用户订烟的特点，并据此提出有关的业务推销策略，满足业务发展的需要。对用户历年来大量的订单数据、销售的详细品牌及用户的档案资料等相关数据进行关联处理。该模型主要从以下各维度及维度问组合来分析，得到卷烟销售及不同品牌在不同类型客户、不同区域等的分布情况。 (1)模型构成 指标：订单、客户数。 维度：时间、地域、客户类型、业态、卷烟品牌 (2)功能说明 该分析项从客户类型、业态、卷烟品牌等多个角度进行分析不同客户的卷烟销售情况。重点从业态(如超市、烟酒门市部)来具体分析品牌销售情况及该群体的特征，从中找出一定的规律，研究激发客户提高销量的办法，为进一步改进营