刘建-OLAP在大庆市民政局社区信息管理系统中的应用.doc

OLAP在大庆市民政局社区信息管理系统中的应用刘建 张永久油田通信公司新技术开发中心摘 要：在介绍OlAP(On-Line Analytical Processing)技术和数据仓库的基础上，分析了社区数据仓库的应用，给出社区管理信息数据采集流程、信息管理平台开发流程和决策支持子系统结构模型。对在OLAP技术下的数据仓库的决策功能进行了研究，指出OLAP技术与智能决策技术的复合应用能提高政府的决策能力和竞争力。关键词：OLAP技术；数据仓库；决策支持1 前言OLAP(OnLine Analytical Processing)，即联机分析处理，是基于现代通信技术与网络技术支持下的在线实时分析工具，其分类、整理、分析数据快速方便，支持复杂的分析操作，侧重决策支持，可以多角度地对数据进行处理。将OLAP技术下的信息数据仓库构建与社区信息管理系统相结合，能增强政府各个部门对居民数据和商业数据的挖掘与利用，提高社区信息管理系统的辅助决策能力。2 OLAP技术与数据仓库2.1 OLAP技术的核心及多维分析操作OLAP针对特定问题进行联机数据访问，它的技术核心是“维” (Dimension)。维一般包含着比较复杂的层次关系，通过把一个实体的多项重要属性定义为多个维，使用户能对不同维上的数据进行比较，满足对决策信息的寻求。如一个政府部门对一定区域内居民进行分析，形式化表示为“维1，维2，维n”等度量指标，即“地区、时间、性别、年龄、政治面貌、民族”等，这些维的不同组合所考察的度量指标构成多维数组，形成了OLAP分析的基础1。OLAP具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。它并不将异常信息标记出来，是一种知识证实的方法。OLAP的多维分析操作有钻取、切片、切块及旋转等。钻取是改变维的层次，变换分析的粒度，切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布，如果剩余的维只有两个，则是切片，如果有3个，则是切块：旋转是变换维的方向，即在表格中重新安排维的放置2。以上多种分析操作有时需要联合运用，以便快速有效地分析数据，获取有用信息。这些OLAP技术与OLTP(On-Line Transaction Processing)相比，更能围绕所需目标信息，对大量数据进行多方式操作，挖掘数据的内在信息关系，为决策者提供直接的可视化分析结果。2.2 数据仓库的信息特点数据仓库DW(Data Ware- house)是一个面向主题、集成、随时间变化，但信息本身又相对稳定的数据集合，它用于对管理决策过程的支持。对于供应链上的信息，数据仓库内包含节点从过去某一时刻到目前的各个阶段记录的数据信息，并经加工、汇总和整理得到多层数据集1,2。决策人员按所需目标信息为主题进行查询，可以对供应链节点运营发展过程及趋势做出定量分析和预测。数据仓库中的信息相对稳定，插入和查询操作较多，修改和删除操作很少，目的是尽可能保留原始第一时间内所获得的既定分类数据间的关联性。3 社区数据仓库的应用建立数据仓库主要实现对社区居民信息分析、社区企事业单位的分析，这主要以分析实时数据为主，将数据在供应链上按需重组，辅助决策者获取与目标相关的信息。3.1 社区信息数据采集信息数据采集是一个动态过程，社区居民信息、企事业单位信息经过一系列的数据加工才最终被存放在数据仓库中。如图1所示，最左端为社区基本信息信息源。信息首先经过包装器监视器，包装器负责把信息从信息源的数据格式转换成数据仓库的数据格式和数据模型，加工形成可以多维分析的数据：监视器负责自动监测信息源中数据变化，并把这些变化传递给集成器；集成器对收到的信息进行过滤、提取和合并处理，然后再存放在数据仓库中3。图1 信息数据采集流程图3.2 系统平台开发由数据仓库支持的社区信息管理系统平台能够满足管理人员的决策需要，能快速响应其对信息数据的多维查询和分析的需要。图2展示了社区信息管理系统平台建设中数据仓库与应用程序同步开发过程。图2中的业务过程模型展示社区公文流转以及业务处理环节；数据模型展示支持业务过程所需的数据；过程描述是统一规范定义社区管理的业务过程，形成书面标准格式，数据描述是规定信息数据的格式、种类、时间等数据属性，建立数据信息的维度4。在完成详细的过程描述和数据描述后，一部分工作是按照数据描述开发数据仓库的层次结构，另一部分是编译业务过程描述，开发系统平台的应用程序，以实现管理人员对信息系统的交互式操作。图2 开发流程示意图3.3 决策支持子系统决策支持系统为政府领导层提供管理与决策服务，由人机交互子系统、数据仓库管理子系统和模型库管理子系统组成，如图3所示。图3中人机交互子系统实现控制数学模型和数据处理模型的结合与运行：模型库管理子系统负责建立、存放、删除、检索、统计、维护和管理有关模型，并负责模型与数据仓库管理子系统间的数据交换，提供模型的操作与管理语言：数据仓库管理子系统承担数据存储、删除、检索、排序、索引、统计和维护的任务，并提供数据操作的语言接口，对数据仓库进行目标信息存取。图3 决策支持子系统结构在决策支持子系统中，模型库自带所需的数据文件，各模型之间通过数据相连，把公用的数据放人数据仓库中进行共享，形成系统决策基础。决策者通过人机交互子系统对确定的主题进行分析、对比，对决策用的数据进行各种查询，要求控制输出形式(如图表、图形、语音合成等)，并要求对输出的结论进行解释等命令，根据这些命令调用不同的子系统，获得分析处理结果后，通过人机交互方式输出给决策人员，完成一个决策过程。4 OLAP技术与数据仓库对决策的支持4.1 从数据仓库获取决策信息对数据仓库中的数据利用OLAP技术进行联机分析，利用多维数据集和数据集聚技术对数据仓库中的数据进行组织和汇总，并对这些数据进行评价，最后将分析查询结果快速返回给决策者。图4为决策信息获取过程示意图，社区原始数据信息经数据抽取(如分类、求和、统计等处理)完成数据的再组织，进入数据准备区，再将数据进行清理、净化、转换之后，经数据加载形成可靠的易于进行决策的数据仓库4。在数据仓库中，还要对某些无效的旧数据进行清除。一般采用数据搬迁工具和数据净化软件防止数据污染，它们是通过对数据进行语法分析，利用神经网络方法或模糊逻辑方法找出数据之间的各种关系5,6，防止无效的旧数据存人数据仓库，达到数据净化的目的。图4 决策信息提取过程根据决策分析端的查询主题需要，采用OLAP技术从数据仓库中提取分析有用的数据。如决策者需要分析某地区的人口增长率，人口组成，商业配置情况，即可利用OLAP技术对数据仓库进行分析。决策人员也可改变分析、决策的主题进行查询，选取不同的统计依据以及限制条件，最大限度的完成条件的细化查询。政府决策往往要求数据的及时性和准确性，而基于OLAP技术的数据仓库的应用，能够满足数据的优化处理，便于迅速提供决策支持。4.2 OLAP技术支持智能决策在数据仓库应用中，OLAP技术是前端展现工具，它可以与数据挖掘工具、知识发现技术和专家系统配合使用，增强决策分析功能。图5为专家系统、数据挖掘和知识发现技术与OLAP技术复合的智能决策支持模型。利用OLAP技术可实现数据仓库前端应用与后端智能分析判断的结合，使决策分析具有人为目标导向性和智能优化信息的特点，提高决策的准确性。图5 复合决策示意图5 结束语目前，各级政府部门正在大力推广信息化、自动化，随着信息量的增长，决策难度增强，运行在互联网环境下的分析、决策模型从一台机器上的集中式处理，变成在Internet环境下的分布、并行处理方式。本系统实现了对原始信息数据的加工优化能力，以及与智能决策技术的复合应用，这将提高政府的决策能力。参考文献1 李琼. 数据仓库与数据挖掘在水利信息化中的应用D东北财经大学, 20052 李亚巍. 数据仓库与数据挖掘在机组运行数据分析中的应用D华北电力大学（北京）, 2006 3 郭勇. 中远全球集装箱运输信息系统建设规划研究D大连海事大学, 20004 林琳. ROLAP索引选择及视图物化的优化研究D山东大学, 20065 张志军. 基于数据仓库的企业管理决策支持系统D山东大学, 20066 侯峥. 数据仓库技术在供热管理中的应用研究D大连海事大学, 2005作