鼎天决策支持系统dtDSS白皮书

1、鼎天决策支持系统dtDSS 决策支持系统（DSS）在政府决策支持方面有很大帮助。随着电子政务系统的发展以及中国信息化程度的不断提高，在政府决策支持方面需要不断吸纳新的信息处理技术，提高决策科学性和规范性，以达到提高政府办公效率、促进经济发展的目的。鼎天决策支持系统（dtDSS）,采用了数据仓库，联机分析处理和数据挖掘等新技术，为党政行业客户在宏观经济方面提供决策支持。1. 系统概述1.1 DSS概述自70年代提出决策支持系统(DSS)以来,DSS已经得到了很大发展。它是在管理信息系统(MIS)基础上发展起来的。MIS是利用数据库技术实现各级管理者的管理业务,在计算机上进行各种事务处理工作。DS

2、S则是要为各级管理者提供辅助决策的能力。 1980年Sprague提出了决策支持系统三部件结构,即对话部件、数据部件(数据库DB和数据库管理系统DBMS)、模型部件(模型库MB和模型库管理系统MBMS)。该结构明确了DSS 的组成,也间接地反映了DSS的关键技术,即模型库管理系统、部件接口、系统综合集成。它为DSS的发展起到了很大的推动作用。 1981年Bonczak等提出了DSS三系统结构,即语言系统(LS)、问题处理系统(PPS)、知识系统(KS)。该结构在问题处理系统和知识系统上具有特色,并在一定范围内有其影响,但它与人工智能的专家系统(ES)容易混淆。 决策支持系统主要是以模型库系统为

3、主体,通过定量分析进行辅助决策。其模型库中的模型已经由数学模型扩大到数据处理模型、图形模型等多种形式,可以概括为广义模型。决策支持系统的本质是将多个广义模型有机组合起来,对数据库中的数据进行处理而形成决策问题大模型。决策支持系统的辅助决策能力从运筹学、管理科学的单模型辅助决策发展到多模型综合决策,使辅助决策能力上了一个新台阶。 80年代末90年代初,决策支持系统与专家系统结合起来,形成了智能决策支持系统(I DSS)。专家系统是定性分析辅助决策,它和以定量分析辅助决策的决策支持系统结合,进一步提高了辅助决策能力。智能决策支持系统是决策支持系统发展的一个新阶段。 1.2 数据仓库和OLAP的决策

4、支持技术 数据仓库和OLAP是90年代初提出的概念,到90年代中期已经形成潮流。在美国,数据仓库已成为紧次于Internet之后的又一技术热点。数据仓库是市场激烈竞争的产物,它的目标是达到有效的决策支持。大型企业几乎都建立或计划建立自己的数据仓库,数据库厂商也纷纷推出自己的数据仓库软件。目前,已建立和使用的数据仓库应用系统都取得了明显的经济效益,在市场竞争中显示了强劲的活力。 数据仓库将大量用于事务处理的传统数据库数据进行清理、抽取和转换,并按决策主题的需要进行重新组织。数据仓库的逻辑结构可分为近期基本数据层、历史数据层和综合数据层(其中综合数据是为决策服务的)。数据仓库的物理结构一般采用星型

5、结构的关系数据库。星型结构由事实表和维表组成,多个维表之间形成多维数据结构。星型结构的数据体现了空间的多维立方体。这种高度集中的数据为各种不同决策需求提供了有用的分析基础。 联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。随着数据仓库的发展,OLAP也得到了迅猛的发

6、展。数据仓库侧重于存储和管理面向决策主题的数据;而OLAP则侧重于数据仓库中的数据分析,并将其转换成辅助决策信息。OL AP的一个重要特点是多维数据分析,这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系。OLAP技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等 ,它便于使用者从不同角度提取有关数据。OLAP技术还能够利用分析过程对数据进行深入分析和加工。例如,关键指标数据常常用代数方程进行处理,更复杂的分析则需要建立模型进行计算。 以数据仓库和OLAP相结合建立的辅助决策系统是决策支持系统的新形式。Business Object(BO)推出的智能决策支持系统工具BO 4.0

7、是以OLAP技术为主体的、集查询和报表为一体的决策支持系统开发工具。该工具的一个重要特点是提出了语义层和语义动态对象的概念。语义层是将数据库中的列(字段)按决策主题重组为面向用户的对象,对象可以是数据库中的表、列、连接(多字段组合)以及对多字段进行运算的表达式。语义动态对象是对已经定义的语义层对象进行任意组合后形成决策需要的新表,并将表中的数据以可视化的方式在屏幕上显示或以报表的形式打印出来。 OLAP技术是对由语义动态对象建立的、以动态微立方结构形式存储的表进行向下钻取、向上钻取、跨越钻取、切片和切块等操作。BO 4.0的网络版使用户能够在网上通过浏览器查看或下载BO报表。 dtDSS包括三

8、个主体。第一个主体是模型库系统和数据库系统的结合,它是决策支持的基础,为决策问题提供定量分析(模型计算)的辅助决策信息。第二个主体是数据仓库、OLAP,它从数据仓库中提取综合数据和信息,这些数据和信息反映了大量数据的内在本质。第三个主体是专家系统和数据开采的结合。数据开采从数据库和数据仓库中挖掘知识,并将其放入专家系统的知识库中,由进行知识推理的专家系统达到定性分析辅助决策。 综合体系结构的三个主体既可以相互补充又可以相互结合。它可以根据实际问题的规模和复杂程度决定是采用单个主体辅助决策,还是采用两个或是三个主体的相互结合辅助决策。利用第一个主体的辅助决策系统就是传统意义下的决策支持系统。利用

9、第一个主体和第三个主体相结合的辅助决策系统就是智能决策支持系统。利用第二个主体的辅助决策系统就是新的决策支持系统。在OLAP中利用模型库的有关模型,可以提高OLAP的数据分析能力。将三个主体结合起来,即利用问题综合和交互系统部件集成三个主体,这样形成的综合决策支持系统是一种更高形式的辅助决策系统,其辅助决策能力将上一个新台阶。由于这种形式的决策支持系统包含了众多的关键技术,研制过程中将要克服很多困难,这也是我们今后努力的方向。2. 决策支持系统体系结构决策支持系统体系结构如下图所示： 3. 决策支持系统的实现步骤整合数据资源，逐步建立数据仓库数据提取： a) 对于建立在本身具有ODBC和JDB

10、C接口的数据库管理系统（如: MS SQL Server, Oracle, DB2, Sybase等）之上的各个数据库，可以通过ODBC或JDBC接口提取出来，在经过数据清理与整合之后，再通过ODBC或JDBC接口导入建立在DM3平台上的数据仓库。目前DM3（国产安全关系数据库）已经具备ODBC和JDBC接口。b) 对于不具备ODBC和JDBC接口的数据库（如：直接以一般的文本文件集合构成的数据库），则通过基于XML的中间件提取数据和导入数据仓库。为此，需要针对这些数据库各自的特性，开发将其中的数据发布成XML格式的工具；如有现成的第三方工具，亦可考虑采用。目前DM3正在参照国际上成熟的技术，

11、实现以关系型数据库存储和发布XML数据。数据清理与集成：数据仓库中的数据是用于决策支持，因此必须力求数据的正确性。从各个数据库中提取过来的数据有可能是“脏“的，可能包含了重复的记录，数据不完整或者数据记录之间不一致。因此需要有数据清理和集成工具来消去重复；为不完整的数据添补丢失的字段值；解决数据之间的所有矛盾之处，如字段的同名异义、异名同义、量纲不统一、字段长度不一致等等。数据清理与集成是数据仓库建设中最关键、最复杂的一步。数据的异常往往极其烦琐，有的是由无意的录入错误所引起，有的则是因为数据格式不统一，表达习惯不同等等造成的。数据的异常与特定情况紧密相关，因此很难有完全通用的工具。但是这些工

12、具本质上并不存在很大的技术障碍，主要是工作量庞杂。DM3可以开发自己的数据清理与集成工具，或者可能直接利用政务系统综合数据支撑平台。数据加载与刷新：经过数据提取、数据清理与集成之后，数据就加载到数据仓库之中。在加载过程中可能需要同时进行一些额外的处理：检查数据完整性约束，排序，汇总以及建立索引等等。数据刷新就是将各个数据来源（各司局数据库）中发生的更新传播到数据仓库。刷新有两个关键问题： 何时刷新和怎么刷新。数据加载和刷新通常都是采取批处理的方式来完成。数据加载基本上都可以利用DM3的现有功能实现。最简单的数据刷新就是重新进行数据加载。另一方面，DM3可以采用成熟技术开发增量式刷新工具。数据集

13、市：根据具体需要，可以在各司局建立局部的数据仓库，即数据集市。整个数据仓库则建立在所有数据集市之上。探索建立决策模型，提高决策支持系统的易用性。与决策者紧密配合，不断了解决策需求，决策流程以及决策思维习惯等等相关信息，探索建立相应的决策模型。在决策模型的基础上，不仅构建通用的数据分析平台，而且在了解决策者的个性化要求之后，预先定制一体化的决策支持个性系统，方便决策者的使用，提高决策效率。研究与开发高效方便的数据分析工具，充分发掘数据仓库中的有用信息，为优化决策提供支持。数据查询与报表工具：决策支持查询类似传统的SQL查询，不同之处在于，决策支持查询通常要汇总大量的、较低层数据，包含较复杂的计算

14、过程。为了满足对这一类查询的快速响应，需要优化数据仓库的物理数据组织，建立能够高效支持复杂连接操作的索引。此外，还可以采取实化视图机制，根据用户的查询模式预先计算大量的查询，当后续相同的查询或类似的查询到来之时，不用再次从头计算，而是利用先前的结果进行快速响应。目前DM3已经具备智能报表工具系统。正在研究开发实化视图机制，使智能报表工具系统以后能够利用实化视图来快速响应决策支持查询。OLAP服务器：联机分析处理工具将数据仓库中的数据组织成多维数据立方的形式，支持复杂的多维分析，符合人们日常多角度、多侧面看问题的分析习惯。典型的OLAP操作包括：上钻（rollup，也就是增加数据的抽象汇总程度，

15、减少细节），下钻（drill-down，也就是增加数据的具体程度，获取更多的细节），切片和切块(slice-and-dice，也就是选取数据立方中的某些单元投影出来)，以及旋转（pivot, 也就是改变多维数据视图的显示角度）。简而言之，多维数据立方就是传统二维报表的多维化。目前已经基于DM3构建了关系型OLAP服务器原型系统（ROLAP服务器），包括数据立方构造和浏览工具。ROLAP服务器通过星型模式或雪花模式以关系数据库的二维表来模拟多维数据模型。多维数据立方就是事实表的实化视图。数据立方浏览工具整合了上述上钻、下钻、切片和切块以及旋转操作，用户只需用鼠标点击就能查看数据立方中任意单元中度

16、量汇总值。投标方正在研究开发利用数据立方索引加快数据立方浏览，进一步完善用户界面，和实现编程接口。数据挖掘工具：数据挖掘，又称数据库中的知识发现，就是在大量数据中发现潜在可用的模式。主流数据挖掘技术包括：关联(association)，分类(classification)，聚类(clustering)和回归(regression)。一个关联规则的例子就是“90的客户在购买面包和黄油的同时也会购买牛奶”。其直观的意义就是客户在购买某些东西的时候有多大的倾向也会购买另外一些东西。分类就是首先利用类别已经表定的样本数据进行训练，然后利用所发现的分类规则对新的个例进行自动分类，也就是通过个例的其它属性

17、值来预测它的类别值。聚类与分类的不同之处在于，它的训练样本没有进行类别标定。回归则是通过个例的其它属性值预测连续性变量的数值。完整的数据挖掘过程除了挖掘步骤之外，还包括数据准备和模式表述两个步骤。分析人员对挖掘出来的模式进行评价，如果不满意，就可重复这一挖掘过程。数据挖掘常常基于数据仓库进行，这是因为数据仓库中保存的是已经经过整合的高质量数据，从而可以省略或简化数据准备步骤。目前投标方已经建立了基于DM3的关联规则集成挖掘原型系统。对于分类，聚类和回归，正在参照SQL-99中的数据挖掘部分对算子和API的定义，基于成熟的主流技术，展开研究和开发。4. 决策支持系统领导个性化服务决策支持系统领导个性化服务是根据领导在第一次使用时做的个性化设定，如最关心、最感兴趣主题，页面背景与字体等，在领导每次进入系统时显示出其个性化页面，并具有相应的问候语等功能。最感兴趣新闻主题：当领导设定了其最感兴趣的主题后，系统将在选定的互联网的有关网站站点上定时搜集相关话题的内容，在领导进入个性化页面时，将在优先的位置显示这些