基于数据仓库的决策支持系统在网络教务管理中的应用.doc

基于数据仓库的决策支持系统 在网络教务管理中的应用Application of DSS Based on Data Warehouse to Network Educational Administration王红梅 石季英 张红颖 孙雨耕天津大学自动化学院 E-mail:作为数据库技术的一个新的发展方向，BW技术与DB技术的结合产生的集成、一致的环境，将使决策者更快地获得更准确的信息。本文在论述基于数据仓库的决策支持系统的三个组成部件和已存在的教务管理信息系统的基础上，给出了基于数据仓库的DSS系统在网络教务管理中的实现方案。关键词：决策支持系统 数据仓库 教务管理 联机分析处理技术 数据挖掘1 引言目前高校教务管理系统使用的是面向应用的联机数据处理型数据库系统。能够完成教学计划、课室安排、学籍管理、成绩管理、外来数据管理等基本的教务管理工作，但在教务工作趋势的预测和教务管理战略的制定方面存在着各种局限性。主要原因是，基于操作型数据库的教务系统是按照需求驱动的生命周期法进行开发的，其信息模型设计是以实体关系模式为基础的二维平面设计，元数据的管理采用数据字典的方式。为此学校教务决策者需要新的技术来弥补原有数据库系统的不足，需要把已经广泛收集到的数据集成到数据仓库中，以便从操作数据中提取有用的信息，帮助他们在教务管理和发展上作出即时、正确的判断。基于数据仓库的决策支持系统(Decision Support System ，DSS)真正使用户利用工具直接从信息池中随机地提取分析数据，有效地服务于教务的全方位决策。本文给出了基于数据仓库的决策支持系统在教务管理系统中的应用的研究。2 决策支持系统基于数据仓库的决策支持系统(DSS)由三个部件组成：数据仓库技术（Data warehousing），联机分析处理技术(OLAP, On-Line Analytical Processing)，数据挖掘技术(Data Mining )。其系统结构图见图1。元数据数据仓库DBMSMRDB MDDB信息发布系统操作型数据和 外界数据源 数据集市操纵平台 抽取 净化 转换 载入创建挖掘工具查询工具用户图1 DSS体系结构2.1 数据仓库技术（Data warehousing）数据仓库概念的创始人W.H.Inmon在建立数据仓库一书中指出：“数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持经营管理中的决策制定过程”1。数据仓库的目的是要建立一种体系化的数据存贮环境，将分析决策所需的大量数据从传统的操作环境中分离出来，使分散的、不一致的操作数据转换成集成的、统一的信息，学校内不同单位的成员都可以在此单一的环境之下，通过运用其中的数据与信息，发现全新的视野和新的问题、新的分析与想法，进而发展出制度化的决策系统，并获取更多效益2。数据仓库从操作型数据库或外界数据源获得原始数据，先按辅助决策的主题要求形成基本数据层，再按综合决策的要求形成综合数据层。随着时间的推移，由时间控制机制将当前基本数据层转为历史数据层。 2.2 联机分析处理技术(OLAP, On-Line Analytical Processing)联机分析处理(OLAP,On-line Analytical Processing)是一种针对特定问题进行联机数据访问和分析的技术。它是决策人员通过对信息的多种可能的观察形式进行快速、一致和交互式的存取来获得对数据的深入观察。随着数据仓库的发展，OLAP也得到了迅猛的发展。数据仓库侧重于存储和管理面向决策主题的数据；而OLAP则侧重于数据仓库的数据分析，并将其转换成辅助决策信息。OLAP的一个主要特点是多维数据分析，这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系。因此，利用OLAP技术与数据仓库的结合可以较好地解决传统决策支持系统既需要处理大量数据又需要进行大量数值计算的问题。OLAP的多维数据分析主要通过对多维数据的维进行剖切、钻取和旋转来实现对数据库所提供的数据进行深入分析，为决策者提供决策支持。多维结构是决策支持的支柱，也是OLAP的核心。多维结构中的维突破了三维概念，可以有四维、五维甚至更多维的数据结构，即超立方体和多立方体的数据结构。我们可以利用分析工具对多维数据结构进行切片、切块、向上钻取、向下钻取、跨越钻取和旋转等处理得到所需的决策分析数据。2.3数据挖掘技术(Data Mining )数据挖掘是一种从大型数据库或数据仓库中提取隐藏的预测性信息的技术。它能挖掘出数据键潜在的模式(pattern)，找出最有价值的信息和知识(knowledge)。指导商业行为或辅助科学研究。研究对象是大规模和超大规模的数据集合。3 已存在的教务管理信息系统现存的教务管理信息系统的总体设计分为校级教务管理信息和院系级教务管理信息系统。校级教务管理信息系统面向学校教务部门，侧重于对教务数据的管理和维护，从整体角度进行数据分析和数据统计；院系级教务管理信息系统面向院系教务人员，侧重于对院系教务数据的录入、查询、打印，从局部角度进行数据分析和数据统计。系统功能是由五个功能模块体现的7。教学计划模块包括教学计划输入、教学计划管理、教学计划输出三个子模块，能够完成教学计划、教学执行计划任务，反映课程情况、教师情况、院系情况、专业情况的数据信息并进行有效管理。课室模块包括课室输入、课室管理、课室统计报表三个子模块，能够进行课程、教室及相关信息的管理。课程安排和教师管理室教务管理信息系统中难度最大的一部分，需要综合考虑教室、学生、教室、课程、时间等各方面因素。学籍模块组包括学籍输入、学籍管理、学籍统计报表三个子模块，能够对新生分班、学生基本情况、学生详细情况及奖励情况、处分情况、移动情况、贷学金情况、体检情况、社会活动情况、毕业、学位授予等进行常规管理，同时具有为各类磁盘数据或光盘刻录数据提供转入、转出功能。成绩模块组报包括成绩输入、成绩管理、成绩统计报表三个子模块。能够对学生各类课程成绩、国家及省级考试成绩、毕业设计成绩和学分制成绩等进行有效管理，并能根据学生成绩及相应条件，进行休学、退学、处分等日常教务处理。辅助模块组包括用户管理、系统设置、教务查询三个子模块，是为用户对系统操作提供的服务。具有系统用户管理、权限设置、日志管理及教务查询等功能。4 基于数据仓库的教务管理系统的功能和体系结构4.1 系统的主要功能教务管理系统的实现目标是通过采集外部信息、分析教务情况的历史数据，发现规律,实现未来教务工作趋势的预测和教务管理战略的制定。4.2 系统的体系结构该系统采用多用户的三级Client/Serer客户机服务器结构。它把系统分为表示级、分析处理级和数据存取级。表示级处理用户界面，分析处理级实现应用逻辑，数据存取级是数据源。其显著特点是复杂的应用逻辑不是分布于网络上的众多PC机上，而是集中存放在OLAP服务器上，由服务器提供高效的数据存取，安排后台处理以及报表的预处理。其结构图如图2所示。数据源1数据仓库 OLAP服务器数据源2 OLAP客户机 OLAP客户机图2 系统的体系结构5 基于数据仓库的DSS系统在网络教务管理中的实现方案按照数据仓库驱动的CLDS开发生命周期法，第一步建立数据仓库，第二步采用OLAP技术与数据挖掘技术相结合的方法实现应用程序的方案设计5。5.1 数据仓库的设计方案和构建工具5.1.1 数据仓库建模和设计（1）数据仓库建模功能模型：首先，确定系统中的主题、各主体之间的关系。其次，细化每个主体的层次。教务管理系统可以分为时间、教师、学生、教室、课程和课室安排六大主题，显然课室安排是中心主题。逻辑数据模型设计：根据给出的功能模块我们很自然的想到采用雪花模型来实现多维表的设计。但增加了所需的物理存储空间，且按照维表层次进行汇总统计时，需大量的表联结操作，在一定程序上降低了查询的速度。故，我们在雪花模型的基础上进行了模型转换形成了一种类似星型的数据模型。（2）数据仓库设计Oracle 提供Designer来帮助用户实现上述工作。5.1.2 记录系统定义根据数据模型的定义从原有的操作型数据库中界定记录系统，即制定所要抽取的表、字段与源数据库的对应关系。5.1.3 数据仓库物理数据库的生成在数据模型的基础上定义系统的物理模型，既定义各字段的数据类型、缺省值和约束关系、各表的索引以及物化视图等。5.1.4 数据的抽取、清洁和集成从原数据库中抽取指定的属性字段放入数据登台区，在数据登台区过滤掉不合格数据，并进行轻度的数据综合34。我们利用Oracle 提供了Oracle Open Gateways 产品来完成这项工作。Oracle Open Gateways共包括三个产品系列， Oracle Transparent-Gateways， Oracle Procedural Gateways 和Oracle Access Manager 。它们能把SQL命令发送到外部数据源，也能在外部数据源上运行一个过程。5.1.5 数据的载入创建数据仓库时，需要从其他数据库上将所需数据选择、加工、装载到数据仓库去。要用SQL*Loader进行大规模数据装载。当从异构数据库或某专有数据库上装载数据时，就需要Oracle Open Gateways产品来配合。5.1.6 系统估计收集反馈信息，并根据用户的需求进行功能的调整。5.2 OLAP技术与数据挖掘技术相结合的应用设计方案 知识库管理模块图形用户界面API模式筛选挖掘内核 模式表达与解释规则表达可视化表达语言表达挖掘出的模式集合抽取的正确可靠的数据数据库访问API图3 系统模型 系统采用Client/Server结构，从模块化的角度系统分为如下五个模块，系统模块如图3。5.2.1 人机交互界面模块教务决策者根据实际情况同时参照自己的经验对知识发现过程进行指导、监控和调整。所以系统需要为用户设计一种知识发现语言，它需要制定分析挖掘的目标、目标所在的域、筛选条件、分析的动作或挖掘的算法、相关的参数、进行分析预处理的条件等。用于接受用户输入分析处理任务和知识挖掘任务，进行词法分析和语法分析，将挖掘任务分解为：SQL查询、知识类型、约束条件、控制参数、算法类型及知识领域等几个部分，并控制系统中其他模块的执行，将结果反馈给用户。5.2.2 数据库接口模块此模块是系统的数据库存取机制。根据用户的需求，从数据仓库中提取所需数据集合，并进行一定程度的数据预处理，已达到减少计算量、提高挖掘知识的精度或提高知识发现的起点的作用。通常预处理操作操作课包括净化、剪切、过滤、规格化、规约和抽取样本等方法。5.2.3 系统的挖掘核心模块此模块包含了若干数据挖掘的算法和基于OLAP技术的不同方向和层次的挖掘查询，是知识发现的核心模块。它根据用户提出的挖掘类型和知识类型，进行相应挖掘方法的选择。数据挖掘算法可采用常用的关联规则算法、聚类算法、分类算法等。5.2.4 知识的表达及验证模块由于数据挖掘的过程是一个循环多次的过程，所以在每一轮知识发现之后要进行知识的验证，如不符合条件，再进行新一轮的发现工作，直到符合条件为止。例如对于关联规则算法而言可采用感兴趣度作为筛选标准进行规则过滤。在这个过程中，要根据用户的要求和算法约束，将知识以适当的形式表达。5.2.5 对挖掘出的知识库的管理模块此模块负责对发现的知识和知识领域进行存取，包括以下操作：知识查询；知识增加；知识更新；知识删除。人机交互界面模块和知识库管理模块在客户端，数据库接口模块、系统的挖掘核心模块和知识的表达及验证模块在服务器端。5.3 系统在决策支持方面的优点决策系统是按照数据驱动的CLDS生命周期法进行开发的。信息模型设计是以星型模型为基础的多维立体设计。元数据准确实时地记录了数据仓库的设计信息，并为DSS分析员设计了专门的用户视图，同时在元数据管理中还实现对外部数据的统一登记和管理。由于采用了OLAP技术与数据挖掘技术，系统能够在用户的指导下进行分析处理和知识发现。系统还能够根据用户的不同需要生成动态的可视化的报表，为决策者提供帮助。6 结论基于数据仓库的DSS系统是随着决策分析人员对于决策分析的快速型、准确型、智能型的要求而研究开发的。目前已出现了一些基于数据仓库的DSS系统的产品和原型。但由于基于数据仓库的DSS系统本身的技术尚不够完善，还需要深入研究和探讨，而且系统和应用程序设计人员熟练掌握这种设计方法和技术还需一个过渡时期，所以它还不能向传统的关系数据库一样被广泛应用。目前基于数据仓库的DSS系统在网络教务管理中的实现系统的设计仅仅处于初步方案设计阶段，许多关键技术还需要反复的论证和修改，距离具体付诸实施还有很长的路要走。可推广应用于学校的后勤、财务、人事等管理。参考文献1 Efrem G.Mallach, Decision Support and Data WareHouse Systems, McGraw-Hill,Companies,Inc,2000.2 Eyal aronoff, Oracle 8 Advanced Tuning &Administration, McGraw-Hill Companies,Inc ,2000.3 Michael abbey, Oracle 8i A Beginners Guide ,McGraw-Hill Companies,Inc, 2000.4 W.H.Inmon、Ken Rudin, Data Warehouse Performance ,John Wiley & S