（计算机软件与理论专业论文）高校学生成绩分析方法与应用研究.pdf

摘要 摘要 随着教学改革的不断深入，各高校充分利用先进的信息技术手段来提高教 学管理水平，教学管理信息系统的建设不断完善。但通过对当前各高校教学教 务管理系统的调查发现，大多数高校的教务管理系统还主要用于事务性管理工 作，缺乏对教务决策的支持。教学管理人员需要对数据进行更加深入的分析， 如查询教学质量各重要指标或者预测其变化趋势，从而提前进行相应政策调整， 提高教学管理决策的科学性和有效性。 高校成绩管理是教务管理的核心工作。成绩数据不仅是学生学习效果评价 的重要度量指标，同时也是教师教学质量的重要度量指标。教务管理系统中成 绩数据格式规范，保存完整，但数据规模庞大，传统分析手段难以处理，无法 充分解读并将将这些数据用于教务决策。本文分析了当前教务管理系统成绩管 理现状以及进行成绩数据分析的必要性和可行性，提出了高校成绩分析的基本 框架，并采用商业智能技术架构来设计和实现了成绩分析系统。 成绩分析分两个层次来进行，基本分析层次基于传统统计方法对成绩数据 进行压缩，给出成绩数据的紧凑描述，深度分析基于关联规则，决策树等数据 挖掘算法发现成绩数据中的隐藏知识。本文以南开大学本科教务管理系统中的 学生成绩数据为基本研究对象，利用m i e r o s o t is q ls e r v e r2 0 0 5 平台提供的商 业智能软件包s q ls e r v e r2 0 0 5a n a l y s i ss e r v i c e s 建立了成绩分析业务维度模 型，开发了教务系统数据库成绩相关数据的抽取、转换和装载的接口程序。在 建立数据仓库的基础上，可以对成绩数据进行多层次，多角度的分析。成绩基 本分析中使用o l a p 分析技术可以进行灵活直观的数据操作和结果显示。成绩 深度分析中建立了成绩数据关联规则和决策树挖掘模型，并得到一些重要结论， 对培养计划制定，课程设置和安排等教学管理决策都具有一定指导意义。 关键词：学生成绩商业智能数据仓库数据挖掘 a b s t r a c t a b s t r a c t w i t ht h ed e e p e n i n go fe d u c a t i o nr e f o r m ，t h ec o l l e g e sa n du n i v e r s i t i e sa c r o s st h e c o u n t r yt a k ef u l la d v a n t a g eo fa d v a n c e di n f o r m a t i o nt e c h n o l o g yt oe n h a n c et h el e v e l o ft e a c h i n gm a n a g e m e n t t h r o u g ht h es t u d yo fc u r r e n te d u c a t i o n a lm a n a g e m e n t s y s t e m ，w ef o u n dt h a tm o s to ft h e s es y s t e m sa r em a i n l yu s e di nr o u t i n ew o r ka n da r e l a c ko ft h es u p p o r tf o rt h ed e c i s i o n - m a k i n g a d m i n i s t r a t o r sn e e df o rm o r ei n d e p t h a n a l y s i so ft h ed a t ai ne d u c a t i o n a lm a n a g e m e n ts y s t e m ，s u c ha sp r e d i c t i n gt h et r e n d o fi m p o r t a n ti n d i c a t o ro ft h et e a c h i n gq u a l i t y ，t h u st a k i n gt h ec o r r e s p o n d i n gp o l i c y a d j u s t m e n t s i na d v a n c et o i m p r o v et h ee f f i c i e n c y a n de f f e c t i v e n e s so ft h e d e c i s i o n - m a k i n gp r o c e s s s t u d e n ts c o r em a n a g e m e n ti st h ec o r ec o m p o n e n to fe d u c a t i o n a lm a n a g e m e n t s t u d e n ts c o r ei sa ni m p o r t a n ti n d i c a t o ro ft e a c h i n gq u a l i t ya n dl e a r n i n gq u a l i t y l a r g es c a l es c o r ed a t ai sw e l lf o r m a t t e d ，a n dt h et r a d i t i o n a la n a l y s i sm e t h o dw i l ln o t f u l l yu n d e r s t a n dt h e s ed a t ai nd e c i s i o n - m a k i n g t h i sa r t i c l ea n a l y z e st h ec u r r e n t s i t u a t i o no fe d u c a t i o n a lm a n a g e m e n ts y s t e ma n dt h en e c e s s i t ya n df e a s i b i l i t yo f s t u d e n ts c o r ea n a l y s i s ，e s t a b l i s ht h eb a s i cf r a m e w o r ko fd a t aa n a l y s i s ，d e s i g na n d i m p l e m e n tt h es t u d e n ts c o r ea n a l y s i ss y s t e mu s i n gb u s i n e s si n t e l l i g e n c et e c h n o l o g y f r a m e w o r k w ec a nc o n d u c ts t u d e n ts c o r ea n a l y s i so nt w ol e v e l s ：b a s i ca n a l y s i sl e v e li s b a s e do np l a i ns t a t i s t i c a lm e t h o d i n d e p t ha n a l y s i sl e v e li sb a s e do nd a t am i n i n g t e c h n o l o g y t h i sp a p e ri sb a s e do nt h es c o r ed a t ai ne d u c a t i o n a lm a n a g e m e n ts y s t e m o fn a n k a iu n i v e r s i t y u s i n gs q ls e r v e r2 0 0 5a n a l y s i ss e r v i c e s t o o l s ，w e c o n s t r u c t e dt h eb u s i n e s sd i m e n s i o n a lm o d e l sa n dc o m p l e t e dt h ed a t ae x t r a c t i o n ， t r a n s f o r m a t i o na n dl o a d i n gp r o c e s s b a s e do nt h ed a t aw a r e h o u s e ，w ec a l lp e r f o r m m u l t i - l a y e r e d ，m u l t i a n g l es t u d e n ts c o r ea n a l y s i s a tb a s i ca n a l y s i sl e v e lw ec a n m a n i p u l a t ea n dv i e wd a t af l e x i b l ya n di n t u i t i v e l yu s i n go l a pt e c h n o l o g y a t i n d e p t hd a t aa n a l y s i sl e v e l ，w ec o n s t r u c t e da s s o c i a t i o nr u l e sa n dd e c i s i o nt r e e i i a b s t r a c t m o d e l s ，g e t t i n gan u m b e ro fi m p o r t a n tc o n c l u s i o n sa n dt h e s ec o n c l u s i o n sa r c i m p o r t a n tf o rt h ed e v e l o p m e n to ft r a i n i n gp l a n sa n d c u r r i c u l aa r r a n g e m e n t s k e yw o r d s ：s t u d e n ts c o r e ，b u s i n e s si n t e l l i g e n c e ，d a t aw a r e h o u s e ，d a t am i n i n g i i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 2；i1 韦 经指导教师同意，本学位论文属于保密，在 。硼c 年歹月1 旧 。 年解密后适用本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下： 一“。”。”。- ”_ ” ；内部5 年( 最长5 年，可少于5 年) ；秘密l o 年( 最长1 0 年，可少于1 0 年) ：机密2 0 年( 最长2 0 年，可少于2 0 年) l 一。一 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：肖伟 1 年歹月日 第一章绪论 第一章绪论 第一节研究背景 在高校工作中，教务管理工作具有举足轻重的地位，教学质量的好坏直接 取决于教务管理水平的高低。教学教务管理的任务就是根据人才培养目标，按 照一定的管理规则、程序和方法，合理地组织和管理有限的教学资源，使整个 教学过程正常有序，教学资源得到充分利用，高质量和高效地实现人才培养目 标。1 随着我国高等教育的快速发展，高等教育由精英教育逐步向大众教育转 变，办学规模不断扩大，教学资源明显紧缺，使教务管理部门的任务越来越重。 特别是在目前高校教学经费不足的情况下，学生人数不断增加与管理人员相对 缺乏的矛盾更加突出，因此我们迫切需要利用先进的信息技术和手段来提高教 学管理的工作质量和效率，解决目前教学管理工作中遇到的种种困难。 近几年来，各高校在教务管理信息化建设方面做出了很多努力，普遍建立 了教务管理信息系统，实现了教学信息的集中管理、分散操作和信息共享。教 务管理软件系统能够对学生从入学到离校的完整培养流程进行监控和管理，功 能也从单纯的录入、查询、统计逐步发展成为具有一定综合处理能力的管理平 台。瞄1 利用教务管理系统，教学管理人员可以方便快捷的建立与教师和学生的 联系，改变了传统教学管理模式下数据层层传达及存储的模式，实现了真正意 义上的信息交换与互动。 随着教务系统应用的不断深入，教务系统数据库中积累的数据越来越多。 这些数据里面包含了许多重要的决策支持信息。如何快速而准确地从大量的教 学管理数据库中提取有用的知识来辅助决策，提高教务决策的科学性和有效性， 成为当前教学管理工作中具有挑战性的课题。啪3 第二节选题依据和意义 对于高校来说，教务数据在目前仍是一笔未被充分利用的资产。商业智能 ( b i ) 为解决这一问题提供了成熟的方法和工具。尽管商业智能的技术体系相 第一章绪论 对成熟，但大多数商业智能项目却以失败告终。主要在于缺乏历史数据支持以 及对数据的理解不够深入。没有几年的历史数据来做支撑，投入再大的商业智 能项目也是徒劳的。 南开大学本科教学教务管理信息系统建设早，应用也比较成熟，为成绩数 据分析和挖掘提供了良好的基础。我校本科教学教务管理系统从1 9 9 9 年开始投 入运行，教务系统后台数据库中存储的数据逐年增加。截至2 0 0 8 年底，从教务 系统数据库中可以整理出4 1 1 0 3 条学生基本信息，2 8 9 6 条教师信息，1 1 2 1 9 条 课程信息，2 0 5 0 6 4 1 条学生成绩信息等。教务管理系统数据库中保存的近l o 年 来我校本科学生的所有学籍和成绩信息，具有两个特别突出的特点，一是数据 质量好。b i 项目的关键在于基础信息的准确性和可靠性，根据不准确信息做出 的决策往往是错误的。对于学生来说，学籍和成绩至关重要，可以说关系到了 每个学生的命运，为此教务管理系统数据库确保了每条信息都跟纸质档案中的 信息一一对应，从而保证了数据的准确性和可靠性；二是数据规模庞大。当前 教务系统数据库和历史教务系统数据库中保存了我校近1 0 年的本科学生信息， 成绩记录达2 0 0 多万行，学籍库、课程库、教师库保存完整。因此，在我校教 务系统的基础上进行商业智能项目的实施是可行的。 第三节研究内容与目标 尽管目前各高校在教务数据挖掘方面都开展了一些研究，但真正投入实际 运行并用于辅助教务决策的研究还不多见。本文准备设计和实现完整的成绩分 析系统，和教务管理系统紧密结合，为教学管理提供更高层次的决策支持信息。 本论文准备以南开大学本科教学教务管理系统中的成绩数据为基本研究对象。 项目开发完成后能够把成绩数据仓库部署到单独的分析服务器上，定期更新成 绩数据，通过多种方式对成绩数据进行多维度、多层次的分析，找出成绩数据 里隐含的模式或趋势。 第四节研究方法及思路 商业智能技术架构为成绩分析提供了成熟的方法和工具，m i c r o s o rs q l s e r v e r2 0 0 5 平台为商业智能项目的开发提供了完整的支持。本论文准备以 2 第一章绪论 m i c r o s o f ts q ls e r v e r2 0 0 5 作为主要的项目开发平台。其中i n t e g r a t i o ns e r v i c e 作为数据整合的工具，完成成绩数据从教务系统数据库到数据仓库的抽取、清 洗和转换过程。a n a l y s i ss e r v i c e 作为数据多维分析与数据挖掘工具。 第五节本文组织结构 本文以南开大学教务管理系统成绩数据为基础，集中探讨高校学生成绩分 析方面的问题，同时结合实际模型，对影响高校学生成绩的各项因素进行深入 探讨。 本文的具体内容安排如下： 第l 章是引言，介绍本文研究背景，目的、方法和意义。 第2 章对高校教务管理系统进行简单介绍并以南开大学为例对成绩管理流 程进行说明。 第3 章介绍成绩分析的基本方法和技术体系。 第4 章介绍商业智能、数据仓库和数据挖掘等核心概念、理论和方法。 第5 章介绍成绩分析中数据仓库模型和建立数据仓库的过程。 第6 章为成绩分析系统实现，其中重点介绍深度分析中的数据挖掘方法， 展示数据挖掘的结果并对其进行分析。 第7 章为结论，对本论文工作进行总结，对成绩分析结果进行综合分析， 并提出此项研究进一步改进的方向和重点。 3 第二章高校教务管理系统介绍 第二章高校教务管理系统介绍 第一节高校教务管理系统应用现状 教务管理是大学的主要日常管理工作之一，涉及到院系、教师、学生、课 程等诸多方面，随着办学规模的不断扩大、办学层次日趋多样化，特别是学分 制的推行，教学教务管理工作更加复杂，管理任务更加繁重。1 近几年来，各 高校在教务管理信息化建设方面做出了很多努力，普遍建立了教务管理信息系 统，充分依托校园网，实现了教学信息的集中管理、分散操作和信息共享，使 传统的教务管理朝数字化、无纸化、智能化、综合化的方向发展。教务管理软 件系统能够对学生从入学到离校的完整培养流程进行监控和管理，功能也从单 纯的录入、查询、统计逐步发展成为具有一定综合处理能力的管理平台。昭3 1 第二节高校教务系统体系结构 为实现教务管理工作基于全校数据一致性的校院两级管理模式，使教务处 和各学院通过教务管理系统完成相应的教务管理工作，并能够及时将各种教 务、教学信息与广大师生共享、交互，充分合理利用网络资源，整个系统可以 划分为两部分：一是面向教务处和各学院教务人员的教务管理子系统，二是面 向广大教师和学生的教务信息查询和交互子系统，各子系统都可以独立运行， 并且共用一个数据库，使得各子系统之间可以进行各种数据的实时共享，可以 实现这种管理系统的开发方法有c s 和b s 两种模式。n 2 1 c s 模式( c l i e n t s e r v e r , 客户端服务器) ，是由客户端与服务器合作完成 的二层结构模式。b s 模式( b r o w s e r s e r v e r ，浏览器n 务器) ，是把传统的c s 模式中的服务器部分分解为二个数据服务器和一个或多个应用服务器( w e b 服 务器) ，从而构成一个三层结构的客户服务器体系。在教务管理系统中若单独 应用c s 模式或b s 模式都各有利弊。在安全性要求高、交互性强、处理数据 量大、数据查询灵活且地点固定的小范围内使用c s 模式，通过客户端软件访 4 第二章高校教务管理系统介绍 问数据库。而在安全性和交互性不高、地点灵活的广域网范围内使用b s 模式。 高校综合教务管理系统充分利用两种模式各自的优势，为不同的子系统选用不 同的模式，构建了将两种模式交叉并行使用的c s 和b s 混合模式。在教务管 理系统中，教务人员主要用来实现教学、教务管理工作，如：系统维护、教学 计划管理、课表编排、学籍管理、成绩管理、考试管理等，其工作流程相对稳 定，属于专业性较强的应用系统，要求系统具有强大的事务处理能力、安全控 制及交互能力，针对这种特点，面向教务人员的教务管理系统采用c s 模式开 发。在教务处各科室、各学院安装客户端程序，各用户凭账号、密码访问系统。 面向广大师生的网上成绩查询、课表查询、考试查询、网上选课等，用户范围 广泛且要具有一定的分布式处理能力，采用b s 模式开发。本校师生可以随时 随地通过网络凭用户名和密码访问系统。 教务管理系统将学校及各学院独立的教务管理变为全校统一的管理模式， 实现了每个学生从招生进校到毕业离校教学活动全过程的信息化统一管理。在 教务处的统一规划协调下。各学院根据自己被赋予的管理权限进行管理，提升 了管理水平，提高了管理效率。 南开大学的教务管理系统由软件学院与教务处联合开发，是一个集 c l i e n t s e r v e r 和b r o w s e r s e r v e r 技术于一体、涉及教务管理各环节、面向学校 各部门以及各层次用户的多模块综合管理信息系统，由1 3 大功能模块组成：教 学计划管理，排课管理，选课管理，学生选课( c s ) ，学牛选课( b s ) ，教务 处选课，学生成绩管理，学籍管理，教学研究管理，教材管理，数据接口，系 统管理，自动版本升级等。n 由于采用了b s 结构和i n t e m e t 网络技术，突破 了原先教务系统使用地域的局限性，使整个校园网乃至i n t e m e t 上的用户都可 访问本教务系统。 我校教务系统始建于9 0 年代末期，依托于校园网已稳定运行多年，为我校 本科教学水平的稳步提升做出了巨大贡献。教务系统初始数据库平台为s q l s e r v e r2 0 0 0 企业版，w e b 开发采用基于a s p 技术的微软i i s 平台。系统运行几 年后，随着教学改革的深入和信息技术的不断发展，在2 0 0 4 年左右对初始版本 系统进行了一次升级，数据库迁移到o r a c l e9 i 平台，w e b 开发基于j s p 技术实 现，新版教务管理系统在功能、性能方面都有了很大改善，已成为我校教务管 理工作的重要支撑平台。2 0 0 4 年之前的成绩数据完整保存于初始版本教务系统 m i c r o s o f ts q ls e r v e r2 0 0 0 企业版数据库中，2 0 0 4 年之后的成绩数据完整保存 5 第二章高校教务管理系统介封 于新版的教务系统o r a c l e 9 i 企业版数据库中。新版教务系统数据包台了大部分 初始版本教务管理系统数据，但仍有部分数据只存在于初始版本数据库中，建 立数据仓库时需要导入初始版本教务系统数据库中的部分数据。 当前南开大学敦务管理系统数据库服务器数据库版本为o r a c l e 9 i 企业版， 保存了我校本科教学相关的备类信息，系统用广丰要分为教务管理人员、教师 和学牟三类。其中教务管理人员通过定制客户端应用程序直接连接数据库，进 行日常的教务管理，如修改教学计划、排课、学籍管理等。教师通过网络登陆 w e b 服务器在每学期末完成学牛成绩录入，学生则通过网络登陆选课服务器完 成选课、成绩查询、教学效果评价等操作。 系统物理架构图2l 所示。 图21 南开大学教务管理系统架构图 锣 回一 凰 幽圳圆叩小 第二章高校教务管理系统介绍 第三节成绩管理流程 高校成绩管理是教务管理的重要组成部分。学生在校学习期间，成绩作为 学生学习效果和教师教学效果的重要量化指标，不仅是学生评选先进、评定奖 学金和保送研究生的重要参考，而且是学生毕业资格审查的重要依据以及出国 和就业的重要竞争条件。成绩管理工作关系到所有学生的命运，重要性不言而 喻。2 7 3 以南开大学为例，我校的成绩管理系统通过对不同权限的组合完成成绩的 分层次、网络化管理。在日常成绩管理过程中，教务处教学管理科管理人员具 有管理员权限，负责成绩模块的参数设定，权限设置，异动处理等。各院系负 责教学管理的教学秘书是成绩管理工作中的二级管理员，可以录入，修改本院 系或教学部课程成绩。任课教师可以录入本人所教课程的学生成绩，学生本人 只能查看本人所学课程的成绩。 在每学期开始，学生在试听课程、课程补退选之后，各院系教学秘书打印 正式选课名单发放到各位任课教师，教师根据名单确认本门课程学生，只有在 选课学生名单中的学生才能提交作业，参加考试并获得成绩。在期末考试完成 之后，教师可以登录教师平台完成学生成绩的录入，纸质成绩报告单交到各院 系教学秘书存档保管。 学生成绩录入数据库后，如果成绩不及格，学生可以重修该门课程。在最 终成绩计算的时候，重修成绩如果及格，该门课程成绩记为6 0 分；如果仍不及 格，该门课程成绩为第一次考试成绩与重修成绩的最大值。 我校本科教学采用完全学分制己实行多年。完全学分制比较突出学生的主 体地位，注重发挥学生学习的主动性，强调学生个人化发展。完全学分制的特 色主要表现在完全选课、弹性学制、辅修和双修、学分互认互换等。学生可以 自主决定在哪个学期学习哪些课程，只要在3 到6 年的时间内完成教学计划内 的课程即可毕业。学生在校期间还可申请转学、转专业、辅修、双修，考试不 及格可以选课重修，这些措施给学生带来了学习上的灵活性和自主性，同时也 给教务管理，特别是成绩管理工作带来了极大的挑战，主要体现为学生成绩、 课程学分数和学分类型的确认和计算上，包含了比较复杂的业务逻辑。 7 第二章高校教务管理系统介绍 学生成绩的学分数跟学籍管理密切相关。在学生不及格学分数累计到达一 定值时，需向学生提出预警，如果情况继续恶化，该学生就可能面临退学或者 毕业时无法获得学位证书。 另一个学生成绩的综合评价指标为学生成绩的平均学分积，其计算公式为 硎= 紫 ( 2 1 ) 其中，s ，为该生第f 门课程的百分成绩，c f 为该生第f 门课程的学分。 在学生成绩排名时，主要的参考指标即为平均学分积。学生在评优、保送 研究生、出国、找工作的时候需要年级或者专业排名的时候按平均学分积排序， 这对学生来说意义重大。 第四节成绩管理现状和问题 目前我校教务管理系统中的成绩管理模块已实现了成绩管理各个环节的管 理，基本能够满足我校完全学分制和弹性学制的成绩管理需求。成绩管理模块 主要包括学生成绩录入、成绩录入情况查询、重修重考管理、学生成绩查询与 打印、课程成绩查询与打印等。当前成绩管理系统在成绩录入和成绩单打印方 面功能完善，应用比较成熟。 随着应用的深入，现有系统的功能上的不足日益明显。当前成绩查询只能 根据菜单选择固定格式的报表，如课程成绩清单，单个学生成绩清单，专业学 生成绩排名名单等。同时，教师和教务管理人员需要对学生成绩状况进行更加 深入的了解，如各院系学生成绩的对比分析，各年级学生成绩对比分析，学生 各学期成绩有何关联，学生不及格学分数分布情况等。现有的教务管理系统中 无法直接得到这些数据，只能在教务系统数据库中直接查询，但同时也带来了 新的问题。一方面是查询语句无法复用，考虑问题也有可能不全面，不能保证 查询的正确性。另一方面是查询的效率问题。每次成绩统计时都要进行数据库 全表扫描，根据细节数据重新生成汇总数据，这些计算的中间结果也无法复用， 查询效率低下，浪费计算资源。同时，成绩数据中隐含知识也无法通过查询方 法得到。为完成解决成绩数据的多层次多角度的分析，需要采用更加先进、灵 活的方法和技术。 8 第三章成绩分析方法 第三章成绩分析方法 成绩分析可以分两个层次来进行，基本分析和深度分析。综合应用基本分 析和深度分析方法，用户对大量复杂成绩数据的分析会变得轻松和高效，从而 迅速地做出正确的判断，辅助决策。 第一节基本分析 成绩基本分析使用数据分析中的统计分析方法，目的是对成绩数据进行压 缩，给出成绩数据的紧凑描述。传统统计方法如计算和、均值、方差等都是有 效的基本分析方法。基本分析结果需要用报表呈现出来，并用折线图、饼图、 直方图等图表直观显示各种统计量。 成绩基本分析也包括成绩多维分析。多维分析具有灵活的分析功能，在直 观的数据操作和分析结果可视化表示等方面具有突出的优点。 第二节深度分析 成绩深度分析使用数据挖掘技术和算法，找出成绩数据隐藏的有意义的新 关系、模式或者趋势。 数据挖掘技术可分为描述型数据挖掘和预测型数据挖掘两种。描述型数据 挖掘包括数据总结、聚类、关联分析等。预测型数据挖掘包括分类、回归、时 间序列分析等。 在成绩深度分析中，主要使用聚类、关联分析、分类和回归等几种数据挖 掘方法。其中聚类是把整个数据分成不同的群组，目的是使群与群之间差别很 明显，而同一个群之间的数据尽量相似；关联分析是寻找数据中值的相关性， 两种常用的关联分析技术是关联规则和序列模式，关联规则是寻找在同一个事 件中出现的不同项的相关性，序列模式寻找的是事件之间时间上的相关性；分 类目的是构造一个分类函数或分类模型，该模型能把数据库中的数据项映射到 给定类别中的某一个；回归通过具有已知值的变量来预测其它变量的值，一般 9 第三章成绩分析方法 情况下回归采用的是线性回归、非线性回归这样的标准统计技术，同一个模型 既可用于回归也可用于分类。 第三节成绩分析技术体系 商业智能( b i ) 为解决成绩分析提供了成熟的方法和工具。商业智能可以 看作数据仓库、联机分析处理( o l a p ) 工具和数据挖掘等技术的综合应用， 其中联机分析处理( o l a p ) 工具可以用作成绩基木分析，数据挖掘技术用作 成绩深度分析。 下一章将对商业智能的相关技术进行介绍。 1 0 第四章商业智能、数据仓库和数据挖掘 第四章商业智能、数据仓库和数据挖掘 第一节商业智能定义 商业智能也称作b i ，是英文单词b u s i n e s si n t e l l i g e n c e 的缩写。商业智能这 一术语在1 9 9 6 年由g a r t n e rg r o u p 的h o w a r dd r e s n e r 首次提出，它描述了一系 列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智 能技术提供使企业迅速分析数据的技术和方法，通过收集、管理和分析数据， 将这些数据转化为有用的信息，然后分发到企业各处。t e df r i e d m a n 和k e v i n h s t r a n g e 认为商业智能应该注重数据整合、数据质量、元数据管理、可测量 性和互用性以及企业活动的监测。h 鄙目前，商业智能通常被理解为将企业中现 有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里的数据 包括企业业务系统的订单、库存、交易账目、客户，供应商等企业所处行业和 竞争对手的数据，企业所处的其他外部环境中的各种数据。而商业智能能够辅 助的业务经营决策既可以是操作层的，也可以是战术层和战略层的决策。要将 数据转化为知识，需要利用数据仓库、联机分析处理( o l a p ) 工具和数据挖 掘等技术。从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、o l a p 和数据挖掘等技术的综合运用。 目前，各个行业都面对着激烈的竞争，及时、准确的决策已成为企业生存 与发展的生命线。随着信息技术在企业中的普遍应用，企业产生了大量富有价 值的电子数据。但这些数据大都存储于不同的系统中，数据的定义和格式也不 统一，商业智能系统从许多来自不同的企业运作系统的数据中提取出有用的数 据并进行清理，以保证数据的正确性，然后经过抽取( e x t r a c t i o n ) 、转换 ( t r a n s f o r m a t i o n ) 和装载( l o a d ) ，即e t l 过程，合并到一个企业级的数据 仓库里，从而得到企业数据的一个全局视图，再运用适合的查询分析工具、数 据挖掘工具、o l a p 工具等管理分析工具对信息进行处理，使信息变为辅助决 策的知识，最后将知识呈现给管理者，为管理者的决策过程提供支持。 第四章商业智能、数据仓库和数据挖掘 第二节商业智能体系结构 为了满足决策者的需求，商业智能系统需要从大量的数据集合中找到其关 心的数据。一个典型的b i 系统体系架构如图4 1 所示。 b b i 应用系统 1 r j l b i 系统基础区亘 区亟习 区亟田区巫口 图4 1 商业智能体系架构 整个体系架构中包括：终端用户查询和报告工具、o l a p 工具、数据挖掘 ( d a t am i n i n g ) 软件、数据仓库( d a t aw a r e h o u s e ) 和数据集市( d a t am a r t ) 产品、联机分析处理( o l a p ) 等工具。h 玎 1 ) 终端用户查询和报告工具 专门用来支持初级用户的原始数据访问，不包括适应于专业人士的报告生 成工具。 2 ) 数据预处理( e t l - 数据抽取、转换、装载) 从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理， 以保证数据的正确性，然后经过抽取( e x t r a c t i o n ) 、转换( t r a n s f o r m a t i o n ) 和 1 2 第四章商业智能、数据仓库和数据挖掘 装载( l o a d ) ，即e t l 过程，合并到一个企业级的数据仓库里，从而得到企业 数据的一个全局视图。 3 ) o l a p 工具 提供多维数据管理环境，其典型的应用是对商业问题的建模与商业数据分 析。o u 蟑也被称为多维分析。 4 ) 数据挖掘( d a t am i n i n g ) 使用如神经网络、决策树、关联规则、聚类等算法，发现数据之间的关系， 做出基于数据的推断。 5 ) 数据仓库( d a t aw a r e h o u s e ) 和数据集市( d a t am a r t ) 产品 包括数据转换、管理和存取等方面的预配置软件，通常还包括一些业务模 型。 6 ) 联机分析处理( o l a p ) o l a p 是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、 一致、交互地存取，从而获得对数据的更深入了解的一种软件技术。 其中核心技术在于数据预处理( e t l ) 、数据仓库( d w ) 、联机分析处理 ( o l a p ) 、数据挖掘( d m ) 四个部分。接下来对这几个核心技术进行详细介 绍。 第三节数据预处理( e t l ) 早期大型的在线事务处理系统( o l t p ) 问世后不久，就出现了一种用于“抽 取”处理的简单程序，其功能是搜索整个文件系统或数据库，使用某些标准选 择合乎要求的数据，将其复制出来，用于总体分析。因为这样做不会影响正在 使用的o l t p 系统，降低其性能，同时，用户可以自行控制抽取出来的数据。 随着各类信息系统应用的深入，企业中往往采用了多个在线事务处理系统，而 这些系统之间的数据定义格式不尽相同，即使采用同软件厂商提供的不同软 件产品，或者仅仅是产品版本不同，系统之间的数据定义格式也有少许差距。 因此，有必要先定义一个统一的数据格式，然后把各个来源的数据按新的统一 的格式进行转换，然后集中装载入数据仓库中，此过程即为e t l 数据预处理过 程。 1 3 第四章商业智能、数据仓库和数据挖掘 第四节数据仓库( d w ) 数据仓库( d a t aw a r e h o u s e ) 概念是由称为数据仓库之父的w i l l i a mh i n m o n 在上世纪8 0 年代中期撰写的“b u i l d i n gt h ed a t aw a r e h o u s e 一书中首次提出， “数据仓库是一个面向主题的、集成的、非易失性的，随时间变化的用来支持 管理人员决策的数据集合”。犯1 面向主题是数据仓库第一个显著特点，就是指在数据仓库中，数据按照不 同的主题进行组织，每一个主题中的数据都是从各操作数据库中抽取出来汇集 而成，这些与该主题相关的所有历史数据就形成了相应的主题域。 数据仓库的第二个显著特点是集成。数据来源于不同的数据源，通过相应 的规则进行一致性转换，最终集成为一体。 数据仓库的第三个特点是非易失性。一旦数据被加载到数据仓库中，数据 就不会再发生变化，尽管运行系统中对数据进行增加、删除、修改等操作，但 对这些数据的操作将会作为新的快照记录转换到数据仓库中，从而不会影响到 已经进入到数据仓库的数据。 数据仓库最后一个特点是随时间而变化。数据仓库中每一个数据都是在特 定时间的记录，每个记录都有着相应的时间戳。 图4 2 数据仓库体系架构 按照数据仓库模式设计的要求，数据仓库对外部数据源和操作型数据源的 元数据进行归类并建成元数据库，相对应的数据经过e t l 后加载到数据仓库 中。当信息客户需要查询数据时先通过信息展现系统了解元数据或者直接浏览 元数据库，再发起数据查询请求得到所需数据。 1 4 第四章商业智能、数据仓库和数据挖掘 第五节联机分析处理( o l d ) o l a p 的概念最早是由关系数据库之父e f c o d d 于1 9 9 3 年提出的，他同 时提出了关于o l a p 的1 2 条准则。o l a p 的提出引起了很大的反响，o l a p 作 为一类产品同联机事务处理( 0 l t p ) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理o l t p ( o n l i n e t r a n s a c t i o np r o c e s s i n g ) 和联机分析处理o l a p ( o n l i n ea n a l y t i c a lp r o c e s s i n g ) 。 o l t p 是传统关系型数据库的主要应用，主要是处理基本的日常事务。o l a p 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供 直观易懂的查询结果。 o l a p 的目标是满足决策支持或者满足在多维环境下特定的查询和报表需 求，它的技术核心是”维( d i m e n s i o n ) ”这个概念。“维”是人们观察客观世界的 角度，是一种高层次的类型划分。“维”一般包含着层次关系，这种层次关系 有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维 ( d i m e n s i o n ) ，可以使用户能对不同维上的数据进行比较。因此o l a p 也可以说 是多维数据分析工具的集合。 o l a p 的基本多维分析操作有钻取( r o l lu p 和d r i l ld o w n ) 、切片( s l i c e ) 和切块( d i c e ) ，以及旋转( p i v o t ) 、d r i l la c r o s s 、d r i l lt h r o u g h 等。钻取是改 变维的层次，变换分析的粒度，包括向上钻取( r o l lu p ) 和向下钻取( d r i l l d o w n ) 。r o l lu p 是在某一维上将低层次的细节数据概括到高层次的汇总数据， 或者减少维数：而d r i l ld o w n 则相反，它从汇总数据深入到细节数据进行观察 或增加新维。切片和切块是在一部分维上选定值后，关心度量数据在剩余维上 的分布。如果剩余的维只有两个，则是切片；如果有三个，则是切块。旋转是 变换维的方向，即在表格中重新安排维的放置。 o l a p 有多种实现方法，根据存储数据的方式不同可以分为r o l a p 、 m o l a p 、h o l a p 。 r o l a p 表示基于关系数据库的o l a p 实现( r e l a t i o n a lo l a p ) 。以关系 数据库为核心，以关系型结构进行多维数据的表示和存储。r o l a p 将多维数 据库的多维结构划分为两类表：一类是事实表，用来存储数据和维关键字；另 一类是维表，即对每个维至少使用一个表来存放维的层次、成员类别等维的描 述信息。维表和事实表通过主关键字和外关键字联系在一起，形成了“星型模 1 5 第四章商业智能、数据仓库和数据挖掘 式 。对于层次复杂的维，为避免冗余数据占用过大的存储空间，可以使用多 个表来描述，这种星型模式的扩展称为“雪花模式 。 m o l a p 表示基于多维数据组织的o l a p 实现( m u l t i d i m e n s i o n a lo l a p ) 。 m o l a p 以多维数据组织方式为核心，使用多维数组存储数据。多维数据在存 储中将形成“立方块( c u b e ) 的结构，在m o l a p 中对“立方块的“旋 转”、“切块 、“切片 是产生多维数据报表的主要技术。 h o l a p 表示基于混合数据组织的o l a p 实现( h y b r i do l a p ) 。如低层是 关系型的，高层是多维矩阵型的。这种方式具有很好的灵活性。 在数据仓库应用中，o l a p 应用一般是数据仓库应用的前端工具，同时 o l a p 工具还可以同统计分析工具、数据挖掘工具配合使用，增强决策分析功 能。 4 6 1 数据挖掘定义 第六节数据挖掘( d m ) 数据挖掘是指( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模糊的、 随机的数据中，提取隐含在其中的，人们事先不知道的，但又是潜在有用的信 息和知识的过程。这些信息或知识具有潜在价值，支持决策，可以为企业带来 利益，或者为科学研究寻找突破口。与数据挖掘相近的词有数据库中的知识发 现( k d d ) 、数据分析及决策支持等。 4 6 2 数据挖掘算法 1 、关联规则算法 关联规则是数据挖掘的典型方法，它是描述在一个交易中物品之间同时出 现的规律的知识模式。关联规则的分析方法用于隐藏在大型数据集中令人感兴 趣的联系。所发现的联系可以用关联规则或频繁项集的形式表示。关联规则可 以揭示事物之间的联系，可用于购物篮分析，金融服务和科学数据分析等。m 1 定义1 、k 一项集 1 6 第四章商业智能、数据仓库和数据挖掘 个商品或者一个记录称为一个项目。多个项目的集合称为项集。设，为 数据库d 中全体项目的集合，集合x = i 。，i 2 ，) ( xc z1 且i x i = k ) 称为后一项 集。 定义2 、事务 事务即记录，是形如 谢，x ) 的二元组，其中f 耐为事务标识符，x 为项目 集。 待挖掘的数据集或者数据库d 是条事务的集合，为数据集d 中的记录 总数。如果事务r 包含项目集x 中的所有项目，则称事务r 支持或包含项目集 x ， 定义3 、支持度计数和支持度 数据库t d b 中包含项集x 的事务数目称为项集x 的支持度计数记为 c o u n t ( x ) 。 s u pp o r t (