（系统分析与集成专业论文）数据挖掘技术在学生成绩分析中的应用研究.pdf

论文摘要 数据挖掘是信息技术发展进化的结果，近几年，随着各高校招生规模的扩大 信息量也随之大幅度增加学校内的学生成绩管理系统对数据的处理多限于增、 删、改、查等操作，这些操作属于成绩数据库的低层次应用，无法对积累下来的 数据进行集成和深层分析更谈不上对信息的自动获取和预测。 作为高等院校，它的根本任务是通过教学和教育工作来培养高层次人才， 所以教学工作始终是学校的中心工作。高等教育的重点和关键是提高教育质量， 而学生成绩恰是评估教学质量的重要依据，也是检验学生是否掌握好所学知识的 重要标志。所以对学生成绩数据进行分析挖掘具有重要意义，同时也可以把获得 的信息反馈用于指导教学研究。本文通过对大量的学生成绩信息运用数据挖掘技 术，能够发现这些数据之间的有趣关联，帮助管理者、教师和学生了解各门课程 及教学之问的关联关系，发现某些规律性的存在，这对于学校培养计划的确定、 开展更加具有针对性的个性化教育，培养有特色、有创造力的高层次人才将会有 一定的指导意义。 本文通过对关联规则挖掘算法的详细分析，应用了一种改进的关聒规则算法 对学生成绩进行挖掘。同时使用s q l 刚盯2 0 0 5 作为后台数据库对存储在其中的 学生成绩进行挖掘，找出课程之间的关联，并对结果进行分析，用于指导学生学 习和帮助办学者修改制定人才培养的方案。 关键词：数据挖掘关联规则，s q ls c a w c r2 0 0 5 ，成绩分析 a b s t r a c t d a t am i n i n g ( d m ) i st h er e s u l t so fd e v e l o p m e n te v o l u t i o no fi n f o r m a t i o n l e e l m o l o g y , t h er e c e n ty e a r s ，w i t ht h ee x p a n s i o no fc o l l e g e 印l r o l l m e n t , t h ea m o u n to f i n f o r m a t i o na l s ow i l lb eas i 驴i f i e a a ti n c r e a s ei n p d - o 肌跚o cm a n a g e m e n ts y s t e m s e m r 印t l ym e di ns c h o o l st ot h ed a t ap r o c e s s i n gi sa l s on 眦l i m i t e dm e r e a s e , d e l e t e , , c h a n g e , s e a r c ha n do t h e ro p e r a t i o n s , 1 h o s eo p e r a t i o n sa r cl o w - l e v da p p l i c a t i o n so f p e d - d 皿a n c ed a t a b a s e , t h el a c ko fi n t e g r a t i o na n dd q , t ha n a l y s i st oa x 舢 n u l a t o dd a t a a n d 衄a l o n ea u t o m a t i c 卸c i 删t oi n f o r m a t i o n a sat m i v e 舟i 吼如di t sf u n d a m e n t a lt a s ki s t e a c h i n ga n de d u c a t i o n a lw o r k t h r o u g ht oc u l t i v a t eh i g h - l e v e lt a l e n t s , t h 哦f o r et e a c h i n gh a sa l w a y sb e e nt h ec e n m l l t a s ko ft h es e h o o ! t h ef o c u sa n dt h ek e ) r 窖o fl - , i g h d re d u c a t i o ni st oi m p r o v et h e q u a l i t yo fe d u c a t i o n 。a n d s t u d e n ta c h i e v e m e n ti sp r e c i s e l yt h ei m p o r t a n tb a s i sf o r a s s e s s i n gt h eq u a l i t yo ft e a e h i r , g , i t s 跖i m p o r t a n ti n d i c a t o ro ft e s t i n g w h e t h e r s t u d e n t sh a v el e a r n e dt om a s t e ra l li m p o r t a n ti n d i c a t o ro fk n o w l e d g e , t h e r e f o r e , t h e d a t am i n i n go fs t u d e n ta e h i e v e r n e n th a sg r e a ts i g n i f i c a n c e a n di t sa l s o 锄g e t f e e d b a c kt og u i d et e a c h i a ga n dr e s e a r c h i nt h i sp a p e r , al a r g en 啪n b c to fs t u d e n t a c h i e v e m e n ti n f o r m a t i o no nt h eu s eo fd a t am i n i n gt e c h n i q u e st od i s c o v e r 柚 i n t e r e s t i n gc o r r e l a t i o nb e t w e 眈lt h e s ed a t aa n dh e l pa d m i n i s t r a t o r s , t e a c h e r sa n d s t u d e n t st ou n d e r s t a n dt h ea s s o e i a t i o nb e t w e e ne d u c a t i o n , t h i si s l ed e t e r m i n a t i o no f e d u c a t i o n a lp r o g r a m sf o rs c h o o l st oc a r r yo u ta o r et a r g e t e dp e r s o n a l i z e de d u c a t i o n a n dc u l t i v a t eau n i q u ea n dc r e a t i v eh i g h - l e v e lp e r s o n n e l t h ep a p e rt h r o u g ht h e - a l y s i so fa s s o c i a t i o nr u l em i n i n g a l g o r i t h m , a n h n o r o v e da s s o c i a t i o nr u l ea l g o r i t h mi sa p p l i e dt om i n i n gs t u d e n ta e l f i e v e m e n t t h e s q l r v e r2 0 0 5a sab a c k e n dd a t a b a s ef o rm i n i n gt h es t u d e n ta c h i e v e m e n ti nw h i c h b es t o r e d f i n d i n go u tt h ea s s o c i a t i o nb e t w e e nc u r r i c u l u ma n dt h er e s u l t sw i l lb e a n a l y z e d ，u s e dt og i ds t u d e n t sa n dt oh e l pm o d i f yt h ed e v e l o p m e n to fh o wt o e u l t i v a t et a l e n t s k e yw o r d ：d a t a m i n i n g , a s s o c i a t i o nr u l e , s q ls e r v e r2 0 0 5 ，s r ea n a l y s i s 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果据我所知。除文中已经注明引用的内客外，本论文 不包含其他个人已经发表或撰写过的研究成果对本文的研究做出重 要贡献的个人和集体，均已在文中作了明确说明并表示谢意 作者签名：雌日期： 学位论文授权使用声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版。有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进 行检索有权将学位论文的标题和摘要汇编出版保密的学位论文在 解密后适用本规定 学位论文作者馘降耱侈 导师签名：擒 日期：鼍也日期：司虹 翦据挖掘技术在学生成绩分析中的应用研究 第一章引言 1 1 课题背景 随着计算机科学与技术的发展，计算机被应用到各个行业，人们对计算机带 来的高效率越来越重视，但大量的信息给人们带来方便的同时，也随之带来了许 多新的问题，数据库中积累下来的数据越来越多，海量的数据资源背后隐藏着许 多重要的信息，人们希望能对其进行更深入的分析，以便更好地利用这些数据， 从中找出潜在的规律。但是，目前已有的数据分析工具很难满足人们对数据进行 深层次分析的需要。如何从大量的数据中提取并发现有用信息以提供抉策的依 据，已经成为一个新的研究课题。 高校是教学和科研的重要基地，也是培养人才的重要场所，教学管理工作是 高校管理工作的重要组成部分，也是衡量高校管理水平的依据。从目前来看各 高校随着招生规模的扩大，信息量大幅度增加，学校运行着备类管理系统，存在 着各类数据库，如有成绩管理，学籍管理等这些系统积累了大量的数据，在很 大程度上提高了工作的效率，但在这样的教学管理系统中学校的管理人员、教 师和学生都只能通过查看，或者简单的排序以及统计功能来获得数据表面的信 息，但获取这类信息对于教学及管理工作的指导意义并不大，由于缺乏信息意识 和相应的技术，隐藏在这些大量数据中的信息一直没有得到充分应用。如何对这 些数据进行重新利用，在原基础上扩充高校教学管理系统的功能，从大量数据中 发现潜在规律，找出隐含的模式提高学校管理的决策性。提高管理水平和办学 质量，是很多高校正在考虑的问题。 在我国西部地区，由于客观条件限制，很多刚建立不久的高校对教学的管理 水平仍比较滞后，近几年，随着高校学生人数大幅度增加，以及教学管理模式的 转变( 如学分制的赭行) 等都给学校的教务管理工作带来了诸多向题，使得教务 管理越来越复杂。同时也对学校教学管理工作的科学性、规范性、服务性提出了 更高的要求。学生成绩作为考核学习结果的一项重要指标，不仅是对学生学习效 果和教师教学效果的检测和评价，而且更是一种具有反馈于教学活动、服务于教 学策略、为教育科研提供数据资料等作用的信息。然而目前普遍使用的成绩分 数据挖搁技术在学牛r 成绩卦析中韵应用研兜 析方法一般只能得到均值、方差、区别显著性检验、信度、教度等一类信息，且 仅仅是从一门课独立数据进行的分析，但在实际教学中，比如学生在学习某一门 课程时，是哪一门或者几门前导课程对其影响晟大，包括教学以外的哪些因素对 学生成绩造成了较大的影响等各种有价值的信息往往无法获知因此，对学生成 绩数据进行深入挖掘分析找出影响学生学习的各种潜在的因素，将会促进学校 开展更加具有针对性的个性化教育，同时营造一种新的教学管理环境，进一步促 进教学质量和管理水平的提高。 本文利用数据挖掘技术，以作者工作学校目前的教学管理现状为出发点，针 对学校现有管理系统存在的不足，将数据挖掘技术应用到成绩管理系统中，对储 存在数据库中的学生成绩数据进行多角度的分析，在一定程度上能帮助解决存在 的问题，使学校教学管理系统充分发挥作用，在功能上进一步满足学校敦学管理 的需要，帮助办学部j - j 带l l 定教学计划和人才培养的方案，也指导学生根据自身的 学习情况进行研究方向和选修课程的选择。同时对本人所从事的教学及管理工作 也将具有重大的指导作用和现实意义。 1 2 国内外研究现状和发展趋势 数据挖掘技术的研究在国外已经有很多年的历史，而且已经取得了丰硕的成 果。世界上研究数据挖掘的组织、机构和大学也有很多，在国外高校的教学管理 中，数据挖掘也己成为提高教学管理质量和教学水平的有力工具。而国内对数据 挖掘与知识发现的研究与国外相比较晚，也没有形成相对整体的力量，对数据挖 掘的研究讨论太多集中在对数据挖掘相关算法的介绍和改进上，数据挖掘在各领 域的运用与实践并不普遍n 一。到近几年数据挖掘作为新型的数据库技术，已 经被成功地应用在许多企业公司中，在提高企业管理效率和经济效益等多个方面 都有明显的效果但相对而言数据挖掘技术在教育领域的应用仍比较少，将数 据挖掘技术引入高校教学管理中，对现存的数据进行多角度的分析为学生、教 师和管理者提供更多的服务，并找出对教学管理，学生学习有价值用的信息，这 些信息对辅助管理者决策，提高学生竞争力，无疑将具有较强的实用价值。 2 数据挖掘技术枉学生战绩分析中的应用研兜 1 3 论文主要工作和创新之处 本文将数据挖掘技术与学校学生成绩管理系统相结合通过分析和处理系统 中大量的学生成绩数据，从中挖掘潜在的规律及模式，并对发现的高可信度的有 趣模式进行分析和验证用于指导学生学习和选课，同时在一定程度上为教学部 门提供决策支持信息，促使学校更好地开展教学工作，提高教学质量，帮助教学 管理者制定教学计划，对人才培养方案进一步修订，使学生成绩管理系统的功能 更加完善，储蓄的信息得到更大程度的利用。 本文基于关联规则挖掘的思想，应用了一种改进的关联挖掘算法对数据库中 学生成绩数据进行分析，寻找具有参考意义的课程之间的关联，同时根据挖掘的 结果对教学计划提出新的修改方案，帮助办学者改进在课程安排及学生选课过程 中存在的问题。 1 4 论文的安排 第一章引言，介绍选题背景及其研究意义。 第二章致据挖掘的理论基础，介绍数据挖掘的定义、挖掘的过程、功能及 挖掘的方法等， 第三章关联规则分析在成绩数据中的应用，提出在现行的教学管理中存在 的问题以及对学生成绩数据进行挖掘的目的，介绍关联规则的基本概念分析 a p f i o f i 算法及其性能瓶颈，在此基础上应用一种改进的a p r i o f i 算法进行快速挖 掘，对学生成绩数据进行挖掘分析。 第四章利用改进的关联挖掘算法实现对学生成绩数据库中的数据进行挖 掘分析，将挖掘结果用于指导学生学习，同时提出根据挖掘结果对人才培养方案 作出相应的调整，再帮助指导学生选课的同时，也给学校开设选修课提供参考依 据。以期能有针对性地进行教学指导等工作，提高教学管理质量。 第五章总结和展望，对全文进行了总结，井指出下一步的研究方向。 数据挖掘拉术在学生成绩分析中的应用研究 第二章数据挖掘的基础知识 2 1 数据挖掘的产生 随着计算机拄术的迅速发展以及数据库管理系统的广泛应用，数据库中积累 下来的数据越来越多。激增的数据资源背后隐减着许多重要的信息，人们希望能 够对其进行更深屡次的分析，以便更好地利用这些数据，发现有价值的信息。目 前现有的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法从 数据中找出潜藏的规律，更谈不上利用已有的数据预测未来的芨展趋势。由于缺 乏挖掘数据背后隐喊的知识手段，导致了“数据爆炸但知识缺乏”的现象。 数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。这些知识是隐 含的、实现未知的潜在的有用信息，提取的知识表示为概念、规则、规律、模式 等形式临1 。 目前，数据挖掘作为数据库研究、开发和应用最活跃的分支之一，具有广阔 的应用前景。数据库系统特别是关系数据库系统的成功，使我们有了强有力的事 务处理工具。在计算机的帮助下，人们可以将传统的事务处理工作做得更好并试 图将数据库技术应用到更广泛的领域，导致了对时问数据库、空问数据库、多媒 体数据库、工程数据库、统计数据库等面向特殊应用的数据库系统的研究与开发 m 。各种各样数据库系统的开发应用，使得更多的数据以前所未有的速度被收集 存储在计算机中。对数据的简单查询及统计已经无法满足人们的要求，从信息处 理的角度，人们更希望计算机能帮助我们分析、理解和应用数据，帮助我们基于 丰富的数据作出决策，帮助预测未来的发展趋势，做人力所不能及的事情。自然， 数据挖掘从大量数据中发现有价值的知识就成了一种自然的需求。正是 这种需求引起了人们的广泛关注导致了数据挖掘开始蓬勃发展起来。 快速增长的海量数据被收集、存储在各类数据库中，大量的数据被描述为“数 据丰富，但信息贫乏 ，数据的丰富带来了新的问题，没有强有力的分析工具， 理解它们已经远远超出了人的能力。利用数据挖掘工具进行数据分析，可以从大 量数据中发现重要的规则模式，找出潜减的、未知的知识，这对商务决策、知识 库，科学和教育等领域的研究都将作出巨大的贡献。 通过数据挖掘技术，用户可以从数据库中提取有趣的知识、规律和深层次信 息，同时还可以从不同角度观察和分析挖掘结果。发现的知识可以用于决策、过 4 数据挖掘技术在学生成绩分析中的应用研兜 程控制、信息管理、查询处理等。因此，数据挖掘技术被认为是数据库系统重要 的前沿之一，是信息产业最有前途的交叉学科。 2 2 数据挖掘的定义 从广义上讲，数据挖掘( d a t am i n i n g ，叫) 就是从大量的、不完全的、有 噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但潜在 有用的信息和知识的过程。这个定义可从以下四个层次来理解咖： ( l ) 数据源是大量的、真实的、有噪声的； ( 2 ) 发现的是用户感兴趣的知识； ( 3 ) 发现的知识是可理解、可运用的，通常是能用自然语言描述的结果； ( 4 ) 挖掘结果并不要求是放之四海皆准的知识或规则，也不是要去发现新的 自然科学定理和纯数学公式，所发现的结果通常是相对的，是在某个特定前提和 约束条件下，面对某个特定领域有价值的知识。 数据挖掘也被称为数据库中知识发现( k n o w e d g ed i s c o v e r yi nd a t a b a s e ， k 0 9 ) ，也有人把数据挖掘视为从数据库中知识发现过程的一个基本步骤。知识 发现过程以下步骤组成：( ”数据清理，( 2 ) 数据集成，( 3 ) 数据选择，( 4 ) 数 据变换。( 5 ) _ 数据挖掘，( 6 ) 模式评估，( 7 ) 知识表示。数据挖掘可以与用户或 知识库变互明1 。 如上所述，并非所有的信息发现都被视为数据挖掘。例如，使用数据库管理 系统查询某个记录，或通过互联网的搜索引擎查找特定的w e b 页面，则是属于信 息检索( i n f o r m a t i o nr e t r i e v a ) 领域的范畴。虽然这些任务通常是重要的， 也可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技 术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。尽管如此， 数据挖掘技术也已用来增强信息检索系统的能力。 2 3 数据挖掘的过程 数据挖掘是一个复杂的多阶段过程，如图2 1 所示，主要可以分为如下几个 主要阶段： ( 1 ) 确定挖掘对象：理解数据，提出问题，对挖掘目标有明确的定义。认清 数据挖掘技术在学生成绩丹析中的应用研究 数据挖掘的目的是数据挖掘的重要一步，挖掘的最后结果往往是不可预测的，但 对要探索的问该是要有预见的，即明确挖掘的最终日标。 ( 2 ) 数据准各：数据准各为挖掘提供高质量的输入数据，是保证挖掘得以成 功的前提条件在整个数据挖掘过程中所占比重也最大。数据准备可分为3 个子 步骤：数据选择( d a t as e l e c t i o n ) 、数据预处理( d a t ap r o c e s s i n g ) 和数据转 换( d a t at r a n s f o r m a ti o n ) 。 数据选择。收集所有与挖掘相关的内部和外部的数据信息，获取原始的数 据，从中选择出适用于数据挖掘应用的数据，建立数据挖掘库或数据仓库。 数据预处理。对数据进行初步的整理，包括去除噪声和与挖掘目标明显无 关的数据等，使之符合数据挖掘的要求。消除空白数据域和重复的记录，清洗不 完全的数据等，为下一步分析作好准备。 数据的转换。根据将要使用的挖掘方法，将数据转换成易于进行挖掘的数 据存储形式。 ( 3 ) 数据挖掘：数据挖掘的核心是模式发现，利用数据挖掘工具和方法对所 有得到韵经过转换的数据进行分析，搜索或产生一个特定的感兴趣的模式或一个 特定的数据集。 ( 4 ) 结果分析：对挖掘结果进行分析验证，保证发现模式的正确性，从中找 到有价值的信息。 ( 5 ) 知识表示：将挖掘出的模式与规则以直观、容易理解的方式呈现给用户， 例如把分类决策树挖掘的结果表示为“i f t h e n ”的形式。 6 数据挖掘拄术在学生成绩分析中的应用研究 蹦2 1 数据挖掘一般过程 2 4 数据挖掘的对象 原则上讲，我们可咀对存储在数据库中的任何类型的信息进行数据挖掘，包 括关系数据库、事务数据库、面向对象数据库、对象一关系数据库、时间序列数 据库、空间数据库，文本数据库。多媒体数据库等。挖掘的原始数据可以是结构 化的，如关系数据库、数据仓库中的数据：也可以是半结构化的，如文本、图形、 图像等多媒体数据，甚至是分布在网络上的异构型数据。 2 5 数据挖掘的功能 数据挖掘功能用于指定数据挖掘任务中要找的模式类型，丑f 数据挖掘的任务 就是从数据集中发现模式。模式有很多种，按功能可分为两太类：( 1 ) 描述性挖 掘，用于说明数据库中数据的一般特性；( 2 ) 预测性挖掘，用于在当前数据上进 行推断，以进行预测。数据挖掘功能以及它可以发现的模式类型主要有以下几种 丁_ 时 1 类概念描述：( c l a s s c o n c e p td e s c r i p ti o n ) 啪 7 数据挖掘技术在学生成绩分析中的应用研究 将数据可以与类或概念相关联。用汇总的、简洁的、精确的方式描述每个类 或概念，这种描述称为类概念描述。这种描述可以通过下述方法得到：1 ) 数据 特征化：数据特征化是目标类数据的一般特征或特征的汇总。通常，用户指定娄 的数据通过数据库查询收集。将数据特征化和汇总有许多有效的方法，例如，基 于数据立方体的0 l a p 上卷操作可以用来执行用户控制的、沿着指定维的数据汇 总。数据特征的输出可以用多种形式提供。结果描述也可以用概化关系或规则形 式提供；2 ) 数据区分：数据区分是将目标类对象的一般特性与一个或多个对比 类对象的一般特性进行比较。目标娄和对比类由用户确定，而对应的数据通过数 据库查询检索；3 ) 数据特征化比较。 2 关联分析帆州 关联分析( a s s o c i a ti o na n a l y s i s ) 用于发现关联规则( a s s o c i a ti o nr u l e ) ， 这些规则展示属性一值频繁的在给定数据集中一起出现的条件。更形式的，关联 规则是形如x ；y ，即“ 1 捌jb l b _ 押的规则，其中，a l ( i i ， ) ，b ；( j 1 ，n ) 是属性一值对。关联规则x j y 解释为“满足x 中条 件的数据库元组多半也满足y 中条件”。 关联舰则根掘规则中属性个数可分为单维关联规则( s i n g l e d i m e n s i o n a l a s s o c i a t i o n a lr u l e ) 和多维关联规则( m u l t i d i m e n s i o n a la s s o c i a ti o nr u l e ) 。 3 分类和预测h 分类的过程是找出描述并区分数据类或概念的模型( 或函数) ，以便能够使 用模型预测类标记未知的对象类。导出模型是基于对训练数据集的分析。导出模 式可以用多种形式表示，如分类( i f - t h e n ) 规则、判定树、数学公式或神经网 络。判定树是一个类似于流程图的树结构，每个节点代表一个属性值上的测试， 每个分支代表测试的一个输出，树叶代表类或类分布。判定树容易转挟成分类规 则。 分类可以用束预测数据对象的类标记。当被预测的值是数据数值时，通常称 之为预测。 4 聚类分析 聚类就是将物理或抽象对象的集合分组成为由类似的对象组成的多个类的 过程。数据对象分组成为多个类或簇，在同一个簇中的对象之问具有较高的相似 8 数据挖掘技术在学生成绩分析中的应用研究 度，而不同簇中的对象差别较大，在许多应用中，可以将一个簇中的数据对象作 为一个整体来对待。聚类分析是一种重要的人类行为。通过聚类，人们能够识别 密集的和稀疏的区域，因而发现全局的分布模式。以及数据属性之间的有趣的相 互关系。作为一个数据挖掘的功能，聚类分析能作为一个独立的工具来获得数据 分布的情况，观察每个簇的特点，集中对特定的某些簇做进一步的分析。此外， 聚类分析可以作为其他算法( 如特征和分类等) 的预处理步骤，这些算法再在生 成的簇上进行处理。 5 孤立点分析 数据库中可能包含一些数据对象它们与数据的一般行为或模型不一致。这 些数据对象就是孤立点( o u t li n e ) 。大部分数据挖掘方法将孤立点视为噪声或异 常而丢弃。然而，在些特殊应用中( 如欺骗检测) ，罕见的事件可能比正常出 现的那些更有趣。孤立点数据分析称作孤立点挖掘( o u t l i n em i n i n g ) 。 6 演变分析 数据演变分析描述行为随时问变化的对象规律或趋势，并对其建模。尽管这 可能包括时蝴相关数据的特征化、区分、关联、分类或聚类，这些分析的不同特 点包括时间序列数据分析、序列或周期模式匹配和基于类似性的数据分析。 2 6 数据挖掘的方法 数据挖掘的方法很多，每种方法都有其特定适用的领域。一种方法不可能胜 任所有的数据挖掘任务，一个复杂的数据挖掘系统往往需将多种数据挖掘方法相 结合，通过整合多种数据挖掘方法从各个角度分析数据，弥补单个数据挖掘方法 所存在的不足。数据挖掘的方法主要有咀下几种阻吨1 ： 1 关联规则( a s s o c i a t i o nr u l e ) 关联规则挖掘是为了在数据库中发现两个或两个以上数据项之问的关联关 系，是数据挖掘的主要研究方向和最成熟的技术之一。它是一种简单、明确的分 析规则，主要用于寻找存在于大量数据之间的关联性或相关性，从而描述了一个 事物中某些属性同时出现的规律和模式。 关联规则在数据挖掘领域应用很广泛因为它没有因变量的限制。可以进行 多维数据之阃的相关性分析，适合于在大型数据集中发现数据之间有意义的关 9 数据挖掘技术在学生成绩升析中的应用研究 系。数据挖掘领域中关联规则应用的典型例子是购物篮分析，通过从大量顾客中 发现其放入购物篮中不同商品之间的磺系，分析顾客的购物习惯。通过了解哪些 商品频繁地被顾客同时购买，发现商品之白j 的关联，可以帮助零售商制定营销策 略。 关联规则的算法主要有两个步骤：第一步是找出所有的频繁项集，即其支持 度不低于最小支持度的项目集：第二步是由频繁项集产生强关联规则，即这些规 则必须满足最小支持度和最小置信度扣1 。 2 决策树( d e c i s i o nt r e e ) 方法 决策树也称为判断树，是一种基于实际数据的归纳学习算法，是数据挖掘的 一个活跃领域。决策树是一个类似于流程国的树结构其中每个内部结点表示在 一个属性上的钡4 试，每个分支代表一个测试输出，而每个树叶节点代表一个类或 类的分布。决策树算法主要是用来解决以离散型变量作为属性类型的学习方法， 连续型变量必须被离散化才能被学习。构建决策树的算法很多其中最具代表性 的是i d 3 和c 4 5 算法。 决策树的优点是：与其他挖掘模型相比，其处理速度相对较快：决策树模型 简单且易于理解。易于转换成s q l 语句；与其它算法相比，决策树模型可以获得 相近或更好的分类准确率。缺点是：对连续型变量比较难预测，需进行转换；对 有时间顺序的数据，需要很多预处理的工作：当类别太多时，错误可能就会增加 得比较快；一般的算法分类时，只是根据一个字段来分类。 3 神经网格( n e u r a ln e t w o r k ) 方法 近几年，神经网络算法近来越来越受到人们的关注，因为它为解决大型的复 杂问题提供了一种相对有效的简单方法。神经网络建立在自学学习的数学模型基 础之上。它可以对大量复杂的数据进行分析，井可咀完成对人脑或其他计算机来 说极为复杂的模式抽取及趋势分析。 基于神经网络的数据挖掘工具对于非线性数据具有快速建模能力，其挖掘的 基本过程是先将数据聚类，然后分类计算权值，神经网络的知识体现在网络连接 的权值上。神经网络方法用于非线性数据和含噪声的数据时具有更大的优越性， 比较适合于市场数据库的分析和建模，通过对市场数据库中行业数据的精密分 析，为市场人员提供顾客、用户、市场状况和市场走势等方面的分析结果日。 1 0 数据挖掘技术在学生成绩分析中的应用研究 4 遗传算法( g e n e t i ca g o r i t h m ) 遗传算法是一种全局优化算法，具有隐古的并行性、非线性求解及易于和其 他模型结合等特点。模拟生物自然选择和遗传机制并采用遗传结合、遗传变异 以及自然选择等设计方法，将求解的问题通过一组遗传算子，在求解空间上按一 定的随机规则迭代搜索，直到隶得问题的最优解。 遗传算法在模式识别、神经网络、机器学习、工业优化控制、生物科学和社 会科学方面都有广泛的应用。目前遗传算法的研究侧重于算法的收敛性证明、遗 传算法与局部优化算法的结合、遗传算子的设计以及遗传算法在各领域的应用研 究。 5 聚类分析帕 聚类分析是一种寻求数据的自然聚集结构的重要方法是概念描述和偏差分 析的先决条件。聚类分析就是将一组数据分组，使其具有最大的组内相似性和最 小的组间相似性。简单的说就是达到不同聚类中的数据尽可能不同，而同一聚类 中的数据尽可能相似，它与分类不同，分类时对于目标数据库中存在哪些类这一 信息我们是知道的，我们所要做的就是将每一条记录分别属于哪一类标记出来： 而聚类是在预先不知道目标数据库到底有多少类的情况下，希望将所有的记录组 成不同的娄或者说“聚类”，并且使得在这种分类情况下，以某种度量为标准的 相似性，在同一聚类之间最小化，而在不同聚类之间最大化。在很多应用中，由 聚类分析得到的每一个聚类中的成员都可以被统一看待。 根据聚类的数据情况，可咀把聚类分为两类：一类是对象聚类( q 型聚类) ： 对象聚类往往用距离或相似系数来度量相似性：另一类是属性聚类( r 型聚类) ： 属性聚类常常根据相似系数来度量相似性。 聚类分析的算法主要有划分方法、层次方法、基于密度方法、基于网格方法 和基于模型方法等。 6 粗糙集 粗糙集理论是近年来才兴起的用于研究不精确、不确定性知识的学习、表达、 归纳的方法。它通过引入不可分辨关系，等价类、上近似、下近似等概念考察知 识表达中不同属性的重要性，来确定哪些属性是冗余的。哪些属性是必不可少的， 删除冗余属性进而简化知识表达空问，最终能从数据中挖掘出规则。它的理论核 数据挖掘技术在学生成绩分析中的应用研究 心是：知识源于对对象的分类，通过分类找出属性间的关联规则。 2 7 本章小结 本章在介绍数据挖掘基本概念的基础上简要概括了数据挖掘的过程、挖掘 的对象、功能和方法。为后续数据挖掘的实践研究奠定了理论基础。 数据挖掘技术_ 庄学生成绩分析中的应用研究 第三章关联规则分析在成绩数据中的应用 3 1 存在的问题 在学校的教学成绩管理系统中，已经积累了大量的学生成绩数据。这些数据 只是堆积在系统中，没有得到有效利用，教师和学生都只能通过简单的统计或捧 序等方法获得数据表面的信息，由于缺乏信息意i , q t f 口技术，使得隐藏在这些海量 数据罩的知识一直没有被有效地利用。如何对这些数据进行重新利用，将现有的 管理数据转化为可利用的知识，既帮助办学者制定教学计划及人才培养方案，同 时也帮助教师了解学生的学习效果，提高教师的教学水平和质量，指导学生根据 自身学习情况完成各门课程的选修，是学校正在考虑的问题。 学习是一个循序渐进的过程，每一门课程与其他课程之削都存在一定的关联 和先后顺序关系。在学习的过程中往往也会发现如果某些基础课没有学好，势必 影响到后续课程的学习。但对不同的专业不同的研究方向而言，哪些课程之阃 联系密切，以及课程之自j 相互影响的程度如何，教师只能凭经验有一些主观的认 识。却一直没有一种较准确的量化关系。 近几年，随着学校学分制的施行，很大程度上增强了学生学习的自主性，给 学生更大的自由度去选择自己感兴趣或者擅长的课程；同时，学生也可咀在知识 的深度和广度上充分发挥主观能动性，使学校既可以培养出具有扎实的专业知识 的专门型人才，也可以培养掌握多学科知识的复合型人才n 。 但学校在采用学分制的同时，也随之出现很多新的问题，主要表现在以下两 方面：第一，学生一方面能够自主去选择学习课程，但往往由于缺乏全面的指导， 只凭自己喜好在未修某课程的之前就选择了其后续课程，也可能对一些相似课程 重复选择，这对学生的学习和老师的教学都会产生负面的影响。第二，对于学校 的选课制度而言，学生选课时间紧且大部分学生难以获得比较有针对性的指导， 这就使得学生在自主选课完成学习的过程中缺乏连续性和专业学科学习的系统 性，虽然目前学授各系各专业都针对自身教学情况对教学计划进行了一定的调整 和修订，对学生的自主选课也采取了一些限制规定，但仍难兼顾各方面的细节。 学校大部分学生在自主选课时往往比较盲目，在报大程度上制约了教学质量的进 一步提高。 1 3 数据挖掘技术在学生成绩分析中的应用研究 3 2 学生成绩数据挖掘的目标 高等教育的重点和关键是提高整个教育的质量，而学生成绩是评价学生对所 学知识掌握程度的重要标志，也是评估教学质量的重要依据。所以通过对学生成 绩进行深入的挖掘分析，从中找出潜藏的规律，为引导学校领导重视教学工作， 注意改善教学条件加强教学管理，深化教学改革，努力提高教学质量提供了重 要依据。 数据挖掘是深层次的数据分析方法，是寻找决策支持的过程，将数据挖掘技 术应用于成绩评估方面是非常有益的，它可以全面分析学生各门课程考试成绩与 各种因素之间隐含的内在联系，找出课程之间哪些帽互影响较大且有重要关联等 类似的问题，这是传统方法所无法具备的。 通过对现有数据库中的成绩数据进行信息挖掘。期待发现更多的未知关系， 以及对旋现的关系进一步量化将挖掘结果用于指导教学工作，这对于培养计划 的确定、课程的设置、学生的选课等等具有很强的参考价值，能够使数据库中的 海量数据发挥其应有的作用。 3 3 关联规则的基本概念 关联规则挖掘是数据挖掘领域中的一个非常重要的研究课题，有效地发现、 理解、运用关联规则是完成数据挖掘任务的重要手段，因此对关联规则的研究具 有重要的理论价值和现实意义。 所谓关联规则挖掘是从太量的、有噪声的、模糊的实际数据中，抽取隐含在 其中的、人们事先不知道的、但叉潜在有用的关联信息和知识的过程n 引。 数据关联是某种事物发生时其它事物会发生的一种联系，是数据库中存在的 一类重要的可被发现的知识。关联分析的目的是为了挖掘隐藏在数据问的关系 两。关联规则挖掘的形式化描述如下n 蝴： 设i ： i ，i ：，i 一 是项的集合。设任务相关的数据d 是数据库事务的集 合，其中每个事务t 是项的集合，使得t - i 。每一个事务有一个标识符，称作 t i d 。设a 是一个项集，事务t 包含a 当且仅当a t 。关联规则是形如a j b 的 蕴含式其中a c i ，b c i ，并且a n b = o 。规则峙b 在事务集d 中成立，具有支 数据挖掘技术在学生成绩分析中的应用研究 持度s ，其中s 是d 中事务包含a u b ( 即a 和b 二者) 的百分比，可以用概率p ( a u b ) 表示。规则a 鄙在事务集d 中具有置信度c ，c 是如果d 中包含a 的事务同时也 包含b 的百分比，可以用条件概率p ( b ia ) 表示即： s u p p o r t ( = ，b ) = p ( u b ) c o n f i d e n c e ( b b ) = p ( b ) 同时满足最小支持度阚值( r a i n _ s u p ) 和最小置信度阈值( m i n _ e o n f ) 的规 则称作强规则。对于给定的一个事务数据库，关联规则挖掘就是通过用户指定最 小支持度和最小置信度来寻找合适关联规则的过程。 项的集合称为项集( i t e m s e t ) ，包含k 个项的项集称为k 一项集。项集的出 现频率是包含项集的事务数。简称为项集的频率、支持计数或计数。如果项集的 出现频率大于或等于m i n _ s u p 与d 中事务总数的乘积，则项集满足最小支持度 m i n _ s u p ；如果项集满足最小支持度则称它为频繁项集( f r e q u e n ti t e m s e t ) ： 频繁k - 项集的集合通常记作l 。 一般地关联规则挖掘问题可以划分成两个子问题血州： ( 1 ) 找出所有额繁项集 通过给定的m i n _ s u p ，寻找所有频繁项目集，即满足支持度s u p p o r t 不小于 m i ns u p 的项目集。事实上，这些频繁项目集可能具有包古关系。一般地，我们 只关心那些不被其它频繁项目集所包含的所谓频繁大项集( f r e q u e n tl a r g e i t e m s e t ) 的集合。 ( 2 ) 由颈繁项集产生强关联规则 通过用户给定的m i n _ c o n f 。在每个最大频繁项目集中，寻找置信度 c o n f i d e n c e 不小于m in _ c o n f 的关联规则。 这两步中，第二步比较容易。挖掘关联规则的总体性能由第一步决定。 3 4 关联规则的算法( a p r i o r i 算法) 关联规则挖掘主要是基于频繁项目集发现上的，而a g r a w a l 和s r i k a n t 提出的 a p r i o r i 算法是最经典且最具影响的挖掘布尔关联规则频繁项集的算法衄1 。 3 4 1 使用候选项集找频繁项集 敦据挖掘技术在学生成绩分析中的应用研究 a p r i o r f 算法的名字基于这样的事实：算法使用频繁项集性质的先验知识。 a p r i o r i 使用一种称作逐层搜索的迭代方法，k 一项集用于探索( k + 1 ) 一项集。首先， 找出频繁卜项集的集合，该集合记作l 、。l ，用于寻找频繁2 一项集的集合l2 ， 而l ：用于寻找l ，如此下去，直到不能找到频繁k 一项集。找每个l i 时，需要 进行一次数据库扫描。 a p r i o r i 算法利用了两个基本性质：即由频繁项集产生的所有非空子集 均是频繁的。一个非频繁项集的任一超集必定是非频繁项集。根据算法定义， 如果项集i 不满足最小支持度闽值m i n _ s u p ，则i 不是频繁的，即i 出现的概率 p ( i ) m i ns u p 。如果将项a 添加到丁，则生成的项集i u a 也不会是频繁的，即 p ( iua ) m i n j u p 。该性质称为反单调的，也就是浣，如果一个集合不能通过测 试，则它的所有超集也都不能通过相同的测试。 a p r f o r i 算法必须经历两个过程：连接和剪枝闭。 ( 1 ) 连接步；为找l f ，通过l 。一与自己连接产生候选k 一相集。该候选项集 记作c f 。设l ，和l2 是l 中的项集，记号l ， j 表示1 。的第j 项( 例如，l1 k 一2 表示l 。的倒数第3 项) 。为方便计，假定事务或项集中的项按字媳次序排序- 执行连接l n 睁司l - l ，其中l “的元素是可连接的，如果它们前( k - 2 ) 个项相 同。即l 扣i 的元素和1i 、i2 是可连接的，如果( 1i 1 = l2 1 】) a ( 1l 2 = l2 2 ) ( 1 l k 一2 = l2 k 一2 ) ( 1 1 k 1 l2 k 1 ) 。条件( 1 l k 一1 = m i n _ c o n f ， 则输出规则“s j ( l s ) 一，其中m i n c o n f 是最小置信度阈值。 由于规则是从频繁项集生成的，因此所生成的每一个规则都会自动地满足晟 小支持度要求。选样，对于频繁k 一项集，需要考虑的规则数为： c ：+ c ：+ 。+ c 如果希望产生更多的关联规则，可以降低最小置信度的值；反之。如果希望 产生较少的关联规则，则增大最小置信度。 3 5a p r i o r i 算法的缺陷 a p r i o r i 算法的核心思想是通过项集元素数目的不断增长来逐层搜索发现 数据挖掘拉术在学生成绩分析中的应用研究 频繁项集。该算法易于实现。但在实际中存在有一些难以克服的缺陷； ( 1 ) 对数据库的扫描次数过于频繁。在a p r i o r i 算法中。每生成一个候选项 集，需要进行一次全面的数据库搜索。