基于数据挖掘技术的高职院校招生决策研究.pdf

华东师范大学 硕士学位论文 基于数据挖掘技术的高职院校招生决策研究 姓名 罗孟华 申请学位级别 硕士 专业 计算机技术工程 指导教师 江红 20091101 华东师范大学硕士学位论文 论文摘要 伴随着信息技术的迅猛发展 数据挖掘技术引起了信息产业界和整个社会的 极大关注 针对目前可以广泛使用的大量数据 我们利用数据挖掘技术获取有用 的信息和知识 并将其有效的运用于各个领域 目前 数据挖掘技术已经开始渗 透到高等院校某些领域 但在高校招生的应用却为之甚少 在我国 随着高校招生方式的自主化和多元化 大多数高职院校都面临着生 源问题 如果招生方式仅仅依照以往的经验进行 是无法将招生效益最大化的 也不能较好地保证录取学生的报到率及生源质量 解决这一矛盾有效的途径就是 把有限的招生名额用以优先录取来校报到概率较高的考生 本文以学校的历年招 生数据为数据源构建数据仓库 不仅可以展示考生的各种信息 更能利用数据挖 掘技术对即将招收考生的报到率进行预测 本论文以某高职院校四年的招生信息数据为数据源建立考生信息数据仓库 以数据挖掘关联算法和朴素贝叶斯分类算法为基础 利用s q ls e r v e r2 0 0 5 进行 数据挖掘 从中发现各种潜在的有价值的知识信息 从而为高职院校提供了有效 的招生决策支持 提高新生报到率和生源质量 这对高职院校合理安排专业和提 高办学质量都具有重要的实践意义 关键词 招生决策 数据仓库 数据挖掘 工具集 6 华东师范大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y d a t am i n i n gh a s a t t r a c t e dag r e a td e a lo fa t t e n t i o no ni n f o r m a t i o ni n d u s t r yi nr e c e n ty e a r s f o rt h ew i d e a v a i l a b i l i t yo fh u g ea m o u n t so fd a t a w et u r ns u c hd a t ai n t ou s e f u li n f o r m a t i o na n d k n o w l e d g e w h i c hc a l lb eu s e df o ra p p l i c a t i o n sr a n g i n gf r o ma l lt h e f i e l d s i n m o d e r nu n i v e r s i t y d a t am i n i n gi su s e di na l lt h ef i e l d se x c e p to fu n i v e r s i t y e n r o l l m e n t w i t hc o n t i n u o u se n l a r g e m e n to fe n r o l l m e n ti nh i g h e rv o c a t i o n a lc o l l e g e s e a c h c o l l e g eh a st of a c ew i t ht h es h o r t a g eo fs t u d e n t ss o u r c e a tp r e s e n t i ti sv e r yb l i n d t h a t t h ec o l l e g e sa d o p tp r e v i o u se x p e r i e n c et oe n r o l ls t u d e n t s w h i c hc o u l dn o t a c h i e v em a x i m u mb e n e f i t so fe n r o l l m e n t t h e r e f o r e t h em o s te f f e c t i v ew a yo f r e s o l v i n gt h ep r o b l e m si st oe n r o l ls t u d e n t s 7 i r i mh i g h e rr e g i s t r a t i o np r o b a b i l i t y t h e d a t aw a r e h o u s eb a s e do nh i s t o r i c a ld a t u mo fe n r o l l m e n tc a l ln o to n l ys h o wt h e n u m b e ro fs t u d e n ti n f o r m a t i o nb u ta l s op r e d i c tt h er e g i s t r a t i o np r o b a b i l i t yo fs t u d e n t s t h r o u g ht h ed a t am i n i n gt e c h n o l o g y i nt h i st h e s i s ad a t aw a r e h o u s ew a sb u i l tb a s e do nt h ef o u r y e a rs t u d e n t e n r o u m e n td a t a t h e nv a l u a b l ei n f o r m a t i o nw a sm i n e db ya s s o c i a t i o na n a l y s i sa n d n a i v eb a y e s i a nc l a s s i f i e r o u rr e s e a r c hc a l le n h a n c et h er e g i s t r a t i o nr a t eo fs t u d e n t a n di m p r o v et h eq u a l i t yo fs o u r c eo fs t u d e n t s a n dp r o m o t et h ec o m p e t i t i o no fc o l l e g e t o o i tp l a y sa ni m p o r t a n tr o l ef o rh i g h e rv o c a t i o n a lc o l l e g e st op r o v i d er a t i o n a l s p e c i a l t yp r o v i s i o na n di m p r o v e t h eq u a l i t yo f u n i v e r s i t i e s k e yw o r d s d e c i s i o ns u p p o r t d a t aw a r e h o u s e d a t am i n i n g u n i v e r s i t y e n r o l l m e n t 7 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果 据我所知 除文中已经注明引用的内容外 本论文 不包含其他个人已经发表或撰写过的研究成果 对本文的研究做出重 要贡献的个人和集体 均已在文中作了明确说明并表示谢意 作者签名 堕鱼鳌 日期 驾 厶 学位论文授权使用声明 本人完全了解华东师范大学有关保留 使用学位论文的规定 学 i 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版 有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆被查阅 有权将学位论文的内容编入有关数据库进 行检索 有权将学位论文的标题和摘要汇编出版 保密的学位论文在 解密后适用本规定 导师签名 乡z 名二 日期 12 三 可 而 一 哆 l 名 沪一 呵盟 者 k 任 期 沦位 华东师范大学硕士学位论文 o r i g i n a l i t yn o t i c e i np r e s e n t i n gt h i st h e s i si np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rt h em a s t e r s d e g r e ea te a s tc h i n an o r m a lu n i v e r s i t y 1w a r r a n tt h a tt h i st h e s i si so r i g i n a la n da n y o ft h et e c h n i q u e sp r e s e n t e di nt h et h e s i sh a v eb e e nf i g u r e do u tb ym e a n yo ft h e r e f e r e n c e st ot h e c o p y r i g h t t r a d e m a r k p a t e n t s t a t u t o r yr i g h t o rp r o p r i e t yr i g h t o fo t h e r sh a v e b e e ne x p l i c i t l ya c k n o w l e d g e da n di n c l u d e di nt h er e f e r e n c e ss e c t i o na t 1 ee n do f 也i st h e i s s 咖饥聆幽 重型 f c o h tn01 copyrightn o t i c e ih e r e i na g r e et h a tt h el i b r a r yo fe c n us h a l lm a k ei t sc o p i e sf r e e l ya v a i l a b l ef o r i n s p e c t i o n if u r t h e ra g r e et h a te x t e n s i v ec o p y i n go ft h et h e s i si sa l l o w a b l eo n l yf o r s c h o l a r l yp u r p o s e s i np a r t i c u l a r s t o r i n gt h ec o n t e n to ft h i st h e s i si n t or e l e v a n t d a t a b a s e s a sw e l la sc o m p i l i n ga n dp u b l i s h i n gt h et i t l ea n da b s t r a c to ft h i st h e s i s c o n s i s t e n tw i t l l f a i ru s e a sp r e s c r i b e di nt h ec o p y r i g h tl a wo ft h ep e o p l e s r e p u b l i co fc h i n a signature黝 21 墅茸 4 d a 把 坐7 华东师范大学硕士学位论文 1 1 研究背景和意义 第一章前言 当代社会处于一个竞争时代 企事业单位要在市场竞争中立足和发展 就必 须随时收集各种信息与数据 在此基础上通过领导层的讨论与协调不断形成新的 决策以适应瞬息万变的市场需要 在计算机领域中 最初是将大量的数据简单地 存放在数据库中 对其的利用仅限于信息检索 现在 对数据的简单处理已经不 能满足社会的需求 而进一步的应用是需要将这些大量的数据进行分析 演绎与 归纳推理而形成新的数据与规则 数据分析为人类信息资源的利用开辟了一条新 的道路 随着我国高校招生的迸一步改革 在2 0 0 3 年 北大 清华等2 2 所高校被赋 予5 的自主招生权 至2 0 0 6 年 自主招生的高校扩大到了5 3 所 2 0 0 7 年教育 部在8 所高职院校开设单独招生试点后 决定于2 0 0 9 年进一步扩大规模 安排 3 3 所国家示范性高职院校开展单独招生 其中湖南省5 所高职院校单独招生2 3 5 0 人嘲 由此可以预测 不久的将来我国的高校招生将进入激烈的市场竞争时代 为了招揽更多的优秀生源 各高校很有必要根据本校的特点制定相应的招生策 略 因此 高校领导层需要了解招生录取的具体情况 然后在招生的计划投放 专业设置 生源选择 招生宣传等方面做出正确的决策以适应日趋激烈的招生市 场 所以 利用数据仓库和数据挖掘技术 可以为高校招生部门提供从信息收集 到决策形成全过程的协助口 本文所研究的案例中的高职院校属于公办二级学院 专业以专科层次的师范 教育为主 由于高职院校之间生源竞争十分激烈 所以在招生过程中首先考虑的 是提高学生的报到率 其次是生源的质量 由于招生决策涉及面广并且需要参考 的数据量巨大 传统的依据经验办事的方式 已经不能保证招生的高效率 因此 如何利用以往的招生信息数据进行数据挖掘 从中发现各种潜在的有价值的知 识 为学校招生部门提供科学的招生决策参考 是本文需要解决的问题 作者通过查阅了与本论文研究方向相关的一些国内外参考文献发现 在国外 的一些私立大学 由于招生的人数决定办学经费 所以数据挖掘技术在招生决策 上的运用主要是如何推销自己的学校 扩大招生人数h 3 在我国高职院校领域内 l o 华东师范大学硕士学位论文 数据仓库以及数据挖掘的研究绝大多数集中在学生成绩管理 教师信息管理 学 生就业等方面 但鲜有将数据挖掘技术应用于招生决策方面 基于上述原因 有 必要构建用于学校招生决策的数据仓库 利用数据挖掘技术对数据进行全面分 析 提取隐含在其中的事先未知的 潜在的 深层次的 有价值的信息 以用于 招生决策 1 2 论文目标 本论文利用数据挖掘技术对高职院校已有的招生数据进行分析挖掘 从学生 的生源地 性别 专业 高考成绩 民族 家庭经济状况等方面多维度的寻找新 生报到率的关联度 从而达到为招生管理提高科学决策支持的目的 本文所解决的关键问题 1 选择合适的数据仓库工具集 2 提出高效的数据仓库设计方案 完成考生信息数据仓库的建立 3 基于考生信息数据仓库进行数据挖掘 选择s q ls e r v e r2 0 0 5 挖掘实 例探讨数据挖掘实现过程 分析新生报到率与生源地 选择的专业 考试成绩 志愿情况 民族等等之间的关系 4 根据数据分析结果 为招生部门在新生录取工作上提出招生决策建议 以提高新生报到率和生源的质量 最后对使用数据挖掘前后应用效果比较和分 析 并为学校增加专业设置扩大招生规模做出一些预测和展望 本论文的特色和创新之处是针对高职院校的招生特点进行研究 利用数据挖 掘技术从社会学的角度挖掘出潜在的关系 从而提出招生决策建议 以达到提高 学校新生报到率和生源质量的目的 并且因为本案例中的高职院校处于少数民族 自治区 这就不同于经济发达的汉族地区学校 需要把经济和民族因素需要考虑 在内 1 3 论文组织结构 论文的组织结构如下 第一章 前言 介绍研究背景 研究意义和研究工作 第二章 相关技术概述 对数据仓库技术和数据挖掘技术分别进行了概述 第三章 考生信息数据仓库的设计 通过对考生信息建立维度数据模型 构 l l 华东师范大学硕士学位论文 建基于考生信息的数据仓库 第四章 数据挖掘算法在招生决策中的应用 分析了关联算法和朴素贝叶斯 算法在高职院校招生决策中的运用 第五章 应用与效果分析 基于s q ls e r v e r2 0 0 5 进行数据挖掘应用 并进 行效果分析 最后一章 总结和展望 对研究成果进行总结 并展望数据挖掘技术在高校 未来的应用 1 2 华东师范大学硕士学位论文 2 1 数据仓库技术 2 1 1 定义和主要特征 第二章相关技术概述 数据仓库是决策支持处理的基础 它的建立为企事业单位的管理人员系统地 组织 理解和使用数据进行决策提供了体系结构和工具n 1 在当前激烈竞争的社 会 数据仓库系统成为了一种很有价值的工具 数据仓库系统构造的领头设计师w i lli a mh i n m o n 对 什么是数据仓库 给 出了权威定义 数据仓库是一个面向主题的 集成的 时变的和非易失的数据 集合 支持管理部门的决策过程 这个简短的定义全面的指出了数据仓库的四 大主要特征 面向主题的 集成的 时变的 非易失的 啼1 1 面向主题性 数据仓库主要是围绕一些主题来组织的 它关注的是决策 者的数据建模与分析 而不是日常操作和事务处理 因此 数据仓库排除对于决 策支持过程无用的数据 提供了相关主题的简明视图 比如对一个高等院校来说 应用问题可能是与教学和科研相关的 而学校的主题范围可能是学生 成绩单 教师与工资单 2 集成的 在数据仓库的所有特性之中 这是最重要的 设计人员历经多 年制定出来的不同的设计决策有不同的表示方法 设计人员在编码 命名习惯 实际属性 属性度量上做出他们自己的设计决策 当这些数据进入数据仓库时 必须采用数据清理和数据集成技术消除应用问题中的不一致性 3 时变的 数据仓库中的数据时间期限通常是5 l o 年 操作型数据库含 有 当前值 的数据 这些数据的准确性在访问时是有效的 同样当前值的数据 能被更新 而数据仓库中的数据仅仅是某一时刻生成的复杂的快照 它的键码结 构总是包含某时间元素 4 非易失的 由于分析的需要 数据仓库中的数据反映了客观世界的历史 真实性 通常是一起载入与访问的 对它不能做任何的更新而只能做查询 华东师范大学硕士学位论文 2 1 2 与传统数据库的区别 从2 0 世纪6 0 年代开始 由于计算机领域中事务处理应用的出现而引起了数 据库技术的发展 相续出现了层次数据库 网状数据库及关系数据库等 经过几 十年的发展 大多数人对关系数据库系统比较熟悉了 将数据仓库与之比较 就 容易理解什么是数据仓库 传统数据库系统的主要任务是执行联机事务和查询处理 这种系统称作联机 事务处理 o l t p 系统 它涵盖了组织机构的大部分日常操作 如购物 库存 制造 银行 工资等等 而数据仓库系统在数据分析和决策方面为用户提供服务 这种系统称作联机分析处理 o l a p 系统 1 o l t p 和o l a p 主要区别概述如下 用户和系统的面向性 o l t p 系统是面向顾客的 用于办事员 客户和信 息技术专业人员的事务处理和查询 o l a p 系统是面向市场的 用于知识 工人 包括经理 主管和分析人员 的数据分析 数据内容 o l t p 系统管理当前数据 而这种数据太过琐碎 难以用于决 策 o l a p 系统管理大量历史数据 提供汇总和聚集机制 并在不同的力 度级别上存储和管理信息 数据库设计 o l t p 系统通常采用实体一联系 e r 数据模型和面向应用 的数据库设计 而o l a p 系统通常采用星形或雪花模型和面向主题的数 据库设计 视图 o l t p 系统主要关注企业和部门内部的当前数据 而o l a p 系统常 常跨越数据库模式的多个版本 它还处理来自不同组织的信息 访问模式 o l t p 系统的访问模式主要由短的原子事务组成 它需要并发 控制和恢复机制 而对于o l a p 系统的访问大部分是只读操作 2 1 3 数据组织 数据仓库中的数据组织是依据下面4 个原则进行的n 1 1 面向主题组织数据 确实主题是组织数据仓库中数据的前提 一个数据仓库有若干个主题 而每 个主题又有一个数据集合体作支撑 称为主题域 s u b j e c tf i e l d 这样 一个 1 4 华东师范大学硕士学位论文 数据仓库可以划分成若干个主题域 面向主题组织数据的方式是将数据组织成一 个独立完备的分析领域 主题域 2 按关系模式组织主题域 在数据仓库中按关系模式构建主题域 一般讲一个主题域往往由若干个关系 表组成 这些关系表中的属性按统计 汇总需要 可以分为静态的 动态的以及 半动态的三种 在组织数据时一般将静态与动态属性分别组织成不同的关系 为 了关联主题内的各表 还需要建立一个主题域内的公共码键 主码键 3 元数据的构建 主题域内关系表中的数据来源于数据源 所以在数据仓库中的每个关系与数 据源数据结构间需要建立相对应的转换规则 这种规则是一种元数据 4 数据粒度选取 可以将数据仓库中的数据按不同粒度进行综合 综合度一般可以分为四个级 别 它们是 细节数据 在数据源中的数据 当前细节数据 由数据源中数据首次进入数据仓库后形成的第一次综合 数据 轻度综合数据 第一次综合数据再进行综合而得到的第二次综合数据 高度综合数据 根据需要将轻度综合数据进一步综合形成更高层次的综 合数据 上述四个综合级别称为 粒度 粒度越大 细节程度越低 综合程度越高 粒度越小 则相反 2 1 4 层次结构 一个完整的数据仓库结构一般由六个基本层次组成 它们如图2 一l 所示n 1 1 数据源层 数据源是数据仓库的来源 一般由原始数据库 企业外部 数据和其它数据为数据仓库提供数据 2 数据后端处理层 后端处理是数据源和数据仓库间的数据接口层 它 将数据源中的数据提取 清洗 转化 成为数据仓库所需的数据 并按阶段及时 更新这些数据 3 数据仓库及其管理层 数据仓库负责存储分析 决策数据 而数据仓 1 5 华东师范大学硕士学位论文 库管理则负责管理数据仓库 此外 此层中还包括元数据管理部分 4 数据集市层 是一种特殊形式的数据仓库 它是面向企业中部门决策 的数据集合 为指定的应用提供支撑 5 数据仓库应用层 数据仓库是为应用服务的 数据仓库应用包括分析 决策应用 比如联机分析处理数据挖掘等 6 数据展示层 位于数据仓库应用层之上 将应用层上分析 决策结果 通过联机方式或w e b 方式表示 2 2 数据挖掘技术 图2 1 数据仓库层次结构示意图 2 2 1 数据挖掘技术概述 数据挖掘技术出现于二十世纪八十年代末 它又被称作数据中的知识发现或 k d d 它以数据仓库中的数据为对象 以数据挖掘的算法为手段 最终以获得模 式或规则为结果 并通过展示表示之 对基于数据仓库技术的决策支持系统中的 大量数据 虽然可以通过联机分析处理 o l a p 技术对数据进行汇总 合并和聚 集 但对于深层次的分析 如数据分类 聚类和数据随时间变化的特征 仍需要 1 6 华东师范大学硕士学位论文 其他数据分析工具 数据挖掘技术可以从大量数据中发现重要的数据模式 从而 将这些数据转换成有用的信息和知识 为企事业单位的提供决策支持 经过几十年的发展 数据挖掘已经应用到众多领域 目前的典型应用领域包 括嘲 1 金融数据分析 大部分银行金融机构收集的数据相对完整 可靠并具 有高质量 方便了系统化的数据挖掘 下面给出几种典型的应用 贷款偿还预测和顾客信用政策分析 此分析对银行业务至关重要 利用 数据挖掘的方法 如属性选择和属性相关评定 可能有助于识别重要因素 剔除不相关的因素 例如 与贷款偿还相关的因素包括贷款率 贷款期限 偿还收入比 负债率 顾客的收入水平以及受教育的程度等等 分析顾客偿 还史可以发现偿还收入比是主要因素 于是 银行可以据此调整贷款发放的 政策 把贷款发放给风险相当低的顾客 针对定向销售的顾客分类与聚类 比如 使用分类的方法识别可能影响顾 客关于银行业务决策的重要因素 这可能帮助识别客户群 把新客户归到一 个合适的客户群 推动定向销售 洗黑钱和其他金融犯罪的侦破 将多个数据库中信息集成起来 使用数 据分析工具检测异常模式 为调查人员聚焦可疑线索 如在某时间内 发现 某人有大量的资金流动 2 零售业 该顿域是数据挖掘的主要领域 这里有关于销售 顾客购物史 货物运输 消费和服务的大量数据 对这些数据进行分析 可以帮助识别顾客购 买行为 发现顾购物模式和趋势 进而设计更有效的营销策略 提高货品的销量 比率 促销活动的有效分析 仔细分析促销活动的效果有助于提高公司的利润 通过多维分析比较促销期间与促销活动前后同一商品的销售量和交易量 关联分析则可以找出哪些商品可能随降价商品一同购买 产品推荐和商品的交叉推荐 通过从销售记录中挖掘关联信息 可以发 现购买打印机的顾客可能购买的其它商品 得到关联信息可用于形成产品 推荐 以达到提高销售量的目的 顾客购买趋势的分析 使用序列模式挖掘 把相同的顾客在不同时期购 买的商品聚集成序列 分析顾客的消费变化 据此对商品的品种加以调整 以便留住老顾客 吸引更多的新顾客 1 7 华东师范大学硕士学位论文 3 其他科技应用 在电信业与生物学数据分析等领域 数据挖掘技术也有 着广泛的应用 电信业 随着电信 计算机网络和各种其他通信与计算工具的融合 电 信市场正迅速扩张并且竞争激烈 使用数据挖掘技术可以帮助理解商业行 为 识别电信模式 捕捉盗用行为 提供给用户更好的服务 生物学数据分析 生物学数据挖掘已经成为新兴生物信息学研究领域不 可或缺的部分 在从人类和其他物种的基因组织识别和比较分析 到遗传网 络和蛋白质路径的研究等方面 数据挖掘技术都已经得到广泛应用 在我国 数据挖掘的研究要晚于西方发达国家 典型的应用有 1 9 9 5 年开 始 中国宝山钢铁公司利用数据挖掘技术提高热轧产品质量 1 9 9 8 年起 中国 铁道部开始用数据挖掘分析春运期间的铁路客流量 挖掘影响客运总量的关键因 素 另外通过对p a k d d 学术会议参会论文进行统计 显示2 0 0 1 2 0 0 3 年我国被收 录论文比重仅为6 7 2 0 0 4 年开始论文收录比重明显提高 并逐年递增 在 2 0 0 7 年南京会议中收录比重达到顶峰 比重接近5 0 可见 我国数据挖掘研究水 平正在飞速发展 虽然目前国内有很多自主开发研制的数据挖掘软件 但根据 k d n u g g e t s 公司2 0 0 7 年5 月做的调查统计显示 排名前l o 位中未有国内研发的 数据挖掘软件 可见 国内数据挖掘软件产业还不成熟 开发的软件尚未得到国 际市场认可h 1 2 2 2 模式类型 数据挖掘功能用于指定数据挖掘任务要找的模式类型 一般数据挖掘任务可 以分为两类 描述和预测 描述性任务描述数据库中数据的一般性质 预测性挖 掘任务对当前数据进行推断陌1 数据挖掘功能以及它们可以发现的模式类型如下 1 类描埘概念 特征化和区分 数据可以与类或概念相关联 比如 学 校里招收的学生类别包括文史类和理工类 教师概念包括教授和讲师 类和概念 的描述可以通过下述方法得到 特征化 指目标类数据的一般特性或特征的汇总 例如 通过执行一 个查询语句收集报到率增加了5 的考生特征 特征输出可以用多种形 式 包括饼图 条图 多维数据立方体和包括交叉表在内的多维表 华东师范大学硕士学位论文 区分 是将目标类的一般特征与一个或多个对比类的一般特性相比较 其中目标类和对比类由用户指定 例如 将今年报到率下降1 0 的考 生与同期报到率增加了5 的考生相比较 区分描述的输出和特征化的 输出类似 但区分描述要包括比较度量 以便帮助区分目标类和对比 类 2 聚类分析 聚类也称为细分 它将物理或抽象对象的集合分成相似的对象类 聚类是 搜索簇的无监督学习 与分类不同 无监督学习不依赖已知的类标号 需 要由聚类学习算法自动确定标记 对象根据最大化类内部的相似性 最小 化类之间的相似性的原则进行聚类 例如 对学校里学生数据进行聚类分 析 识别学生的同类子族 来表示每个教学的目标群 3 挖掘频繁模式 频繁模式是频繁出现在数据集中的模式 如项集 子序列或子结构 例如 频繁出现在招生数据集中的属性 专业 英语 和报到 是 的集合是频繁 项集 一个子序列 如民族 少数民族 性别 男 报到 是 如果 它频繁地出现在招生历史数据库中 则是一个序列模式 子结构涉及不同的结构 形式 如子图 子树或子格 它可能与项集或子序列相结合 4 分类和预测 分类是指找出描述和区分数据类或概念的模型 以便能够使用模型预测未知 类标号的对象类 建立分类模型时 需要知道在数据集中输入事例的类别属性的 值 该值通常来自历史数据 典型的分类算法有决策树算法 神经网络算法和贝 叶斯 n a i v eb a y o s 算法等 预测是通过建立连续值函数模型 来预测空缺的或不知道的数值数据值 例 如 某个考生被录取后来报到的几率将会是多少 具有十年工作经验大学生的工 资又有多高 预测可帮助解决这些问题 目前 最广泛使用的数值预测方法是回 归 回归分析可以对一个或多个独立或预测变量和一个依赖或响应变量之间的联 系建模 回归分析能解决许多问题 比如 基于债券的面值 发行方式和发行数 量 预测赎回率 或者基于温度 大气压力和湿度 预测风速 5 离群点分析 一些数据对象与数据的一般行为或模型有明显的不同 我们称它们为离群点 o u t l i e r 大部分数据挖掘方法将离群点视为噪音或异常 但在一些应用中 如 1 9 华东师范大学硕士学位论文 欺骗检测 罕见的事件往往比正常事件更令人兴奋 离群点分析用来检测与前 面观察的行为有重大变化的行为 最常见的就是信用卡欺诈行为检测 可以通过 检测一个给定账号与正常的付费相比 还可以通过购物地点和类型或购物频率来 检测 2 3 从数据仓库到数据挖掘 通常 我们使用数据仓库产生报告和回答预先定义的查询 然后使用0 l a p 进行多维数据分析以及复杂的切片和切块操作 最后 我们用数据挖掘工具找出 隐藏的模式和关联 构造分析模型 进行分类和预测 并用可视化工具提供挖掘 结果 在此过程中 0 l a p 与向数据挖掘走近了一步 但它们是不交的 0 l a p 是 数据聚集工具 它提供数据仓库中数据的一般描述 帮助简化数据分析 数据挖 掘包括了数据描述和数据建模 它能自动发现隐藏在大量数据中的有趣知识 数 据挖掘的覆盖面要比0 l a p 操作宽的多 在数据挖掘的许多不同范例和结构中 联机分析挖掘将联机分析处理和数据 挖掘中发现知识集成在一起 基于以下原因特别重要疆1 数据的高质量 数据挖掘工具需要在集成的 一致的和清理过的数据上 运行 经过预处理而构造的数据仓库不仅用在o l a p 也用于数据挖掘的 高质量 有价值的数据源 有价值的信息处理基础 全面的数据处理和分析基础已经围绕数据仓库 建立起来 包括存取 集成 加固 多个数据库的转换 网络访问和服务 报表和o l a p 分析工具 基于o l a p 的探测式数据分析 联机分析数据挖掘提供不同的数据子集 和不同的抽象层上进行数据挖掘的机制 可以在数据立方和中间结果数 据上进行上卷 下钻 旋转 切块 切片 这些操作增强了探测式数据 挖掘的能力和灵活性 数据挖掘功能的联机选择 通过将o l a p 与多种数据挖掘功能集成起来 联机分析挖掘使用户选择所期望的数据挖掘功能 动态地改变数据挖掘 任务变得更加灵活 华东师范大学硕士学位论文 2 4 本章小结 本章分别介绍了数据仓库技术和数据挖掘技术的基本概念 并探讨了这两种 技术之间的联系 2 l 华东师范大学硕士学位论文 3 1 需求分析 第三章考生信息数据仓库的设计 需求分析是建立数据仓库的基石 此部分对以后的开发阶段具有指导性意 义 因此 建立考生信息数据仓库时 首先要针对目前的高职院校招生情况进行 需求分析 需求分析的中心工作是提出主题需求 主题是由决策部门以及相关单 位所提出的一种协助决策需求 在此阶段我们对主题做仔细地分析与描述 将其 分解为若干个需求层次嘲 自上世纪9 0 年代教育体制改革以来 我国高职教育不断发展 其在整个高 等教育中的比重逐渐增大 招生政策也随时在调整n 们 通过分析本省高职院校招 生政策及情况 并结合学校的实际情况 得出所要构建的考生信息数据仓库的决 策主题主要有 考生信息关联分析 考生信息预测分析两大决策主题 其中对于考生信息关联分析主题进行细化 将其分解成三个层次 1 专业与招生分析 各个专业的招生率体现了该专业在学生和家长中的认 可程度 专业对招生影响的分析对学校的专业设置和招生计划的分配决策都有指 导性的意义 2 高考成绩与招生分析 根据各个学校的档次 不同的高校对学生的吸引 力也不同 对学生高考成绩的分析 将有助于高校掌握报考学生对自身水平的定 位以及他们对本校的认可程度 根据分析结果 高校招生部门可以优先录取对本 校认可度高和成绩适合本校的考生 这样将有助于提高录取学生的报到率 3 生源地与招生分析 生源信息是影响招生的重要问题 比如考生生源地 性别 民族等 学校地处湖南西部边远地区 许多考生对本地区和本校都相当陌 生 因此 如何在各个地区做好招生宣传工作 吸引考生的注意力 就要靠历年 的招生数据分析做出相关科学的决策了 针对高职院校的招生特点以及湖南省2 0 0 9 年出台的最新招生政策 取消 专科补录 增加专科批次征求志愿次数 同时也为了提高学校的竞争优势和招生 部门的效率 本文基于数据挖掘技术进行招生预测 首先选取对学校认可度较低 但已投档到学校的考生进行电话跟踪 筛选掉不愿来学校就读的考生 然后在征 求志愿阶段 电话跟踪确定可能愿意来校就读的考生 获取有关信息 进行考生 华东师范大学硕士学位论文 预测分析 考生信息预测分析主题细化如下 1 对学校的认可程度 对达到录取条件的考生进行电话跟踪 咨询其对学 校的认可度 剔除认可度低的部分考生 以提高报到率 2 家庭的经济状况 对考生家庭情况进行摸底调查分析 宣传师范奖学金 制度 3 2 数据仓库设计 考生信息数据仓库主要是为了满足学校招生部门决策分析的需要 数据来源 于湖南某高校二级学院的招生数据及报到情况信息 其中数据包括2 0 0 5 2 0 0 8 年度的招生信息和学生信息的调查表 这些数据以a c c e s s 数据库文件和e x c e l 表格等等多种不同的形式提供 我们将这些数据围绕招生主题来组织的 为了准 确利用海量数据 使分析结果更加准确且具有一般性 忽略了学校0 8 年刚刚申 报成功的本科专业 只对来自湖南省内的高职类专科学生的入学数据进行分析 3 2 1 维度模型设计 维度模型是由一个中心事实表 或多个事实表 和与其相关的维度构成 事 实表位于中心 而所有的维度围绕在周围 类似于星形结构n 幻 维度模型设计处 于构建考生信息数据仓库的中间阶段 是实现主要设计目标的最好方式 它能清 晰的向用户展示需要的信息以及高效的返回查询结果 还能提供相关信息以便精 确的跟踪潜在的业务过程 由维度模型的定义得知 事实表和维度表的设计是数据仓库的关键问题 1 事实表 事实表中包含与特定业务相关的度量n 引 例如打印学生信息名单 处理一个 学生的退学请求等 事实表中的一条记录代表一个度量 一个度量事件也会产生 一条事实表记录 事实 用来量化大量事件的数字度量 比如 考生的成绩 报到的人数 等 粒度 事实表中包含信息的详细程度 针对具体的某个事实的粒度而言 应当采用 最小粒度原则 即将量度的粒度设置到最小 比如 在2 0 0 7 年八月录取的某个考生各方面的具体情况 2 3 华末师范大学礤士学位论文 2 维度 维度是维度模型的基础 用来描述业务对象 如生源地 成绩等 维度袁 可以看作是用户来分析数据的窗口 维度表中包含事实数据表中事实记录的特 性 有些特性提供描述性信息 有些特性指定如何汇总事实数据表数据 以便为 分析者提供有用的信息 根据对考生信息数据仓库的需求分析中确定的主题 需要把相关信息映射到 数据仓库相应的表中 目前流行的数据仓库数据模型是多维模型 其中代表主要 有星型模型和雪花模型两种模型 两者的区别在于 雪花模型在星型模型上增加 了粒度层次的描述 某些维是规范化的 但这一特性会使模型变得更加复杂 降 低可用性 所以从数据仓库的易使用和高性能的设计主旨出发 本文中考生信息 数据处理模型设计采用星型模型进行维度建模 在考生信息分析中涉及到几个主要的信息 如考生个人信息 成绩和报到与 否等 它们日积月累 数量庞大 在设计的时候把这些作为事实表的度量 把录 取时间 成绩 专业及生源地的作为分析的视角 把它们作为维度 在粒度划分 上 时间维可按月计 用以区别八月第一次录取和九月份补录的学生 设计后得 出的考生信息数据仓库的维度模型 如图3 1 所示 脚3 1 考生信息数据仓库星型模型 这是一种星形结构的模型 按照此逻辑结构建立的数据仓库可以回答和招生 相关的大部分决策问题 比如某时间段内学生撤到的变化情况如何 哪些分类的 学生报到率最高 哪种类型的学生晟可能报考我们学校等等 华东师范大学磺士学位论文 3 2 2 物理设计 数据仓库的物理模型就是逻辑模型在物理系统中的实现 其中包括逻辑模型 中实体表的具体化 如表的数据结构类型 物理存取方式 索引策略 数据存放 位置及存储分配等 在进行数据仓库物理设计时 所考虑的因素有 i 0 存取时 间 空间科用率爱维护的代价o o 基于前面我们要设计的考生信息数据仓库的分析 其物理表结构如图 图 3 2 至图3 8 图3 2 考生信息事实表 围 录取时同维裹 厂 1 f 1 磊r i 田 i 粉m 州1o 口 骷州唧日 i 柏 州j 口 日 图3 6 生舞地维表 图3 8 高考成绩维表 粥孵i 憷 自 r 8 j i 日 7 f n 雠 f 圈3 3 学生维表 厂 1 r 丽西 丽订 目 虹唧o i 秘矬 舳 埘 e j 趔螋 围3 5 录取专业维袭 围3 7 寿生粪别罐寰 华东师范大学硕士学位论文 3 3 数据仓库工具集 3 3 1 数据仓库工具集简介 数据仓库产品又称为数据仓库开发工具 它包括了数据仓库在内的如o l a p 及数据挖掘等多种决策支持系统开发工具 在本文中所研究的招生决策支持系 统一般需要若干个工具 它们构成了一个工具集 一个完整的工具集由以下几部 分组成 数据抽取工具e t l 数据抽取工具e t l 的作用是从数据源中将数据仓库 所需要的数据抽取到数据仓库中 数据经过提取 清洗 转换和加载过程n 习 抽取常用的接口是o d b c 或j d b c 接口 它的特点是通过性强 但效率较低 另一种接口是建立数据库到数据仓库的专用接口 虽然此接口效率较高 但 通用性差 仅适合少量常用的数据库 如o r a c l e s y b a s e s q ls e r v e r 等 数据刷新工具 主要用在对数据源第一次抽取后的数据更新 由于数据 仓库的数据是不随意改动的 因此数据刷新按一定的时间或阶段进行 元数据管理工具 主要用来管理元数据 元数据主要建立从数据库中数 据到数据仓库中数据的转变规则 在数据抽取及刷新中按此规则进行刷新与 抽取 数据仓库管理及建模工具 因为数据仓库是一个有一定结构模式的数据 集合 所以它必须由数据仓库管理软件进行管理 为了有别于数据库建模方 式 在数据仓库管理软件中 建立数据库模式 元数据及数据仓库模式间的 关联 1 剐 数据集市工具 是建立在数据仓库上的局部数据集的工具 类似于在数 据库上建立数据视图 o l a p 工具 o l a p 工具主要用来构造数据立方体 它下与数据仓库接口 上与展示工具接口以分析结果 o l a p 工具可以构建多种模型 包括星型模型 雪花模型以及星座模型等 它也能构建数据立方体 数据挖掘及数学算法工具 数据挖掘工具主要存放常用的数据挖掘算法 一般是算法有分类算法 聚类算法以及关联算法等 数学算法工具主要存放 的算法有回归分析 线性规划 常用的预测算法以及统计方法等 也有工具 将这两种挖掘工具混合在 起n 射 2 6 华东师范大学硕士学位论文 展示工具 一般常用的展示工具有图形 图表等方式 可以在本地和w e b 上发布 可以建立多种展示模板发布 展示工具为数据仓库与d s s 进行人机 交互提供了有力的支撑 它不仅用在数据仓库展示上 也可以作为o l a p 及 数据挖掘的展示工具 本文采用m i c r o s o f tc o r p o r a t i o n 销售的核心d w b i 工具集m i c r o s o f ts o l s e r v e r2 0 0 5 用以完成考生信息数据仓库的设计 3 3 2 数据仓库产品 随着数据仓库的发展 很多数据库管理系统厂商都提供独立的解决方案 有 的还带有相关的数据挖掘模型 企事业单位要根据自身的运行特点和发展需要选 择相应的解决方案 目前数据仓库产品就其开发商而言 分为数据库厂商开发 数学软件包厂商开发 第三方厂商开发和专用开发四种类型 数据库厂商开发 为了数据库得以发展和继续 基本上所有的数据库厂 商均在其数据库产品扩充了数据仓库功能 如o r a c l e 的数据仓库产品 e x p r e s s s o ls e r v e r 的数据仓库产品 此类产品的特点是 数据仓库 与o l a p 构建能力强 一般采用数据库厂商的d b m s 作为数据仓库管理工具 与建模工具 效率高 效果好 与厂商自身的d b m s 联系过于紧密 排斥 其他d b m s 数学软件包厂商开发 此产品主要是将数学软件包 包括多种数学算法 所形成的算法库 作为扩充而形成数据仓库产品 这种扩充包括首先把传 统演绎算法扩充 在加入数据挖掘等归纳算法 进一步扩充形成一个数据 仓库工具集 例如 s a s 公司的s a s 软件包扩充数据挖掘功能形成的s a s 数据仓库工具集 这种数学统计软件包公司擅长算法库中算法的开发 因 此在数学算法 数据挖掘方面特点突出 但在数据库相关联方面的功能和 展示等方面约有不足 第三方厂商开发 第三方厂商 既非数据库厂商也非数学软件包厂商 通常把重点放在结果展示及产品的通用性方面 典型的厂商产品有 b 0 公 司推出的产品b o b r i o 公司的产品b r i o 专用开发 由于数据挖掘算法种类多 难度大 因此就出现了专门的开 发数据挖掘算法的数据挖掘工具及公司 典型代表是 i b m 公司所开发的 华东师范大学硕士学位论文 数据挖掘工具i n t e lli g e n tm i n e r h a i 公司开发的数据挖掘工具d bm i n e r 它们具有算法多 效果好的特点 以上介绍的四种类型的数据仓库产品各有优点和不足之处 至今为止没有 任何一种产品是全能 所以 一般情况下 一个完整的d s s 开发常使用若干产 品与若干工具才能达到理想的效果 在本文中采用了m i c r o s o f t 开发的s q l s e r v e r 的数据仓库产品进行开发 3 3 3m i c r o s o f td w b i 工具集 m i c r o s o f t 的核心工具集是s q ls e r v e r 其中包括