基于神经网络的数据仓库研究及应用.doc

密级：硕士研究生：关永志沈阳理工大学 密级：工学硕士学位论文：石丽教授学科、专业：计算机软件与理论：信息科学与工程学院学位授予单位：沈阳理工大学 篢肠， 篗，： 学位论文版权使用授权书艿难宦畚脑诮饷芎笫视帽臼谌学位论文作者签名：关永怎历指导教师签名： 摘 甌， 琣 甌琣 目数据仓库和数据挖掘的联系本章小结第陆萄柿糠治鱿低车纳杓朴胧迪帧核心技术介绍系统设计与实现 斯窬绻髟怼神经网络的介绍一神经网络在成绩预测方面的应用一 年，“知识发现美国底特律召开的第十一届国际人工智能会议上提出【，在年的第一届知旧杓蒲蟹肧统计模块的优势，同时增加一系列的数据挖掘算 虽说国内数据挖掘技术的起步较晚，研究相对落后于世界科技发达国家。但随着数据挖掘应用领域的不断增多，国内的科研单位和高等院校对其已陆续投入了大量的人力物力进行研究，包括清华大学、中科院计算技术研究所和数学研究研究应用国内做的还不多，正处于起步阶段，对于数据挖掘和研究人员和开发商而言，这是一个机遇与挑战并存的领域，其拥有巨大的潜力和开发前景。数据仓库和数据挖掘在教育领域中，随着技术日渐成熟，正发挥着积极的作用。教育、教学评价工作在国际公认的教育科学研究中，位于重要的三大领域之，对于一个国家的教育发展程度而言，教学评价的技术水平是一个重要的衡量尺度。在教育中运用信息技术，并且在其进程向前推进的过程中，把数据仓论文的研究内容与组织安排 本章小结 特征相对低随即又给出了更加精确的解释：数据仓库是在企业管理和决策中面向主题的、集联机分析处理服务和数据挖掘等深层次的数据分析提供平台】。较之以 持。魈庑猳 数据仓库稳定性特点的存在，并不影响其同时拥有有时变性的个性。概言之，数据仓库在语义上可以理解为成为：一致的数据存储，它是对于起决策支持作用的数据模型的一种物理实现，并对企业战略决策所需的信息进行存放。管理人员通过对数据仓库中的数据的利用，对于其做出决策提供了前所未有的方便。 据，所以数据仓库本身就是一套完整的体系结构”，如图所示。 图数据仓库系统环境的体系结构 第二层是数据迁移层：第三层是数据仓库管理层：第四层决策支持系统这一层是数据仓库系统中发挥的是面向工作环境的应用终端工具，主要包括各种数据挖掘工具、工具、报表工具和以数据仓库为基础的各种开发工具，它们对数据仓库中的信息进行相关挖掘分析，提取出可以为决策者做出决策的有用信息，服务器是进行数据分析的主要场所，这个过程就是数据挖掘的显示时期。 总之，数据挖掘的诞生刺激了对海量数据的重组处理和深层次的研究分析。的定义为，数据挖掘是对存储于数据库中的大量数据，通过查询和抽取方式获得程，也称作数据库中的知识发现广义知识类型、关联知识类型、分类知识类型、预测型知识类型 称，它可以处理非线性映射关系，可以实现逻辑操作，它是由数量庞大的处理单元经过缜密连接而构建的网络。它的优点可以概括为：自适应性较好、自本文组织能力强、容错性能高、学习记忆联想和识别功能强大。数据挖掘中的分类和回归问题通常使用神经网络来解决，其通常运用的方法包括基丁二自组织和基于模糊的神经网络的数据挖掘。该算法在模式识别、生物科学方面有广泛的应用。在数据挖掘技术中有一种专门针对小样本情况下机器学习规律的技术支持， 数据挖掘过程的结束，是以最后呈现在决策者面前的一系列简单明了的表征结果作为结束标志的。在进行挖掘之后，得到的是专业人员可以识别的数据显示，本文还要把它们转换成能被普通用户理解的形式，直观的显示在决策者面前，这样才能对实际工作具有指导作用。数据仓库与数据挖掘二者之间的联系可以用以下几点来说明口；据挖掘的数据基础：求；本章小结 本系统采用体系结构设计并实现。碕坛蠮平台，对于涉及企业解决方案的一些复杂问的最终目的旧。一 囊露翱翩懒舞襄穗袅露黑舞需嚣霎曰闰层，一般为页面； ：是对应用程序中的存放业务逻辑的数据进行封装、处置的视图中不涉及程序逻辑业务，所以它的工作主要是数据的采集和处理。 来实施操作，为此，本文在数据库中事先设计一些本文需要的表，部分表结构如管理员表分析原因表 淌杉兰郾设计 主要体现的足课程信息和教师信息。当本学期有考试要求的教师登陆后，在教师应用端输入教师编号，系统就会自动生成一个本学期该教师的对应考试成绩信息，其中包括课程名称，学时，任课教师，考试方式等等。采用技术把这门课程的成绩分布以柱状图的形式在此页下端表示出来，更直观的展现在大家面前。教师根据具体考试成绩分布并结合这一个学期全班的表现情况，对考试做出总结，包括对出题的覆盖面、难度及题目分值分布的总体评价：对教学班级学生考试成绩总体评价及原因分析；问题、建议及今后需要注意的问题等，提交到后台数据库中，为相关人员分析决策准备。 学年第学期谭程考试试卷分析葡确一占一一一一一鲫鞋上图淌治鲆趁 功能区，其具体模块如下图所示。黑单痒境计甜听苛理欢迎使用试卷分析衍台工作、台图系统后台管理应用界面 。管理荽里“奄询益怠蓄理一二攀鞫鸶喾擎毋激鳞月鸍。灰粅三黑单止境钟折嚣师。，。、卉苆彳二黑单库管理，此区域展示的是根据学校具体规则进入本系统的相关课程信息的统计情况，在这里本文设计两个查询功能，一是根据学期查询在该学期内进入系统的课程成绩异常的总体分析结界百分比，表现的是这一学期被收纳到此系统内课程的总体分析情况；二是统计进入该系统的课程情况，记录这门考试进入的 信息处理体系。它通过研究并模仿人脑的神经系统的组织结构，形成类似人 脑的处理事务的形为。 ；连接权图人工神经元模型输入信号输入后，这些输入信号的加权和由求和单元计算出来；其数学表达式可用下式表示出： 妒：激活函数；伊丁；丽 根据人们研究，通常将其工作过程分为两个时段，第一时段做为学习阶段， 信息处理，主要完成的任务如下：第一种是模式分类，目前大多数的神经网络都具备这些能力。第二种是联想记忆的功能，它可以自动恢复、完善记忆，利用相关模式，相互回忆。第三种是组合优化，本文通常所采取的足通过反馈型网络，找寻平衡状态，寻求最优。最后一种就是数据的压缩，根据不同的模式，采取自组织的方式，面向输入模式，进行编码处理或是对其进行聚类分析。由于网络和特点，即其能够实现输入端到输出端的任意的、非线性的映射，并且它的学习算法从属于全局逼近法，从而泛化能力强。本文正是利用其这特点，采用神经网络，对该校信息学院的一些课程的未来考试成绩进行预测。 网络运行过程之一，前向网络传播斟。 此时，隐含层中编号为舟申经元其输出表示为：伊眅作为第錾窬#湓谝愕氖涑鯠，将通过权系数，继续向前运行，当值包是输出层中的作用量；朋是隐含层中的节点个数。对于在输出层内的每个神经病元来说，它的权系数的修结果公式为：岵唬逴叫蔷筹叫蔫矽 、；。本文得到的在隐含层中的神经元的加权系数的调整公式为：幔籵，群，；化为：综上所述，整个计算过程的中轴线是由输出层到隐含层，再到输入层，将产要开始再一轮的迭代。 文利用的学习网络可以院能够实现任何学习的效果；基于动量法的改进方法 寻找最佳的方法，在对权值修正时，只是考虑到此时此刻和负梯度的方向进神经网络在成绩预测方面的应用 际的输出值与期望输出量的误差，再反向传播，对连接权值的改变的完成称为一次训练，经过数次的反复使用，直到得到的映射结果令人满意。下面介绍网络对成绩预测的具体使用案例。 不成功 简单，取值为、疚难醚个专业的年到年的六门专 标准化变换公式川经标准化后，变换的矩阵为再眶荆琾 对镜墓鄄庵稻卣骕，极差归一化变换后的矩阵为“，“，“” 层构成的三层网络模型。 初始权值的设定网函 数用来仿真网络训练过程的仿真结果。畉畇；允镜 本章小结 双隐层优化网络的预测仿真也运用这种简单实用的映射关系进行预测。而在课题的研究过程中也遇到了网络训练时出现收敛缓慢，预测精度不高的现象的发生。通过学习，本文发现如果改变中间层的数目对于提高预测精度是用一定作用的，由网络工作原理可知，中间层的作用就是用来对权值和阈值的不断改变来调整预测的精度。为此，本文在此论文中决定采用双隐含层结构对网络算法进行优化，进而提睁，！，扩 当七从输出端算起第二个隐含层内，即在第一个隐含层时：同理可得：伪卜哟所以 ，尼玎阂籇：胛式为：现，在双隐层输入时，发现第一隐含层内的节点数与第二隐含层节点数，它们节附加动量项的双隐层网络本文在实验中发现，采用双隐层的网络确实比单引层网络的训练精度要高，但在训练过程中又出现了另一个问题，就是训练时间变长了，本文想要的是在提升训练精度的同时训练时间不会出现太大的延长，为此本文根据调查研究，在采用双隐层网络的同时，加入动量项，在一定程度上解决了训练时问过长的贘题。 ；恳蜃畉甀猧；八俾实牡菰龀艘蜃 、。图双隐含层网络误差曲线 从该表中本文不难发现，整体的预测精度在提高，本文再次利用优化后的网络对软件工程专业数据结构与算法课程年成绩做出预测，其预测结果为 本文主要介绍了数据仓库与数据挖掘技术的相关理论与应用。其次利用技术、采用疭模式为该校研发了一套便于操作维护、快捷实用的教学质量分析系统，该系统的投入使用大大方便了教务人员的工作条件，并提高了工作效率，为推动高校办公自动化的进程又加了一把力。而此系统的应用，也使教师和决策人员更加方便的了解到实际的教学情况，及时发现，及时解决。通过系统信息的反馈，教务人员和线教师能够清晰的看到实际存在问题，方便相关人员更加及时的调整教学策略的设计与实施，为提高高校整体教学质量发挥了积极的作用。本文在完成的同时也存在着不足与改进的地方，例如在对具体学校具体分析时，由于文化习惯的差异，研究确定的对学生考