[基于WEB挖掘的信息处理在开放教育中的应用研究]信息处理

基于WEB挖掘的信息处理在开放教育中的应用研究信息处理 摘要：文章针对电大在线平台优秀教学资源利用率不高，如何高效学习的问题，提出了把挖掘技术应用于电大开放教育中，处理学生应用电大在线平台的数据问题，通过分析隐性数据得到有用的知识，优化教学资源，有利于教师决策教学。 关键词：WEB挖掘；开放教育；信息处理 ：TP311：A：1009-3044(xx)18-4312-02 电大远程教育中，基于网络的教学模式运行多年，大量的优秀资源利用率不高，学生想学习苦于找不到相应资源，地市电大教师只好引导学生网上学习，但效果不佳。网络课程产生大量数据，如：学生网上学习行为，电大在线平台的应用情况等，这些数据十分分散，缺乏结构化，如何找出这些隐性数据间的关系，是提高开放教育教学质量的关键技术，让学生了解他要学习的知识网上有哪些资源，这些资源的利用情况，同一专业的其它学生学了哪些知识，从海量的数据中找到学生学习有用的信息，提高学生的学习效率，节约宝贵的时间。 1 Web挖掘技术 数据挖掘就是从大量数据中提取有用的知识，Web挖掘也叫Web数据挖掘，是网络和数据挖掘相结合，通过分析Web页面及后台数据库中相关的数据，找出隐含的知识。Web挖掘分为Web内容的挖掘、Web结构的挖掘和Web使用挖掘。 1.1 Web挖掘应用于开放教育 开放教育中几乎所有的教学活动都通过网络进行，学生学习行为、师生的交互均记录在电大在线平台的日志和数据库中，产生大量的数据文件，如何有效的分析和组织这些数据，作为电大教育的教育评价、教学决策和个性化学习依据。用Web挖掘技术分析这些数据，能很好解决开放教育中“数据丰富，知识贫乏”的现象。 算法是数据挖掘的核心，Web挖掘算法和数据挖掘算法基本相同，常用的有：回归分析、贝叶斯分析、决策树算法、聚类分析、关联规则算法等等。Web挖掘工具依据适用性、易用性和兼容性的原则，选择Google公司开发的Google Analytics，因为它是的网络分析工具，功能强大、简单实用，能统计和分析网站访问者、访问量、访问内容等，还能生成报表。 1.2 Web挖掘的教学特点 基于Web挖掘的教学突出特点是: 1）交互性强,体现在学生与教师、教师与教师、教师与专家的交互。 2）动态性强，各种学习资源都是动态的，都能下载和上传，最新信息也动态更新，学生能及时找到最新的资源和信息。 3）易实现协作学习，学生根据划分的学习小组协作完成课题项目等，非常方便。 1.3 Web挖掘实例 1）Web服务器日志挖掘 这里以Web日志挖掘为例，电大在线平台应用的是Web服务器，所以我们谈谈Web服务器日志挖掘。Web服务器日志是指在服务器在运行时生成的日志文件，如：代理日志、访问日志、引用日志、错误日志等。Web服务器将客户的请求发出的同时又把本次的请求写入日志，所以说Web服务器日志忠实地记录着用户访问网站的踪迹。它包含用户访问的IP地址、用户的域名、时间和日期、访问网页的连接、访问方法、访问结果（成功、失败、错误)、被访问页的文件名等。 2）日志挖掘的任务 日志挖掘的主要任务是统计查询分析和智能查询分析。 统计查询分析主要进行网站点击、客户和流量的分析。统计查询分析是低次层的数据分析，它是深层次数据分析的基础，其结果对于优化站点结构、提高系统性能和市场决策有很大的帮助。 智能查询分析通过发现数据库中的规则、模式和其他知识，根据序列模式和关联规则进行聚类分析，把分析结果智能推荐给用户，据此把用户分类，并根据分类后用户的公共属性分配不同的商务活动。 3）Web服务器日志挖掘的过程 Web服务器日志记录着访问该Web服务器的数据流信息，保存着每次访问Web页面的日志项。其挖掘的过程大体分为数据预处理、挖掘算法实施、模式分析、可视化四个阶段。数据预处理就是删除一些与挖掘算法无关的数据，根据用户的IP地址、访问路径、会话、注册信息等识别用户。把预处理的数据根据挖掘算法进行模式识别，以序列模式挖掘为例说明，它主要应用于会话内部的网页间的时间相关性问题，通过Web挖掘技术分析日志，找出用户访问频繁的序列，得到结果。Web日志挖掘过程如图1。 图1Web日志挖掘过程 当用户向服务器发出请求后，服务器端根据用户的IP地址、浏览器类型和请求的URL等信息返回到客户端，如有错误将返回错误代码，最后生成日志文件，包括访问信息和错误信息。 2 Web服务器日志挖掘系统 Web服务器日志挖掘系统由创建模式库、实时智能推荐和管理员指导模块组成。创建模式库模块是根据Web日志挖掘算法找出用户的浏览模式，并维护和更新用户的行为模式。实时智能推荐模块是根据模式库中的模式和用户的浏览行为实时并智能地推荐用户感兴趣的内容。管理员指导模块帮助网管人员优化网站结构，方便用户，提高网站访问量。 模式库的创建过程。把Web服务器日志、Web文档等数据源经过数据预处理，生成用户会话文件，把这些会话文件经过Web日志挖掘算法的处理，找出用户的访问模式（如页面聚类、用户聚类、频繁访问页组等），把这些访问模式存于模式库中，如发现与事实不符或有偏差，达不到预期结果，可根据反馈重复以上过程，甚至重开始。因此说创建模式库是一个循环往复的过程，需要专家参与。 智能推荐过程。根据当前用户的访问情况，在模式库中查找与之相匹配的模式，并动态地推荐页面集合，这些都是用户感兴趣并还未访问到的页面，这些推荐和用户的请求集成在一起智能地推荐给用户。 开放教育中使用的电大在线平台包括以下基本模块：公开讨论区，网上会议室，网上教学活动、校务公开、教学软件、教学资源、网上作业与考核、模拟实验等。学生利用该平台进行学习、做作业、互动交流等。系统管理员负责上传教学资源、作业和实验，收集和处理学习结果和反馈等。根据学生访问信息、作业和测试结果，对其进行个性化服务。 电大的学生都是用学号和密码进行身份验证的，初始密码都是8位的出生日期，只有身份验证通过后才能网上做作业、网上学习、BBS讨论等。学生的所有网上学习行为都被系统记录在学生访问日志文件里，存在服务器的数据库中。该教学平台的日志记录中除有用数据外还包括很多影响挖掘准确性的多媒体信息，如何去除这些无关数据，这里我们用SQL语句清除这些垃圾记录： Delete From IISlog Where Target like%.jpg; Delete From IISlog Where Target like%.gif; Delete From IISlog Where Target like%.avi; 以上的操作是数据净化。去除那些与挖掘无关，甚至响挖掘结果的数据，其后进行用户识别，从海量数据中找出属于同一学生的记录，并迅速找出与该学生相对应的挖掘结果和推荐集。会话识别根据不同时间段的用户访问信息生成不同的用户会话，以区分不同的时间段的用户访问。最后进行路径补充，采用一些启发性规则对不完整的用户访问序列，结合网页拓扑进行推理，补全访问路径，还可以把数据挖掘结果转存到Excel文件中，以图表方式表示挖掘结果。 3结束语 根据Web挖掘产生的结果进行资源的推荐、网站结构的改善、个性化服务的完善，高质量地决策教学。在电大开放教育教学系统中应用Web挖掘技术能提高系统的个性化服务水平，根据学生的知识结构和学习风格进行个性化教学，以提高学生