C1051 基于数据挖掘的web日志分析研究.doc

Author http www 5dw org 青州 seo Author http www 5dw org 寿光 seo 基于数据挖掘的基于数据挖掘的 web 日志分析研究日志分析研究 摘 要 随着互联网的迅速普及和广泛应用 Web 上产生的信息也随之飞速增长 WWW 网无论是在访问量 规模上还是在网站设计的复杂度上都以惊人的速度增长着 为了 更好地设计 Web 服务器 一个更好的方式就是分析原来的网站是如何被利用的 日 志数据的分析可以通过统计数据的形式 像统计经常被访问的页面集 统计经常需要 分析的重要的表格数据 通过网站分析找出一般的访问路径模式等 Web 日志挖掘 就是运用数据挖掘的思想来对服务器日志进行分析处理 从而解决上面所提出的问题 本文对 Web 日志挖掘的概念 内容 关键技术和目前的国内外的现状进行了研 究 并且在这基础上设计并实现了 Web 日志挖掘工具 该挖掘工具采用 C 语言编写 并严格按照日志挖掘的基本步骤设计 它分为四个模块 源数据输入模块 数据预处 理模块 模型建立模块和结果显示模块 该挖掘工具在设计过程中采用了快速的数据 预处理算法 从而提高预处理阶段的处理速度 能够建立多种模型 如关联 聚类 并且可根据用户的选择来实现相应的模型建立 结果显示阶段采用易懂的图表形式显 示 提高了结果的可读性 最后运用所设计的挖掘工具针对某商业网站的访问日志进行了挖掘 并对显示的 结果做了详细的分析和研究 在对结果分析的基础上 找出用户访问规律 从而为改 善网站结构和内容以及实现网站的智能化提供了决策支持 关键词 Web 日志挖掘 关联规则 聚类分析 web 日志挖掘工具设计 结果分析 目 录 第 1 章 绪论 1 1 1 本课题研究背景及意义 1 1 2 本课题研究动态 2 Author http www 5dw org 青州 seo Author http www 5dw org 寿光 seo 1 3 论文的组织 2 第 2 章 数据挖掘概述 4 2 1 数据挖掘与WEB数据挖掘 4 2 1 1 数据挖掘 4 2 1 2 数据挖掘系统分类 5 2 1 3 web 挖掘 5 2 1 4 web 挖掘分类 6 2 2 WEB日志挖掘简介 7 2 2 1 web 日志挖掘的提出 7 2 2 2 web 日志挖掘的应用 7 2 2 3 web 日志挖掘流程 8 2 3 WEB日志挖掘存在的问题及所要解决的问题 9 2 4 本章小结 9 第 3 章 WEB 日志挖掘系统的预处理技术 10 3 1 数据采集及 WEB日志介绍 10 3 2 WEB日志挖掘相关术语 11 3 3 预处理流程 12 3 3 1 数据净化 12 3 3 2 用户识别 13 3 3 3 会话识别 13 3 3 4 路径补充 13 3 3 5 事务识别 14 3 4 预处理模型及其算法流程 14 3 5 本章小结 15 第 4 章 WEB 日志挖掘系统的模式分析 16 4 1 关联规则 16 4 1 1 关联规则概述 16 4 1 2 关联规则的相关定义 16 4 1 3 关联规则的算法评析 18 4 1 4 Apriori 算法 19 4 1 5 Apriori 算法的改进 20 4 2 聚类分析 20 Author http www 5dw org 青州 seo Author http www 5dw org 寿光 seo 4 2 1 聚类概述 20 4 2 2 主要的聚类方法和算法分类 21 4 2 3 聚类的比较 22 4 2 4 数据挖掘对聚类的要求 23 4 3 本章小结 23 第 5 章 WEB 日志挖掘工具的设计与实现 24 5 1 WEB日志挖掘工具的体系结构 24 5 2 该挖掘工具的设计思想 25 5 3 WEB日志挖掘工具实现目标 27 5 4 系统分析与设计 27 5 4 1 数据源输入模块 27 5 4 2 数据预处理模块 28 5 4 3 模型建立模块 29 5 4 4 结果显示模块 30 5 5 本章小结 31 第 6 章 网站日志挖掘实例分析 32 6 1 用WEB日志挖掘工具对某网站日志进行挖掘 32 6 1 1 日志预处理 32 6 1 2 挖掘的结果 32 6 2 日志挖掘的结果分析及网站调整建议 33 6 3 日志挖掘后发现的问题及解决办法 37 6 4 本章小结 37 结 论 38 参考文献 40 致 谢 41 重要提示 本论文由大学论文网