【毕业学位论文】（Word原稿）网站资源访问统计系统的设计与实现-软件工程

硕士学位论文 （专业学位） 网站资源访问统计系统 的 设计与实现 姓 名： 学 号： 所在院系：软件学院 职业类型： 专业领域：软件工程 指导教师： 副 指导教师 ： 二 一 三 年三 月 A in 2013 网站资源访问统计系统的设计与实现 同济大学 学位论文版权使用授权书 本人完全了解同济大学关于收集、保 存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日同济大学 硕士学位论文 摘要 I 摘 要 随着互联网络的发展， 网站的建设和完善 都和每个网民建立了越来越密切的联系。对于大多数网站来说，资源与内容建设的优劣是吸引用户最主要的因素 ，这就 需要 不断 了解用户对网站及网站内的资源的访问情况 ，进而进行内容的调整和完善 。 本文 针对互联网环境下的公共资源服务类网站，设计了一套基于动态网页技术的解决方案，包括网站资源访问数据的收集、信息统计、统计结果显示与导出等功能。 系统基于 采用网页嵌入代码的方式收集信息，能自动记录和统 计用户访问网站资源的情况 , 实现 了 对网站及网站资源的访问情况进行统计和详细分析的目标， 为网站进一步建设与发展提供了基础数据。 文中主要介绍了网站及网站资源访问统计系统的整体设计与规划、系统详细设计与数据设计、数据采集功能的设计与实现、数据存储与统计功能的设计与实现，以及数据显示功能的设计与实现等。 关键词 网站资源 ， 访问统计 ， 数据采集 ， I of of is on to to in on of In we a of to to at of to so is to be to SP It to of to of on to It of In It he of of of of 济大学 硕士学位论文 目录 录 第 1 章 引言 . 1 文研究的背景和意义 . 1 内外 网站资源访问统计系统的研究及应用现状 . 1 文 研究的内容 . 2 文 各章节内容安排 . 3 第 2 章 系统开发技术基础 . 4 据挖掘技术 . 4 态网页技术 . 5 2.3 架页技术 . 7 据库技术 . 8 第 3 章 系统设计 . 10 统概要设计 . 10 . 10 . 11 . 12 . 13 问数据收集功能设计 . 13 . 15 . 15 . 19 第 4 章 系统实现 . 27 统开发环境 . 27 户访问信息收集的实现 . 27 户访问数据存储的实现 . 31 据库连接 . 31 源列表维护功能 . 31 源分类结构维护功能 . 32 同济大学 硕士学位论文 目录 资源点击情况记录功能 . 35 户访问数据处理功能整合 . 36 理统计结果并进行显示的实现 . 36 统综合统计部分功能实现 . 37 高日访问资源访问量统计功能 . 37 访问最多的资源统计功能 . 38 站总访问情况统计功能 . 38 日访问最多资源统计功能 . 39 统其它主要统计分析模块的实现 . 40 源点击排名统计功能 . 40 源类型排名统计功能 . 41 户回访次数统计功能 . 43 户访问地区与地址统计功能 . 47 第 5 章 总结与展望 . 51 结 . 51 望 . 51 致 谢 . 53 参考文献 . 54 个人简历、在读期间发表的学术论文与研究成果 . 错误 !未定义书签。 第 1 章 引言 1 第 1 章 引言 文研究的背景和意义 随着 社会各业 资源建设 逐渐趋向于数字化和网络化 ， 以及国际互联网络的 建设 ， 使 各 种公众 网站向用户提供的数字资源服务得到 了 飞速的发展 ， 其中提供下载 访问 的资源数量成指数增长，资源的种类也越来越多， 面向的用户群也越来越广泛 。 常见的资源发布网站 类型 有：视频和电影网站 、音乐网站、软件下载网站、文档共享网站、 各种素材资源共享网站、作品发布网站等等，可以说是种类繁多，发展迅猛 ，而且面向的用户群体非常广泛，用户数量巨大 。 在这样的背景下， 网站的建设和完善 与 每个 用户 建立了更加密切的联系 ， 用户 迫切 希望 网站提供的服务能够满足用户 的所有相关 需求 。 而网站管理者们发现，通过统计网站和资源的访问数据，可以分析得到很多有用的信息，如网站建设是否符合用户的需求、资源的发布是否受用户欢迎、资源分类及分布是否合理、哪些栏目更吸引用户等。所以， 所有 网站 都 开始关注 用户对 网站内容和 各项资源的浏览情况， 进而了解用户的喜好和资源需求，以及资源 访问 的 变化趋势 和 资源利用率等，从而为网站管理员 发展和完善网站 提供参考， 并能够 根据用户需求进一步完善网站资源服务。在这样的背景下，研究和发展更有效的网站和资源访问统计技术就有了很大的实际 意义和应用价值。 内外 网站资源访问统计系统的 研究及应用现状 在 展的早期，对于网站的访问统计主要是对访问流量的计数，而网站所提供的资源也很少，对具体某个资源的访问情况了解更少 ；同时，网站管理者的注意力也更多的放在网站技术问题和处理上，以及网站线下的宣传等方面 。在这样的情况下，管理者对网站运营情况的了解就很少。而随着网络资源服务的极速发展，各种新的信息服务的兴起， 网站运营商也更加重视用户体验和用户习惯等方面的特点，也发现在大量用户访问网站资源的过程中，每时每刻都会产生大量有价值的 数据 ，而记录和分析这些数据，可以为资源网站管理者提供很多有意义的信息，为其作出管理决策提供参考依据。 在这样的形势下， 原有 的 简同济大学 硕士学位论文 网站资源访问统计系统设计与实现 2 单计数式访问统计 已经 无法适应网站发展和管理的要求，网站管理者对资源访问有了新的反馈和统计的需求。 随着计算机网络和发展，以及网络技术的进步，更多的网站访问统计方案采用了分析 这些技术的带领下，诞生了很多基于 传统的统计程序中，多数仍然延用了计数器的思想，以访问者数量为统计对象。由于网络环境的影响，这样统计到的数据与实际访问量间有 一定差距，准确度不高。同时，计数方法的单一使得统计结果不能全面反应网站的访问情况，应用价值有很大局限。而嵌入脚本式的统计技术可以较为准确的统计出网站的真实访问数据，并较为全面的分析网站的用户访问情况和特性，建立大量有价值的统计数据，对网站的发展战略提供有效的推动。 从统计程序的通用性上，可以将当前的网站访问统计程序分为由第三方提供的可通用的统计程序，和网站自已开发的专用的统计程序两种。通用的统计程序可以通过嵌入的方式适用于多数网站的访问统计，但这类程序多数关注整个网站的访问情况和数据，而针对网站内具体资源和 栏目访问情况的统计程序很少，同时由于技术的局限，也很少能针对网站内的注册用户进行访问情况进行统计和特征分析。而网站专用的统计程序能解决以上的问题，但一般只针对该网站自身进行设计开发，没有通用性，不能推广到其它网站中。 文 研究的内容 本研究拟采用嵌入式脚本技术，设计并实现一个主要针对网站内资源和栏目访问情况进行统计和分析的程序，并希望能同时对资源访问的用户特征进行统计和分析，且提供通用的嵌入代码，使该系统可以适用于一般的资源发布网站。 主要包括以下内容： 第一、对一般的资源发布网站进行分析研究，了解一 般的访问统计分析需求，提取其主要的结构特征 和共同点。 第二、 对网站资源访问统计系统进行总体设计，包括功能设计、数据库设计等。 第三、研究用嵌入式脚本的应用，以及 第四、在总体设计的基础进行数据收集、统计、分析和结果显示等功能的代第 1 章 引言 3 码实现。 第五、对研究过程进行总结，探讨 系统的实际应用，以及 如何提升和改进系统功能。文 各章节内容安排 本 论文 共分五章进行阐述。 第一章为引言，主要介绍本论文研究的背景、意义，和国内容外同类课题的研究、发展现状，以及对本论文的内容进行概述。 第二章 对网站资源访问统计系统的主要开发技术进行介绍，并突出该技术在本研究中的应用情况。包括数据挖掘技术、 架页技术及 第三章 详细介绍和网站资源访问统计系统的整个设计过程。先从系统需求分析入手，明确了系统设计的思想、原则和基本结构，完成了系统的概要设计。之后在概要设计的基础上对系统各功能模块和数据库进行详细设计，行成设计文稿和相关设计图。 第四章主要介绍系统的实现过程。先介绍和系统的开发环境，之后对各功能模块的主要实现过程进行了介绍，包括 用户访问信息收集 、 用户 访问数据存储 、处理统计结果并进行显示 、 系统综合统计部分功能 以及 其它主要统计分析模块 的技术 实现。 第五章为总结与展望，对本课题研究和论文撰写的全过程进行了总结，并对该课题的前景进行了展望。 同济大学 硕士学位论文 网站资源访问统计系统设计与实现 4 第 2 章 系统开发技术 基础 据挖掘技术 随着信息技术的高速发展，人们积累的数据量急剧增长，如何从海量的数据中提取有用的知识成为当务之急。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术。 数据挖掘 (是指 从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不 知道的、但又是潜在有用的信息和知识的过程。 在 商业信息处理 领域， 数据挖掘是一种新的技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 简而言之，数据挖掘其实是一类深层次的数据分析方法。数据分析本身已经有很多年的历史，只不过在过去数据收集和分析的目的是用于科学研究，另外，由于当时计算能力的限制，对大数据量进行分析的复杂数据分析方法受到很大限制。现在，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，这些数据不再是为了分析的目的而收集的 ，而是由于纯机会的商业运作而产生。分析这些数据也不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的信息，进而获得利润。但所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。 因此，数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。 进入二十一世纪 之后 ， 经遍及世界各地。互连网出现最具革命性的变革 ， 引起了空间距离的无限缩短，将世界变为真正的地球村，由此人们的消费行为、企业经营等各方面发生了翻天覆地的变化。 使信息自由第 2 章 系统开发技术基础 5 便捷地流通，跨越了时间和空间障碍，改变了信息抵达受众的模式，使信息受众在获取信息时代更具有主动权。另外，各种基于 络的应用业务也如雨后春笋般地发展起来，例如网上商店、网上银行、远程教育、远程医疗等，为商业、教育等各个行业开辟了新的发展契机。强大的互联网服务将成为整个商业运作的发动机。但是，由于每个人浏览互联网信 息的无规律性，对企业来讲，发现并利用人们在互联网上的行为习惯也非常困难。 于是，在上述需求的推动下， 产生了一个新的研究领域 据挖掘(相对于 而言，传统的数据库中的数据结构性很强，即其中的数据为完全结构化的数据，而 谓半结构化是相对于完全结构化的传统数据库的数据而言。显然，面向 因此， 是要 提高服务器性能 、 改善网站导航 、 改善网站应用的系统设计 、 为电子商务寻找目标用户 以及 发现潜在的客户群。 而基于 是针对 用户访问 网站时 留下的 记录数据 ， 了解网站建设情况， 挖掘用户访问模式，为网站经营管理和结构调整提供决策支持 。 据源有 理服务器日志、浏览器日志、用户自定义文件、用户注册数据、客户端 户访问期间事 务、用户查询、书签数据和鼠标移动点击 信息 等多种数据。在本研究中，通过脚本方式进行用户资源访问的记录，形成自定义的访问数据库，并以该库为对象进行 据挖掘，以获取关于网站资源访问的 有价值的信息。 态网页技术 缩写，意为 “ 动态服务器页面 ” 。 本程序的一种应用，它可以与数据库和其它程序进行交互，是一种简单、方便的编程工具。 网页文件的格式是 在常用于各种动态网站中。 从 1996 年 生到现在， 直在发展和成熟，其间 发生了重大的变化 。 同济大学 硕士学位论文 网站资源访问统计系统设计与实现 6 从 1996 年 给 发界带来了福音。早期的 至于要制作一 个简单的动态页面需要编写大量的 C 代码才能完成，这对于普通的程序员来说有点太难了。而写嵌入在 进行程序设计的时候可以使用它的内部组件来实现一些高级功能 (例如它的最大的贡献在于它的 这个组件使得程序对数据库的操作十分简单，所以进行动态网页设计也变成一件轻松的事情。因此一夜之间， 序设计不再是想像中的艰巨任务，仿佛很多人都可以一显身手。 到了 1998 年，微软发布了 是 一部分，作为 外接式附件。它与 主要区别在于它的外部组件是可以初始化的，这样，在 可以进行事务处理。 到了 2000 年，随着 000 的成功发布，这个操作系统的 开始流行。与 比， 因而其效率会比它前面的版本要好，并且更稳定。 在实际应用中， 服务器端脚本编 写环境，可以用来创建和运行动态网页或 用程序。 页可以包含 记、普通文本、脚本命令以及 件等。利用 以向网页中添加交互式内容（如在线表单），也可以创建使用 页作为用户界面的 用程序。 页 一般 具有以下特点： （ 1）利用 以实现突破静态网页的一些功能限制，实现动态网页技术 。 （ 2） 于修改和测试 。 （ 3）服务器上的 将结果以 此使 用各种浏览器都可以正常浏览 产生的网页 。 （ 4） 供了一些内置对象，使用这些对象可以使服务器端脚本功能更强。例如可以从 览器中获取用户通过 单提交的信息，并在脚本中对这些信息进行处理，然后向 第 2 章 系统开发技术基础 7 （ 5） 以使用服务器端 件来执行各种各样的任务，例如存取数据库、发送 访问文件系统等。 （ 6）由于服务器是将 此使用者不会看到 防止 (7) 方便连接 2.3 架页技术 素也就是文档中的文档，或者像浮动的框架 ( 合提供了对 容的访问。 骨架的意思 ， 而在其前面加个 i 构成了 在页面中使用 相当于在页面中开了一个窗口，窗口中可以打开另一个页面。主页面与 的页面相对独立，可以在不刷新主页面的情况下单独刷新 的页面。所以，经常在 包含一个独立功能的页面，该页面可以单独刷新，不受主页面的影响。另外，主页面也可以在不刷新自身的情况下，利用 的页面刷新向服务器提交数据，即可实现所谓的无刷新提交数据或无刷新上传文件。 特殊情况下，可以设置 大小为 0， 即可在主页面中隐藏 现隐含的数据提交，或通过 性如下： 嵌 框架 名称 ，用于在主页面中引用该框架 ； 嵌 框架 宽度 (可用像素值或百分比 )； 嵌 框架 高度 (可用像素值或百分比 )； 嵌 框架 边框 ，为了与主页面融为一体，常设置为 0； 框架 内文本的左右页边距 ； 框架 内文本的上下页边距 ； 否出现滚动条 (“为自动， “为显示， “为不显示 )； 嵌 文档 的地址 ， 既可是 可以是文本、 ； 嵌文档的样式 (如设置文档背景等 )； 同济大学 硕士学位论文 网站资源访问统计系统设计与实现 8 否允许透明 ，设置为 在实际应用时， 使用 网页文件即可 实现网页的内嵌。 其 应 用 格 式 如 ： 。 据库技术 微软公司推出的基于 桌面关系数据库管理系统（ 是 列应用软件之一。它提供了表、查询、窗体、报表、页、宏、模块 7种用来建立数据库系统的对象；提供了多种向导、生成器、模板，把数据存储、数据查询、界面设计、报表生成等操作规范化；为建立功能完善的数据库管理系统提供了方便，也使得普通用户不必编写代码，就可以完成大部分数据管理的任务。 够存取 骨文软件公司 )，或者任何 容数据库内的资料。熟练的软件设计师和资料分析师利用它来开发应用软件，而一些不熟练的程序员和非程序员的 进阶用户 则能使用它来开发简单的应用软件。 在实际应 用中， 点 ： （ 1）存储方式简单，易于维护管理 理的对象有表、查询、窗体、报表、页、宏和模块，以上对象都存放在后缀为（ 数据库文件中，便于用户的操作和管理。 （ 2） 面向对象 一个面向对象的开发工具，利用面向对象的方式将数据库系统中的各种功能对象化，将数据库管理的各种功能封装在各类对象中。它将一个应用系统当作是由一系列对象组成的，对每个对象它都定义一组方法和属性，以定义该对象的行为和外国，用户还可以按需要给对象扩展方法和属性。通过对 象的方法、属性完成数据库的操作和管理，极大地简化了用户的开发工作。同时，这种基于面向对象的开发方式，使得开发应用程序更为简便。 （ 3）界面友好、易操作 一个可视化工具，是风格与 全一样，用户想要生成对第 2 章 系统开发技术基础 9 象并应用，只要使用鼠标进行拖放即可，非常直观方便。系统还提供了表生成器、查询生成器、报表设计器以及数据库向导、表向导、查询向导、窗体向导、报表向导等工具，使得操作简便，容易使用和掌握。 （ 4）集成环境、处理多种数据信息 于 作系统下的集成开发环境，该环境集 成了各种向导和生成器工具，极大地提高了开发人员的工作效率，使得建立数据库、创建表、设计用户界面、设计数据查询、报表打印等可以方便有序地进行。 （ 5） 持 发数据库互连， 利用 态数据交换）和 象的联接和嵌入）特性，可以在一个数据表中嵌入位图、声音、 可以建立动态的数据库报表和窗体等。 可以将程序应用于网络，并与网络上的动态数据相 联接。利用数据库访问页对象生成 件，轻松构建 （ 6）支持广泛，易于扩展，弹性较大 能够将通过链接表的方式来打开 件、格式化文本文件等，这样就可以利用数据库的高效率对其中的数据进行查询、处理。还可以通过以 为前台客户端，以 为后台数据库的方式（如 发大型数据库应用系统。 总之， 一个既可以只用来存放数据的数据库，也可以作为一个客户端开发工具来进行数据库应用系统开发；即可以开发方便易用的小型软件，也可 以用来开发大型的应用系统。同济大学 硕士学位论文 网站资源访问统计系统设计与实现 10 第 3 章 系统设计 统概要设计 统需求分析 本课题 通过 对一般资源发布网站进行分析和研究，了解其基本的结构 特点 如下： （ 1） 网站均按分类或栏目的方式管理资源，分类或栏目的级数不等，一般在两级至 4级之间， 分类或栏目都有名称和编号，可以用于确定资源所属。 （ 2）资源均有资源名称、编号，为通用属性，可以用于区分不同资源。资源在不同网站中有不同的辅助属性， 没有统一性。 （ 3）网站中每个资源都有独立的访问地址，可以在其它系统中 作 为资源访问链接的跳转地址。 同时，独立的资源 页面中可以通过嵌入的方式获取资源的访问过程和基本信息。 （ 4）资源网站一般都有用户管理模块，在资源页面中可以获取到当前登录用户的用户名等信息。 而对于一般的资源发布网站管理员来说，都希望尽可能全面的了解网站运营过程中的情况 ，并且一般希望能有一系列量化的数据来说明网站运营中出现的具体问题，进而能对网站下一阶段的运行和管理决策提供很重要的参考依据。 一般的资源发布网站管理者希望从以下几个方面了解资源网站的运行情况： （ 1）网站发布的资源是否受用户的欢迎，其中哪些资源大家喜欢看，而哪些资源大家不喜欢看 ，进而影响新 添加的资源内容的选择 。 （ 2） 网站中哪些分类的或哪种类型的资源访问量最大，而有没有哪些类型的资源访问量寥寥无几 ，以明确网站分类的 合理性，以及重点发展的板块等 。 （ 3）在一天的什么时间段内 访问量最大，以及最大访问量的数值等，以考虑服务器网站性能的平衡等问题，并可猜测网站主要用户的年龄、工作时间等特征。 （ 4） 了解访问网站的用户的地区分布特性，以及网络运营商的份额比例等，第 3 章 系统设计 11 以进一步进行相对应的调整。 （ 5）了解网站用户的来源，即用户是从哪些网站跳转到本站点的，以帮助管理者了解哪些网站为本站的流量作了贡献，进而加大 在其网站上的广告投入。 （ 6）了解网站注册用户中访问资源较多的用户是谁，进而给出一定的奖励措施等。 （ 7）用户对本网站的忠诚度，即同一用户回访网站的次数，如回访次数较多，则反映网站资源对用户的吸引程度较大，反之亦然。 （ 8）其它管理者想要了解的网站运营信息，如 总访问量 、 平均日访量 、 最高日访问资源 、 最高月访问资源 等统计信息。 根据以上特点的分析 ， 以及对资源网 站 管理中的需求了解，并结合相关资料 ，可以提出网站资源访问统计系统的开发需求 ， 即： 通过软件自动记录网站 及 资源的 被访 问 情况 ，以及不同用户对资源的 访问过程和 特点 ， 辅助网站管理员进行数据 统计 和 结果分析 ,找出网站 资源建设 中 存在的问题和不足 ， 了解网站用户的访问喜好和特征 ， 从而指导网站下一步的规划、建设和调整。 网站资源访问统计 系统的建设需求主要包括以下几个方面： 首先， 系统的构架应建立在已有的资源发布系统的基础上，在不破坏和影响原资源发布系统前提下，用外挂程序的方式进行数据收集和统计。 同时，系统应有一定的通用性和可移植性，可以不做或少做改动就用于其它网站的资源访问统计，或者系统本身可以同时支持多个相类似资源网站的访问统计 工作 。 其次， 系统本身的发布应简单，并可以快速的嵌 入到要进行资源访问统计和网站中，用尽量少的工作量完成系统 架构，以适应快速发展的网络应用需求。 第三， 针对资源访问的数据收集和统计分析， 应包括 网站和资源 访问总体情况、 访问的时间特性、地域特性、 用户忠诚度、用户喜好及其它用户特 性，同时应包括资源访问的排名、资源相关性 等统计分析项目。 统设计思想 针对 以上 需求，笔者设计 了 网站资源访问统计系统， 用于 统计访问 网站 各项资源服务的人数，获得用户 地区特点和构成；同时，能够针对所得到的数据进行最近访问用户、资源点击排名、 分类点击排 名同济大学 硕士学位论文 网站资源访问统计系统设计与实现 12 等 统计工作 ，并能按时间长度进行 月报表、日报表、时报表的统计分析 ； 此外，还能统计同一用户访问的资源类别、数量和相关资源等信息，分析用户的喜好 、访问路径 及资源相关性等。 访问 系统 的 架构使用 B/为一个独立的网站系统发布，并用嵌入静态脚本的方式连接到原资源发布 网站 ，以收集资源访问数据。这 样 的构架方式对原资源 发布网站 的改变很小，也不会影响原资源 发布网站 的访问和执行效率 。 同时 ，通过合理的设计数据收集参数，使系统的通用性得到了保证。 访问 系统 能自动将网络资源的访问情况记录在数据库中 ,并对结果进行统计分析和以图 表的方式展现，让管理员对各项资源的被浏览状况有直观的认识，从而发现网站及资源建设中存在的问题和不足，进而对网站导航设计、资源发布、资源组织等提供一定的指导作用， 以指导网站及资源下一步的规划、建设和调整。 则 系统设计的原则主要从安全性、规范性和可扩展性三个方面考虑。 安全性：访问统计系统和原资源网站之间的接口设计上周密、完备，做到对原系统数据没有影响，能保证原系统的数据安全。访问统计系统结