基于JavaEE技术的网站流量统计——毕业论文

聊城大学本科毕业设计本科毕业论文题 目 基于JavaEE技术的网站流量统计 专 业 计算机学院软件工程 作者姓名 学 号 单 位 计算机学院 指导教师 年 月 教务处编25目 录前 言1第一章 系统分析11.1可行性分析21.2 开发中用到的工具介绍21.2.1 Java开发工具（eclipse）21.2.2数据库 sqlserver21.2.3服务器（Tomcat）21.2.4数据库辅助工具MyBatis31.3 需求分析41.4 开发中运用到的技术介绍6第二章 模块设计62.1栏目分类模块62.2数据库及表结构设计62.3 PV展现模块122.4 UV展现模块122.5 IP展现模块122.6 综合展现模块12第三章 实现123.1 获取今日浏览量（pv,uv,ip三种数量）123.2 获取本月浏览量143.3 获取近30天的浏览量153.4 当前年的浏览量173.5 获取栏目访问量183.6 获取文章访问量19第四章 代码测试204.1 服务测试204.1.1服务调用的三层的逻辑测试204.1.2 impl层数据库操作测试21第五章 项目总结215.1 服务编写215.1.1对多个记录表的查询与修改215.2 界面编写215.3总体串联21结束语22参考文献23摘 要对网站访问信息进行研究，得到网站访问量统计，这些网站应该在你能获取访问数据的范围内。这个研究目的是为了帮助网站管理员能对网站有更好的管理和认识，来了解当前网站有没有达到用这个预期想要的效果。它的主要作用是对当前网站产生的影响和布局利弊进行分析，这个研究主要用了SqlServer来进行访问数据的保存，Java来进行服务的编写，JSP对界面进行编写，MyBatis来将数据库和Java进行字段的对接和用Spring MVC来对页面和服务的结合。其中分析的数据来源于对访问次网站的访问者的记录，再依次通过时间网站栏目进行数据的分析，最终得到大部门访问者对当前访问网站的趋向性，并且将结果根据IP,UV,PV进行分类显示。因此进行这个研究是很有必要的。关键词：网站访问量；IP PV（page view）：页面浏览量，网页浏览数是评价网站流量最常用的指标之一，简称为PV；UV UV（unique visitor）：是指通过互联网访问、浏览这个网页的人。；PV 独立IP：独立访客。指访问某个站点或点击某条新闻的不同IP地址的人数，在同一天的00:00-24:00内，独立IP只记录第一次进入网站的具有独立IP的访问者，假如一台电脑关机了，30分钟后重启，再次访问这个站那就再计算一次ip，在同一天内再次访问该网站则不计数。AbstractThe website visit information is studied, and the web site traffic statistics are obtained. The purpose of this study is to help webmasters to better manage the site and understanding to understand the current site has not achieved the desired effect. Its main role is the impact on the current site and layout of the advantages and disadvantages of analysis, this study mainly used SqlServer to save the data access, Java prepared to carry out services, JSP the interface is written to the database and the MyBatis Java field of docking and combined with Spring MVC on the page and service. The analysis of the data recorded in the source of access time visitors to the site, and then followed by the time of website data were analyzed, finally get the big trend of the current Department of visitors visit the site, and according to the results of IP, UV, PV classification. Therefore, it is necessary to do this research.Key words: website traffic; IP; UV; PV基于JavaEE技术的网站流量统计前 言课题研究背景与意义本课题的研究主要是因为随着网络技术的发展和当前人类生活方式的改变，在网络上查找信息和交流成为了一种主流的信息方式，习惯于这种方式之后就会产生长期的依赖，所以网站的存在是必然的，当每个人都生活在网络时代，那要求必定会产生更高的要求，所以存在之后又会存在一些疑虑，尤其是因为不知道当前网站是否产生了它的作用和影响，所以网站的访问信息是很重要的，通过网站的访问信息进行分析就会得到各个时间段的访问者的各种特征的信息，这样一来就方便了当前网站的管理员来管理当前网站了，通过查看访问该网站的访问ip，pv，uv来分析当前网站的影响范围和程度，网站管理员也可以根据访问的栏目次数来得到页面栏目规划是否合理，以此来改善网站的布局。这样可以起到大大提高网站作用，这也是这个研究的主要目的。所以，为了对网站访问进行有效的管理，这个研究是起到有效的作用的。研究现状当前在这个方面的研究做的最全面的是百度流量统计，它的范围是所有中文网站，称为最大的中文网站分析工具，是一款免费的专业网站流量分析工具。它提供了几十种图形化报告在我看来，对于大部分的网站管理者来说，平时最经常用到的图表表示方法就足够起到这个作用，我的研究就是以折线图展示，辅助以数据直接的数据视图来展现网站流量的统计结果。因此，我的研究正好达成了完成用户所需要的，以最简单明了的方式展现，这就足够了。第一章 系统分析1.1可行性分析首先，在这个网络急速发展的时代，网站的重要性就是我研究的主题的重要性，当网站在日常生活中是不可少的时候，网站所产生的付出回报率相对应的就显得尤为重要，而我研究的这个主题就是解决这个问题，根据分析这些网站访问量的分析就是在帮助改善访问者的网站访问体验。我在选这个研究主题的时候是现在存在的网站访问量统计系统都显得太大了，也就是太庞大了，所以我想做一个能为大部分人实现这个目标而又不复杂庞大的系统，所以我选择了这个研究方向。在技术方面，现在有很多方式都可以实现，在数据库方面我选择了SqlServer,在编程语言方面我选择了java，在页面展示方面我选择了jsp，当然还有很多可以实现的技术，所以在技术可行性方面是完全可行的。1.2 开发中用到的工具介绍1.2.1 Java开发工具（eclipse）Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具 Java Development Kit，JDK）。1.2.2数据库 sqlserverSQL Server 是一个关系数据库管理系统。它最初是由Microsoft Sybase 和Ashton-Tate三家公司共同开发的，于1988 年推出了第一个OS/2 版本。在Windows NT 推出后，Microsoft与Sybase 在SQL Server 的开发上就分道扬镳了，Microsoft 将SQL Server 移植到Windows NT系统上，专注于开发推广SQL Server 的Windows NT 版本。Sybase 则较专注于SQL Server在UNIX 操作系统上的应用。1.2.3服务器（Tomcat）Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置好Apache 服务器，可利用它响应HTML（标准通用标记语言下的一个应用）页面的访问请求。实际上Tomcat 部分是Apache 服务器的扩展，但它是独立运行的，所以当你运行tomcat 时，它实际上作为一个与Apache 独立的进程单独运行的。1.2.4数据库辅助工具MyBatisMyBatis 本是Apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis 。2013年11月迁移到Github。MyBatis 是支持普通 SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis 消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis 使用简单的 XML或注解用于配置和原始映射，将接口和 Java 的POJOs（Plain Old Java Objects，普通的 Java对象）映射成数据库中的记录。每个MyBatis应用程序主要都是使用SqlSessionFactory实例的，一个SqlSessionFactory实例可以通过SqlSessionFactoryBuilder获得。SqlSessionFactoryBuilder可以从一个xml配置文件或者一个预定义的配置类的实例获得。用xml文件构建SqlSessionFactory实例是非常简单的事情。推荐在这个配置中使用类路径资源（classpath resource)，但你可以使用任何Reader实例，包括用文件路径或file:/开头的url创建的实例。MyBatis有一个实用类-Resources，它有很多方法，可以方便地从类路径及其它位置加载资源。1.3 需求分析 在分析需求的时候，我首先收集了一些网上的资料，关于网站管理员和网站的受益者所想让在网络上运行的网站达到的目标，以及想根据现在所做的研究得到什么，才开始了需求分析，我选择的这个研究主题，主要是要求实现对访问网站的数据进行分析来得到某个时间段的此网站的访问IP地址，访问网站的独立访问者UV，和网站每个页面的浏览量PV，这就是需求者最主要的要求，而我们做这些数据分析的时候，输入的数据是需要根据网站访问时在数据库里记录的网站访问者的信息和cookie信息的，最后输出的就是用这个系统的用户所想要的网站在一定的时间段内的PV,UV,IP等数据，并且为了清晰展示输出结果，把结果数据做成折线图来展示，网站可以根据栏目分类来查看不同栏目的访问信息。1.4 开发中运用到的技术介绍开发中主要用到这三种技术JAVA,JSP ,SpringMVC，下面依次来介绍一下这些技术。首先，Java是一门面向对象的编程语言，是从C+吸收了很多优点，并摒弃了一些缺点，因此拥有易用和功能强大两个特征,是静态面向对象编程语言的代表。并且Java的与平台无关性和垃圾回收机制非常的有效和受用。其次,JSP中文名是java服务器页面，其根本是一个简化的Servlet设计。它是在传统的网页HTML（标准通用标记语言的子集）文件(*.htm,*.Html)中插入Java程序段 (Scriptlet)和JSP标记(tag)，从而形成JSP文件，后缀名为(*.jsp)。 用JSP开发的Web应用是跨平台的，既能在Linux下运行，也能在其他操作系统上运行，JSP是在服务器端执行的。通常返回给客户端的就是一个HTML文本，因此客户端只要有浏览器就能浏览。最后，Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块。使用 Spring 可插入的 MVC 架构，从而在使用Spring进行WEB开发时，可以选择使用Spring的SpringMVC框架或集成其他MVC开发框架，如Struts1，Struts2等。第二章 模块设计2.1栏目分类模块将网站访问统计按时间段来进行分类，也可以分成显示页的类别和栏目分级显示。按时间段分类包括：今日，当前月，当前年，近30天。按显示页进行分类包括：文章访问量。按栏目分级包括：一级栏目及其下级栏目和链接页。这是根据需求分析后得到的模块分类方式，这样简单有效的获取浏览量的动态。2.2数据库及表结构设计在SqlServer上新建一个数据库名:cmsv5在cmsv5数据库里新建6个表，下面介绍这6个表和表结构的设计：1、DocumentBaseInfo表：CREATE TABLE dbo.DocumentBaseInfo(GUID bigint NOT NULL,/唯一标识siteGUID int NULL,/站点唯一标识columnGUID int NULL,/栏目唯一标识columnName nvarchar(100) NULL,/栏目名称columnPath nvarchar(200) NULL,/栏目路径title nvarchar(200) NULL,/文章标题subtitle nvarchar(200) NULL,/文章小标题infoOrigion nvarchar(400) NULL,/信息来源fileURL varchar(200) NULL,/附件urlpublishDate datetime NULL,/发布时间isOverdue nchar(10) NULL,/是否过期overdueDate datetime NULL,/过期日期isTop char(10) NULL,/是否置顶isComment nchar(10) NULL,/是否评论imageUrl nvarchar(100) NULL,/图片urlsourceType nchar(10) NULL,/类型creator nvarchar(50) NULL,/创建者creatorID bigint NULL,/创建者idcreateTime datetime NULL,/ 创建时间updateTime datetime NULL,/更新时间status tinyint NULL,/状态flowStatus tinyint NULL,/流程状态preimageurl nvarchar(100) NULL,/之前图片urlcwDate datetime NULL,/时间flag int NULL,/标识fenlei varchar(50) NULL,/分类isUsable char(1) NULL,/是否可用ordernum bigint NULL,/排序号sourceGuid bigint NULL,/来源guidsummary nvarchar(1000) NULL,/摘要ZYX int NULL,/keywords nvarchar(200) NULL,/关键字mediaUrl nvarchar(500) NULL,/媒体urlbmsummary nvarchar(1000) NULL,/wjzh nvarchar(500) NULL,/zfjg nvarchar(500) NULL,/visitcount int NULL,/filecode nvarchar(200) NULL,/isUpdate char(1) NULL 2、siteColumn表CREATE TABLE dbo.siteColumn(GUID int NOT NULL,/ 唯一标识siteGUID int NULL,/站点唯一标识parentGUID int NULL,/父栏目唯一标识columnCode int NULL,/栏目代码title nvarchar(100) NULL,/文章标题documentType char(1) NULL,/文件类型columnType char(1) NULL,/栏目类型FormID varchar(20) NULL,/表单idPageID varchar(20) NULL,/页面idFormTable varchar(50) NULL,/表单表格orderNum int NULL,/排序号path nvarchar(200) NULL,/路径/namePath nvarchar(400) NULL,/路径名称columnURL nvarchar(400) NULL,/栏目urlorderCondition varchar(50) NULL,/排序条件status char(1) NULL,/状态isAudit char(1) NULL,/是否审核isNav char(1) NULL,/是否有导航isWap char(1) NULL,/是否是wapisPublishType char(1) NULL,/发布类型isComment char(1) NULL,/是否有评论urgentFlag tinyint NULL,/紧急标识creator varchar(100) NULL,/创建人creatorID char(36) NULL,/创建idcreateTime datetime NULL,/创建时间updateTime datetime NULL,/更新时间isHasChild char(1) NULL,/是否是哈希孩子isInput char(1) NULL,/是否是inpu方式zwgk_deptCode varchar(50) NULL,/政务公开 部门标识zwgk_columnCode varchar(50) NULL,/ 政务公开 栏目标识preguid int NULL,/之间guidnewguid int NULL,/新的guidpreparentguid int NULL,/之前父guidprepath varchar(200) NULL/之前路径3、SiteInfo表：CREATE TABLE dbo.SiteInfo(GUID int NOT NULL,/ 唯一标识title varchar(50) NULL,/标题domainName varchar(50) NULL,/域名siteDir varchar(15) NULL,/站点路径fileName varchar(20) NULL,/文件名称publishType char(1) NULL,/发布类型publishPriority tinyint NULL,/优先发布orderNum int NULL,/排序号distributeID bigint NULL,/分配iddistributeType tinyint NULL,/分配类型distributeAddress varchar(100) NULL,/分配地址isAudit char(1) NULL,/ 是否审核isIndependent char(1) NULL,/是否独立成站monitorExtUrl char(1) NULL,/监测status tinyint NULL,/状态creator varchar(100) NULL,/创建人creatorID char(36) NULL,/创建idcreateTime datetime NULL,/创建时间updateTime datetime NULL,/更新时间LinkMan varchar(200) NULL,/链接人员LinkTel varchar(15) NULL,/链接电话SiteNote varchar(2000) NULL/站点4、visitInfoHistory表：CREATE TABLE dbo.VisitInfoHistory(ID bigint NOT NULL,/idIP varchar(50) NULL,/ipBrowserTime datetime NULL,/ 浏览时间objectGuid varchar(50) NULL,/对象唯一标识objectType int NULL,/对象类型userGuid varchar(100) NULL,/用户唯一标识BrowseYear smallint NULL,/ 浏览年BrowseMonth tinyint NULL,/ 浏览月BrowseDay tinyint NULL,/ 浏览天BrowseHour tinyint NULL,/ 浏览小时BrowseMin tinyint NULL,/ 浏览分钟BrowseSecond tinyint NULL,/ 浏览秒BrowseType char(1) NULL,/浏览类型objectPath varchar(100) NULL,/对象路径Flag char(1) NULL,/标识siteGuid varchar(50) NULL/站点唯一标识5、visitInfoTj表：CREATE TABLE dbo.VisitInfoTj(guid bigint NOT NULL,/ 唯一标识siteGuid int NULL,/站点唯一标识objectGuid varchar(50) NULL,/对象唯一标识objectType int NULL,/对象类型BrowseYear smallint NULL,/ 浏览年BrowseMonth tinyint NULL,/ 浏览月BrowseDay tinyint NULL,/ 浏览日BrowseHour tinyint NULL,/ 浏览小时BrowseDate date NULL,/ 浏览日期TjType int NULL,/统计类型TjCnt bigint NULL/统计数量6、visitInfo表：CREATE TABLE dbo.VisitInfo(ID bigint NOT NULL,/idIP varchar(50) NULL,/ipBrowserTime datetime NULL,/ 浏览时间objectGuid varchar(50) NULL,/对象唯一标识objectType int NULL,/对象类型userGuid varchar(100) NULL,/用户唯一标识BrowseYear smallint NULL,/ 浏览年BrowseMonth tinyint NULL,/ 浏览月BrowseDay tinyint NULL,/ 浏览天BrowseHour tinyint NULL,/ 浏览小时BrowseMin tinyint NULL,/ 浏览分钟BrowseSecond tinyint NULL,/ 浏览秒BrowseType char(1) NULL,/浏览类型objectPath varchar(100) NULL,/对象路径Flag char(1) NULL,/标识siteGuid varchar(50) NULL/站点唯一标识2.3 PV展现模块Pv的展现也就是将服务编写的根据各种时间等条件获得的数据来展现在界面上的这一系列动作，具体来说就是根据导航菜单选择日期或者根据选择的日期进行分析或者选时间以表格的数字化数据和折线图的形式将选择的这个时间段的pv显示出来。2.4 UV展现模块Uv的展现也就是将服务编写的根据各种时间等条件获得的数据来展现在界面上的这一系列动作，具体来说就是根据导航菜单选择日期或者根据选择的日期进行分析或者选时间以表格的数字化数据和折线图的形式将选择的这个时间段的uv显示出来。2.5 IP展现模块Ip的展现也就是将服务编写的根据各种时间等条件获得的数据来展现在界面上的这一系列动作，具体来说就是根据导航菜单选择日期或者根据选择的日期进行分析或者选时间以表格的数字化数据和折线图的形式将选择的这个时间段的ip显示出来。2.6 综合展现模块根据导航菜单选择日期或者根据选择的日期进行分析或者选时间以表格的数字化数据和折线图的形式将选择的这个时间段的pv、uv、ip显示出来。第三章 实现3.1 获取今日浏览量（pv,uv,ip三种数量）/ 获取指定日的访问量String name = visitInfoView.getName();/ X坐标，显示名int value = visitInfoView.getValue();/ Y坐标，显示值int tjtype = visitInfoView.getTjtype();/ 分类 0:PV 1:UV 2:IP 3:IP总数/ 在显示的范围内if (!dayMap.containsKey(name)continue;int index = dayMap.get(name);/ 游标if (tjtype = 0)pvArrayindex = value;pvCount += value;else if (tjtype = 1)uvArrayindex = value;uvCount += value;else if(StringUtils.isNotEmpty(objectType)& tjtype = 2)ipArrayindex = value;ipCount += value;else if (tjtype = 3)ipArrayindex = value;ipCount += value;3.2 获取本月浏览量（pv,uv,ip三种数量）if (!CollectionUtils.isEmpty(thisMonthView) for (VisitInfoView visitInfoView : thisMonthView)String name = visitInfoView.getName();/ X坐标，显示名int value = visitInfoView.getValue();/ Y坐标，显示值int tjtype = visitInfoView.getTjtype();/ 分类 0:PV 1:UV 2:IP/ 在显示的范围内if (!monthMap.containsKey(name) continue;int index = monthMap.get(name);/ 游标if (tjtype = 0)pvArrayindex = value;pvCount += value;else if (tjtype = 1)uvArrayindex = value;uvCount += value;else if(StringUtils.isNotEmpty(objectType)& tjtype = 2)ipArrayindex = value;ipCount += value;else if (tjtype = 3)ipArrayindex = value;ipCount += value;3.3 获取近30天的浏览量（pv,uv,ip三种数量）String name = visitInfoView.getName();/ X坐标，显示名int value = visitInfoView.getValue();/ Y坐标，显示值int tjtype = visitInfoView.getTjtype();/ 分类 0:PV 1:UV 2:IP/ 在显示的范围内if (!dayMap.containsKey(name)continue;int index = dayMap.get(name);/ 游标if (tjtype = 0)pvArrayindex = value;else if (tjtype = 1)uvArrayindex = value;else if(StringUtils.isNotEmpty(objectType)& tjtype = 2) ipArrayindex = value; else if (tjtype = 3) ipArrayindex = value; 3.4 当前年的浏览量（pv,uv,ip三种数量）String name = visitInfoView.getName();/ X坐标，显示名int value = visitInfoView.getValue();/ Y坐标，显示值int tjtype = visitInfoView.getTjtype();/ 分类 0:PV 1:UV 2:IP/ 在显示的范围内if (!yearMap.containsKey(name)continue;int index = yearMap.get(name);/ 游标if (tjtype = 0)pvArrayindex = value;pvCount += value;else if (tjtype = 1)uvArrayindex = value;uvCount += value;else if(StringUtils.isNotEmpty(objectType)& tjtype = 2) ipArrayindex = value; ipCount += value;else if (tjtype = 3)ipArrayindex = value;ipCount += value;3.5 获取栏目访问量（pv,uv,ip三种数量）/ 获取指定日的栏目访问量List columnViewList = this.visitInfoTjDao.getColumnView(siteGuid, nodeid, selectStartdate,selectEnddate);/ 获取指定日的内容访问量List columnContentViewList = this.visitInfoTjDao.getColumnContentView(siteGuid, nodeid, selectStartdate,selectEnddate);/ 获取全部指定日的访问量List allColumnViewList = this.visitInfoTjDao.getAllColumnView(siteGuid, selectStartdate, selectEnddate);3.6 获取文章访问量（pv,uv,ip三种数量）/ 获取统计信息int pvCount = contentVisitInfoView.getValue();/ 文章标题String titleName = contentVisitInfoView.getTitle();/ 文章发布时间Date time = contentVisitInfoView.getPublishdate();String publishDate = DateHelper.getFormatDate(time, yyyy年MM月dd日 HH:mm:ss).toString();arr.add(0, pvCount);arr.add(1, titleName);arr.add(2, publishDate);arrList.add(index+, arr);第四章 代码测试再进行正式的测试用到的方法之前，作为程序的开发者来说，我将根据这个研究的流程来进行程序的运行4.1 服务测试4.1.1服务调用的三层的逻辑测试1、白盒测试1语句覆盖 选择语句覆盖是因为编写的这个数据操作是服务只需要根据时间来进行方法的调用，所以进行时间条件的修改来测试语句是否都覆盖了就完成语句覆盖了。我选择的参数是测试的当天，当月，当年，近30天这些时间。1.2判定覆盖 根据时间的不同就完成了在server调用三层的判定覆盖了。2、错误推测在测试的时候我觉得在取得最终数据的来源可能会有错误，因为取得数据种类多，最终取到的是三种结果，分别是PV、UV、IP，所以要重新检查代码的时候检查一下每一个追中结果的每一步取数据的结果，加断点追踪一下，就完成了错误推测。3.灰盒测试（是介于白盒测试和黑盒测试之间的一种测试方法）由于灰盒测试主要的关注点在输出对于输入的准确性，所以我测试的时候主要是针对年份来进行输入，根据数据库直接用查询语句获取的数据来判断程序的对应条件的输出是否正确无误，并且也根据文章来进行输入，还有根据栏目分类来进行输入，分别测试了输出的正确性和准确性。4.1.2 impl层数据库操作测试 通过对各个service的方法的调用，查看Impl层的各个SQL语句，一一查看每条语句的查询结果是否正确，以此来完成对impl层的对数据库操作的测试。第五章 项目总结5.1 服务编写5.1.1对多个记录表的查询与修改首先查询cookie记录的访问数据，将查询出来的数据进行复制并填充到另一张表结构完全相同的表里，这样更加简单的进行查询和整合，再将查询结果根据时间或者分类来展示出来，这样让网站管理员可以更加方便有效的管理网站。5.2 界面编写界面的编