基于大数据平台的日志分析系统的设计与实现_第1页
基于大数据平台的日志分析系统的设计与实现_第2页
基于大数据平台的日志分析系统的设计与实现_第3页
基于大数据平台的日志分析系统的设计与实现_第4页
基于大数据平台的日志分析系统的设计与实现_第5页
已阅读5页,还剩43页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

STYLEREF"标题1"7总结与展望[2]。由Apache软件基金会提供。Sqoop导出数据分为全量导出和增量导出两种方式:(1)全量导出是指将Hive表的全部记录导出到Mysql目标表中,因为目标表中不能有与Hive中相同的记录,所以一般只有当目标表为空表时才使用该模式进行首次数据导出首先要把hive中的数据导入到HDFS中:insertoverwritedirectory'/weblog/export/dw_pvs_referer_everyhour'rowformatdelimitedfieldsterminatedby','STOREDAStextfileselectreferer_url,hour,pv_referer_cntfromdw_pvs_referer_everyhourwheredatestr="20240201";然后在mysql中创建目标表:createdatabaseweblog;useweblog;createtabledw_pvs_referer_everyhour(hourvarchar(10),referer_urltext,pv_referer_cntbigint);最后再把hdfs中的数据导入到mysql中:bin/sqoopexport\--connectjdbc:mysql://node-1:3306/weblog\--usernameroot--passwordhadoop\--tabledw_pvs_referer_everyhour\--fields-terminated-by'\001'\--columnsreferer_url,hour,pv_referer_cnt\--export-dir/weblog/export/dw_pvs_referer_everyhour (2)增量导入是将Hive表中的增量记录同步到目标表中: 第一步是在mysql中手动创建目标表:createtabledw_webflow_basic_info(monthstrvarchar(20),daystrvarchar(10),pvbigint,uvbigint,ipbigint,vvbigint) 然后进行全量导出把hive中该表的数据全部导出至mysql中bin/sqoopexport\--connectjdbc:mysql://node-1:3306/weblog\--usernameroot--passwordhadoop\--tabledw_webflow_basic_info\--fields-terminated-by'\001'\--export-dir/user/hive/warehouse/itheima.db/dw_webflow_basic_info/datestr=20240201/ 接着手动模拟在hive新增数据,表示增量数据insertintotabledw_webflow_basic_infopartition(datestr="20240203")values("202302","03",14250,1341,1341,96);5.2.4工作流调度业务目标完成会包含各个不同的步骤步骤之间或者步骤内部往往存在依赖关系,有时甚至需要周期性地重复执行。在这种情况下,建立工作流程是必要的,它可以确保工作按照既定的流程进行。简单的工作流可以用linux的crontab来完成,如果是复杂的工作流可以用azkaban,也是一个开源免费的软件Azkaban具备对数据预处理、数据入库和数据统计计算三个环节进行定时调度的功能:(1)数据预处理模块根据数据处理流程和业务需求,可以分为三个步骤进行执行:数据预处理与清洗、点击流模型中的页面浏览量(pageviews)以及点击流模型中的访问量(visit)。这三个步骤之间存在明确的依赖关系。利用Azkaban进行定时周期性的执行将会非常便捷。同时,将预处理的MapReduce程序打包成jar文件也有助于简化操作 <plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-jar-plugin</artifactId><version>2.4</version><configuration><archive><manifest><addClasspath>true</addClasspath><classpathPrefix>lib/</classpathPrefix><mainClass>cn.itcast.weblog.visit.ClickStreamVisit</mainClass></manifest></archive></configuration></plugin>azkaban调度job设置dependence依赖 #weblog_click_pageviews.jobtype=commanddependencies=weblog_preprocesscommand=/export/servers/hadoop-2.6.0-cdh5.14`.0/bin/hadoopjarweblog_click_pageviews.jar/allen/weblog/out/allen/weblog/pageviews将所有资源压缩成一个zip文件,然后在Azkaban上创建项目并执行。(2)定时调度数据入库时,编写调度脚本的难点在于Shell脚本。然而,通常都有固定的编写模式,大体框架如下:#!/bin/bash#setjavaenv#sethadoopenv#设置一些主类、目录等常量#获取时间信息#结合流程控制(ifelse)在shell主程序中去分别执行shell命令。(3)数据统计计算调度的主要编写内容如下所示:#!/bin/bashHQL="droptabledw_user_dstc_ip_h;createtabledw_user_dstc_ip_h(remote_addrstring,pvsbigint,hourstring);insertintotabledw_user_dstc_ip_hselectremote_addr,count(1)aspvs,concat(month,day,hour)ashourfromods_weblog_detailWheredatestr='20240201'groupbyconcat(month,day,hour),remote_addr;echo$HQL/export/servers/hive/bin/hive-e"$HQL"5.3可视化模块数据可视化又称之为又称之为数据报表展示,属于数据应用中的一种,尽量使用图形表格的形式把分析的结果展示给被人看。数据可视化的大量工作属于前端开发,需要做到的是把数据分析处理结果按照要求传递给可视化的软件。虽然数据可视化看似不如数据分析占据核心位置,但可以更让人更容易的解释确实和统计数据,亦是十分重要的一环。5.3.1数据可视化流程(1)下载Echats,并将其导入到前端开发工具页面,使其能够使用(2)打开idea,作为数据可视化的后端,用maven创建一个web项目,并安装一些依赖和插件<dpendengcies><!--Spring--><dependency><groupId>org.springframework</groupId><artifactId>spring-context</artifactId><version>4.2.4.RELEASE</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-beans</artifactId><version>4.2.4.RELEASE</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-webmvc</artifactId><version>4.2.4.RELEASE</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-jdbc</artifactId><version>4.2.4.RELEASE</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-aspects</artifactId><version>4.2.4.RELEASE</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-jms</artifactId><version>4.2.4.RELEASE</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-context-support</artifactId><version>4.2.4.RELEASE</version></dependency><!--Mybatis--><dependency><groupId>org.mybatis</groupId><artifactId>mybatis</artifactId><version>3.2.8</version></dependency><dependency><groupId>org.mybatis</groupId><artifactId>mybatis-spring</artifactId><version>1.2.2</version></dependency><dependency><groupId>com.github.miemiedev</groupId><artifactId>mybatis-paginator</artifactId><version>1.2.15</version></dependency><!--MySql--><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.32</version></dependency><!--连接池--><dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.0.9</version></dependency><!--JSP相关--><dependency><groupId>jstl</groupId><artifactId>jstl</artifactId><version>1.2</version></dependency><dependency><groupId>javax.servlet</groupId><artifactId>servlet-api</artifactId><version>2.5</version><scope>provided</scope></dependency><dependency><groupId>javax.servlet</groupId><artifactId>jsp-api</artifactId><version>2.0</version><scope>provided</scope></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.4.2</version></dependency></dependencies><build><finalName>${project.artifactId}</finalName><resources><resource><directory>src/main/java</directory><includes><include>**/*.properties</include><include>**/*.xml</include></includes><filtering>false</filtering></resource><resource><directory>src/main/resources</directory><includes><include>**/*.properties</include><include>**/*.xml</include></includes><filtering>false</filtering></resource></resources><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.2</version><configuration><source>1.7</source><target>1.7</target><encoding>UTF-8</encoding></configuration></plugin><!--配置Tomcat插件--><plugin><groupId>org.apache.tomcat.maven</groupId><artifactId>tomcat7-maven-plugin</artifactId><version>2.2</version><configuration><path>/</path><port>8080</port></configuration> </plugin></plugins></build>(3)创建mybatis文件,spring文件,properties文件,创建一个包作为mapper的路径,导入jsp等等,整合好java三大框架,随即会产生一个没有数据的页面 (4)创建一个新的Maven项目,并使用MyBatis逆向工程从数据库中寻找近期一周的PV数量。将查询结果存储在一个List集合中,并遍历该集合以获取查询结果。把日期取出放置在日期数组中,创建携带数据到页面的javaBean,把两个数组设置为其属性,转为json返回6系统部署与测试6.1系统架构部署本节从数据采集模块讲起,详细的介绍了各个环境是如何部署的6.1.1采集环境搭建一台服务器身兼数职压力过大,为降低服务器请求压力,需部署多台服务器。比如专门有一台来采集数据的请求相应。产生的js跨越问题,可以用把采集数据拼接成图片的参数,发送到指定服务器上的方式解决Node01服务器中安装依赖yum-yinstallgccperlpcre-developensslopenssl-devel上传LuaJIT-2.0.4.tar.gz并安装LuaJITtar-zxvfLuaJIT-2.0.4.tar.gz-C/usr/local/src/cd/usr/local/src/LuaJIT-2.0.4/make&&makeinstallPREFIX=/usr/local/luajit设置LuaJIT环境变量vi/etc/profileexportLUAJIT_LIB=/usr/local/luajit/libexportLUAJIT_INC=/usr/local/luajit/include/luajit-2.0source/etc/profile创建modules文件夹,保存nginx依赖的模块mkdir-p/usr/local/nginx/modules上传nginx依赖的模块set-misc-nginx-module-0.29.tar.gzlua-nginx-module-0.10.0.tar.gzngx_devel_kit-0.2.19.tar.gzecho-nginx-module-0.58.tar.gz将需要的软件解压到modules目录下tar-zxvfset-misc-nginx-module-0.29.tar.gz-C/usr/local/nginx/modules/tar-zxvfngx_devel_kit-0.2.19.tar.gz-C/usr/local/nginx/modules/tar-zxvflua-nginx-module-0.10.0.tar.gz-C/usr/local/nginx/modules/tar-zxvfecho-nginx-module-0.58.tar.gz-C/usr/local/nginx/modules/安装openerstar-zxvfopenresty-.tar.gz-C/usr/local/src/cd/usr/local/src/openresty-/./configure--prefix=/usr/local/openresty--with-luajit&&make&&makeinstall安装nginxtar-zxvfnginx-1.8.1.tar.gz-C/usr/local/src/编译nginx并支持其他模块cd/usr/local/src/nginx-1.8.1/./configure--prefix=/usr/local/nginx\--with-ld-opt="-Wl,-rpath,/usr/local/luajit/lib"\--add-module=/usr/local/nginx/modules/ngx_devel_kit-0.2.19\--add-module=/usr/local/nginx/modules/lua-nginx-module-0.10.0\--add-module=/usr/local/nginx/modules/set-misc-nginx-module-0.29\--add-module=/usr/local/nginx/modules/echo-nginx-module-0.58make&&makeinstallnode01服务器的apcheserveryuminstall-yhttpd从无到有采集到数据后,接下来,我们需要使用Flume将数据迁徙到HDFS。首先在服务器上设置Agent实例,并对配置文件进行相应调整,然后激活Agent实例,使其开始工作,并将采集的数据集中传输至HDFS的特定文件夹内。6.1.2数仓环境搭建 Hadoop集群搭建:配置好linux虚拟机的网络,并对配置文件进行适当的修改上传并解压jdk,将java添加到环境变量将Hadoop上传至服务器并解压,对配置文进行编辑,更新slaves文件,并设置环境变量。Hive搭建:上传并解压hive文件安装mysql数据库对hive文件进行配置6.1.3可视化环境配置本系统的后端是一个存储的JavaEE项目,基于spring框架整合架构,使用maven的tomcat插件启动本系统的前端需要Echarts实现,相将其的js标签引入到前端开发工具的js页面中<!DOCTYPEhtml><html><head><metacharset="utf-8"><scriptsrc="echarts.min.js"></script></head></html>为ECharts准备一个具备高宽的DOM容器:<body> <divid="main"style="width:600px;height:400px;"></div></body>之后再选择容器使用EChartsapi创建ECharts实例,并根据业务需求去Echarts官网寻找对应的图形样式,复制其option,将其设置到创建的ECharts实例中6.2系统测试该节内容主要涉及系统测试的详细描述。全面对系统功能进行了彻底的测试,汇报并分析了测试结果,以评定系统是否满足业务需求。此外,也致力于识别潜在的错误和缺陷,并进行修正,以确保系统的高质量标准。6.2.1功能测试在对系统所用技术进行全面的分析与实现,并按照流程推动搭建后,基于大数据平台的网站日志分析系统已基本完成。只需进行测试,查漏补缺,便可认定平台搭建成功。各项测试如下所示:测试内容测试结果备注虚拟机是否启动正常正常启动并运行可通外网有一定的延迟端口占用代码写错了有一定的延迟Flume服务是否启动正常正常启动并运行mysql是否启动正常正常启动并运行HDFS是否启动正常正常启动并运行nginx是否启动正常经处理后启动正常idea是否启动运行有一些地方报错Hive是否正常启动启动正常ECharts是否正常正常的展示了图表界面经测试表面,用于页面埋点的nginx因端口占用出现了一点问题,数据可视化后端的idea代码有些问题,除此之外,虚拟机可以正常开启并联网使用,用于数据传递的Flume,数据存储的HDFS,数据分析的hive和数据可视化前端的ECharts,以及用于工作流调度的技术软件均可正常使用。但是由于内存过大,本人电脑老旧等原因,系统有一定的延迟。6.2.2测试结果与分析 在大数据平台的基础之上,网站日志系统的所有业务流程顺畅运行,达成了既定的业务性能标准和设计规格。严重BUG一般BUG低级BUG发现0个发现1个发现3个修复0个修复1个修复3个 问题主要是因为系统启动导致的,由于端口占用等问题,有些程序没有及时启动,导致后续出错。除此之外,还有一些问题是因为书写代码时不小心写错,延迟则是单纯的性能问题。总的来说,问题已基本解决6.2.3测试可视化效果图图6.1数据图6.1数据可视化效果图7总结与展望7.1工作总结随着科技的进步和生活水平的提高,我国的网民数量飞涨,随之带来的流量也成爆炸式增长。但并不是所有的流量都是有价值的,一小部分有高质量的流量,可能胜过一大片有用的流量,而如何将低质量的流量转换成高质量的流量,并成为了一个极为现实且紧要的问题。所以,在这种大环境下,本文对基于大数据平台的网站日志进行了深入的分析,并使之实现,具体内容可以从以下这几个方面来概括:(1)基于大数据平台的网站日志分析系统所需要的硬件配置不过是普通的windows10家庭版,软件方面的主要技术则均为hive,HDFS这些免费开源的软件,有效地降低了成本,维护起来也更为方便,可以长期的使用,十分适合下沉市场。(2)基于大数据平台的网站日志分析系统将不同的流量进行了合理的分类,例如广告流量,直接访问流量等等,让系统管理员一目了然,体会到不同流量的不同,而不是片面的追求量大。(3)通过基于大数据平台的网站日志分析对流量的分析分析后,能够较为清晰地认识到哪些流量存在不足,对其进行针对性的改善,提高转化率。(4)基于大数据平台的网站日志分析系统共分为数据采集,数据预处理,数据入库,数据分析,数据可视化这个步骤,层层递进,让信息采集清晰,页面布局合理,网站导航清晰,转换路径靠谱,可以有效地提高转换率。7.2工作展望本论文基于大数据平台设计了一个网站日志系统,成功地做到了数据采集,数据分析,数据入库,数据可视化等功能,但由于这样那样的原因,总得来说,还是有很多不足之处,可优化的地方不少,进步空间巨大。我认真思考了一下,认为至少可以从这几个方面加以改进:(1)在数据抓取方面,用于埋点的JavaScript和html页面写死在了一起,耦合性有些过强了,虽然这样可以促进模块间关联程度的度量,加强依赖关系,使控制、调用、数据传递更加方便,但是另一方面,也使得模块间的独立性变差,不适合后期的维护。虽然设法收集数据的js提取出来,变成一个单独的文件,通过script标签的src属性引入,缓解了这种问题,但还有待提高。(2)在系统具体的允许过程中,由于本人能力不足,错误总是难免的,且由于制作项目时操作不太规范,并没有技术文档和注释这一类东西,导致维护起来难度极高,甚至不需要主动修改就可能突然报错,可移植性更是缺乏。再今后的学习中应努力提高技术水平,写出可读性强的代码,并规范操作,方便查漏补缺。(3)日志数据中包含了用户的隐私信息,如IP地址、用户代理等。在分析过程中,如何保证用户隐私的安全,是一个亟待解决的问题。但就目前来说,本系统并没有什么较好的处理方式,对其可能导致的不良后果也没有补救措施,应对其进行深入研究 参考文献王远瑞.基于形变配准的交互式靶区勾画系统的设计与实现[D].中山大学,2014.赵研.

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论