xx论坛日志分析项目

1、项目描述项目描述 通过对xx论坛的apache common日志进行分析，计算论坛关键指标，供运营者进行决策。数据情况数据情况论坛数据组成：每天生成一个数据文件，约150MB每行记录有每行记录有5部分组成：部分组成：1.访问访问ip2.访问时间访问时间3.访问资源访问资源4.访问状态访问状态5.本次流量本次流量关键指标关键指标-1浏览量(pv) 定义：页面浏览量即为PV(Page View)，是指所有用户浏览页面的总和，用户每打开一个页面就被记录1 次。分析：网站总浏览量，可以考核用户对于网站的兴趣，就像收视率对于电视剧一样。但是对于网站运营者来说，更重要的是，每个栏目下的浏览量。计算公式：记

2、录计数关键指标关键指标-2注册用户数 计算公式：对访问member.php?mod=register的url，计数关键指标关键指标-3独立IP数 定义：一天之内，访问网站的不同独立IP 个数加和。其中同一IP无论访问了几个页面，独立IP 数均为1。分析：这是我们最熟悉的一个概念，无论同一个IP上有多少电脑，或者其他用户，都算作一个独立IP。从某种程度上来说，独立IP的多少，是衡量网站推广活动好坏最直接的数据。公式：对ip去重求和关键指标关键指标-4跳出率=跳出数/PV 定义：只浏览了一个页面便离开了网站的访问次数占总的访问次数的百分比，即只浏览了一个页面的访问次数 / 全部的访问次数汇总。分析

3、：跳出率是非常重要的访客黏性指标，它显示了访客对网站的兴趣程度：跳出率越低说明流量质量越好，访客对网站的内容越感兴趣，这些访客越可能是网站的有效用户、忠实用户。该指标也可以衡量网络营销的效果，指出有多少访客被网络营销吸引到宣传产品页或网站上之后，又流失掉了，可以说就是煮熟的鸭子飞了。比如，网站在某媒体上打广告推广，分析从这个推广来源进入的访客指标，其跳出率可以反映出选择这个媒体是否合适，广告语的撰写是否优秀，以及网站入口页的设计是否用户体验良好。计算公式：(1)统计一天内只出现一条访问记录的ip，称为跳出数 (2)跳出数/PV关键指标关键指标-5板块访问量pv定义：一天之内每个板块的访问量分析

4、：板块的链接url：/forum-110-1.html，其中110表示板块的ID，1表示这个板块的第一页，只需要计算url中存在/forum-字符串的数据公式：对板块分组，求每个板块的访问量关键指标关键指标-6板块独立IP访问量定义：一天之内每个板块的独立IP访问量分析：板块的链接url：/forum-110-1.html，其中110表示板块的ID，1表示这个板块的第一页，只需要计算url中存在/forum-字符串的数据，然后对IP进行去重公式：对板块分组，IP去重，求每个板块的独立IP访问量开发步骤开发步骤1.使用flume把日志数据导入到hdfs中2.明细日志使用hbase存储，主键使用i

5、p+date+random3.对数据进行清洗4.使用hive进行数据的多维分析5.把hive分析结果使用sqoop导出到mysql中6.提供图表和表格进行数据展示mysql表结构表结构hbase表结构表结构sqoop1.4.4解压，然后把mysql驱动放在$SQOOP_HOME/lib目录中把hive中的表数据导出到mysql中sqoop export -connect jdbc:mysql:/192.168.1.90:3306/crxy_test -username crxy -password crxy -table bbs_info -fields-terminated-by 001 -export-dir /user/h