基于互联网APP行业的用户行为数据分析与挖掘[第二版]

毕业论文 设计 题题 目目 基于互联网基于互联网 APP 行业的用户行为数据分析与挖掘行业的用户行为数据分析与挖掘 系系 信息工程系信息工程系 专业 年级专业 年级 计算机网络计算机网络 12 级级 学生姓名学生姓名 赵伯韬赵伯韬 指导教师指导教师 康健康健 职称职称 副教授副教授 论文字数论文字数 9956 完成日期完成日期 2015 年年 4 月月 30 日日 唐山职业技术学院毕业设计任务书 信息工程信息工程 系系 计算机网络计算机网络 专业专业 一一 班班 学生姓名学生姓名 赵伯韬赵伯韬 学号学号 一 一 毕业设计 论文 题目毕业设计 论文 题目 基于互联网基于互联网 APP 行业的用户行为数据分析与挖掘行业的用户行为数据分析与挖掘 任务进行的日期 任务进行的日期 20142014 年年 1212 月月 1010 日起日起 至至 20152015 年年 4 4 月月 3030 日日 三 任务书的内容三 任务书的内容 基于互联网 APP 行业的用户行为数据分析与挖掘 一 选题的目的和意义 一 选题的目的和意义 随着近年来国内互联网 APP 的强势发展与三网融合的态势进展 互联网 APP 行业的市场 竞争愈发激烈 各运营商基于用户习惯产品的竞争将是服务的竞争 由于互联网 APP 业务的 多样性 国内运营商逐步从 产品独立运营 向以 客户为中心 的融合运营模式转变 新的商业模式 和日趋激烈的竞争环境对电信增值业务运营管理提出了新的要求和挑战 二 设计内容 二 设计内容 首先探讨了用户行为分析及其方法 深入学习各种数据挖掘的算法与软件的基础上构建用户行为分 析与业务匹配模型 然后在对移动互联网的数据分析理解之后进行数据收集 对于获取到的数据 按照 ETL Extraction Transformation Loading 对七千万条数据进行清理 整合 构建数据库 通过数据挖掘 的相关工具对用户行为分别在热点时间 用户兴趣 匹配业务等角度采用聚类 文本挖掘 关联分析等 方法进行知识挖掘 从统计数据中发现现有营销策略的问题 给运营商提供新的思路并为精准营销提供 数据支撑 三 主要参考资料 三 主要参考资料 1 王禹媚 田俊维移动互联网产业发展国际论坛会议纪要 2013 中国国际工业博览会论坛上海 2014 年 11 月 10 日 2 宴宗明基于用户行为分析的移动通信增值业务市场策略研究长沙 2013 3 杰斌 数据挖掘与 OLAP理论与务实 北京 清华大学出版社 20013 四 时间进度要求 四 时间进度要求 2013 年 12 月 2014 年 3 月 毕业设计调查 2014 年 4 月 2014 年 8 月 毕业设计初步设计 2014 年 9 月 2015 年 1 月 毕业设计详细设计 2015 年 2 月 2015 年 5 月 准备毕业答辩 指导教师签名 指导教师签名 20152015 年年 5 5 月月 1616 日日 教研室主任签名 教研室主任签名 年年 月月 日日 学生签名 学生签名 年年 月月 日日 唐山职业技术学院毕业设计开题报告 2014 年 12 月 20 日 选 题基于互联网 APP 行业的用户行为数据分析与挖掘 系信息工程专业年级12 计算机网络 学生姓名赵伯韬学生学号 本选题的意义及目前研究状况 1 设计目的和意义 随着近年来国内互联网 APP 的强势发展与三网融合的态势进展 互联网 APP 行业市场竞 争愈发激烈 各运营商基于用户习惯产品的竞争将是服务的竞争 由于互联网 APP 业务的多 样性 国内运营商逐步从 产品独立运营 向以 客户为中心 的融合运营模式转变 新的 商业模式和日趋激烈的竞争环境对电信增值业务运营管理提出了新的要求和挑战 2 目前该选题研究现状 文献综述 20 世纪 70 年代以来 互联网这一深入影响全球人类生活的技术得到了急速的发 展 进入 21 世纪 随着移动互联网 物联网概念的深入 互联网的发展进入了新的发展时期 根据摩根士坦利 Morgan Stanley 的报告 全球移动互联网用户已经超越了桌面互联网用 户 未来基于 互联网 移动互联网 的泛在物联网成为主流趋势 在摩根斯坦利的报告中 估计 全球 3G 用户普及率已经达到 20 跨过了 高科技的裂谷 有可能迎来新的发展高 峰期用户发展趋势的估计事实上 在 2013 年 1 月 10 日在上海举行的 2013 中国国际工业博 览会论坛中 移动互联产业发展国际论坛会议的资料显示 2013 年 6 月 全球 3G 用户达 到 17 57 亿 占全球移动用户的 35 3 3G 用户占新增移动用户的 42 发达国家 3G 用户 渗透率已达到 60 左右 发展中国家由于起步较晚 3G 渗透率一般低于 50 我国移动互 联网收入规模增速迅猛 03 14 年复合增长率达到 74 移动互联网 2 用户的总数逐年攀 升 增速远超互联网用户的总体增长率 2013 年 9 月 全国 3G 用户 9500 万以上 3G 用户 渗透率达 4 2 新增 3G 用户占总体移动新增用户的 25 3 预计 1 年渗透率有望突破 10 群体传播效应也将逐步显著起来 3G 在移动用户中的渗透速度也将明显加快 设计内容 内容 结构框架以及要突破的难点 深入学习各种数据挖掘的算法与软件的基础上构建用户行为分析与业务匹配模型 然后 在对移动互联网的数据分析理解之后进行数据收集 对于获取到的数据 按照 ETL 对七千 万条数据进行清理 整合 构建数据库 通过数据挖掘的相关工具对用户行为分别在热点时 间 用户兴趣 匹配业务等角度采用聚类 文本挖掘 关联分析等方法进行知识挖掘 从统 计数据中发现现有营销策略的问题 给运营商提供新的思路并为精准营销提供数据支撑 设计方法 手段 研究学习用户行为数据分析的系列理论 结合移动互联业务的特点 采集有效数据并形 成一套移动数据业务的个性化推荐系统 深入学习各种数据挖掘的算法与软件的基础上构建用户行为分析与业务匹配模型 然后 在对移动互联网的数据分析理解之后进行数据收集 对于获取到的数据 按照 ETL Extraction Transformation Loading 对七千万条数据进行清理 整合 构建数据 库 通过数据挖掘的相关工具对用户行为分别在热点时间 用户兴趣 匹配业务等角度采用 聚类 文本挖掘 关联分析等方法进行知识挖掘 从统计数据中发现现有营销策略的问题 给运营商提供新的思路并为精准营销提供数据支撑 计划 研究学习用户行为数据分析的系列理论 结合移动互联业务的特点 采集有效数据并形 成一套移动数据业务的个性化推荐系统 文章框架如下 第一部分为绪论 对用户行为数据 分析在移动互联迅猛发展背景下的研究的目的与意义进行阐述 并介绍业务推荐 精准营销 对移动互联业务发展的意义 在第二部分详细阐述用户行为数据分析的系列理论 包括用户 行为数据分析的概念 特点 作用 其在国内外发展的概况和经验 流程 常用分析方法介 绍和特点分析 进一步阐述其理论研究和应用现状 为本文的研究提供理论依据和参考 参考文献 1 王禹媚 田俊维移动互联网产业发展国际论坛会议纪要 2013 中国国际工业博览会论坛上海 2014 年 11 月 10 日 2 宴宗明基于用户行为分析的移动通信增值业务市场策略研究长沙 2013 3 杰斌 数据挖掘与 OLAP理论与务实 北京 清华大学出版社 20013 指导教师意见 签名 2014 年 12 月 20 日 唐山职业技术学院毕业设计评定意见 题题 目目基于互联网 APP 行业的用户行为数据分析与挖掘 学学 生生 姓姓 名名 系系信息工程专专业业 年年级级12 计网 指指 导导 教教 师师 康健指指导导教教师师职职称称副教授 指指 导导 教教 师师 评评 语语 主要内容包括 学生学习态度 设计选题的理论意义和实践价值 是否掌握了本专业基础 理论 专业知识 实践技能 创新能力等 成成绩绩 签签名名 年年 月月 日日 摘摘 要要 随着近年来国内互联网 APP 的强势发展 三网融合的进入一个新的阶段 互联网 APP 行 业的市场竞争异常激烈 基于用户习惯的产品竞争将是各运营商的服务竞争 由于互联网 APP 业务的多样性 国内运营商的运行方式正逐步从 产品独立运营 向以 客户为中心 的 产品融合运营 转 新的商业模式和日趋激烈的竞争环境对电信增值业务运营管理提出 了新的要求和挑战 本文的主要目的就是通过对用户上网行为数据的分析 深入剖析用户的需求 精确定位 用户适配的业务类型 并加以调整和创新 同时也可以把业务推广给客户 从而贯彻 按客 户找业务 为业务找客户 的宗旨 通过深入学习各种数据挖掘的算法 构建用户行为分析与业务匹配模型 然后在对移动 互联网的数据分析梳理之后进行数据采集 对于获取到的数据 按照 ETL Extraction Transformation Loading 思路 对七千万条数据进行清理 整合 构建数据仓库 通过数 据挖掘的相关工具 对用户行为信息分别从热点时间 用户兴趣 匹配业务等角度 采用聚 类 文本挖掘 关联分析等方法进行知识挖掘 从统计数据中发现现有营销策略的问题 给 运营商提供新的思路并为精准营销提供数据支撑 本文构建的系统设计思路简洁清晰 结果经实践验证可行有效 为进一步实现更多数据 源与更大数据量的用户分析系统的构建打下了良好的基础 关键词关键词 互联网 APP 用户行为分析 数据挖掘 目目 录录 引言 1 一 用户行为数据分析方法 1 一 用户行为分析 1 二 用户行为分析工具与方法 数据挖掘 2 二 互联网 ARP 数据源分析与数据处理算法 3 一 互联网 APP 的资料源分析 3 二 数据流量的飞速增长 3 三 数据源的变化 4 三 用户分析 4 一 用户上网时间分析 4 二 用户上网兴趣分析 8 结论 12 参考文献 13 致谢 14 1 引引 言言 20 世纪 70 年代以来 互联网这一深入影响全球人类生活的技术得到了急速的发 展 进入 21 世纪 随着移动互联网 物联网概念的深入 互联网的发展进入了新的发展时期 根据摩根士坦利 Morgan Stanley 的报告 全球移动互联网用户已经超越了桌面互联网用 户 未来基于 互联网 移动互联网 的泛在物联网成为主流趋势 在摩根斯坦利的报告中 估计 全球 3G 用户普及率已经达到 20 跨过了 高科技的裂谷 有可能迎来新的发展高 峰期用户发展趋势的估计事实上 在 2013 年 1 月 10 日在上海举行的 2013 中国国际工业博 览会论坛中 移动互联产业发展国际论坛会议的资料显示 2013 年 6 月 全球 3G 用户达 到 17 57 亿 占全球移动用户的 35 3 3G 用户占新增移动用户的 42 发达国家 3G 用户 渗透率已达到 60 左右 发展中国家由于起步较晚 3G 渗透率一般低于 50 我国移动互 联网收入规模增速迅猛 03 14 年复合增长率达到 74 移动互联网用户的总数逐年攀升 增速远超互联网用户的总体增长率 2013 年 9 月 全国 3G 用户 9500 万以上 3G 用户渗透 率达 4 2 新增 3G 用户占总体移动新增用户的 25 3 预计 1 年渗透率有望突破 10 群 体传播效应也将逐步显著起来 3G 在移动用户中的渗透速度也将明显加快 在 3G 加速渗透的背景下 3G 移动业务在移动通信中的收入占比也是逐年提升的 由 10 年的 25 2 到 08 年的 32 7 10 年即已将超越 50 移动互联业务的发展也将是移动业 务的发展方向与热点 在这样一个移动互联网与互联网交织更替的时代 产业链中的终端供 货商 信息服务提供商们都急需转型 而在当今市场形势下 实施精准营销则是实现战略转 型的关键举措 精准营销是为产品 业务 内容等寻找可能会感兴趣的潜在目标用户的方法 过程 要尽可能精确地寻找到目标用户 必须对目标用户的行为 兴趣爱好等进行分析 并 与需要营销的产品 业务 内容相匹配 因此精确营销与用户行为分析往往紧密的联系在一 起 目前 精确营销已广泛应用于互联网 移动通信的各种应用 在这样一个背景下 移动 互联网用户行为分析作为新领域则引起各方的广泛关注 一 用户行为数据分析 一 用户行为分析 从营销学角度考虑 影响用户行为决策的因素很多 有关用户行为研究的理论模式 比 较知名的有 EKB Engel Kollat Blackwell 模式 ler 模式 Howard Sheth 模式 Howard 模式等等 4 影响用户行为决策的因素很多 从内外因素考虑 应包括个人因素 心理因素 2 文化因素与社会因素 5 个人因素是指用户行为受其年龄 职业 经济环境 生活方式 性 格与其价值观等方面的影响 心理因素则是用户行为受动机 知觉 归因 学习及信念和态 度等心理因素的影响 文化因素是指用户行为受到其所处文化广泛而深远的影响 包括文化 与亚文化等方面的影响 社会因素是指用户行为受到用户相关群体 家庭和社会角色与地位 的影响 这些营销学上的分析都是从用户本身的情况出发 分析用户行为决策的过程 而我 们这里谈及的用户行为分析 却截然相反 是从用户的行为习惯等出发分析用户的习惯 喜 好 关注焦点等等 对用户进行全方位的刻画 为营销学提供技术支撑 二 用户行为分析工具与方法 数据挖掘 在现代化管理中 运营系统都能详细记录用户行为 系统中很快就能够累积大量的历史 数据 当今的实际情况就是数据丰富而信息贫乏 我们要分析用户行为 从我们的目的出发 最强有力的工具就是数据挖掘 即获取用户行为产生的海量数据 并将这些数据转换成有用 的信息和知识 在人工智能领域 习惯上又称为数据库中知识发掘 KDD 即从数据集中甄别 出有效的 新颖的 潜在有用的 以及 最终可理解的模式的非平凡过程知识发现将信息变 为知识 从数据的金矿中找到蕴藏的知识金子 将为科技的创新 知识的发现与经济的发展 作出贡献 在上面的表述中 数据 是一组事实 F 例如相关数据库中的记录 模式 是一 种用语言来描述的一个表达式 E 用以刻画资料集 F 的某个子集 一个模式 必须比其对应 数据集 F 的子集 E 的枚举要简单 用于描述的相关信息要少 过程 在知识挖掘中通常 是包括多阶段的处理的 包括收集处理数据 搜索相关模式 评价所获模式和反复的修改优 化的过程 要求这个过程是 非平凡的 就是说这一过程需要有一定程度的自动化与智能 化 例如仅给出所有数据的均值等统计数据并不能算作是知识发现的过程 有效性 是 指通过过程发现的模式对于新获取的数据仍能保持一定的可信性 新颖性 要求发现的 模式不应该是旧有的 潜在有用性 是指发现的模式应当在将来会有实际的应用价值 例 如用于决策树系统可用于提高经济收益 最终可理解性 要求发现的模式可以被目标群体 明白 这一特性目前主要体现在简明易懂上 有效性 新颖性 潜在有用性 和 最终可理解性 这四种性质可统称之为 兴趣性 由于知识发现是一门受到来自各种不 同领域的研究者关的交叉性学科 因此导致了很多不同的术语名称 除了知识发现之外 主 要还有如下若干种称法 知识抽取 information extraction 探索式数据分析 3 exploratory data analysis 信息发现 in1ormation discovery 数据挖掘 data mining 信息收获 Informationharvesting 智能资料分析 intelligent data analysis 和 数据考古 data archedogy 等等 数据挖掘与 人工智能在 Gartner Group 的一次高级技术调查中被列为未来三到五年内将有的五个对工 业产生深远影响的关键技术 中的第一位 并将并行处理系统和数据挖掘列为未来 5 年重点 投资十大新兴技术的前两位 根据 Gartner 的高性 能计算研究表明 随着数据采集 传 输和存储技术的快速发展 大型系统用户将更加需要采取新技术 挖掘其它更广泛的并行处 理系统的使用市场价值来创建一个新的业务增长点 二 互联网 ARP 数据源分析与数据处理算法 一 互联网 APP 的资料源分析 2013 年初 据摩根斯坦利的报告宣称 全球已经开始进入移动互联网的时代 目 前 中国 有 7 亿多的手机用户 其中有接近 2 亿的手机网民 这表明中国移动互联网市场尚存在巨大 的市场空间 而随着智能手机的日渐流行和平板电脑等移动终端的出现 移动互联网的潜力 和趋势也愈来愈显现了 第五次科技革命 移动互联网正走进我们的视野中 在这其中 移动互联网应用的推广将会极大地促进移动互联网时代产业链的合作共赢 二 数据流量的飞速增长 爱立信 Telefonaktiebolaget LM Ericsson 最新发布的全球网络数据流量测量结果 显示 去年全球移动数据流量几乎增长了两倍 比语音流量的增长速度快 10 倍以上 根据 爱立信的统计资料 截至 2010 年第二季度 全球每月移动数据流量接近 22 5 万太字节 这 也是继 2009 年 12 月移动数据流量首次超过移动语音流量后又一次指数级增长 尽管目前移 动宽带用户仅占移动用户总量的 10 但其带来的流量却已经占据了整体流量的大部分 市 场研究机构 eMarketer 预计 今年将有 1800 万手机用户通过手机上网 2013 年第一季度时 为 1000 万 该公司在同一份声明中称 移动互联网使用量年复合增长率将达到 15 7 高 于同时期手机用户 2 1 的年复合增长率 4 三 数据源的变化 数据业务流量迁移 从根本上来看 是运营商为了提高网络资源的利用率 让用户更容 易 更经常地去使用有着更高价值的业务 移动互联网 最终提高运营商的盈利能力和面 向未来的可持续发展能力 但流量迁移的背后 实际上是用户的迁移 就是传统互联网用户 向移动互联网用户的迁移 而中国的移动互联网正在从传统 3G 时代的信息浏览转向 4G 时 代 在 4G 网络建设大规模投建及 4G 终端大规模推向市场的行业趋势下 中国移动互联网大 环境正逐步改善 中国通信网路环境的改善 以及流量资费的下调给人们利用手机上网提供 了更好的客观条件 另外手机终端条件的逐渐改善也进一步推动了以手机浏览器为典型代表 的移动互联网应用活跃度的提升 随着各种移动互联终端设备 如智慧手机 平板计算机等的高速发展与越来越多的无线 互联应用提供商研发的各种无线互联的应用程序的高速上市 人们对移动互联网的认识也渐 渐扩大为电信网 互联网和通信网 娱乐网络融合的一个终极形式 其数据源从简单的通信 与 wap 网络急速扩张 已然涵盖大部分的 web 数据 对于这种多数据源的分析也是现阶段移 动互联用户行为分析亟待解决的一大问题 三 用户分析 一 用户上网时间分析 这一步为统计分析 针对获取的所有信息处理 由前所述方法 首先对本周各天统计资 料加以聚类 步骤如下 1 先把从原资料中统计出来的上网人数 网页点击数 上传流量 下载流量 上网时长 这些参量分别标准化 2 然后分别对个参量对应的数据聚类次 得出表 1 其中 1 4 表示该时段繁 忙程度 4 为最繁忙 1 为最不繁忙 如果有更多的数据 可以考虑进一步分析每周的哪几天是用户上网行为较为繁忙的 并 制定出对应的营销策略 显然由于按每天的数据分析 得不到忙闲时段的统一分类结果 无法达到较好的效果 我们继续在更大时间范围上进行分析如下 即对整周的统计资料进行聚类分析 3 将整周的统计资料累加起来 得到每个参量在一周中每个时段的总值 并加以 标准 5 化 从下表可以看出对于一周的各天 各个时段的繁忙程度是不同的 图 1 每日上网的忙闲时 1 表示最闲 4 表示最忙 4 问题返回 进行步骤 A B 就可得到结果如下表 表 2 一周上网的忙闲时 1 表示最闲 4 表示最忙 TimeWeek 1 2 3 4 5 6 7 8 9 10 11 12 2 2 1 1 1 1 2 2 3 3 3 3 6 13 14 15 16 17 18 19 20 21 22 3 2 3 3 2 3 2 3 4 3 上表可知 最繁忙时段 即标记为 4 的时段 只有一个 为 21 时到 22 时这一个时段 这个结果已能在很大程度上反映出用户上网时间的习惯 从表 2 的结果来看 尽管存在 21 时这样的特殊忙时段 我们还是可以看出 手机上网 不像移动通信那样存在一个极其繁忙的时间段 如 20 21 时 而更像是用户在 PC 机上上网 那样 几乎整个白天到子时的上网频率都是很高的 根据一星期的手机上网的参量表来看 图 12 从上午 9 时开始 各参量值均较高 但在午餐时间 14 时至 15 时和晚餐时间 19 时到 20 时的手机上网数据较少 而在 20 时到次日 1 时之间又是手机上网的高峰期 特别是 21 时到 22 时这一小时 这样的情况和平常用计算机上网的时间非常相近 所以可推测手机 上网不再是因为不能计算机上网时的替代品 并随着技术高端的电话逐渐占领市场 手机上 网这一服务将越会越抢占网络市场的 除此之外 由图 12 与图 13 可看出 手机上网的时间 分布和打电话的时间分布有一定的相似性 分别在于手机上网的时间分布较平均 没有出现 极端情况 但是打电话的时间分布在凌晨时段则会明显较少 所以与打电话相关的分析和业 务对 手机上网有一定的指导作用 7 图 3 手机上网各个时段的参量和手机上网各个时段的时长数据统计图 由上面的分析 我们选择把时间分为连续的时间段 并定义从 0 时到 9 时为闲时 定义 9 时到 24 时为忙时 定义 20 时到 21 时这段时间为上网热点 由各参量的饼形图可看出 图 14 9 时到 24 时的各参量的数值已占该参量总值的 75 以上 所以认为定义 9 时到 24 时为忙时是比较合理的 图 4 忙闲时各参量的饼形图 跨度为一星期 从这样一个结果可以预见 在手机上网的热点时段 21 时 也不会出现像打电话忙时 那样的对网络造成重压 如果移动网络在忙时还有很大量的可用空间 就可以提出类似这样的营销案 适当降低 忙时的上网价格 因为网上冲浪的持续性比打电话高 那么用户就会在忙时更多的上网 同 时由于闲时价格不变 也不会减少用户闲时上网的时长 这样可能会极大提高消费额 8 二 用户上网兴趣分析 过程如下 1 获取范本库 我们通过网络爬虫 文本分析等方法获取具有代表性和区分性的范本 即 包含或与该 范本有高度匹配的 Url 与该模板是同一类型的网页 当然 可能存在有代表性但区分性不高 的范本 如 image 由于很多网页都会包含图片 所以包含 image 的 url 肯定是有图片信息 但是否具有其它属性 如游戏 漫画等就不可知 所以我们按区分性将模板加权 按被辨识 出来类别的权重将 url 加以归类 图 5 信息分类图 按照已有用户上网行为分析的信息分类表 如上图 加以丰富 改造后 给予每个分 类模板分类标号后 将该模板加入模板库中 定期 不定期 在有事实热点发生时 的更新 修改范本库 2 匹配 url 将获取的 url 与模板库中的模板匹配并加以归类 3 定义用户兴趣点 目的是要反映出大众上网行为习惯的倾向 但由于数据量较大不能全部使用 我们由抽样调查理论 计算得出 在准确率 95 误差 2 的条件下 仅需 3500 人左右开能反映出大众 百万级别 的特征 因此 我们从 3 晚多不同的 imsi 号码中随机了 3000 个出来加以统计分析来反映这些公众兴趣特征 根据 9 各 url 分类后 我们把点击各类的人坐牢统计 图 6 统计量的点击数统计图 按选定规则将上网行为归为 29 个类型 统计结果显示这 3000 人在 7 天中上网次数 72 万次 人均日上网次数 34 3699 而有 url 记录的有 41 万 缺失大概 3 7 对于这部分缺失 我们选择使用 url 分类后等比拓展来代替原有缺失 这种方法固然不是最合适的 但是由于 对应 ip 依然很难提供分类信息 因此这种快捷而有效方法还是可行的 10 六 结论 首先看一下这些互联网 APP 的客户使用分布情况 图 3 5 业务用户价值分布状况图 从分析得到的比例图看来 首先 分布没有像期望的那样呈常规用户占大多数 中间种两端轻的状况 而是两极分化现象比较严重 其次 从价值用户的比率与互 联网 APP 用户的基数 这里是200 万