浅谈数据挖掘和移动互联网

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 浅谈数据挖掘和移动互联网 摘要：和传统互联网相比，移动 互联网有其特殊性，文章分析了在移动 互联网范畴上的数据挖掘问题，和时间 信息相对应的地理位置信息是传统互联 网所独有的，而 LBS 是具有移动互联 网特点的应用。关键字：移动互联网； 数据挖掘；LBS 中国论文网 /8/view-12779636.htm 0 引言 自互联网诞生以来，数据一直以 惊人的速度增长，移动互联网能更准确、 更快地收集用户信息，和传统互联网相 比，移动互联网有其特殊性，在移动互 联网范畴上探讨数据挖掘问题，与传统 的数据分析的本质区别是数据挖掘是在 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 没有明确假设的前提下去挖掘信息、发 现知识，数据挖掘可以基本保证数据的 科学性。 1 移动互联网的特殊性 随着各种移动设备、物联网和云 存储等技术的发展，人和物的所有轨迹 都可以被记录。与互联网不同的是，在 移动互联网中的核心网络节点是人，不 再是网页。在数据大爆炸的当下，怎么 样挖掘这些数据，同样面临着技术与商 业的双重挑战。对于数据挖掘来说，移 动互联网的特殊性首先在于它能够锁定 一个特定用户，其次在于它能够获取用 户的地理位置信息，再次是在于移动互 联网上的时空信息等多样化的数据种类。 而因为这 3 点，导致移动互联网上的数 据数量会比传统互联网更大，形式也比 传统互联网更加丰富，从而也有更高的 价值。 1.1 锁定用户的数据价值 归根到底，在移动互联网上的挖 掘，或者说 MobileMining 的目的和做 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 传统互联网数据挖掘的目的是一样的： 都是为了从原始数据上找出有用的信息， 进而转化成可用的知识。但是移动互联 网有其特殊性，即移动互联网的某一个 终端通常是由同一个个体使用的，所以 用户在移动终端上的所有行为是具有一 定延续性的。试想，如果能直接获取用 户移动终端上的信息，那么我们就可以 得到包括手机号码和通讯录等在内的一 系列的用户个人信息。退一步讲，即便 人们没有这些信息，移动终端访问的延 续性也使得用户档案的建立成为可能。 所以在传统的互联网上，在没有 Cookie 的情况下，如果用户不主动登录 某个网站，或者是一个偶尔的访客，那 么很多时候无法判断用户的唯一性，不 能确定该用户之前是否访问过该网站， 之前的访问行为完全没有延续性。不过 在移动互联网上，可以锁定用户，通过 移动互联网应用获取用户当前的位置信 息和参加活动的一些信息，并把这些信 息记录收集下来，从而积累成关于某个 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 用户的丰富档案信息。 1.2 移动互联网上数据的形式 移动互联网给人们带来的数据在 形式上是多种多样的，在互联网上存在 的各种数据类型只是移动互联网上的一 个子集。自苹果公司的 iPhone 和 iPad 问世之后，各种移动设备能够带给使用 者的用户体验与互联网几乎也是一样的， 几乎所有在互联网上存在的信息在移动 互联网上也都存在，不过内容可能更加 丰富。在苹果公司的这 2 款产品之前， 由于手机和移动端的屏幕限制，在访问 网站的浏览器设置中，会以不同的方式 来显示网页。iPhone 引领的移动端用户 体验使得用户几乎可以以同样的感觉来 访问网站。 同样的互联网信息，在移动端访 问的方式也会使内容变得更加丰满，同 样都是图片，但是在移动设备中存在的 与位置相关的图片要比简单存在于互联 网上的图片价值高很多。 与传统互联网的数据不同的是， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 在移动互联网的数据中，文字以外的其 他信息占到更加重要的比例。从数据的 属性上来讲，移动互联网上的数据比传 统互联网更加复杂，其中一个原因是这 些数据包含了大量的时间和空间的信息， 也就是说人们需要把数据挖掘延伸到时 空数据挖掘的领域。 2 数据挖掘和 LBS LBS（ Location Based Service） 是与位置相关的软件服务的英文缩写， 指的是一类利用和控制与位置及时间相 关的计算机软件服务。LBS 通常是在移 动终端实现的。现在很多原本只是在互 联网上的应用都有了 LBS 服务。 与位置相关的数据挖掘是一个看 似简单，却非常具有挑战力的工作。例 如，帮助用户寻找他所在位置附近可能 有用的商业地点，并按照一定的规则排 序。这句话说起来容易，实现起来却要 费一番工夫。 任何跟与位置相关的数据挖掘的 工作必不可少的第一步就是搜集关于地 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 点的可靠数据。在这个过程中，常常会 面对多个不同的数据源，有些来自互联 网，而有些来自于线下，所以第一步面 临的常常就是数据的整合与清理。与位 置相关的数据的数据量经常是在 GB 字 节上下，对于这个量级的数据频繁的整 理、提取、集成和存储都是有着一定的 难度，但恰恰可以利用之前提到的一些 框架和应用工具。Hadoop 有着强大而 又灵活的构架，不仅仅提供了容错的分 布式存储功能，也支持了各种灵活的数 据挖掘工具。而 HBase 是建立在 Hadoop 之上的文件存储系统，它对存 储的数据进行索引从而达到对数据的迅 速挖掘、查询和更新。以 HBase 为基础 的 Hive 所提供的 HQL 查询工具进一步 帮助它的用户达到可以快速挖掘数据的 目的。可以说在 Hadoop 构架上，从最 简捷的 Unix Shell Script 到 Pig，到程序 员常用的 Java，到 Hive 所提供的 HOL，有着如此强大的挖掘工具的支撑， 任何繁琐的数据整理和最终的存储与挖 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 掘工作都变得相对简单明了。 各个地点之间的关联性是需要通 过数据挖掘才能完成的任务。每个地点 都是多种属性，而地点之间的关联度是 根据他们各自的属性匹配所得到的。不 过目前很多 LBS 应用对于关联性的挖 掘还是比较简单的。有的只是根据地点 的归类、名字、用户设置的标记 （Tag）做简单的对比。 3 移动互联网数据面临的问题 移动互联网有它的特殊性，而移 动互联网上的数据除了它的特殊价值之 外，也有和传统互联网不完全相同的问 题。 3.1 数据量 移动互联网所可能产生的数据量 是一个需要考虑的问题。据统计，在中 国，2012 年约有不到 6 亿移动互联网用 户，其中有约 1.8 亿是手机应用商店的 使用者，而且这个数据正在飞速增长之 中。如果每个用户所产生的所有数据， 包括即时的位置信息、路径信息、访问 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 信息等都需要实时分析，那么需要处理 的工作量是目前任何一家互联网公司都 望尘莫及的。 3.2 安全性 移动互联网上的安全因素是另一 个需要考虑和解决的问题。因为在移动 互联网上有很多恶意的应用程序，而其 目的就是侵入个人的移动设备来窃取个 人信息。另外，因为移动终端和个人身 份信息密切相关，在移动互联网更加要 重视个人隐私问题。 3.3 数据质量 移动互联网上的数据价值是大家 都很看好的，但是数据质量却令人担忧。 移动互联网行业结构目前并不明朗，盈 利模式也不清晰。大量的移动应用通过 刷量来冲击移动互联网应用排行榜以追 求投资人的青睐。大量移动互联网公司 付费给水军来给自己的移动应用发五星 好评，给自己竞争对手的应用打一星差 评。这些数据所占据的比例过高，已经 严重干扰了数据的准确性，而这些行为 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 实际上大大降低了移动互联网数据的整 体价值。这样看来