电商大数据 分析先行

1、专访拉手网CTO官冲：电商大数据 分析先行2014-04-09 09:41 彭凡 51CTO 字号：T | T信息社会，数据的价值不容置疑，但如何用好这块数据金矿，还有待挖掘。2014年，是大数据进入落地之年。究竟大数据在企业一线会有怎样的应用，51CTO记者带着这样的疑问采访了拉手网CTO官冲先生。AD： WOT2014课程推荐：实战MSA：用开源软件搭建微服务系统 石油也称黑色金子，开始的时候人们并不知道它的价值，它只是一种粘稠的、深褐色液体，是刚开采出来未经提炼或加工的物质。但随着蒸汽机的发明，古老的生产工具完全被颠覆，第一次工业革命来了，这种黑色金子真正被人们认识的发现，并成为推动当今

2、社会的主燃料。信息社会，数据的价值不容置疑，但如何用好这块数据金矿，还有待挖掘。拉手网CTO 官冲2014年，是大数据进入落地之年。究竟大数据在企业一线会有怎样的应用，51CTO记者带着这样的疑问采访了拉手网CTO官冲先生。大数据的处理与挖掘在大数据诞生之前，企业已经在运用商业智能工具在分析自己的数据了。在固定的业务数据模型下，企业可以根据一些设定好的数值范围进行分析。得到的结果，很大程度上也是真实可靠的。但对于电商行业来说，数据量呈几何数的增长，让以往的数据处理方法显得捉襟见肘。官冲先生给出了一组数字。截止2014年，拉手网拥有5000多万用户，每天光产生的日志吞吐量就超过了10亿的量级。这

3、里面有用户的订单，有他们的评论，还有他们对于个性的诠释。以前我们没有如此大量的数据进行处理，大家认为增加计算资源就够了。但现在如此大吞吐量的数据，确实对任何一家来说成本都会非常高。而采用分布式计算后，拉手网可以使用PC Server来应对每天产生的海量数据，这种成本就要低上很多。数据分析人员的春天大数据时代，数据分析人员（或者叫数据科学家）将会变得更加稀缺。这部分人是一家企业的核心技术人员。在拉手网，有一支20人左右的大数据分析团队。他们中，一半是技术人员出身，对数据特别敏感，喜欢分析数据。这些人一旦接触到商业模型，就能迅速得出分析结果来。而另一半人，则是商业模型方面的人才，对于顾客心理等商业

4、内容更加熟悉。这两类人，平时在拉手网是如何协作的呢？官冲告诉51CTO记者，平时会让他们按照各自的强项工作。比如技术人员，会用已有的数据形成各种报表，或开发出各种数据决策工具。而商务人员，则会在数据的基础上做一些天马行空的想象。当他们两拨人最后碰撞到一起，肯定会得出很多有意思的方案。为了得出这样的决策方案，数据分析人员可以三个月不跟CTO官冲汇报工作。但是一旦方案达成，就必须要有数据来说明这么做，我们可以增加多少的销售额。这是官冲给他的团队灌输的意识，这是一个CTO想要得到的东西。大数据的到来，让企业拥有了对所有维度数据的计算能力。但这些分析出来的东西对你的商业支撑到底有没有作用，这个大数据还

5、无法判断。可能你按照某个数据模型，分析出来产品应该是这么回事。但他真的适合这个企业吗？官冲认为，还是需要真正懂得商业规律的人来做判断。大数据时代，企业将会需要越来越多的数据分析人员。行业大数据的安全性数据的安全性和完整性，是企业核心数据必须考虑的要素。拉手网对此按照三个层面来做，第一个层面：基础硬件。在数据保存上，实现数据的备份，大部分公司都能做到。第二个层面是关键数据的管理，哪些人能看到这些数据。这个层面是公司投入最大的一个，在数据的管理上，很多数据泄密可能是内部原因。有一些内部的人员看到他不应该看到的数据，或者获得他不应该获得的数据。第三是在审核上。数据审核包括两个方面，一方面是完整性的审核，还有他的正确不正确，或者说他有没有被不安全的使用。可能有一个数据产生了，会有审核的程序先来验证一下这个数据产生正确还是错误，是不是应该在这个时候被产生出来。拉手网对于大数据安全，也使用一些常规手段。比如内网外网分离。在内部，正在建立一套数据管理流程，包括大数据的审计。当我们刚发现一个数据被篡改，或者被非法使用的时候，这个审计机制会启动报警。后记对于一家电商网站来说，拉手网需要对用户进行细分。要知道用户买了什么，从哪里来，在未来会有