问道车品觉联通宽带行动学习大数据小组跨界访谈记录.doc

问道车品觉联通宽带行动学习大数据小组跨界访谈记录 xx年7月3日，联通宽带行动学习大数据组的成员，有幸拜会车老师，针对大数据问题，进行了两个小时的访谈，收获颇丰，特此稿。 车品觉 国内大数据先行者，数据观察家。现任阿里巴巴集团商业职能部副总裁、数据委员会会长，拥有十几年丰富的数据实战经验。 公益项目“桑珠助学”发起人，助学团队起劲在甘孜资助学生已达600余人。 另外我们希望看到此文的朋友，尽自己可能帮助宣传一下车老师的桑珠公益项目，详情可以到淘宝搜索“桑珠贝玛”义卖店。 产品数据化还是数据化产品? 大数据的应用，有两个方向：到底是产品数据化还是数据化产品。 所谓产品数据化，就是用数据来对产品进行优化。如果我们到各部门去了解需求，会感觉需求很多，这是遍地黄金的机会，跟以前it是一样的，只不过是it的延伸，谁都愿意用。 数据化产品，是以数据为基础来产生产品，除了内部应用外，还可以供外边人来调用，是一本万利的机会。 为什么是数据化而不是信息化? 信息化讲了20年了，这两年大家才提到数据化，这是因为什么呢?是因为过去数据技术，数据原材料没达到现在的情况。现在已经唤醒人们的想法，其实信息化的后面，是可以延伸到数据化。在数据化里可能会改变以前的情况。举个例子，比如淘宝一个用户进来，他要流失了你才知道他要走了。从数据化能做什么?我们居然能从一个人来了以后，我们就可以开始计算他的流失概率，数据是前置的，不是等信息来，而是提前预判。拿淘宝来举例子，如果再关联到你的购买能力，加上流失概率，这两者就可以让我们决定给你5元的红包还是50元红包。这个在以前是没办法的，这就是数据化的优势。 数据化是预判你会流失的概率，而信息化是你会流失。你拿一个名单出来，说这些都是流失的用户，这个没用啊。要想办法把数据前置，才会产生价值。如果我们在联通或者哪家企业里找到这个机会点，这就是遍地黄金的机会点。 数据量大就一定够用吗? 对于一个小数据的公司，没事，滴滴打车曾经问，能不能做数据公司。其实可以设想一个场景。比如在周五晚上5点下雨，冬天，在上海的街头你要打车，打不到车，如果有滴滴打车可能会改善，但不会改善的是确实没有出租车，现在要决定是加5元还是加10元还是加50，每加一块等于省多少时间?要用数据来解决这个问题怎么解决?有人说，可以做统计嘛，但是我们又说，今天来福士附近有演唱会，正好这个地方堵车到不能动，这个不是统计可以算的吧。这时候会发现，以前养起来的数据不够用了，这时候可能你会想，我可能需要另一些数据。 但是，我想联通今天的问题可能跟当年我在支付宝遇到的问题一样，就是数据过大，因为数据过大，你们会想我要解决这个世界的问题，因为老板给的任务，肯定不是要解决低的问题，他会想，联通这么多数据，我让你们搞点大的事么，一本万利的生意，怎么会搞小东西呢? 所以当年我会把支付宝这么多数据几千个变量，一直看一直看，但是看不懂，难道我会把所有东西都弄进来?那会发现，有些数据是重复的，有些数据是统计口径不一的，总的来说是如何也没办法把东西出来的。因此我的经验，将来面对管理层时，可以这样说，数据是一个闭环，将来你用的时候，你才会发现数据有什么问题，你不用就不知道这个问题，所以不要一下想高大上，如果这么大数据量搞不定滴滴打的，就不用说解决那么大问题了。 可以先走几个小圈，然后再走大圈。其实走过几圈才会知道，数据虽然大，但是有很多缺失，人家就要这么几个数据你就是没有，数据虽然大但是质量不好，数据上来以后会有问题的。所以要用小的合作圈来验证自己数据的质量不好口径不一加工能力，才能慢慢来了解自己，那时候力量就大了，了解自己最重要。 联通做大数据可以先从解决一个问题着手 对和联通聊这个case，我特别有感觉的原因，就是如果今天你们还没经历这些问题，你肯定会经历的，就是一堆的大数据，但是处理到的话就没办法，就感觉乱死了。其实对联通，这个问题还是挺好解决的，就是你先找一个项目出来，圈定大概600个变量，然后拿一个问题出来，看看这些数据能解决这个问题吗? 我自己觉得，联通可以先做用户画像，用一个瞄准区来看用户画像是不是可以做的比别人好，因为联通数据本身，是可以实时找到一个人行为特征的东西，所以先要花功夫在的识别一个人的上。没有办法识别一个人，就没办法识别一个人就没办法把他的数据关联起来。联通有个特别好的事，就是起码手机是非常能识别一个人的东西，这比淘宝可能更加好。 从运营数据开始，做一本万利的产品 比如书中讲过，淘宝用户的购物性别，就是一个无中生有的过程。虽然是无中生有的，但是它的购物性别比原来的真实性别更适合。所以有意的培养数据，在阿里来讲就叫做运营数据，运营数据的本身就是帮我们解决未来的东西，当有运营数据的概念的开始，其实你就开始走一本万利的路，想做一本万利的产品，而不是遍地黄金的路。 这是为什么很多人蒙昧以求想要达到这样的效果，希望能找到一组数据，这组数据不仅自己可以当原材料，别人也可以当原材料。联通其实绝对有能力做阿里今天做的事情的，因为我很相信联通有的数据比阿里多，只不过在数据的处理上，数据越多越乱，所以联通才会有困惑。 数据安全与个人隐私的保护 联通可能会产生的问题，要用上数据更容易受社会的限制。所以要借助一个中间层，这个中间层可以解释为，对群不对人，比如对一个5000个人为一群，这是不可能透露一个人的信息出来。 要解决个人隐私的问题，其实这个问题很容易解决，就是如果你给我足够大的好处，我的数据我认可你随便用，因为我知道你的边界，是5000个人打包的嘛。 用数据做决策-无人开的汽车 最近我把遍地黄金和一本万利的概念区分开以后呢，我们在想怎么能做无人开的汽车，google做无人开的汽车，他在公司里做一个项目，无人开的汽车需要用多少数据，特别是地图的数据，和车开的状态，中间的关系，实时计算，到POI的数据，这个车到前边车的距离。他完全不用信息发，而是数据发布，因为停车开车，都需要做决定而且是实时决定。而且这个决定是谁来设计的呢? 我们用数据来支持别人做决定，或者是数据直接做决定并且action，这中间差很远。这中间要跨越的一层，是要自动用数据做个决定，而不是中间给你参考。因为之前作参考的时候，是滞后的。当我们数据产品的时候，把数据放在前边，还是放在后边差很远。 这个问题说的比较多，也是是我最近遇到的困难，当公司说，我整个运营，让数据帮我看着办，中间不能有一个小二，就是用户选品，到卖出，到投诉，不能有人的判断。那就让人头疼了。但是想说的是，这是个分水岭。这对产品是非常高的提升，但也是一个瞄准器。 我们现在也做不到，完全用数据作决定，但是也是在学习，是瞄准的一个目标。 大数据和数据的区别在于是不是全量数据，还有计算不能太复杂 现在很多公司有大数据病，实际上，刚才讲的就是数据。因为有一点，当确实需要全量数据的时候，而且计算方法并不太复杂，比较简单，我想这个就应该是大数据。 想到一个例子，比如1965年的钞票值多少钱，这中间还有区别，比如尾号888和887还不一样。因为每张钞票都不一样，那怎么得到值多少钱?现在我们看到一个方法，去淘宝搜一下，把1965年的钞票成交价格排个序，我们只需要判断差异就可以了。这就是说，如果有一个人有全量的数据，当要得到一个结论时候，用一个很简单的算法能够实现，我们说这个是大数据。这个例子讲的是全量数据，如果在一个领域有全量数据，那就是我有资源，现在就寻找这个资源能干什么了。 举一个聚划算的例子，要决定下礼拜放什么产品上去，能达到成为100万的爆款。这个模型本身是很复杂的。比如要想上一年的7月份卖什么，还有最近有些什么事件等等，这个模型本身很复杂。后来我说，不管这个模型计算的多复杂厉害，它就是数据化运营，不是运营数据，不是做大数据而是数据，因为你只不过增加变量进去，你没用全量。但是如果有全量数据不一样。知道这个以后就是有分水岭了。 大数据不在大，在于提炼中间层 无中生有的数据。这是大数据很多人不明白的，大数据不在大，是大数据能不能提炼出一个中间层，而且这个中间层数据本身可以对的上这个问题。(亚马逊的例子)淘宝要从历史数据中，找到每个人的幸运单，所有人都有个幸运单，是提炼出来的，这是无中生有的数据，他对应问题更近，而且这个数据不要大，而且要小，但是小要跟产品本身要解决的问题是对应的。这个有什么用，如果我们能找到这些用户的幸运单里都有一个手机，3000-4000，我们就可以去找厂家去谈了，你要给我这样一部手机，做*活动。提炼一个中间层出来，是无中生有的，而且我们说要运营这个，这个才是数据运营的动作。 比如现在热点是世界杯，运营的时候发现，有多少人看的世界杯了，这是逻辑的方法叫演绎法。 我们根本不知道有个世界杯，我们是用数据来寻找机会的，不是用人类的，是因为你们都有幸运单，在幸运单中我们找到一个共性出来，这么多人有这个需求没满足，我们看到这个才去发现，是因为大家要用4g手机来看世界杯啊。这个我们不需要知道因果，是用数据看到这个机会的。这个是做产品的，颠覆整个世界，就是用别的方法解决问题，而且解决的很爽。 大数据不关心因果 数据关联，不是不看数据的关系，而是不看因果关系。 数据世界的可爱，没有数据的时候，我们不知道就是不知道。如果要考虑因果的时候，就比较麻烦，因为这个不在你世界里，你是不能理解的。 但里边有个问题是，你怎么知道哪个数据是比较重要的，哪些信号是没什么重要的。比如寻找幸运单，我们怎么知道用户想要什么而没满足，我们可以去看收藏夹，购物车。还有什么。可以考虑每一天第一次搜的商品，但是第二个不一定，因为第一个关键词一般是你抱着意愿的。如果我们把这个变成所有搜索的关键词，那就完了。所以要信号收集时刻考虑，你想得到什么。这种是讲经验的。 数据产品经理需要具备的素质 做产品经理的人，一定要有个心态，假定数据可以获取，先这样。今天事情难在哪里，我在内部做很多数据产品的时候，数据底层的人是无法想象数据和上边的产品有什么关系，做产品的人，是很难想象底层数据跟产品设计影响是什么样子的。好像滴滴打车，如果我要让用户爽，我的问题就不应该放在5块还是10块，问题可能是如果我走30米，就能把打车概率高50%，这才是让用户爽的一个解决办法。产品经理应该是怎么定义问题howtofacetheproblem?数据的人是什么数据能解决这个问题。但是按刚才讲，怎么能知道附近可用的出租车密度，那我就想想怎么能拿到数据源回来。 未来最稀缺的人才是数据产品经理 现在大数据里的人才，最难找到的是同时具备三种，哪怕只有两种的人才： 1、数据化思考， 2、对底层数据的理解 3、对商业的理解 这三种加起来是极稀缺的人才，可遇不可求，未来最稀缺的是数据产品经理，这个是很难的。 解释一下对底层数据的理解到什么层面：是对数据的属性，特点，纬度的理解。他要知道的是我这个中间层，应该要什么，而且有时候对数据不完整的意识在里边，就是我没有数据能拿到什么数据，就是我要知道有什么菜，数据是个材料，他要知道材料到底足不足够炒这个菜。如果数据不够细，不够，那可能需要改进数据收集的地方到这个颗粒度，这个是产品经理的素质。 举一个例子，移动数据采集，颗粒度要到什么层面才行?wap、h5，app，算不算无线，要不要拆开?因为wap页面质量差，转化率低，如果放在一起就不能反应真实的转化率，这个数据就需要单独分开。 还有半自动化改变按钮的例子，这个就是要数据进行判断。这个如果出错误，就会直接有问题了。 产品经理怎么能对场景进行设计和判断? 到底是经验驱动还是数据驱动。如果是数据的人，会说不相信，要做个数据聚类。结果可能会说购买的行为上非常简单，一天只不过分为5个场景，早上上班，晚上5点下班，晚上8点到10点吃完饭的时间，购物关键时间点，其他就是其他。这是经验告诉我还是数据告诉我? 为什么大家起点不一样，就说正常的人是用经验驱动的，只有数据人是可以用数据驱动的。所以今天的数据产品经理，你相信这种工具，每种工具对我们有什么用。比如刚说的是深度学习，深度学习是什么，能有什么用。只有自己知道了，才能跟下边的人说为什么你不用这个工具。 为什么很难做商业的东西呢?因为商业变化比较大，没办法做深度学习，只要一点差错就没办法判断，比如今天有个演唱会，如果深度学习就没办法判断只是一个演唱会这么简单。要让商务的人和产品的人逐渐懂得底下的工具是怎么使用的。 我每天恶补数据的知识，一般都是上午1小时，让数据的人用商业的语言给我解释数据的问题，给我一点商业能明白的语言。做数据科学就应该解释通给我知道，但是慢慢开始懂了，这是非常重要的。做技术的人喜欢用自己用得好的工具，但是对产品的人来讲，不对啊，应该是用另一个工具。现在讲，数据科学家已经够了，真正少的是能够真正指挥数据科学家的大脑，但是大家需要恶补，恶补一下以后，不要口里挂着术语，真正心里要透，要知道这个需要什么工具，那个需要什么方法。只要我们到了这个level，相信未来管理层会重视这个事，现在管理层真正不知道这部分，而底下技术又不知道怎么解释 语音识别内容做大数据是不是具备商业化条件 我自己觉得，一家公司在使用新技术，他必然是跟公司管理层建立信任的问题，成功机会更高。我很怀疑国内的一些技术做不好的原因，就是每个人抛概念，一说大数据都要搞大数据。所以我认为，语音的东西对联通能够解决什么问题，Google有个聪明的地方，语音上他不解释内容，但是判断用户的心情，是不是很愤怒，来判断是不是打广告，等于颗粒度是粗的，如果今天想用语音解释颗粒度低的，可能很难成功。但如果用语音文本解释一些颗粒度不是这么小的决定，没问题。比如我们要把评价的文本，挖掘出来，这是注定要解决一个比较泛的问题，来解释是哪一类的投诉，这是不需要那么精度的问题。 识别系统如果做到一定程度的时候，可能会解决一些问题，比如用人脸识别帮助小店识别老客户，或者银行通过语音识别客户声音，就不用反复验证那么麻烦了。 联通和阿里有没有数据合作的点 有个东西比较特别的，大家相不相信，如果把一个人平时常去的3个地方，应该能够识别一个人。这个联通是可以的，联通的数据最宝贵的，和别的公司的差异就是，你的数据是连续性的，是真正的全量数据，这个是厉害的。联通在GPS的数据上的连续性，可以做很多事的。阿里的数其实只是个大样本，但对联通来说，这个位置数据绝对是个全量数据。假如有个人每礼拜有一天都要去那个地方，这个星期这人走错路，我们都可以告诉他，路走错了，这就是全量数据的厉害。 我们没有办法穷举所有的东西出来，我们要相信员工的智慧，要训练一般人特别有数据的感觉。如果联通基于位置全量数据，能有很多价值，从处理这个数据开始，最后用产品去套，肯定能做出很多需求来。 但是联通只要提供数据出去，打个包，千万不要自己干，我们只做两个点，一个是识别位置和这个人，另外一个就是推送，这两个点