预测模型要大数据还是小数据.doc

预测模型要大数据还是小数据？很多数据分析专家都对大数据抱有很大的希望。但是在预测分析世界大会上，演讲者讲到预测分析模型，对大数据并不是很乐观。StatSoft的高级数据分析师兼数据挖掘顾问Gary Miner表示：“大数据对我来说只是一个炒得很热的概念，并没有什么新鲜的。”Miner认为，对于大数据究竟是什么，仍存在争议。广为流传的是IBM提出的三个V，即规模大、速度快和种类多。但是，要想用一个精确地量来定义“大”数据，这本身就是不精确的。有人说几TB，有人说几百TB。样本代替总量Miner的感受是，对大数据，人们言过其实了。相反，分析小规模数据集倒来的更实际。他举了一些医学实验如何通过不足100的病例取得研究成果的例子。因为更小、更精良的数据集更容易过滤“噪声”，获得“信号”。存储空间的成本正在降低，这让分析界倾向于分析全部数据集。不过Miner 认为通过随机样本，你会更快速地获得更好的结果。“如果你想从数据中挖掘因果关系，你最好分析小数据集。”旅游社区TripAdvisor商业部门的分析总监Michael Berry表示，在大数据时代，人们希望通过部署一个技术，就可以解决多种问题。供应商们正在积极迎合这种需求，声称自己的大数据软件可以极大地简化业务分析项目。但Berry认为，这种简单便捷的解决方案基本上只是一种幻想。“这只是一种营销策略，从来没有实现过。”Berry建议，与其坐等大数据软件来解决一切问题，不如去提升自己的预测模型。定义预测模型的变量要比放入模型中的大规模数据有用的多。Berry认为，在模型中加入更多的数据反而会增加分析的时间。在分析数据集的时候，样本足以揭示总量的规律，而且更快捷。如果分析了100个数据节点之后，样本已经显而易见了，就不需要继续分析剩下的十万个数据节点了。这样只会延长项目，降低收益。数据质量并不是每一个人都这样看衰大数据。广告代理商Carmichael Lynch的数据分析战略家Peter Amstutz认为，在创建预测模型的时候，尽可能多的收集数据变量是很重要的。有时，可以通过一个标准记录的数据源积累信息变量，但很多时候，组织会得到大量的非结构化数据。这时，大数据就派上用场了。Amstutz最近帮助Subaru部署了一个提升建模项目，汽车制造商可以通过它更精确地锁定目标客户。Amstutz表示，他一直在寻找包含客户信息的新的数据源，以便于建立目标客户的个人档案。参照这些变量，广告商就可以更精确地找到目标客户。数据分析供应商ForeSee移动、媒体和娱乐的高级总监Eric Feinberg认为，最重要的是数据的质量，而不是规模。大数据只有在标准和精确的条件下才有用。他强调，不同行业应用大数据分析有所不同。在研究销售趋势的时候，明显的峰值只会增加噪点，让人难以判断真实的趋势。而在欺诈检测中，峰值正是分析人员要分析的。所以使用少量样本的时候，销售预测效果较好，但要进行欺诈检测，就得依靠大数据了。另一方面，更传统的方法或许效果更佳。Feinberg举了医疗器械公司想要完善心脏病客户个人档案的例子。医疗器械公司可以通过收集大数