大数据的前世今生.doc

大数据的前世今生前世莫里航海图，最早的大数据实践马修方丹莫里（Matthew Fontaine Maury）是一位很有前途的美国海军军官。1839年，在他前往双桅船“合奏号”（Consort）接受一个新任务时，他乘坐的马车突然滑出了车道，瞬间倾倒，把他抛到了空中。他重重地摔到了地上，大腿骨粉碎性骨折，膝盖也脱臼了。当地的医生帮他复位了膝盖关节，但大腿受伤过重，几天后还需要重新手术。直到33岁，他的伤才基本痊愈，但是受伤的腿却留下了残疾，变得有点儿跛，再也无法在海上工作。经过近三年的休养，美国海军把他安排进了办公室，并任命他为图表和仪器厂的负责人。马修方丹莫里（Matthew Fontaine Maury）谁也想不到，这里竟成了他的福地。作为一位年轻的航海家，莫里曾经对船只在水上绕弯儿不走直线而感到十分不解。当他向船长们问及这个问题时，他们回答说，走熟悉的路线比冒险走一条不熟悉而且可能充满危险的路线要好得多。他们认为，海洋是一个不可预知的世界，人随时都可能被意想不到的风浪困住。但是从他的航行经验来看，莫里知道这并不完全正确。他经历过各种各样的风暴。一次，他听到来自智利瓦尔帕莱索扩展港口的预警，亲眼目睹了当时刮成圆形的风就像钟表一样；但在下午晚些或日落的时候，大风突然结束，静下来变成一阵微风，仿佛有人关了风的开关一样。在另一次远航中，他穿过墨西哥蓝色海域的暖流，感觉就像在大西洋黑黢黢的水墙之间穿行，又好像在密西西比河静止不动的河面上挺进。当莫里还是一个海军军官学校的学生时，他每次到达一个新的港口，总会向老船长学习经验知识，这些经验知识是代代相传下来的。他从这些老船长那里学到了潮汐、风和洋流的知识，这些都是在军队发的书籍和地图中无法学到的。相反，海军依赖于陈旧的图表，有的都使用了上百年，其中的大部分还有很重大的遗漏和离谱的错误。在他新上任为图表和仪器厂负责人时，他的目标就是解决这些问题。他清点了库房里的气压计、指南针、六分仪和天文钟。他发现，库房里存放着许多航海书籍、地图和图表；还有塞满了旧日志的发霉木箱，这些都是以前的海军舰长写的航海日志。他的前任们都觉得这些是垃圾，但当他拍掉被海水浸泡过的书籍上的灰尘，凝视着里面的内容时，莫里突然变得非常激动。这里有他所需要的信息，例如对特定日期、特定地点的风、水和天气情况的记录。大部分信息都非常有价值。莫里意识到，如果把它们整理到一起，将有可能呈现出一张全新的航海图。这些日志是无章可循的；页面边上尽是奇怪的打油诗和乱七八糟的信手涂鸦，与其说它们是对航海行程的记录，还不如说它们是船员在航海途中无聊的娱乐而已。尽管如此，仍然可以从中提取出有用的数据。莫里和他的20台“计算机”那些进行数据处理的人，一起把这些破损的航海日志里记录的信息绘制成了表格，这是一项非常繁重的工作。 莫里整合了数据之后，把整个大西洋按经纬度划分成了五块，并按月份标出了温度、风速和风向，因为根据时间的不同这些数据也有所不同。整合之后，这些数据显示出了有价值的模式，也提供了更有效的航海路线这些数据显示出了有价值的模式，也提供了更有效的航海路线有经验的海员有时依靠经验能安全航海，但有时也会陷入危险之中。在从纽约到里约热内卢这条繁忙的航线上，水手们往往倾向于与自然斗争而不是顺应自然。美国船长一直被劝导前往里约热内卢不能通过海峡，因为那样存在很大风险，所以船长会选择在东南方向的航线上航行，再穿过赤道驶向西南方向。而这样一来，船只必须两度穿越大西洋，距离甚至相当于横穿了三次。这是很荒谬的，其实直接向南航行就可以了。通过分析这些数据，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的图表帮助商人们节省了一大笔钱，因为航海路程减少了三分之一左右。一个船长感激地说：“我在得到你的图表之前都是在盲目地航行，你的图表真的指引了我。”有一些顽固的人拒绝使用这个新制的图表，而当他们因为使用旧方法航行到半路出了事故或者花费的航行时间长很多的时候，他们反而帮助证明了莫里系统的实用性。1855年，莫里的权威著作关于海洋的物理地理学（The Physical Geography of the Sea）出版，当时他已经绘制了120万数据点了。莫里写道，在这些图表的帮助下，年轻的海员们不用再亲自去探索和总结经验，而能够通过这些图表立即得到来自成千上万名经验丰富的航海家的指导。他的工作为第一根跨大西洋电报电缆的铺设奠定了基础。同时，在公海上发生了一次灾难性的碰撞事件之后，他马上修改了他的航线分析系统，这个修改后的系统一直沿用至今。他的方法甚至应用到了天文学领域，1846年当海王星被发现的时候，莫里有了一个好点子，那就是把错把海王星当成一颗恒星时的数据都汇集起来，这样就可以画出海王星的运行轨迹了。这个土生土长的弗吉尼亚人在美国历史上并不受关注，这也许是因为他在美国内战期间不再为海军效力，而是摇身一变成为了美国联邦政府在英国的间谍。但是多年前，当他前去到欧洲为他绘制的图表寻求国际支持的时候，四个国家授予了他爵士爵位，包括梵蒂冈在内的其他八个国家还颁给了他金牌。即使到今天，美国海军颁布的导航图上仍然有他的名字。今生当今大数据技术已运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析3.4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅0.3%。在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材