07 概率论击败德国潜艇

二战中的数据分析故事：概率论击败德国潜艇 第二次世界大战期间也有大数据？Michael Moritz在其LinkedIn上发表了一篇有关数据挖掘在二战里运用的文章，带我们领略了没有MapReduce的情况下，数学家和物理学家使用大数据克敌制胜的故事以下为译文：拉科尼亚号商船的幸存者，1942年9月12日沉没于大西洋战役 在加州山景城与Google、Intuit、LinkedIn总部只有很短骑行距离的地方，我忽然产生了一个很奇怪的想法：将大数据的起源硅谷与残忍的第二次世界大战大西洋战役连接起来在大西洋战役中：纳粹潜艇追击盟军期间，几乎成功切断了英国唯一的供给线肖克利半导体公司最初坐落于391圣安东尼奥道路，在1956年由晶体管的争议发明者之一、诺贝尔奖获得者威廉肖克利创立这曾经也是肖克利的公司，或者更准确地说是他极端的个性，最终导致许多最重要的硅公司在过去的半个世纪中诞生 其中最值得注意的就是Intel（1956的）十多年前，年轻的肖克利加入了一个由英国及美国科学家组成的团队，在战争史中开创了使用数据引导战争，并且颠覆了战争进程。这段渐渐隐去的插曲被记录在Blacketts War Steven Budiansky新书，讲述了一个由厌战的数学家、物理学家组成的小团体，通过专心的审查对数据进行收集和整理，并对汇聚出的信息进行分析，最终说服盟军海军和空军领导人放弃了他们教条、根深蒂固的偏见以及虚荣，并改变了他们的战斗方式，它标志着运筹学的诞生潜艇首次出现在第一次世界大战并被作为防御武器，然而它们迅速转变成水面舰队的强有力威胁二战伊始，所有战斗人员就认识到来自这些潜艇的致命威胁鱼雷在1940年和1941年期间，纳粹潜艇舰队成为悬在盟军海上补给线头上的利刃这是英国军队和特务机关必须面对的敌人当闪电战开始，英国情报工作控制在类拉丁文和希腊文科目上取得杰出成绩人的手中然而这些简单的计数显然不需要具备优秀的高等数学和概率论知识，而第一次需要它们出场的地方是为英国上空出现的空袭做相应的策略一群来自英国大学的科学家匆忙组团去帮助情报工作，由在剑桥出生的科学家Patrick Blackett带队；战争结束三年后，Patrick Blackett被授予诺贝尔物理学奖。在不列颠之战期间，它们为海岸司令部工作。在那里，它们主要把原始雷达系统收集的数据与实际战争集合起来，设法减少击落一架德国轰炸机所需要的炮弹数量大约从20000到4000，由Sperry Predictor进行辅助（连接到武器上重量大约半吨的机械计算机）他们还需要计算出潜艇的数量，这样一来海岸司令部的飞机就可以做恰当的飞行从而达到最高效的监视当结果与预期的相距甚远飞机比预期更早的被潜艇人员检测到；飞机翅膀上的油漆会从黑色变为白色，而在之后将会被成功改善。被打捞的U-534当天空中的威胁被解除后，Blackett的精力放到了德国潜水艇上，而早期对潜水艇的攻击并不成功在1940年夏天一个为期12个星期的阶段内，150艘船只被击沉纳粹舰艇甚至占领了美国的东部海岸，将美舰从科德角、新泽西和哈特拉斯海角中驱除Winston Churchill写道：“大西洋战役成了二战的主导因素”Blackett的科学家不得不对在不列颠之战中取得重大胜利的措施做出修改；在为策略提供建议之前，他们梳理了操作记录并且陪同参加任务，旨在发现有益的模式并收集大量的宝贵数据。同时他们还参与了对德军信号密码的破译 使用最初阶段IBM和NCR的punch-card计算机进行辅助，而对手则是恩尼格玛密码机。从这些混乱的数据中，Blackett小组分析出了至关重要的信息，比如：在遭遇德国潜水艇后攻击机所需要的挂载时间（15秒）、深水炸弹的最佳设置（25英尺）以及最佳的爆破模式等他们还证明保持更多的空降是明智的，反之则不然有几位不知掩饰吹捧左翼倾向的科学家，更是遭到了军方的强烈怀疑重点轰炸德国城市的支持者并不同意他们的观点（攻击潜艇会缩短战争）；同时在德国城市进行非常危险的空袭并不会大幅度扰乱德军的生产或供给，同样被军事指挥官忽略上万的飞行员同样在类似的徒劳无功空袭中丧命摧毁德国人建造在法国沿岸保护他们潜艇的建筑物即使是最重型的炸弹也未起到任何作用，其中一些仍然存在海军与空军上将在很长的一段时间内都拒绝改变他们的信条小编制比大编制更安全，尽管有着铁证证明这是错误的Blackett证明了在一个15-24的舰队中，每艘船有2.3%的几率被击沉；而在舰队数量高于45时，被击中的概率只有1.1%最终这些科学家们获得了胜利，当盟军把注意力放到来回穿行比斯开湾的德国潜艇时，平衡被打破不管德国潜艇击沉了2800艘船只的可怕事实，潜艇内士兵的死亡率更高参与二战的德潜艇数量达到830，其中有784或者是94%被击沉对于今天