“海量数据”的挑战与机遇

1、海量数据的挑战和机遇1“海量数据”的挑战与机遇作者： 酒潇 原创作者：麦肯锡全球研究院来源：麦肯锡季刊2012-01-16 13:25 海量数据可以发挥重要的经济作用，不但有利于私人商业活动，还有利于国民经济和公民。我们的研究发现，数据可以为世界经济创造重要价值，提高企业和公共部门的生产率和竞争力. 麦肯锡新近的研究探讨了数字信息以及其潜在用户的爆炸式增长。数据成为流入全球经济每一个领域的洪流。企业产生了数量迅速增加的交易数据，获取着有关客户、供应商和业务运营的数以tb 的信息。 实体世界中，数以百万计的联网传感器被嵌入到各种设备中，例如手机、“智能”能量计、汽车，以及在物联网时代能感知、创造

2、和传达数据的工业机械。的确，随着企业和组织开展经营以及与个人互动，他们产生着数量巨大的数字化“排出数据”，也就是作为其他活动的副产品而创造出的数据。社交媒体网站、智能电话以及其他消费电子设备（包括pc机和笔记本）使得全球数十亿人为可获得的海量数据添砖加瓦。不断增多的多媒体内容对于”海量数据”数量的指数增长起了重要作用（参见附文“我们说的海量数据是什么意思”）。例如，每一秒的高清视频产生的比特量是存储一页文本所需的2,000 多倍。在数字化世界中，消费者每天的生活通讯、上网浏览、购物、分享、搜索产生着数量庞大的数据。数量惊人的数据本身是一个全球性现象，但是，这意味着什么呢？全球许多公民对这一信息

3、的集合抱以深深的怀疑，认为数据洪流不过是对其隐私的侵犯。但是，存在有力的证据表明，海量数据可以发挥重要的经济作用，不但有利于私人商业活动，还有利于国民经济和公民。我们的研究发现，数据可以为世界经济创造重要价值，提高企业和公共部门的生产率和竞争力，并为消费者创造大量的经济剩余。例如，如果美国医疗卫生部门能够富有创造性而有效地利用海量数据来提高效率和质量，我们估计，该部门每年通过数据获得的潜在价值可超过3000 亿美元，其中2/3 将以全国医疗卫生支出降低大于8% 的形式表现出来。例如，在私营部门，我们估计充分利用海量数据的零售商有可能将其经营利润提高60% 以上。在欧洲发达经济体中，我们估计，仅

4、通过利用海量数据实现的运作效率提高，政府行政管理方面可以节省 1000 亿欧元（ 1400 亿美元）以上的开支。这一估计尚未包括可以用来减少欺诈、错误以及税差（潜在税收与实际税收收入之差）的海量数据影响作用。数字化数据现在无所不在每个部门中，每个经济体中，每个组织以及数字技术用户中。这一话题以前只有少数数据怪杰感兴趣，而现在海量数据对各个部门的领导都具有重要意义，各种产品和服务的消费者必将通过海量数据的应用而受益。随着计算领域中的摩尔定律、数字存储中的类似的定律以及云计算等趋势继续降低成本以及减少其他技术壁垒，人们存储、汇聚和组合数据然后利用其结果来进行深入分析的能力超过以往任何时候。花不到6

5、00 美元，就可以买到容量足以存储世界上所有音乐的硬盘。海量数据的挑战和机遇2随着运用越来越尖端的技术的软件与不断提高的计算能力相结合，从数据中提取洞见的能力也在显著提高。此外，由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。2010 年，超过 40 亿人（世界人口的60% ）在使用手机，其中大约12% 拥有智能电话其渗透率以每年20% 以上的速度增长。如今，3000 多万联网传感器节点分布在交通、汽车、工业、公用事业和零售部门，其数量正以每年30% 以上的速度增长。可以通过许多方式来利用海量数据在全球经济的各个部门中创造价值。的确，我们的研

6、究表明，整个世界正处在一波巨大的创新、效率和增长之中，正处在竞争和价值获取的新模式的变革时代所有这些都被海量数据所推动，消费者、企业和经济部门无一不在挖掘利用海量数据的潜力。但是，这一现象为何现在才发生呢？数据不是一直都是信息和通信技术的冲击中的一部分吗？是的，但是，我们的研究表明，海量数据将会带来的变化的规模以及范围处在一个转折点上，随着一系列技术趋势开始加速并汇聚，必将大大扩展海量数据的影响。我们已经看到这种汇聚在经济格局中带来的变化。许多领先的企业已经在使用海量数据创造价值，其他企业如果要与之竞争，需要探索如何做到这一点。政府在公共资金受到约束的时期，也面临着提高效率和为公民提供的资金带

7、来的价值的机遇。鉴于全球许多国家人口老龄化这一现实，这一点可能非常重要。我们的研究表明，公共部门可以通过有效地使用海量数据来显著提高效率。然而，企业和其他组织以及政策制定者如果要充分发挥海量数据的潜力，就需要应对很多挑战。能够掌握这些技术以获得最大价值的分析和管理人才不足，这是一个重大而紧迫的挑战，企业和政策制定者可以近期内着手解决。仅美国就短缺140,000 到 190,000 具备深厚分析技能的人员，以及150 万分析海量数据并在其发现的基础上做出决策的管理人员和分析师。人才短缺仅仅是第一个挑战。其他挑战包括需要确保适当的基础设施落实到位，并且激励措施和竞争能够鼓励继续创新。此外，必须正确

8、理解对于用户、组织和经济体带来的经济收益，而且必须实施安全措施，以便消除公众对海量数据的担忧。我们的研究绝不代表关于海量数据的最终结论；其实，我们只将其视为开始。我们完全可以预料，随着运用海量数据的技术和技巧不断发展以及经济收益的增长（同时伴随着相关挑战和风险），有关海量数据的故事将继续演变。不过，就目前而言，我们的研究获得了七个重要洞见。1. 数据已经渗透到每一个行业和业务职能领域，已成为一个重要的生产因素。几个研究团队曾研究过全世界产生、存储和消费的数据总量。尽管他们的估计数字以及由此产生的结果各不相同，所有研究都表明，未来数年会呈现指数增长。麦肯锡全球研究院（mgi ）估计，全球企业20

9、10 年在硬盘上存储了超过7eb（1eb等于 10 亿 gb ）的新数据，同时，消费者在pc和笔记本等设备上存储了超过 6eb新数据。 1eb数据相当于美国国会图书馆中存储的数据的4000 多倍。事实上，我们如今产生海量数据的挑战和机遇3如此多的数据，以至于根本不可能全部存储下来。例如，医疗卫生提供商会处理掉他们所产生的90% 的数据（比如手术过程中产生的几乎所有实时视频图像）。海量数据现在已经进入全球经济的各个部门。就像其他的生产必备要素（例如， 硬资产和人力资本）一样，许多现代经济活动离开了它也根本不能发生。我们估计，至2009 年，美国经济中几乎所有部门中每一个雇员数量在1,000 人以

10、上的企业所存储的数据平均值至少为200tb （1tb等于 1,024gb），是美国零售商沃尔玛 1999 年的数据仓库的两倍。很多经济部门中，每个企业平均存储数据超过1pb（1,024tb）。欧洲的组织 2010 年存储容量总计接近11eb，大约为整个美国存储容量（16eb以上）的 70% 。由于欧洲各经济体在发展阶段上（因而在公司分布上）彼此类似，因此，我们认为欧洲多数行业中的一般企业都有足够的容量存储和操作海量数据。相比之下，其他地区中的人均数据密度就低得多了。这一差距表明，至少在近期，通过使用海量数据来创造价值的最大潜力在最发达经济体中。不过，展望未来，只要具备适当的条件，发展中经济体具

11、备发挥海量数据作用的巨大潜力。比如，可考虑如下事实：亚洲已经成为产生个人位置（personal-location）数据的领先地区，原因就在于该地区人们在使用那么多手机。（中国的手机使用量超过任何其他国家，2010 年估计为 8 亿部。）此外，发展中地区的某些个别企业在海量数据使用方面可能比平均水平先进得多。有些组织将会利用其远程存储和处理数据的能力。随着用于处理数据的基础技术、平台和分析能力的不断创新，随着越来越多的个人过上数字生活导致的用户行为的不断改变，海量数据带来的各种可能性将继续迅速演变。2. 海量数据可以通过多种方式创造价值。我们已经发现五种可广泛适用的利用海量数据的方式。这些方式提

12、供变革性的价值创造潜力，并对组织应如何设计、组织和管理具有重要影响。例如，在可能进行大规模试验的世界中，企业营销职能和活动将如何演变？业务流程将如何变化，企业将如何评价和利用其资产（尤其是数据资产）？企业获取数据的便利以及分析数据的能力是否可能带来比品牌更大的价值？现有的何种业务模式可能会中断？（例如，在数据极其透明的世界中，建立在信息不对称这一基础上的行业例如各种类型的经纪商将会面临什么状况？）与遗留业务模式及基础设施紧密联系的现有组织，如何与那些能够迅速处理并利用很快就容易获得的详细消费者数据（例如，人们在社交媒体中说到的或者嵌入式传感器报告的消费者）的、灵活的新兴进攻者竞争？随着客户由于

13、掌握了数据（例如不同竞争对手之间的价格和质量比较）而增强了实力，当盈余开始从供应商向客户转移时，会出现什么情况？创造透明度海量数据的挑战和机遇4仅仅让相关利益相关方能够更加容易地及时获取信息，就可以创造巨大价值。例如，在公共部门，让原本相互分离的部门之间更加容易地获取相关数据可大大降低搜索和处理时间。在制造业，整合来自研发、工程和制造部门的数据以便实现并行工程，可以显著缩短产品上市时间并提高质量。让人们能够通过试验来发现需求、暴露可变因素并提高业绩。随着组织创造并存储更多数字形式的交易数据，它们可以（以实时或接近实时的方式）收集更多方方面面的准确而详细的绩效数据，从产品库存清单到人员病假天数。

14、it 使得各组织能够记录各种过程，然后安排对比实验。运用数据分析绩效变化情况不论是自然发生的、还是通过对比实验形成的然后了解其根源，可以让领导提高业绩水平。将人群进行细分以便定制行动方案海量数据使得组织能够进行非常具体的细分，以便精确地定制产品和服务以满足这些需求。这一方法在营销和风险管理领域广为人知，但是，在其他领域，也可以具有革命性例如，在公共部门如何以同样的方式一视同仁地公平对待所有公民。甚至在消费品和服务领域，那些已经运用细分方法多年的企业正开始部署越发尖端的海量数据技术，例如将客户实时微观细分以便锁定促销和广告方式。通过自动化算法取代或支持人为决策尖端的分析工具可以大幅改善决策过程、

15、实现风险最小化，以及揭示本来隐藏着的洞见。这种分析工具对于从税务机关（可以运用自动化风险引擎来标注需要进一步调查的人选）到零售商（可以利用算法来优化决策过程，例如，根据实时店内及在线销售来自动微调库存和定价）在内的各种组织都有用途。有些情况下，决策未必会自动化，而是由于分析整个巨大的数据库而扩大化使用海量数据技巧和技术，而不是个人使用电子表格就能处理和理解的较小样本。决策过程可能再也不会是原来的样子了；有些组织已经在通过分析来自客户、雇员甚至嵌入产品中的传感器的整个数据集而做出更好的决策。用新业务模式、新产品和服务进行创新海量数据让企业能够创造新产品和服务，改善现有产品和服务，以及发明全新的业

16、务模式。制造企业利用从实际产品的使用而获得的数据来改进下一代产品的开发，以及创造创新的售后服务。实时位置数据的出现已经创造了一套全新的基于位置的服务从导航到根据人们在何处以及如何驾车进行财产和人身伤害保险的定价。3. 对于企业来说，海量数据的运用将成为未来竞争和增长的基础。海量数据的使用正成为领先企业在业绩方面超越其同行的一种重要方式。例如，我们估计，积极使用海量数据的零售商具有将其经营利润提高60% 以上的潜力。我们曾见过领先零售商（例如英国的tesco）通过使用海量数据从当地竞争对手处赢得市场份额；其他行业中也有很多例子，例如金融服务业及保险业。海量数据的挑战和机遇5我们预计，各个部门中都

17、会出现价值向领先的海量数据使用者聚集、而落后者出现价值损失的趋势，这方面的证据日渐明显。具有前瞻性思维的领先者可以着手积极打造其组织的海量数据能力。这一努力需要时间，但是，从长期看，开发利用海量数据的卓越能力所产生的影响将会带来更强的竞争优势，因此，值得为此投资。反之亦然，在海量数据的世界中，不能充分发展自己能力的竞争对手将会落后。海量数据还将有助于创造新的增长机会和全新的企业类别，例如，汇聚和分析新获取的行业数据流的企业。许多此类企业将成为位于大规模信息流中央的企业，可以在这里获取并分析有关产品和服务、买主和供应商以及消费者偏好和意图的数据。此类例证可能包括与购买众多产品和服务的大量消费者建

18、立界面的企业、 促成全球供应链的企业、处理数以百万计的交易的企业，或者提供消费者数字体验平台的企业。这些企业将成为把握海量数据优势的企业。更多的企业将会发现自已拥有某种此类优势，这类企业的数量比人们一开始以为的更多。许多企业可以掌握由其产品和服务生成的宝贵的数据池。网络甚至可以将实体产品连接起来，使得这些产品能够报告自己的序列号、发货日期、使用次数，等等。这些机会中有些将会产生新的价值来源，另外，有些将会导致价值在行业内出现重大转移。例如，那些汇聚数据并进行提高医疗卫生效率所必需的分析的诊所信息提供商，至 2020 年可以在价值100 亿美元的市场中竞争。那些把握了创造价值所必需的数据的先行者

19、可能收获最大的收益（参见附文“我们如何衡量海量数据的价值？”）。从竞争力和获取价值的潜力的角度来看，所有企业都需要认真对待海量数据。在多数行业中，站稳脚跟的竞争者与新进者将同样利用数据驱动的战略进行创新、竞争以及获取价值。事实上，在所考察的每一个部门中，我们都发现了此类抢占先机利用数据的例子。4. 海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在我们研究的五个领域中，我们发现了许多海量数据手段；在我们看来，这些手段构成了生产率大幅增长的基础（图表1）。这些机会有可能提高效率和效力，使得组织既能够事半功倍，又能形成高品质的产出具体方式是，提高产品和服务的增值内容。例如，我们发现，

20、企业可以利用数据来设计与客户需求更匹配的产品。甚至可以利用数据对使用中的产品进行改进。一个此类例子是，一款能了解使用者习惯和偏好、装有针对这一特定使用者的需求而定制的应用和数据的手机要比一部新的非定制设备更有价值。海量数据的挑战和机遇6要发挥这一潜力，需要运营和流程方面的创新。这方面的例子包括通过算法来加强决策从临床实践到税务审计。产品和服务方面也必须有创新，例如，通过先进的分析工具加快新药开发，以及通过使用联网传感器来创造新的、前瞻性的汽车售后维护服务。政策制定者如果明白提高生产率是提高其整个经济体中的生活水准的关键措施，那么，就需要放宽路子以便组织利用那些提高生产率的海量数据手段。我们还发

21、现了一种普遍的模式，其中客户、消费者和公民都能获得大量通过海量数据实现的经济剩余价值他们是与海量数据相关的创新的直接和间接受益人。例如，通过使用海量数据可以实现更佳的健康、公民更高质量的参政议政参与能力、由于价格透明带来的更低价格，以及产品与消费者需求之间的更佳匹配。我们预计，随着各个部门部署海量数据，消费者剩余价值增加的这一趋势会在其中继续，并且加速。以个人位置数据领域为例。在这一领域中，利用实时交通信息为导航提供依据将通过行程时间以及燃油消耗的节省而创造可量化的消费者剩余价值。移动定位使然的应用也将帮助消费者创造剩余价值。在这两种情况下，这些创新所创造的剩余价值可能远远超过服务提供商所产生

22、的收入。消费者要能受益，政策制定者往往需要推动海量数据创新的部署。5. 海量数据的运用会在各个部门具有重要意义，而在某些部门必将产生更大的收益如果我们将美国各个部门的历史生产率与其通过海量数据获取价值的潜力加以比较（运用一种将数种量化指标相结合的指数），我们会观察到，部门间的模式迥异（图表2）。海量数据的挑战和机遇7全球交易的计算机和电子产品及信息（a组）是已经体验到非常强劲的生产率增长的部门，必将通过海量数据的使用而大幅获益。有两个部门（b组）政府以及金融和保险，如果能够克服障碍的话，将会大大受益。 有几个部门 （c 组）经历了生产率负增长，这或许表明，它们面临着提高生产率的系统障碍。在其余

23、的部门中，我们看到全球交易的部门（多数在d组）往往经历过较高的生产率历史增长，而本地服务（主要为 e 组）经历了较低的增长。尽管所有部门要通过海量数据的使用来获取价值都必须克服障碍，对于某些部门来说，其障碍从结构上说比其他部门要高（图表3）。例如，公共部门（包括教育）由于缺乏数据推动的思维以及可用的数据而面临着较高的障碍。鉴于医疗卫生部门迄今为止在it 方面的投资相对较低，要获取价值，则面临严峻挑战。由于与之恰恰相反的原因，零售、制造和专业服务等部门面临的障碍也许相对较低。海量数据的挑战和机遇86. 组织利用海量数据所需的人才将会出现短缺。通过海量数据实现价值的一个重要制约因素是人才短缺，尤其

24、是拥有统计学和机器学习方面专长的人，以及知道如何通过运用从海量数据获得的洞见来运营企业的管理者和分析师。在美国，我们预计，海量数据会迅速成为各个部门中的关键竞争决定因素。但是，我们预计，按照目前的趋势，海量数据领域中对于深入的分析性职位的需求会超过供给，缺口为140,000 到 190,000 个职位（图表4）。更有甚者，这一类型的人才难于造就，哪怕拥有固有的数学能力的人，也需要数年的培训。虽然我们的量化分析以美国为例，我们认为，这类人才的制约是全球性的，这提醒我们，某些地区也许能够生产出可以填补其他地区空缺的人才。7. 要充分发挥海量数据的潜力，必须解决几个问题。数据政策。随着数量越来越多的

25、数据被数字化，在跨越组织边界而流动着，一系列政策问题将会越来越重要，这包括但不限于隐私、安全、知识产权和责任。显然，随着海量数据的价值愈加明显，隐私是个重要性（尤其是对消费者来说）不断提高的问题。个人数据（例如健康和财务记录）经常能够提供最重要的人类福利，例如，帮助准确确定适当的医疗或者最恰当的金融产品。然而，消费者也将这些类别的数据视为最敏感的。显然，个人和其生活所在的社会将不得不努力在数据隐私和数据的功用之间权衡取舍。另一个密切相关的担忧是数据安全例如，如何保护竞争方面敏感的数据或者应该保持隐私的其他数据。最近的例子表明，数据被盗不仅暴露消费者个人信息和企业保密信息，甚至还会暴露国家安全秘

26、密。鉴于严重的数据被盗事件有增无减，通过技术和政策工具解决数据安全问题将成为关键。海量数据日益提高的经济意义也提出了一系列法律问题，尤其是当与如下事实联系起来时：数据与许多其他资产具有根本性的差异。数据可以与其他数据结合起来完美而轻松地复制。同样一份数据可以由多个人同时使用。这些是数据与实体资产相比的独有特征。有关数据所附带的知识产权的问题不容回避：何人“拥有”某份数据，某一数据集附带着何种权利？数据的“公平使用”的定义是什么？此外，还有与责任相关的问题：当一份不准确的数据导致负面结果时谁应负责？要充分发挥海量数据的潜力，此类法律问题需要澄清，也许会随着时间的推移逐步澄清。技术和技能。 要通过

27、海量数据获取价值，组织将不得不部署新的技术（例如存储、 计算和分析软件）和技能（也就是新的分析类型）。技术难题的范围以及解决它们的优先次序将因机构的数据成熟度而异。以前遗留下来的旧系统和不兼容的标准和格式也常常会妨碍数据与能够通过海量数据创造价值更尖端分析工具的整合。新的问题和不断提高的计算能力将刺激新型分析技能的开发。另外，人们还需要（技术和技能方面的）持续创新，以帮助个人和组织整合、分析、可视化和消费不断扩大的数据洪流。组织变革和人才。组织领导往往对海量数据蕴含的价值以及如何释放这一价值缺乏了解。在竞争性部门中，这对某些企业来说可能是阿喀琉斯之踵，因为它们那些站住阵脚的竞争对手（以及新进入

28、者）可海量数据的挑战和机遇9能会利用海量数据与之竞争。正如我们指出的那样，许多组织没有现成的人才从海量数据中获得洞察。此外，当前许多组织并没有适当构建工作流和激励措施以便优化海量数据的使用，从而做出更好的决策并采取更有根据的行动。数据访问权。为了促成变革性的机遇，各企业将越来越需要整合来自多个数据源的信息。有些情况下，组织能够购买数据访问权。而另外有些情况下，第三方数据访问权往往并非能够轻易获得。第三方数据来源也许并未考虑分享这些数据。有时，经济激励措施并未协调一致以鼓励利益相关方分享数据。持有某一数据集的利益相关方也许将其视为一种竞争优势的来源，因此不愿意与其他利益相关方分享。其他利益相关方必须找到适当方式，向有价值数据的持有者提供富有说服力的价值主张。行业结构。竞争强度和业绩透明度相对缺乏的部门，以及