“大数据”的认识与思考22

1、“大数据”的认识与与思考 刘姝祎祎目录TOC o 1-3 h z u HYPERLINK l _Toc388335582 1“大数据据”的时代背背景 PAGEREF _Toc388335582 h 4 HYPERLINK l _Toc388335583 1.1“大大数据”的概念 PAGEREF _Toc388335583 h 4 HYPERLINK l _Toc38883355584 1.2“大数据”产生的背背景 PAGEREF _Toc388335584 h 4 HYPERLINK l _Toc388335585 1.3“大大数据”的特征 PAGEREF _Toc388335585 h 5

2、HYPERLINK l _Toc388335586 1.4“大大数据”的发展阶阶段 PAGEREF _Toc388335586 h 5 HYPERLINK l _Toc388335587 1.5“大大数据”带来的机机遇 PAGEREF _Toc388335587 h 6 HYPERLINK l _Toc388335588 2“大数据据”的关键技技术 PAGEREF _Toc388335588 h 9 HYPERLINK l _Toc388335589 2.1“大大数据”的采集和和预处理 PAGEREF _Toc388335589 h 9 HYPERLINK l _Toc388335590 2.

3、2“大大数据”存储技术术 PAGEREF _Toc388335590 h 10 HYPERLINK l _Toc388335591 2.3“大大数据”分析技术术 PAGEREF _Toc388335591 h 10 HYPERLINK l _Toc388335592 2.4“大大数据”与云计算算 PAGEREF _Toc388335592 h 11 HYPERLINK l _Toc388335593 3大数据产产业的应用用 PAGEREF _Toc388335593 h 12 HYPERLINK l _Toc388335594 3.1大数数据产业 PAGEREF _Toc388335594 h

4、 12 HYPERLINK l _Toc388335595 3.2“大大数据”在典型领领域中的应应用 PAGEREF _Toc388335595 h 13 HYPERLINK l _Toc388335596 3.3智慧慧城市：立立体的大数数据生态系系统 PAGEREF _Toc388335596 h 14 HYPERLINK l _Toc388335597 3.3.11智慧城市市的产生 PAGEREF _Toc388335597 h 14 HYPERLINK l _Toc388335598 3.3.22全球智慧慧城市的实实践 PAGEREF _Toc388335598 h 15 HYPERLI

5、NK l _Toc388335599 3.3.33.中国智智慧城市 PAGEREF _Toc388335599 h 16 HYPERLINK l _TToc38883355600 4问题与挑挑战 PAGEREF _Toc388335600 h 18 HYPERLINK l _Toc388335601 4.1数据据质量 PAGEREF _Toc388335601 h 18 HYPERLINK l _Toc388335602 4.2数据据安全 PAGEREF _Toc388335602 h 18 HYPERLINK l _Toc388335603 4.3用户户隐私与便便利性的冲冲突 PAGEREF

6、 _Toc388335603 h 18 HYPERLINK l _Toc388335604 4.4庞大大能耗 PAGEREF _Toc388335604 h 18 HYPERLINK l _Toc388335605 4.5数据据分析与管管理人才紧紧缺 PAGEREF _Toc388335605 h 19 HYPERLINK l _Toc388335606 4.6跟风风现象较为为严重 PAGEREF _Toc388335606 h 19 HYPERLINK l _Toc388335607 4.7缺少少技术创新新水平较高高的互联网网公司 PAGEREF _Toc388335607 h 19 HYP

7、ERLINK l _Toc388335608 5对大数据据产业发展展的建议 PAGEREF _Toc388335608 h 20 HYPERLINK l _Toc388335609 5.1政府府方面 PAGEREF _Toc388335609 h 20 HYPERLINK l _Toc388335610 5.2企业业方面 PAGEREF _Toc388335610 h 21 HYPERLINK l _Toc388335611 5.3公众众方面 PAGEREF _Toc388335611 h 221“大数据据”的时代背景景1.1“大大数据”的概念纽约时报在在20122年宣布“大 HYPERLIN

8、K /hqstat/hqstat.shtml 数据时代”已经降临临，“ HYPERLINK /view/6954399.htm 大数据”成为了时时下最火热热的词汇。顾名思义义，大数据据是“无法任意意时间内用用常规软件件工具对其其内容进行行抓取、管管理和处理理的大量而而复杂的数数据集合”。Garrtnerr认为大数数据是“需要新处处理模式才才能具有更更强的决策策力、洞察察发现力和和流程优化化能力的海海量、高增增长率和多多样化的信信息资产”。“大数据”的要义是尽尽可能地收收集众多可可以相互叠叠加补充的的信息，据据以完成对对“未来”的预测。这些数据据可能有些些混乱，甚甚至会出现现纰漏，但但数据量的“

9、多“和时间的的“即刻”可以弥补补数据质量量的瑕疵，“大数据”将以最快的速度“预测”出最“可靠”的答案，指引人们迅速采取行动。1.2“大大数据”产生的背背景大数据的应应用和技术术是在互联联网快速发发展中诞生生的，起点点可追溯到到 20000 年前前后。当时时互联网网网页爆发式式增长，每每天新增约约 7000 万个网网页，到 20000 年底全全球网页数数达到 440 亿，用用户检索信信息越来越越不方便。谷歌等公公司率先建建立了覆盖盖数十亿网网页的索引引库，开始始提供较为为精确的搜搜索服务，大大大提升了了人们使用用互联网的的效率，这这是大数据据应用的起起点。当时时搜索引擎擎要存储和和处理的数数据，

10、不仅仅数量之大大前所未有有，而且以以非结构化化数据为主主，传统技技术无法应应对。为此此，谷歌提提出了一套套以分布式式为特征的的全新技术术体系，即即后来陆续续公开的分分布式文件件系统(GGFS， Googgle FFile Systtem)、分布式并并行计算(MapRReducce)和分分布式数据据库(BiigTabble)等等技术，以以较低的成成本实现了了之前技术术无法达到到的规模。这些技术术奠定了当当前大数据据技术的基基础，可以以认为是大大数据技术术的源头。伴随着互联联网产业的的崛起，这这种创新的的海量数据据处理技术术在电子商商务、定向向广告、智智能推荐、社交网络络等方面得得到应用，取取得巨

11、大的的商业成功功。这启发发全社会开开始重新审审视数据的的巨大价值值，于是金金融、电信信等拥有大大量数据的的行业开始始尝试这种种新的理念念和技术，取取得初步成成效。与此此同时，业业界也在不不断对谷歌歌提出的技技术体系进进行扩展，使使之能在更更多的场景景下使用。20111 年，麦麦肯锡、世世界经济论论坛等知名名机构对这这种数据驱驱动的创新新进行了研研究总结，随随即在全世世界兴起了了一股大数数据热潮。2012年年3月，美美国政府发发布大数数据研究和和发展计划划，同时时组建大数数据高级指指导小组，以以协调政府府在数据领领域的两亿亿多美元投投资。根据据这一计划划，美国希希望利用大大数据技术术再多个领领域

12、实现突突破，包括括科研教学学、环境保保护、国土土安全等，此此举标志着着，美国把把应对大数数据技术革革命带来的的机遇和挑挑战，提高高到国家战战略层面，形形成了全体体动员格局局。随后，英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上日程。值得一提的是，由中国各级政府主导的大数据计划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。1.3“大大数据”的特征“大数据”具有4VV的特点：一是数据据容量巨大大（Vollume）。国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量

13、。二是数据类型众多（Variiety）。相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。 三是数据价值密度低（Value）。举例而言，在一个连续监控三个小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常快（Velocity）。一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。在此基础上，阿里巴巴延伸至3个维度可实时性、可解释性、数据准确性稳定性，这三个维度是决定数据是否有价值的关键。 1.4“大大数据”的

14、发展阶阶段每种技术都都有自己的的生命周期期，Garrtnerr曾经指出出新技术生生命周期的的5个阶段段，即技术术萌芽期（ttechnnologgy trriggeer）、期望膨胀胀期（Peeak oof Innflatted EExpecctatiions）、泡沫化的谷底期 （Through of Disillusionment）、稳步爬升的光明期 （Slope of Enlightement），最后才能进入成熟使用期 （Plateau of Productivity）。如下图1-1所示图1-1大大数据生命命周期图而大数据正正是出于期期望膨胀期期，预计通通过近两年年的发展，大大数据将会会在20

15、116年达到到泡沫化的的低谷期，之之后在5-10年的的时间内经经历稳步爬爬上的光明明期，到22020年年后将会到达达实质的成熟熟使用期。1.5“大大数据”带来的机机遇（1）新一一代信息技技术融合应应用新焦点点对大数据的的处理和分分析正成为为未来新一一代信息技技术融合应应用的核心心支撑结点点。物联网网、移动互互联网、数数字家庭、社会化网网络等都是是新一代信信息技术具具体的应用用形态，大大数据伴随随这些应用用不断增长长，云计算算则为这些些海量的、多样化的的大数据提提供存储和和运算的支支撑平台。以大数据据为结点，各各项新一代代信息技术术应用产生生的信息将将不断汇集集，并通过过对不同来来源数据的的统一

16、性、综合性的的处理、分分析与优化化，将结果果反馈或交交叉反馈到到物联网、移动互联联网、数字字家庭、社社会化网络络等应用中中，又进一一步改善使使用体验，并并创造出巨巨大的商业业价值、经经济价值和和社会价值值。（2）信息息产业持续续高速增长长的新引擎擎大数据因其其巨大的商商业价值和和市场需求求正在推动动着信息产产业持续高高速增长。随着行业业用户对大大数据价值值的认可程程度增加，市市场需求将将出现井喷喷，面向大大数据市场场的新技术术、新产品品、新服务务、新业态态将会不断涌涌现，大数数据将为信信息产业打打开一个高高增长的新新市场。在硬件与集集成设备领领域，大数数据面临的的有效存储储、快速读读写、实时时

17、分析等挑挑战，将对对芯片、存存储产业产产生重要影影响，还将将催生一体体化数据存存储处理服服务器、内内存计算等等市场。在在软件与服服务领域，因因为大数据据中蕴含的的巨大价值值，带来对对数据快速速处理和分分析的迫切切需求，将将引发数据据挖掘、商商业智能市市场的空前前繁荣。（3）用户户提升竞争争能力的新新动力对大数据的的利用将成成为企业提提高核心竞竞争力、并并抢占市场场先机的关关键。企业业的决策正正在从“业务驱动动”转变为“数据驱动动”。在未来来3到5年年，我们将将会看到那那些真正理理解大数据据并能利用用大数据进进行价值挖挖掘的企业业和不懂得得大数据价价值挖掘企企业之间的的差距。真真正能够利利用好大

18、数数据、并将将其价值转转化成生产产力的企业业必将具备备强劲有力力的竞争优优势，从而而成为行业业的领导者者。在零售售行业，对对大数据的的分析可以以使零售商商实时掌握握市场动态态并迅速做做出应对；在互联网网行业，对对大数据的的分析可以以为商家制制定更加精精准有效的的营销策略略提供决策策支持；在在服务行业业，对大数数据的分析析可以帮助助企业为消消费者提供供更加及时时和个性化化的服务；甚至在公公共事业领领域，大数数据也开始始发挥促进进经济发展展、维护社社会稳定等等不可小觑觑的重要作作用。（4）推动动商业模式式的创新对于海量数数据而言，提提供髙附加加价值的数数据分析服服务，将数数据封装为为服务形成成可对

19、外开开放、可商商业化的核核心能力，实实现商业模模式的创新新，才是大大数据运用用的关键所所在。对于于政府和企企业而言，至至少可以实实践4种商业模模式的创新新。第一是是客户关系系管理的创创新，通过过大数据分分析可以根根据客户的的属性，从从不同角度度深层次分分析客户、了解客户户，推出新新的客户关关系管理平平台，以增增加新的客客户，提高高客户的忠忠诚度，降降低客户流流失率。第第二是企业业经营决策策指导的创创新。企业业可以利用用用户数据据，有效提提升资源利利用能力，提提高决策的的准确性，从从而提升整整体运营效效率。如，沃沃尔玛通过过分析客户户购买产品品的种类组组合，适时时推出产品品联合促销销信息，以以提

20、升产品品的销量。第三是个个性化精准准推荐。企企业根据用用户喜好推推荐各类产产品和业务务，如淘宝宝根据分析析客户的检检索数据，适适时向客户户推送相关关产品的广广告信息。第四是创创新社会管管理。政府府可以将大大数据运用用到交通、应对突发发灾害、维维稳等领域域中。如，在在大数据的的帮助下，什什么时间段段、哪条路路拥堵等问问题，都可可以通过分分析得知，通通过同一条条路上多个个用户的手手机位移速速度，便可可以判断当当时的路况况，为拥堵堵做出准确确预警。2“大数据据”的关键技术“大数据”已经不仅是是数据大这这一事实了了，更重要的是是要对大数据据进行分析析以获取更多智能、深入和有价值的的信息。而而随着“大数

21、据”在越来越越多的领域域得到应用用，“大数据”也变得越越来越复杂杂，因此“大数据”处理技术在大数数据领域就就显得尤为为重要，可可以说是决决定最终信信息是否有有价值的决决定性因素素。大数据据应用分析析结果需要要经过数据据采集、预预处理、存存储、分析析和挖掘等等多多个环环节才能最最终呈现出出来。2.1“大大数据”的采集和预处处理在数据分析析界有着一一个“拇指法则则”，即数据据分析工作作至少有770%880%的时时间都花在在搜集和准准备数据上上，而仅有有20%30%的的时间花在在分析本身身上。随着着新技术采采集手段的的出现，数数据来源和和数据类型型变得丰富富多彩，企企业和机构构采集数据据首先需要要明

22、确所需需的数据内内容，并制制定好数据据分类存储储规则，以以便更有效效的采集数数据。按照照数据所有有者划分，企企业数据采采集源可以以分成3类类：一类是是企业和机机构的内部部数据，如如系统日志志、生产经经营数据等等；一类是是合作机构构的内部数数据，可以以通过设定定好企业与与合作机构构的系统接接口进行采采集；还有有一类是大大量的网络络公开数据据，可以通通过网络爬爬虫或者网网站公开的的应用开发发接口（AAPI）将将所需信息息从网页中中采集出来来。目前一一些互联网网企业和开开源社区开开发的海量量数据采集集工具，如如Faceebookk的日志采采集工具SScribbe、淘宝宝的实时数数据传输平平台Timm

23、eTunnnel等等，均已能能够满足每每秒数百MMB的日志志数据采集集和传输需需求。下面就物联联网及社交交网络这两两个“大数据”的新型来来源进行简简单的介绍绍。（1）“大大数据”与物联网网物联网是一一个信息技技术领域的的热词，其其本质是传传感器技术术进步的产产物。遍布布大街小巷巷的摄像头头，是大家家可以直观观感受到的的一种物联联网形态。事实上，传传感器几乎乎无处不在在，现在大大家常用的的智能手机机中，就包包括重力感感应器、加加速度感应应器、距离离感应器、光线感应应器、陀螺螺仪、电子子罗盘、摄摄像头等各各类传感器器。这些不不同类型的的传感器，无无时无刻不不在产生大大量的数据据，这些成为大大数据的

24、重重要来源之之一。妥善善的利用这这些数据可可以监测大大气的温度度、压强、风力，监监测桥梁、矿井的安安全，监测测飞机、汽汽车的行驶驶状态等。（2）“大大数据”与社交网网络社交网络是是互联网发发展史上一一个重要的的里程碑。它把人类类真实的人人际关系完完美地映射射到互联网网空间，并并借助互联联网的特性性而大大升升华。社交交网络使得得互联网甚甚至具备某某些人类的的特质，譬譬如“情绪”：人们分分享各自的的喜怒哀乐乐，并相互互传染传播播。社交网网络为“大数据”带来一类类最具活力力的数据类类型，人们们的喜好和和偏爱。由于现实采采集的数据据与大数据据分析过程程中所需的的数据，会会存在结构构不一致或或不完整的的

25、情况，大大数据预处处理过程可可以通过数数据提取、转换和加加载等操作作，对采集集的数据进进行初步的的组织和数数量，从而而提高大数数据分析质质量和效率率。2.2“大大数据”存储技术术大数据存储储需要满足足海量存储储、安全存存储和快速速读取的要要求。其中中海量存储储包含数据据容量和数数据文件量量两个方面面，为保障障系统存储储容量能够够以较低成成本存储海海量数据并并能实现快快速平滑扩扩展，分布布式存储和和存储虚拟拟化技术被被广泛采用用；为更好好的对系统统中海量文文件进行有有效管理，将将数据传输输和数据控控制分离开开的对象存存储架构应应用广泛。为了保障障数据安全全存储不丢丢失，大数数据存储过过程中会采采

26、用加密等等安全技术术，同时会会对数据进进行数次备备份。为了了支持数据据的快速读读取和并发发访问，分分布式存储储和对象存存储架构将将会更有效效。目前应应用广泛的的大数据海海量文件存存储技术主主要有谷歌歌文件系统统（GFSS）和基于于GFS发发展的开源源Hadooop分布布式文件系系统（HDDFS）等等。一些大型网网站将 “数据”视为最核核心的资产产，他们甚甚至花费高高昂的费用用来保管这这些数据，以以便加快用用户的访问问速度。谷谷歌公司购购买了单独独的水力发发电站，为为其庞大的的数据中心心提供充足足的电力。2.3“大大数据”分析技术当大数据的的采集和存存储已经完完成，如何何分析数据据，将这些些碎片

27、化的的数据系统统化，在无无序的数据据和信息世世界里寻找找有序的连连接，挖掘掘到可应用用的价值，是是真正驾驭驭大数据的的重要环节节。大数据据的分析技技术，大致致包括5个基本方方法理论技技术：可视化分析析可视化分析析能够直观观的呈现大大数据特点点，简单明明了易于接接受。数据挖掘算算法大数据分析析的理论核核心就是数数据挖掘算算法，各种种数据挖掘掘的算法基基于不同的的数据类型型和格式能能更加科学学的呈现出出数据本身身具备的特特点，而这这些数据挖挖掘的算法法能够快速的的处理大数数据。预测性分析析能力大数据分析析最重要的应应用领域之之一就是预预测性分析析，从大数数据中挖掘掘出特点，通通过科学的的建立模型型

28、，之后便便可以通过过模型带入入新的数据据，从而预预测未来的的数据。（4）语义义引擎大数据分析析广泛应用用于网络数数据挖掘，可可从用户的的搜索关键键词、标签签关键词、或其他输输入语义，分分析，判断断用户需求求，从而实实现更好的的用户体验验和广告匹匹配。（5）数据据质量和数数据管理大数据分析析离不开数数据质量和和数据管理理，高质量量的数据和和有效的数数据管理能能够保证分分析结果的的真实和有有价值。2.4“大大数据”与云计算算对于许多组组织来说，“大数据”对存储容量的需求已经超出目前的存储能力。我们正处于PB级存储时代，而EB及存储时代也即将到来。大容量的存储不但要求系统具备在原有数据存储规格上进行

29、扩展的能力，还要简单快速的进行扩展。云计算就为为“大数据”的诞生提提供了集中中采集数据据和存储数数据的基础础。云计算算的出现改变变了数据的的存储和访访问方式，在云计算出现之前，数据大多分散保存在每个人的个人计算机中、每家企业的服务器中。云计算，尤其是公用云计算，把所有的数据集中存储到“数据中心”，也即所谓的“云端”，用户通过浏览器或者专用应用程序来访问。一些大型的网站，通过提供基于“云”的服务，积累大量的数据，成为事实上的“数据中心”，这为“大数据”诞生奠定了基础。而云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持“大数据”存储和处理需求。这样的低成本硬件+低

30、成本软件+低成本运维，更加经济和实用，也使得“大数据”处理和利用成为可能。可以说云计算为“大数据”提供了存储空间和访问渠道，“大数据”则是云计算的灵魂和必然的发展方向。而近年来国内各地也兴起了建设云计算基地的风潮，客观上为“大数据”在我国的推广和应用准备了必备的储存空间和访问渠道。3大数据产产业的应用用3.1大数数据产业“大数据”的应用能能带来巨大大的经济价价值和社会会价值，对于产业业发展而言言，“大数据”可以实现现应用创新新、降低行行业内的生生产成本并并创造新的的产业价值值。咨询机机构麦肯锡锡最早提出出“大数据时时代已经到到来”，在20112年发布布的大数数据：创新新、竞争和和生产力的的下一

31、个领领域文章章上表明，在在零售业、制造业、医疗卫生生和公共部部门，“大数据”可以加快快产业规模模的增长速速度，降低低生产运营营成本；对对于企业而而言，采用用“大数据”可以提升升企业的竞竞争力，改改善企业的的营销规划划，客户定定位，产品品创新、工工作流程优优化、人力力资源管理理、物理管管理和风险险控制等多多方面的能能力。目前前，数据已已经渗透到到当今每一一个行业和和业务职能能领域，成成为重要的的生产因素素，人们对于于海量数据据的挖掘和和运用，预预示着新一一波生产率率增长和消消费者盈余余浪潮的到到来。对于“大数数据”产业，政政府与公共共事业部门门、行业企企业、个人人消费者是是其的最终终用户。在在政

32、府与公公共事业领领域，“大数据”可以应用用到城市规规划、公共共安全、公公共交通、舆情管理理等社会管管理和民生生服务领域域，带来效效率提升、响应速度度加快、服服务水平提提高、管理理成本下降降等诸多效效益。对于于行业企业业，“大数据”可以应用用到产品研研发设计、生产运作作管理、供供应链管理理、客户关关系管理、企业品牌牌营销等各各个环节，能能够帮助企企业准确把把握市场需需求变动、提高产品品设计与生生产效率、提高供应应链的敏捷捷性和准确确性、实现现个性化精精准营销，同同时也促进进IT技术术的创新。对于个人人消费者，通通过“大数据”的应用服服务将使信信息变得更更加泛在，从从家庭生活活、出行、消费、娱娱乐

33、、旅游游、学习等等方方面面面拓展民众众生活空间间、提高民民众的生活活品质。 总结以往，“大数据”的应用价值可以分为感知现在和预知未来两部分。感知现在 通通过对历史史数据和当当前数据的的融合，以以及潜在模模式挖掘，力力求达到对对事物对群群体与社会会发展当前前状态进行行更全面、更精确、更理性的的认知。这这种认知可可以是宏观观的，也可可以是微观观的。宏观观方面可以以对PB级级社会媒体体数据、百百亿级日志志数据继续续拧分析挖挖掘，掌握握宏观现状状，如环境境指数，健健康指数等等。在微观观方面可以以利用PBB级的日志志数据和EEB级的监监控数据，挖挖掘潜在线线索，如犯犯罪行为轨轨迹等。预测未来通过对“大大

34、数据”彼此之间间的关联分分析，演化化态势和效效应的判定定与调控，揭揭示事物发发展的演变变规律，进进而对是事事物发展趋趋势进行预预测。如基基于twiitterr等网上公公开数据的的实时感知知、动态获获取与综合合分析，结结合仿真调调控，预测测大选结果果；联合国国“全球脉动动”利用网络络大数据预预测失业率率与疾病暴暴发等现象象，利用数数字化的早早起预警信信号来提前前指导援助助项目，以以免某个脱脱贫地区重重新陷入贫贫困。这些些都说明了了正确的大大数据应用用对于准确确预测事件件发展趋势势具有重大大的价值，人人们可以给给予“大数据”更好的进进行科学决决策和事前前准备，未未来“大数据”预测技术术将会更广广泛

35、的运用用到人们的的日常生活活中，变革革人们的生生活。3.2“大大数据”在典型领领域中的应应用当前“大数数据”已经在物物理学、生物学、环境生态态学等领域域，以及军军事、金融、通讯等行行业有所应应用并带来来了巨大的的产业价值值。以下本文文将举出实实际案例以以介绍“大数据”在各个领领域的具体体应用。在IT领域域，一个典典型的案例例就是eBBay通过过数据分析析技术可以以精确计算算出广告中中的每一个个关键字为为公司带来来的回报，通通过对广告告投放的优优化，自22007年年以来eBBay产品品销售的广广告费降低低了99%，而顶级级卖家占总总销售额的的百分比却却上升至332%。在经济领域域，大数据据在经济

36、领领域的应用用可以通过过这样一个个有趣的案案例进行说说明，社交交媒体检测测平台DaataSiift检测测了社交网网络Facceboook首次公公开募股当当天Twiitterr上的情感感倾向与FFacebbook股股价波动的的关联。在在Fcebbook开开盘前，TTwittter上的的情感逐渐渐转向负向向，25分分钟之后ttwittter的股股价就开始始下跌，当当twittter上上的情感转转向正面时时，Facceboook的股价价在8分钟钟后也开始始回弹，最最终当股市市接近收盘盘，twiitterr上的情感感转向负面面时，100分钟口FFacebbook的的股价又开开始下跌，该该机构得出出结论

37、，TTwittter上每每一次情感感倾向的转转向都会FFacebbook股股价的波动动高度关联联。这证实实以大数据据预测未来来股价走向向的典型案案例。气象预测方方面，一家家美国公司司把气象数数据放在亚亚马逊的“云平台”上进行处处理，以及及时提供气气象预报的的方式，保保证当地的的农牧业主主在特定的的地区以及及特定的季季节不会遭遭受天气灾灾害，由此此获得了丰丰厚的利润润。智能交通方方面，根据据路网监控控，火车票票及飞机票票的预定，以以及网上地地图查询记记录，能够够提前预测测某个城市市的出行人人数的大致致规模，再再结合交通通部门的其其他信息，便便可以预测测出群体出出行的态势势，对其可可能的出行行时间

38、、出出行路线、出行方式式等进行预预测，从而而为城市交交通调度提提供决策帮帮助。军事领域，美美国“20499项目研究究所”于20008年在华华盛顿成立立，20110年它利利用网络上上公开的数数据和资料料，分析和和预测我国国在军事和和经济领域域的安全问问题，发布布了一份名名为中国国核弹头存存放和使用用系统的的报告，称称在陕西、江西、四四川等地发发现了中国国的核武器器基地，甚甚至还精确确到了核基基地所在的的市县名称称。20113年3月月，他们还还发布了一一份关于中中国无人机机项目的研研究报告，较较全面的分分析了中国国无人机的的研制、发发展、装备备以及作战战部署情况况。 以以上都是“大数据”在一些实实

39、际领域的的应用，未未来“大数据”将会在更更多的领域域得到应用用，决策行行为将会基基于数据分分析做出，通通过对数据据的整理和和分析，政政府和企业业能够预测测个体下一一步的需求求，进而提提供更加智智能与高效效率的管理理和服务。3.3智慧慧城市：立立体的大数数据生态系系统智慧城市是是城镇化发发展的高级级阶段，是是城市信息息化的新形形式，是现现代城市发发展的愿景景。智慧城城市在产生生大数据的的同时，“大数据”也支撑着着智慧城市市的建设和和发展，而而智慧城市市的衡量指指标是由“大数据”体现的。“大数据”挖掘对智智慧城市的的经济发展展和社会管管理是无形形的生产资资料，“大数据”合理利用用将创造巨巨大财富。

40、在未来，大大数据将成成为维护城城市运行的的基本要素素，智慧城城市在“大数据”的支撑下下，成为立立体的大数数据生态系系统，促进进城市的发发展。3.3.11智慧城市市的产生随着城市规规模的增大大、城市人人口的增多多，人们对对住房、教教育、交通通、医疗保保险等的需需求的也在在不断膨胀胀。诸如高高房价、堵堵车、雾霾霾等“城市病”也越来越越多，传统统的管理手手段已变得得捉襟见肘肘，而信息息化可以说说是抗击“城市病”的有效手手段。伴随着网络络帝国的崛崛起、移动动技术的融融合发展以以及创新的的民主化进进程，知识识社会环境境中的智慧慧城市是继继智能城市市之后信息息化城市发发展的高级级形态。利利用城市管管理中产

41、生生的大量信信息与数据据，积极促促进城市机机构之间的的实时沟通通和协助，分分析原因，制制定对策，有有效平衡社社会、商业业和环境发发展需要，优优化现有的的可用资源源，以最优优化的方式式为城市公公民提供全全面又超前前的服务，积积极提高公公民的生活活幸福感这种高效效、智能且且可持续的的城市管理理被称为智智慧城市。可以说大大数据是智智慧城市实实现智慧化化的关键支支撑，成为为驱动智慧慧城市发展展的动力。智慧城市采采用以物联联网、云计计算、大数数据等为核核心的新一一代信息技技术，集成成城市的组组织（人）、业务（政政务）、交交通、通信信、能源等等城市运行行中的各个个核心系统统，使整个个城市成为为以一种更更有

42、智慧的的方式运行行的宏大的的智慧城市市系统，对对保障城市市正常运行行的每个系系统进行全全面的监测测、管理、预警和处处置，快速速、智能地地响应城市市管理者和和市民的各各种需求，提提高城市运运行效率，提提高政府决决策力。建设智慧城城市是城市市发展的新新范式和新新战略，是是当今世界界城市发展展的趋势和和特征。建建设智慧城城市对抗击击“城市病”具有强烈烈的现实意意义。首先先智慧化运运营通过运运用来自城城市多个部部门的信息息，进行数数据聚集和和规范化后后，识别出出相关的重重要事件，以以提升服务务质量。其其次，智慧慧化运营能能够预测城城市发展的的问题与危危机，最大大限度降低低对城市居居民的影响响。如通过过

43、可视化重重要事件和和警报、地地理信息等等数据，识识别出模式式和趋势，保保证行动有有依据，主主动触发预预设的预案案以加快响响应，减少少服务中断断概率，避避免城市内内大型事故故扩大升级级，减少灾灾害的影响响。最后，智智慧城市可可实现通过过协调不同同部门的资资源，以提提高更快、更有效的的影响。“大数据”的智慧化化帮助管理理者跨部门门决策、协协调，提高高公共服务务交付效率率，减少应应对突发灾灾害的响应应时间。3.3.22全球智慧慧城市的实实践全球在智慧慧城市的实实践中展现现了各自不不同的设计计理念：美国在智慧慧城市建设设方面选择择智能电网网进行突破破，注重于于商业机构构的合作，利利用UrbbanSii

44、m等智能能化的城市市仿真系统统对城市空空间发展进进行优化。在美国22009年年的经济复复苏计划中中，有项高高达1100亿美元的的投资，用用于建设可可安装各种种控制设备备的新一代代智能电网网。日本在20009年77月推出“智慧日本本战略20015”，旨在将将数字信息息技术融入入生活的方方方面面，聚聚焦于电子子化政府治治理、医疗疗健康信息息服务、教教育与人才才培养3大大公共事业业。韩国政府于于20044年提出了了“U-韩国国”发展战略略，经过多多年的实践践，首尔、釜山等一一些城市已已进入“泛在城市市”时代。“泛在城市市”以“建设尖端端信息城市市，提高市市民生活质质量和城市市竞争力”为目标，利利用无

45、线传传感器网络络，实现对对城市设施施、安全、交通、环环境等方面面的智能化化管理和控控制。根据国际数数据公司预预计，20011年，全全球新型智智慧城市信信息技术的的市场规模模达到3440亿美元元，并将以以每年超过过18%的的速度增长长，到20014年将将达到5770亿美元元。3.3.33.中国智智慧城市2012年年11月，住住房和城乡乡建设部办办公厅发布布关于开开展国家智智慧城市试试点工作的的通知，将将建设智慧慧城市作为为贯彻党中中央、国务务院关于创创新驱动发发展、推动动新型城镇镇化、全面面建成小康康社会的重重要举措，要要求各地高高度重视，抓抓住机遇，通通过积极开开展智慧城城市建设，提提升城市管

46、管理能力和和服务水平平，促进产产业转型发发展。截至20112年7月月，中国共共有1500多个城市市提出建设设或正在建建设智慧城城市，其中中，北京、上海、广广州等城市市是智慧城城市创建进进程的领跑跑者。总体体上说，中中国东部地地区智慧城城市建设重重点在于以以信息技术术促进转变变经济发展展方式，提提高社会管管理水平，提提升城市竞竞争力，塑塑造城市品品牌。中西西部地区智智慧城市的的建设更加加注重对城城市的宣传传推广作用用，力争通通过智慧城城市建设促促进投资软软硬件环境境的改善，加加强招商引引资。中国智慧城城市建设分分为前期基基础设施建建设、中期期数据处理理设施建设设和后期的的服务平台台建设。就就智慧

47、城市市的建设内内容来看，一一方面是加加强城市基基础通信网网络建设，提提高通信网网络带宽及及覆盖率；另一方面面是在一个个云计算平平台之上提提供智慧应应用服务，如如智慧交通通、智慧医医疗等。相相关的建设设涉及通信信设备制造造企业、系系统集成企企业、数据据采集分析析企业、通通信运营商商和数据服服务企业，对对整个产业业链将起到到巨大的拉拉动作用。中国智慧城城市建设有有三种模式式：一种是是以物联网网产业发展展为驱动的的建设模式式，如天津津、广州等等；一种是是以信息基基础设施建建设为先导导的建设模模式，如上上海、南京京等；一种种是以社会会服务与管管理应用为为突破口的的建设模式式，如北京京、武汉等等。在中国

48、智慧慧城市建设设中，应当当注意以下下几点：（1）要因因城而异，不不能照搬西西方的模式式。智慧城城市建设目目标的确立立要符合城城市当前的的发展阶段段，解决居居民最迫切切需要解决决的问题，走走出中国智智慧城市建建设的差异异化道路。（2）注重重政府统筹筹，打破行行业、地域域壁垒，建建立智慧城城市大数据据的共建共共享机制。（3）大力力推动智慧慧城市的创创新应用，实实现创新示示范项目应应用的落地地。（4）完善善智慧城市市建设中大大数据信息息安全的基基础建设及及管理体制制，从技术术、管理和和法律等多多方面保证证智慧城市市建设的正正常运行。4问题与挑挑战“大数据”对社会的的好处是无穷无尽尽的，它在在一定程度

49、度上解决可可迫在眉睫睫的全球问问题，如处处理气候变变化、根除除疾病等，然而“大数据”在带来大知识、大发展、大价值的同时，也潜藏着巨大的风险。4.1数据据质量 真真实准确是是数据的生生命，组织织如果没有有能力获得得真实数据据，数据规规模再大、数据分析析技术再先先进也是徒徒劳。另外外由于受到到城乡差异异、地域差差异等的影影响，社会会上弱势群群体的信息息占有和表表达处于弱弱势，这就就造成了数数据鸿沟的的存在。而而数据造假假、数据鸿鸿沟等问题题在大数据据时代依然然存在，偏偏见和盲区区存在于大大数据中，大大数据得出出的结论并并不是完全全客观、准准确的，它它并不能提提供价值判判断，也不不能完全取取代人的经

50、经验和直觉觉。认清这这个事实，能能够帮助我我们在运用用大数据的的过程中，更更科学的解解读数据。4.2数据据安全数据安全在在大数据时时代也同样样面临挑战战。大数据据发展的趋趋势往往与与加大信息息开放、设设计新的信信息收集设设备以及为为海量数据据的庞大存存续和分析析需求提供供支持的云云计算等如如影随形。带来的副副作用是IIT基础架架构将变得得越来越一一体化和外外向型，对对数据安全全和知识产产权构成更更大风险。4.3用户户隐私与便便利性的冲冲突“大数据”对个人信信息获取渠渠道的拓宽宽的需求引引发了另一一个重要问问题：隐私私和便利性性之间的冲冲突。研究究表明，消消费者受惠惠于海量数数据：更低低的价格、

51、更符合消消费者需要要的商品，以以及从改善善健康状况况到提高社社会互动顺顺畅度等生生活质量的的提高。但但同时，随随着个人购购买偏好、健康和财财务情况的的海量数据据被收集，人人们对隐私私的担忧也也在增大。这需要政政府和企业业从政策、技术和法法律等多个个方向进行行思考和应应对。4.4庞大大能耗 向向来被人们们认为是绿绿色环保的的信息产业业其实是污污染和耗能能大户，调调查结果发发现，数据据中心浪费费的电力高高达总能耗耗的90%以上。业业内专家估估计，全球球范围内所所有数据中中心的总功功率高达33000万万千瓦，几几乎等于330座核电电站的发电电量。尽管管现在已经经有许多办办法帮助数数据中心降降低能耗，

52、但但出于对风风险的恐惧惧，多数公公司不愿作作出任何改改变。目前前，中国多多个地区已已经开始或或计划兴建建大型数据据中心，在在建设过程程中应提前前考虑能耗耗问题，以以免重蹈覆覆辙。4.5数据据分析与管管理人才紧紧缺人才是大数数据带来的的挑战之一一。研究表表明，单单单在美国，对对拥有深厚厚的海量数数据分析（包包括机器学学习和高级级统计分析析）技能人人才的需求求，可能超超出目前预预测供应量量的50-60%。到20118年，需需要新增多多达14-19万名名专家。此此外，还需需要1500万名熟悉悉如何应用用海量数据据的管理者者和分析员员。企业和和政府必须须加大招聘聘和人才挽挽留力度，同同时大力投投入关键

53、数数据人员的的教育和培培训。4.6跟风风现象较为为严重目前大数据据应用市场场还没有很很大，要等等到数据、技术和系系统的准备备有了一定定的突破之之后才会出出现飞速的的发展，但但是从现在在工业界发发展的情境境看来，很很多企业出出现了跟风风上项目、跟风卖产产品的现象象。在现今今“大数据”的发展情情境看来，政府和企业要做到结合行业和产业的特点进行整体的规划，之后逐步实施，做到不慌张、不跟风也不要坐失良机。4.7缺少少技术创新新水平较高高的互联网网公司从全球来看看，大数据据技术创新新水平分布布极不均衡衡，如谷歌歌、Facceboook、IBBM公司的的技术遥遥遥领先于我我国企业，总体来说，国际形成了“原

54、创技术-开源软件-商用产品”的技术创新链条，并以此为基础初步衍生了从存储和计算平台、数据分析软件到大数据云服务的产业生态。我国未来大数据的发展必然会受到技术水平的影响，如何加大创新投入力度，提高我国大数据技术水平成为未来我国大数据产业发展的一大问题。5对大数据据产业发展展的建议展望未来，大大数据发展展的序幕刚刚刚拉起，冷冷静的思考考是十分必必要的，大大数据在更更多领域落落地实施还还是要经历历一个较长长期的过程程，而在这这个过程中中离不开政政府、企业业和公民的共共同努力。 5.1政府府方面“大数据”是立足全全局、面向向未来的重重大战略，将将为中国创创造社会经经济创新发发展的重要要机遇，将将引领公

55、共共管理与服服务的变革革。实施大大数据战略略，对于政政府部门来来说，不仅仅意味着要要上马多少少高新科技技项目，更更意味着要要调整自身身运作的机机制，进行行一次政府府理念的创创新，政府府职能的转转变、政府府流程的再再造。（1）政府府要成为“大数据”的实践者者，积极推推动大数据据的全面落落地，在领导意识识、组织文文化、组织织结构和工工作流程等等各方面的的整体优化化，鼓励率率先在政府府部门和公公共事务中中推动“大数据”的应用，更好的增增强服务能能力，树立立更加开放放、透明、负责、高高效的政府府形象。（2）政府府部门作为为“大数据”的实践者者应该建构构一套数据据系统，这这个数据系系统需要包包括3个必必备因素：天上有云云（云平台台）、地上上有网（物物联网、泛泛在网）、中间有数数（数据）。所谓天上有有云就是建建立政府云云平台，把把离散在指指挥中心、公安、交交通等单位位的信息资资源，聚合合成集预案案库、知识识库、专家家库、案例例库队伍库库、地理信息息库为一体体的应急信信息资源云云，通过统统一指挥调调度，在各各类突发事事件的处理理过程中为为各