大数据分析与应用（上篇共上中下3篇）

大数据分析与应用第1章大数据与数据分析1.1概述1.2云计算与大数据1.3电子商务与大数据1.5移动互联网与大数据1.4物联网与大数据1.6大数据应用给企业带来的机会1.7大数据应用带来的挑战1.8大数据应用生活在社会、经济与技术革命之中，我们已经将通信、交际、度过闲暇时光、开展业务转移到了互联网上。互联网又渗透进入我们的手机、我们家园和城市中的设备，以及工业经济的工厂中。其导致的数据爆炸和挖掘正改变着我们的世界。互联网、移动互联网、物联网、云计算的快速兴起，以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。数据的爆炸式增长正在出乎人们的想象。据预计，2020年，全球以电子形式存储的数据量将达35ZB，是2009年全球存储量的40倍。1.1概述与此同时，伴随着物联网、移动智能终端和移动互联网的快速发展，移动网络中数据流量的增长速度也非常迅猛。从2011年开始，全球移动数据流量年增长率将保持在50%以上，将处于一个稳定增长的态势。到2016年，全球移动数据流量将达到2011年全球移动数据流量的18倍，达到129.6EB。1.1概述数据的疯狂增长，使得适应和应对数据增长成为整个社会关注的焦点。“大数据”的概念正是在这一背景下应运而生的。如图所示为大数据概览。1.1概述自从古代有过第一次计数和农作物产量记录以来，数据收集和分析便成为社会功能改进的根本手段。17、18世纪的微积分、概率论和统计学所提供的基础性工作，为科学家提供了一系列新工具，用来准确预测星辰运动，确定公众犯罪率、结婚率和自杀率。这些工具常常带来惊人的进步。1.1.1大数据的含义在19世纪，约翰·斯诺（JohnSnow）博士运用近代早期的数据科学绘制了伦敦霍乱爆发的“群聚”地图。霍乱在过去被普遍认为是由“有害”空气导致的，斯诺通过调查被污染的公共水井进而确定了“霍乱”的元凶，并同时奠定了疾病细菌理论的基础。今天，数据比以往任何时候都更加深入地与我们的生活交织在一起。我们期待着用数据解决各种问题、改善福利，以及推动经济繁荣。数据的搜集、存储与分析技术不断提升，这种提升看上去正处于一种无限的向上轨迹之中。它们的加速是因为处理器能力的增强、计算与存储成本的降低，以及在各类设备中嵌入传感器的技术的增长。1.1.1大数据的含义这些趋势还将持续下去。我们只是处在所谓的“物联网”（TheInternetofThings）的相当初级的阶段。在物联网中，我们的各种应用设备、运输工具以及持续增长的“可穿戴”技术产品将可以彼此交换信息。1.1.1大数据的含义在2014年12月12日电商的促销期，淘宝网推出“时光机”——一个根据淘宝买家几年来的购买商品记录、浏览点击次数、收货地址等数据编辑制作的“个人网购志”，从而记录和勾勒出让人感怀的生活记忆。背后，是基于对4.7亿淘宝注册用户网购数据的分析处理，这正是大数据的典型应用。1.1.1大数据的含义随着传统互联网向移动互联发展，全球范围内，除了个人电脑、平板电脑、智能手机、游戏主机等常见的计算终端之外，更广阔的、泛在互连的智能设备，比如智能汽车、智能电视、工业设备和手持设备等都连接到网络之中。基于社会化网络的平台和应用，让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据。互联网搜索引擎是大数据最为典型的应用之一。百度日处理数据量达到数十PB，并呈现高速增长的态势。如果一张光盘容量为1GB，这相当于垒在一起的几千万张光盘。微软Bing（中文名：必应）搜索引擎，一周需要响应100亿次量级的搜索请求。通过和Facebook的合作，每天有超过10亿次的社交网络搜索请求通过Bing来处理。1.1.1大数据的含义简单地讲，大数据就是那些超过传统数据库系统处理能力的数据。但是，大数据的问题并不仅仅是规模，数据产生的速度以及数据的多样性同样是大数据不可忽略的两个基本特性。根据摩尔定律，计算能力每一年半到两年的时间将增加一倍。可是，现有的网络带宽并没有以同样的速度在增加。因此，如此之迅猛的数据洪流的产生，正在给电信运营商的网络运营带来极大的挑战。1.1.1大数据的含义在IT业界，有人把大数据产业定义为：建立在对互联网、物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业。或者如IT巨头概括大数据战略为：致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力，包括之前隐藏在非结构化数据

中的洞察力。总之，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。1.1.1大数据的含义1.1.2大数据的定义根据维基百科的定义，大数据是指难以用常用的软件工具在可容忍时间内抓取、管理以及处理的数据集。大数据具有数据体量巨大、数据类型繁多、要求的处理速度快等显著特征。01020304050607海量分布式文件系统并行计算框架NoSQL数据库实时流数据处理智能分析技术如模式识别自然语言理解应用知识库等

大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术1.1.2大数据的定义关于“大数据”有许多种定义，这种差别取决于你是一位计算机科学家，还是一位金融分析师，抑或是一位为风险投资人推销一个概念的企业家。多数定义都反映了那种不断增长的捕捉、聚合与处理数据的技术能力，而这个数据集在数量、速率与种类上持续扩大。换言之，数据可以更快获取，有着更大的广度和深度，并且包含了以前做不到的新的观测和度量类型。更确切地说，大数据集是庞大的、多样化的、复杂的、纵深的和/或分布式的，它由各类仪器设备、传感器、网上交易、电子邮件、视频、点击流，以及现在与未来所有可以利用的其他数字化信号源产生。1.1.2大数据的定义1.1.3大数据的特征大数据特征Variety（种类）Velocity（速度）Value（价值）Volume（容量）Volume（容量）01Volume是指大数据巨大的数据量与数据完整性。IT业界所指的数据，诞生不过60多年。而一直到个人电脑普及前，由于存储、计算和分析工具的技术与成本限制，许多自然界和人类社会值得记录的信号，并未形成数据。几十年前，气象、地质、石油物探、出版业、媒体业和影视业是大量、持续产出信号的行业，但那时90%以上采用的是存储模拟信号，难以通过计算设备和软件进行直接分析。拥有大量资金和人才的政府和企业，也只能把少量最关键的信号，进行抽取、转换、装载到数据库中。尽管业界对达到怎样的数量级才算是大数据并无定论，但在很多行业的应用场景里，数据集本身的大小并不是最重要的，是否完整才最重要。1.1.3大数据的特征Variety（种类）02Variety则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为了信息的制造者和传播者。这个阶段，不仅是数据量开始了爆炸式增长，数据种类也开始变得繁多。这必然促使我们对海量数据进行分析、处理和集成，找出原本看来毫无关系的那些数据的“关联性”，把似乎没有用的数据变成有用的信息，以支持我们做出的判断。1.1.3大数据的特征不仅是数据的数量正在快速增长，它的格式也越发多样，来源也越发广泛。有些数据是“天生数字化的”（borndigital），意思是说它就是特别创造出来用于计算机和数据处理系统的。这些例子存在于电子邮件、网页浏览，或GPS定位之中。其他数据是“天生模拟的”（bornanalog），这是说它从物理世界中发散出来，但可以不断被转化成数字格式。模拟数据的例子包括手机、相机或摄像设备录制的语音或可视信息，或者还有通过可穿戴设备监测到的身体活动数据，如心率或排汗量。“数据融合”（datafusion）能够将分散的数据源整合在一起，随着这种能力的提升，大数据可以带来一些远见卓识。1.1.3大数据的特征Velocity（速度）03Velocity可以理解为更快地满足实时性需求。数据的实时化需求正越来越清晰。对普通人而言，开车去吃饭，会先用移动终端中的地图查询餐厅的位置，预计行车路线的拥堵情况，了解停车场信息甚至是其他用户对餐厅的评论。吃饭时，会用手机拍摄食物的照片，编辑简短评论发布到微博或者微信上，还可以用LBS（基于位置的服务）应用查找在同一间餐厅吃饭的人，看有没有好友在附近……如今，通过各种有线和无线网络，人和人、人和各种机器、机器和机器之间产生无处不在的连接，这些连接不可避免地带来数据交换。而数据交换的关键是降低延迟，以近乎实时（这意味着小于250毫秒）的方式呈献给用户。1.1.3大数据的特征数据采集与分析的执行速度越来越接近即时时间，这意味着对于一个人就其周边环境或生活所做的决定产生即时的影响而言，大数据分析有着越来越大的潜力。高速数据的例子包括记录使用者在线与网页互动活动的点击流数据，即时追踪定位的移动设备获得的GPS数据，以及得到广泛分享的社交媒体数据。客户与公司希望通过分析这种数据使其即刻获益的要求越来越高。事实上，如果手机定位应用不能即时准确地确认手机位置，它根本就不会有什么用处，并且，在确保我们的汽车安全运行的计算机系统中，实时操作就至为关键了。1.1.3大数据的特征Value（价值）04但比前面3个“V”更重要的，就是Value，它是大数据的最终意义——获得洞察力和价值。大数据的崛起，正是在人工智能、机器学习和数据挖掘等技术的迅速发展驱动下，呈现这么一个过程：将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和行动。就大数据的价值而言，就像沙子淘金，大数据规模越大，真正有价值的数据相对越少。所以真正好的大数据系统，重要的不是越多越好，其实越少越好。开始数据要多，最好还是要少，把ZB、PB最终变成一个比特，也就是最后的决策。这才是最关键的。1.1.3大数据的特征数据挖掘和应用可以多方位创造价值：数据可用性可以提高10%，各行业员工销售额提高百分比统计如图1-2所示。图1-3展示了海量数据对商业模式的影响。图1-2不同行业数据可用性提高比例图1-3海量数据改变商业模式1.1.3大数据的特征“卖数据”称为直接赢利模式，例如淘宝推出的“数据魔方”收费标准为300元/月，直接创造经济价值。数据采集、存储与处理成本的下降，连同像传感器、相机、地理位置及其他观测技术提供的新的数据来源，意味着我们生活在一个数据采集几乎无处不在的世界中。采集与处理的数据量是空前的。从基于网络的应用、可穿戴技术与先进传感器到监测生命体征、能源使用状况与慢跑者跑步速度的监测仪，由此带来的数据爆炸将推进人们对于高性能计算技术的需求，并推动针对最复杂数据的管理能力的提升。1.1.3大数据的特征若使用得当，大数据分析能够提高经济生产率，改善客户与政府服务体验、挫败恐怖分子并且拯救生命。例如：大数据与不断发展的“物联网”使得人们将产业经济与信息经济进行整合成为可能。喷气式发动机和运货卡车现在能够装配许多传感器以监控上百个数据点，并且在需要维护时自动报警。这就使得整个系统更加扁平化，减少了维护成本，并同时增强了安全性。医疗保险和医疗补助服务中心（TheCentersforMedicareandMedicaidServices，CMS）已经开始在要求支付前用预测分析软件来标示看似报销欺诈的凭据。欺诈预防系统有助于实时甄别高风险医疗保健提供者的欺诈、浪费与滥用行为，它已经终止、阻止或确认了1.15亿美元的欺诈性支付，在该程序上头一年花的每1美元带来了3美元的成本节约。1.1.3大数据的特征有一个大数据研究综合了通过监测器采集的数百万个来自新生儿重症监护病房的数据样本，以确定哪些新生儿有可能感染了潜在的致命性传染病。通过分析所有数据（不只是医生在他们的巡视中标记的），该项目能够识别像体温升高、心率

加快这样的因素，以此作为有可能发生了某种感染的早期

预警信号。这些早期感染信号并不是经验丰富、工作细

致的医生通过传统方式能够了解到的。1.1.3大数据的特征1.1.4大数据与云计算云计算和大数据是一个硬币的两面，大数据正在引发全球范围内深刻的技术和商业变革。云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。30年前，存储1TB（也就是约1000GB）数据的成本大约是16亿美元，如今存储到“云”上只需不到100美元；但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。目前，云计算已经普及并成为IT行业的主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT资源与服务，这些都已不是新鲜事。可以说，“云”是一棵挂满了大数据的苹果树。1.1.4大数据与云计算数据周期供应商要求数据存储存储器供应商需要更大、更快、更准地存储各项数据，同时对所存储数据有安全性，具有良好灾备功能数据处理服务器供应商需要更快地计算处理海量数据数据管理操作系统与数据库软件商需要高效的查询和操作海量数据数据应用商业智能软件商对海量数据进行挖掘、分析和优化数据安全信息安全提供商对数据提供安全保护表1-1大数据对数据全周期提出更高要求1.1.4大数据与云计算图1-4大数据为相应行业带来发展契机1.1.4大数据与云计算1.1.5大数据与商业模式变革大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式，计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力，与大数据以及机器学习领域的进展相结合，已使得目前的计算系统开始能够理解人类用户的意图和语境。这使得计算机能够真正帮助我们，甚至代表我们去工作。1.1.5大数据与商业模式变革

在商业模式上，对商业竞争的参与者来说，大数据意味着激动人心的业务与服务创新机会。零售连锁企业、电商巨头都已在大数据挖掘与营销创新方面有过很多的成功案例，它们都是商业嗅觉极其敏锐、敢于投资未来的公司，也因此获得了丰厚的回报。IT产业链分工、主导权也因为大数据产生了巨大影响。以往，移动运营商和互联网服务运营商等拥有大量的用户行为习惯的各种数据，在IT产业链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数据的价值，可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式，已取得一定共识。1.1.5大数据与商业模式变革像亚马逊、谷歌和Facebook这类公司，因其拥有大量的用户信息，通过对用户信息的大数据分析来解决自己公司的精准营销和个性化广告推介等问题。其次，像IBM和惠普这类公司，则是通过整合大数据的信息和应用给其他公司提供硬件+软件+数据的整体解决方案。最后，新兴的创业公司则通过出售数据和服务更有针对性地提供单个解决方案。这些公司更接近于把大数据商业化、商品化的模式。1.1.5大数据与商业模式变革第一类公司将改变营销学的根基，精准营销和个性化营销将有针对性地找到用户，多重渠道的营销手段将逐渐消失。第二类公司将改变公司的管理理念和策略制定方式，没有数据分析支撑的决定将越来越不具有可靠性。第三类公司将大数据商品化，这将带来继门户网站、搜索引擎、社交媒体之后的新一波创业浪潮和产业革命。同时，第三类大数据公司的针对性咨询服务会对传统的咨询公司产生强烈的冲击。即使是第二类提供整合服务的科技公司，也会因其系统和软件的垄断封闭性而受到第三类开源大数据的挑战。1.1.5大数据与商业模式变革这三种公司类型在中国也不会有太大的不同。互联网兴起的时代，人们常说中国的科技公司与硅谷有20年的差距，社交媒体时代这个距离缩短至5年，但在大数据的浪潮中硅谷与北京零距离。中国宽带产业基金投资的大数据公司中有很多也是雅虎Hadoop平台的主要工程师，联合投资伙伴也有来自硅谷的杨致远，我们也在和Hortonworks和Cloudera密切合作。在这一轮科技浪潮中，中国企业比任何一次反应速度都快。1.1.5大数据与商业模式变革我认为还会有新的商业模式出现，就像互联网创造了搜索、电子商务、竞价排名一系列商业模式一样，大数据会孕育更多新的公司类型，这也是大数据最有投资潜力的原因。“数据矿”就在那里，分析平台也已经成熟，现阶段是要用解决问题的视角，寻找数据分析师和懂得商业操作的人才，把数据分析产品化。1.1.5大数据与商业模式变革1.1.6大数据带来的改变由于自身独具的4个显著特征，大数据给我们主要带来了“存”、“管”、“用”这三个方面的难题。存：如何解决PB级别大数据的存储问题？管：如何解决非结构化数据的管理问题？用：如何解决这种大规模复杂结构下的实时应用问题？目前以云存储为代表的公共存储服务模式已初现端倪，将可能在未来5～10年成为主流存储模式之一。类似于水电气公共服务，存储平台服务化意味着现有的存储系统面临新的挑战。存储按需服务的公共模式将引入用户应用的多样性、异构性和个性化、用户访问的高并发性和动态性，以及数据自身的复杂性等特点，导致大数据的趋势和特征凸现。1.1.6大数据带来的改变医疗信息移动设备非传统IT设备特定行业需求等传统IT信息的非传统应用智能设备视频监控大数据在现实世界中有着非常广泛的分布和应用1.1.6大数据带来的改变美国著名的综合管理式医疗财团KaiserPermanente，拥有超过8百万会员、36家医院以及超过400家医疗机构，各部门需要在同一时间分析众多因素，包括治疗、人口统计资料（如年龄、性别等）、实验室结果、处方、诊断、医疗保险计划以及付款记录等，综合这些不同的信息，以便决策系统向医护人员提供完整的病人历史，选择最佳的医护办法。随着计算机和存储成本的下降，中小型零售企业也能够利用IT技术对收集的大量数据进行分析，开展商务智能应用。再如，在医疗健康领域，由于电子医疗记录时代的来临、医疗图像技术的进步、基因研究以及制药工程中对于大型数据库的应用，大规模复杂数据在医疗机构中变得很普遍。通过对大量病人的各类数据进行数据挖掘分析，有助于更有效地找出疾病成因，进而提供有针对性的预防、诊断和治疗措施。1.1.6大数据带来的改变

当逛亚马逊（Amazon）时，即便没有登录，亚马逊也能为我们推荐我们可能会感兴趣的商品，而且还相当准确，让我们总能有意想不到的收获；

当我们带着Android手机上下班、出差、旅游时，谷歌纵横（GoogleLatitude）就会在后台默默地记下我们所经过的地点，我们可以随时查阅过去任意时间的位置记录，还可以和朋友分享。1.1.6大数据带来的改变最近，很多网站都热衷于发布“年度盘点”，以信息图（Infographics）的形式对其掌握的数据进行汇总，并从中得出一些有趣的观点。例如，支付宝的年度对账单，可以按性别、地域等维度分析不同群体的消费习惯；而迅雷的年度下载盘点，则可以在一定程度上反映出各地的网速水平。1.1.6大数据带来的改变如今，一个大规模生产、分享和应用数据的时代正在开启。大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”（1024TB）为单位的结构与非结构数据信息的新时代。在云计算出现之前，传统的计算机是无法处理如此量大、并且不规则的“非结构数据”的。以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。1.1.6大数据带来的改变但是这样说，并不意味着两个概念就如此泾渭分明。一方面，大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力），其实就是强大的计算能力；另一方面，云计算的“动”也是相对而言，比如基础设施即服务中的存储设备提供的主要是数据存储能力，所以可谓是“动中有静”。大数据的兴起，既是信息化发展的必然，也是云计算面临的挑战。云计算与大数据的关系是“动”与“静”的关系。云计算强调的是计算，这是“动”的概念；而大数据则是计算的对象，这是“静”的概念。如果结合实际的应用，前者强调的是计算能力，后者看重的是存储能力。1.2云计算与大数据如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。通过基于云计算的存储系统，数据集可以被复制、迁移和保存在世界的任何地方。通过将基础设施放在云供应商处，简化了扩展和缩小基础设施的工作。块存储特别适合于大数据，因为它是一种独立的存储解决方案，这种方法允许研究人员和分析师非常迅速地访问、分析和管理数据。因为云计算方案，企业不再需要开发、托管和维护自己的基础设施，显著降低了成本。1.2云计算与大数据云计算（CloudComputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供、动态易扩展且经常是虚拟化的资源。狭义的云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可以是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。1.2.1云计算的概念维基百科定义：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件和服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。“云计算”概念被大量运用到生产环境中，国内的“阿里云”与云谷公司的XenSystem，以及在国外已经非常成熟的Intel和IBM，各种“云计算”的应用服务范围正日渐扩大，影响力也无可估量。1.2.1云计算的概念云计算”常与“网格计算”、“效用计算”、“自主计算”相混淆。网格计算：分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机，常用来执行一些大型任务。效用计算：IT资源的一种打包和计费方式，比如按照计算、存储分别计量费用，像传统的电力等公共设施一样。自主计算：具有自我管理功能的计算机系统。1.2.1云计算的概念事实上，许多云计算部署依赖于计算机集群，也吸收了自主计算和效用计算的特点。云计算由一系列可以动态升级和被虚拟化的资源组成，这些资源被所有云计算的用户共享并且可以方便地通过网络访问，用户无需掌握云计算的技术，只需要按照个人或者团体的需要租赁云计算的资源。云计算的出现并非偶然，早在上世纪60年代，麦肯锡就提出了把计算能力作为一种像水和电一样的公用事业提供给用户的理念，这成为云计算思想的起源。在20世纪80年代网格计算、90年代公用计算，21世纪初虚拟化技术、SOA、SaaS应用的支撑下，云计算作为一种新兴的资源使用和交付模式逐渐为学界和产业界所认知。中国云发展创新产业联盟评价云计算为“信息时代商业模式上的创新”。1.2.1云计算的概念1.2.2云计算的特征可以实现资源的池化共享和管理，为大数据提供最基本的生存基础云计算基于资源共享通过高性能的扩展，为数据的实时应用环境提供可能性云计算基于按需服务与交付能力可以降低IT管理的复杂度，提高资源利用率，降低大数据管理的复杂性云计算基于服务可用性与快速交付云计算为客户提供自助化的资源服务，用户无需同提供商交互就可自动得到自助的计算资源能力。同时云系统为客户提供一定的应用服务目录，客户可采用自助方式选择满足自身需求的服务项目和内容。需求服务自助化2根据消费者的需求动态划分或释放不同的物理和虚拟资源，当增加一个需求时，可通过增加可用的资源进行匹配，实现资源的快速弹性提供；当用户不再使用这部分资源时，可释放这些资源。云计算为客户提供的这种能力是无限的，实现了IT资源利用的可扩展性。资源配置动态化1总体来说，云计算具有以下几个主要特征：1.2.2云计算的特征对云服务的提供者而言，各种底层资源（计算、储存、网络、资源逻辑等）的异构性（如果存在某种异构性）被屏蔽，边界被打破，所有的资源可以被统一管理和调度，成为所谓的“资源池”，从而为用户提供按需服务；对用户而言，这些资源是透明的，无限大的，用户无须了解内部结构，只关心自己的需求是否得到满足即可。资源的池化和透明化4云计算的组件和整体构架由网络连接在一起并存在于网络中，同时通过网络向用户提供服务。而客户可借助不同的终端设备，通过标准的应用实现对网络的访问，从而使得云计算的服务无处不在。以网络为中心31.2.2云计算的特征1.2.3云计算的服务方式IaaS（基础设施即服务）PaaS（平台即服务）SaaS（软件即服务）云计算可以认为包括以下几个层次的服务这里所谓的层次，是分层体系架构意义上的“层次”。IaaS、PaaS和SaaS分别在基础设施层、软件开放运行平台层和应用软件层实现。IaaS（Infrastructure-as-a-Service）：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。IaaS通过网络向用户提供计算机（物理机和虚拟机）、存储空间、网络连接、负载均衡和防火墙等基本计算资源；用户在此基础上部署和运行各种软件，包括操作系统和应用程序。1PaaS（Platform-as-a-Service）：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。平台通常包括操作系统、编程语言的运行环境、数据库和Web服务器，用户在此平台上部署和运行自己的应用。用户不能管理和控制底层的基础设施，只能控制自己部署的应用。21.2.3云计算的服务方式SaaS（Software-as-a-Service）：软件即服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。云提供商在云端安装和运行应用软件，云用户通过云客户端（通常是Web浏览器）使用软件。云用户不能管理应用软件运行的基础设施和平台，只能做有限的应用程序设置。31.2.3云计算的服务方式IaaS、PaaS和SaaS的关系如图1-5所示。

图1-5

IaaS、PaaS和SaaS的关系IaaS中间件（HPC/Grid中间件、集群、作业调度、并行文件系统）云系统（效用计算、SaaS、BI、BSS、WS、SOA、API）PaaS中间件（应用服务器、多层次多租户、SaaS模式支撑、Hypervisor等）IaaS和PaaS都脱胎于SaaS1.2.3云计算的服务方式1.2.4云计算的应用云呼叫中心是基于云计算技术而搭建的呼叫中心系统，企业无需购买任何软、硬件系统，只需具备人员、场地等基本条件，就可以快速拥有属于自己的呼叫中心，软硬件平台、通信资源、日常维护与服务由服务器商提供。1、云呼叫应用

云呼叫中心具有建设周期短、投入少、风险低、部署灵活、系统容量伸缩性强、运营维护成本低等特点。无论是电话营销中心、客户服务中心，企业只需按需租用服务，便可建立一套功能全面、稳定、可靠、座席可分布全国各地，全国呼叫接入的呼叫中心系统。私有云（PrivateCloud）是将云基础设施与软硬件资源创建在防火墙内，以供机构或企业内各部门共享数据中心内的资源。创建私有云，除了硬件资源外，一般还有云设备（IaaS）软件。2、私有云应用

私有云实现的商业软件有VMware的vSphere和PlatformComputing的ISF，开放源代码的云设备软件主要有Eucalyptus和OpenStack。至2013年可以提供私有云的平台有：Eucalyptus、3ACloud、联想网盘和OATOS企业网盘等。1.2.4云计算的应用云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。3、云游戏应用

就现今来说，云游戏还并没有成为家用机和掌机界的联网模式，因为至今微软的Xbox仍然在使用Live，索尼的PlayStation（简称：PS）在使用PlayStationNetwork，任天堂的Wii在使用Wi-Fi。但是几年后或十几年后，云计算取代这些东西成为其网络发展的终极方向的可能性非常大。1.2.4云计算的应用如果这种构想能够成为现实，那么主机厂商将变成网络运营商，他们不需要不断投入巨额的新主机研发费用，而只需要拿这笔钱中的很小一部分去升级自己的服务器就行了，但是达到的效果却是相差无几的。对于用户来说，他们不仅可以省下购买主机的开支，还可以得到顶尖的游戏画面（当然要求视频输出方面的硬件必须过硬）。你可以想象一台掌机和一台家用机拥有同样的画面，家用机和我们今天用的机顶盒一样简单，甚至家用机可以取代电视的机顶盒而成为次时代的电视收看方式。1.2.4云计算的应用视频云计算在教育中应用的目的是利用现有的软硬件，在电教馆（或教委）增加一层云视频存储与分享，使得可以整合一个地区的各学校的教育资源并应用于流媒体视频服务，它不仅可以实现一个地区或学校的资源共享，而且可以保证政策传达的统一出口，极大地提高工作效率和解决有限资源的使用。4、云教育应用

就现今来说，云游戏还并没有成为家用机和掌机界的联网模式，因为至今微软的Xbox仍然在使用Live，索尼的PlayStation（简称：PS）在使用PlayStationNetwork，任天堂的Wii在使用Wi-Fi。但是几年后或十几年后，云计算取代这些东西成为其网络发展的终极方向的可能性非常大。1.2.4云计算的应用视频云计算在教育资源融合方面的应用主要有2学生实训电视台远程课堂13红色教育等电视转播41.2.4云计算的应用云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。5、云会议应用

目前国内云会议主要集中在以SaaS（软件即服务）模式为主体的服务内容，包括电话、网络、视频等服务形式，基于云计算的视频会议就叫云会议。云会议是视频会议与云计算的完美结合，带来了最便捷的远程会议体验。及时语移动云电话会议，是云计算技术与移动互联网技术的完美融合，通过移动终端进行简单的操作，提供随时随地高效地召集和管理会议。1.2.4云计算的应用云社交（CloudSocial）是一种物联网、云计算和移动互联网交互应用的虚拟社交应用模式，以建立著名的“资源分享关系图谱”为目的，进而开展网络社交。6、云社交应用

云社交的主要特征就是把大量的社会资源统一整合和评测，构成一个资源有效池向用户按需提供服务。参与分享的用户越多，能够创造的利用价值就越大。1.2.4云计算的应用1.3电子商务与大数据2014年11月11日，天猫淘宝双十一全天成交金额为571亿元，其中在移动端交易额达到243亿元，物流订单2.78亿，总共有217个国家和地区被点亮。新的网上零售交易纪录诞生。融合大量不同类型的数据并实时处理它们，就有可能在消费者开口之前，就提供给他们正确的信息、产品或者服务。少量数据能够被结合在一起，从而创造出某个人的清晰的行为图谱，进而预测他们的偏好与行为。这些详细的私人档案和个性化的经历在消费者市场上很有用，它能够向确定的一类人推送产品与服务，他们中的一员可能是一位酷爱编织的专业会计，也可能是一位喜欢恐怖电影的家庭主厨。1.3.1电子商务催生大数据随着电子商务的快速发展，人们的日常工作、生活已经离不开互联网。2015年7月23日，中国互联网络信息中心（CNNIC）在京发布第36次《中国互联网络发展状况统计报告》（以下简称《报告》）。《报告》显示：截至2015年6月，中国网民规模达6.68亿，半年共计新增网民1894万人。互联网普及率为48.8%，较2014年底提升了0.9个百分点。截至2015年6月，中国手机网民规模达5.94亿，较2014年底增加3679万人。网民中使用手机上网人群占比由2014年底的85.8%提升至88.9%。截至2015年6月，中国网民中农村网民占比27.9%，规模达1.86亿，较2014年底增加800万人。1.3.1电子商务催生大数据互联网的发展趋势与特点主要体现在：整体网民规模增速继续放缓，手机上网带动农村地区网民增长。截至2015年6月，我国网民规模达6.68亿，互联网普及率为48.8%，较2014年底提升了0.9个百分点，整体网民规模增速继续放缓。2015年上半年新增网民1894万人，其中农村网民占48.0%，比整体网民中农村人口的占比高出20个百分点。农村地区新增网民中，使用手机上网的达69.2%。未来几年内，手机上网依然是带动农村地区网民增长的主要动力。011.3.1电子商务催生大数据手机网民规模继续保持增长，网民上网设备逐渐向手机端集中。截至2015年6月，我国手机网民规模达5.94亿，较2014年12月增加3679万人，网民中使用手机上网的人群占比由2014年12月的85.8%提升至88.9%，通过台式电脑、笔记本电脑和平板电脑接入互联网的比例均有下降。随着手机终端的大屏化和手机应用体验的不断提升，手机作为网民主要上网终端的趋势进一步明显。021.3.1电子商务催生大数据移动商务类应用发展迅速，助力消费驱动型经济发展。移动互联网技术的发展和智能手机的普及，促使网民的消费行为逐渐向移动端迁移和渗透。由于移动端即时、便捷的特性更好地契合了网民的商务类消费需求，伴随着手机网民的快速增长，移动商务类应用成为拉动网络经济增长的新引擎。2015年上半年，手机支付、手机网购、手机旅行预订用户规模分别达到2.76亿、2.70亿和1.68亿，半年度增长率分别为26.9%、14.5%和25.0%。031.3.1电子商务催生大数据互联网应用向提升体验、贴近经济方向发展。中国网民的互联网应用经历了从量变到质变的过程，这种质变表现在信息的精准性以及与经济发展的贴近性：一方面，互联网信息服务向精准性发展，通过技术手段提升信息提供的针对性，达到开发、维系用户的目的；另一方面，互联网应用与社会经济的融合更为深入，网络购物、旅行预订等网络消费拉动经济增长，同时，经济形势的变化也影响网民对网络理财、炒股的使用。作为近年来涨幅迅速的互联网应用，电子商务类应用在手机端应用中发展迅速，其中手机在线支付网民规模增幅较大。《报告》显示，截止2013年6月底，我国使用网上支付

的网民规模达到2.44亿，与2012年12月底相比，网民规模增长2373万，增长率为

10.8%。其中，手机在线支付网民规模较2012年增长了43.0%。此外，手机购

物、手机团购和手机网上银行等也有较大增长。041.3.1电子商务催生大数据伴随着交易额和交易数量增长的是电子商务企业交易数据的爆炸式增长。据淘宝网统计：淘宝每天产生的交易数据是50～70TB，这个数字还会根据交易规模的不断扩大而不断增长。这么海量的数据，如何存储、如何处理、如何发掘其背后的商业价值，是每一个电商企业都在努力探讨的问题。1.3.1电子商务催生大数据1.3.2数据分析给电子商务带来更多机会在零售业中，对大数据的分析越来越受重视。沃尔玛在全球有8400家门店，每周有20亿笔客户交易数据，沃尔玛公司很早就开始从日常交易记录析出关联交易，在2004年卡特里娜飓风来袭前，沃尔玛就从手电筒和电池的销售中成功分析出馅饼即将热销。大数据给我们带来机遇的同时，也赋予我们洞察未来的能力。马云就是通过大数据分析成功预测了2008年经济危机。2008年初，阿里巴巴平台上整个买家询盘指数急剧下滑，欧美对中国采购量也在下滑。海关是卖了货，出去以后再获得数据；而我们提前半年时间从询盘上就推断出世界贸易发生变化了。可是，如果系统自动生成的不是106个预测器，而是601个的话，那该怎么办呢？虽然其中大部分都没有多大用途，但是一旦汇聚起来就能提高模型的准确性，而预测的基础就会变得惊人的复杂。如此的话，辛西亚·鲁丁如何能说服联合爱迪生电力公司的经理再分配它们本就不多的预算呢？大数据的运作是在一个超出我们正常理解的范围之上的。例如，谷歌所确定的与流感相关的检索词条是通过测试了4.5亿个数学模型而得出的。而辛西亚·鲁丁最初为判断沙井盖是否会着火而设定了106个预测器，因此才能向联合爱迪生电力公司的经理解释为何程序要求优先检查某个沙井盖。“可解释性”正如在人工智能界所称的一样，对于不仅想知道“是什么”更想知道“为什么”的人类来说非常重要。1.3.2数据分析给电子商务带来更多机会社会发展出现过很多这种情况，当一个特定领域变得特别复杂和专门化之后，就会催生出对运用新技术的专门人才的迫切需求。在一个多世纪以前，法律、医学、会计以及工程学领域都经历过这种转型。不久前，计算机安全和隐私顾问的突然兴起，证实了公司都在遵循由一些组织确立的行业最佳做法，如国际标准化组织，它是为满足这个领域对准则的需要而自发形成的。在这些背景下，我们能看到大数据预测、运算法则和数据库有变为黑盒子的风险，这个黑盒子不透明、不可解释、不可追踪，因而我们对其信心全无。为了防止这些情况的出现，大数据将需要被监测并保持透明度，当然还要有使这两项得以实现的新型专业技术和机构。它们将为许多领域提供支持，在这些领域里社会需要检测预测结果并能够为被其错误引导的人群提供弥补方法。1.3.2数据分析给电子商务带来更多机会只有针对大数据进行深度分析挖掘，才能创造巨大商机。目前各大电子商务平台网站（如淘宝网、京东商城等），繁多的产品让人无从抉择，用户能做的就是通过反复对比同类产品的优缺点、过往买家的评论来决定自己的选择，但是这对用户来说是极其痛苦的。如果后台能对海量的用户行为数据进行快速分析，推荐出用户阶段性最需要、最适合的产品，将能极大地促进商家的销售额增长。目前推荐业务做得较好的网站还有亚马逊和当当网等，它们能针对用户需要，动态地给予极其准确的推荐信息，且推荐更新速度极快。1.3.2数据分析给电子商务带来更多机会目前主流的推荐算法有基于物品相似度的推荐和基于用户相似度的推荐。大部分的电子商务平台网站普遍采用的是基于物品相似度的推荐，但是如何准确度量用户的兴趣仍是个难题，而基于用户相似度的推荐主要是用在新闻评论类网站。为了提高用户服务质量，后台采用Hadoop的MapReduce技术进行分布式并行计算是主流趋势，但是该技术存在严重的单点故障和性能瓶颈，目前国内外各大研究所都在针对Hadoop存储平台和MapReduce技术进行优化研究，最新锐的研究技术产品是MapR（“构建一个HDFS的私有替代品，这个替代品比当前的开源版本快三倍，自带快照功能，而且支持无NameNode单点故障（SPOF），并且在API上和开源版本兼容，所以可以考虑将其作为替代方案”）。1.3.2数据分析给电子商务带来更多机会数据是源头，是决策和价值创造的基石。数据的应用大致分以下几个步骤：数据采集、核实与过滤12在数据仓库内的分类和储存35基于数据的应用开发和决策支持数据的应用步骤4数据模型建立和参数调整数据挖掘以找到数据所隐含的规律和数据间的关联1.3.2数据分析给电子商务带来更多机会下面用实例来说明。美国医药网站WebMD根据怀孕的女性用户填写的受孕信息定期给用户寄EDM，提醒母亲在该时间点的注意事项，需要摄入的营养，产前的生理变化和要做好的思想准备，产后的恢复，宝宝的育养和健康，等等。1.3.2数据分析给电子商务带来更多机会1号店利用对大数据的分析给顾客发送个性化EDM。若顾客曾经在1号店网站上查看过一个商品而没有购买，则有几种可能：①缺货；②价格不合适；③不是想要的品牌或不是想要的商品；④只是看看。若在顾客查看时该商品缺货则到货时立即通知顾客；若当时有货而顾客没有买就很有可能是因为价格引起的，则在该商品降价促销时通知顾客；同时，在引入和该商品类似或相关联的商品时温馨告知顾客。另外，通过挖掘顾客的周期性购买习惯，在临近顾客的购买周期时适时的提醒顾客。1.3.2数据分析给电子商务带来更多机会淘宝在2012年推出了淘宝时光机。该应用通过分析顾客自注册为用户以来的行为，用幽默生动的语言告知顾客淘宝的成长，和该用户拥有类似喜好的其他用户的统计行为，对该顾客经过分析后对其喜好的了解和对其行为的预测，等等。用生动的文稿和个性化的数据拉近了和顾客的距离。1.3.2数据分析给电子商务带来更多机会Google的Adsense对顾客的搜索过程和其对各网站的关注度进行数据挖掘，并在其联盟内的网站追踪顾客的去向，在联盟网站上推出和顾客潜在兴趣相匹配的广告，精准化营销，提高转化率。1.3.2数据分析给电子商务带来更多机会Amazon近几年推出了FDFC（ForwardDeployedFulfillmentCenter）的概念，以加快对顾客配送的速度。Amazon的订单履行中心分两个层级：FC和FDFC，其中FC品种更齐全，而FDFC在物理位置上更靠近目标市场，但品种重点容纳针对目标市场的热销商品，顾客的大部分需求可以通过FDFC来满足，不能满足的长尾商品则由FC来满足。这样顾客急需的商品多数可以通过FDFC以更快捷和低成本的物流来完成。由于热销商品是随着时间和季节而改变的，故将什么商品储存在FDFC的决策是动态调整的，而此决策的依据就是对顾客需求的分析和预测。1.3.2数据分析给电子商务带来更多机会1.3.3网站分析与应用网站分析是指在获得网站访问量等基本数据的情况下，分析网站数据，从中发现访客访问网站的规律和特点，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动和运营中可能存在的问题和机遇，并为进一步修正或重新制定策略提供依据。1.网站分析的含义（1）监控网站运营状态网站分析最基本的应用就是监控网站的运营状态。收集网站日常产生的各类数据，包括浏览和访客数据等，并通过统计这些数据生成网站分析报表，对网站的运营状态进行系统地展现。从浏览数据的变化趋势，到比较新老用户比率等，数据能帮助运营者从多角度观察网站的状况是否良好。2.网站分析的作用1.3.3网站分析与应用（2）提升网站推广效果常见网站推广方式主要包括SEO（Search

EngineOptimization，搜索引擎优化）、SEM（SearchEngineMarketing，搜索引擎营销）和广告投放推广。SEO分析主要是分析网站在各搜索引擎的搜索词排名和点击，以及网站在搜索引擎的收录、排名和展现情况。SEM分析是通过了解从搜索引擎商业推广结果页导入的流量后续表现，进而调整网页在搜索结果页上的排名，针对搜索引擎用户展开营销活动。另外，网站分析可以定制化地细分来源和访客，从而进行有针对性的广告推广营销。（3）优化网站结构和体验通过分析网站的转化路径，定位访客流失环节，有针对地查漏补缺，后续通过热力图等工具有效地分析点击分布和细分点击属性，摸清访客的常规行为和人口学属性，提升网站吸引力和易用性。1.3.3网站分析与应用另一个引爆大数据的就是物联网的应用。“物联网”这个术语用来描述具有可交换信息能力的设备网络。这些设备通常嵌入了传感器，并通过有线或无线网络连接后进行彼此间的信息交换。它们可能包括你的温控器、汽车，甚至是你咽下去的“小药片”，医生可以用它来监控你的肠胃以及消化道的健康状况。这些连接的设备通过互联网传输、编制和分析数据。1.4

物联网与大数据1.4.1物联网的含义其一，物联网的核心和基础仍然是互联网，它是在互联网基础上延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段，其英文名称是“TheInternetofThings”。由此，顾名思义，物联网就是物物相连的互联网。这有两层意思：物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体

验为核心的创新2.0是物联网发展的灵魂。1.4.1物联网的含义物联网的概念最初在1999年提出：即通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器、气体感应器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。简而言之，物联网就是“物物相连的互联网”。1.4.1物联网的含义中国物联网校企联盟将物联网定义为当下几乎所有技术与计算机、互联网技术的结合，实现物体与物体之间：环境以及状态信息的实时共享以及智能化的收集、传递、处理、执行。从广义上讲，当下涉及信息技术的应用，都可以纳入物联网的范畴。而在其著名的科技融合体模型中，提出了物联网是当下最接近该模型顶端的科技概念和应用。物联网是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络，它具有智能、先进、互联三个重要特征。1.4.1物联网的含义国际电信联盟（ITU）发布的ITU互联网报告，对物联网做了如下定义：通过二维码识读设备、射频识别（RFID）装置、红外感应器、全球定位系统和激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。1.4.1物联网的含义根据国际电信联盟（ITU）的定义，物联网主要解决物品与物品（ThingtoThing，T2T）、人与物品（HumantoThing，H2T）、人与人（HumantoHuman，H2H）之间的互联。但是与传统互联网不同的是，H2T是指人利用通用装置与物品之间

的连接，从而使得物品连接更加的简化，而H2H是指人之间不依赖于PC而进

行的互连。因为互联

网并没有考虑到对于任何物品连接的问题，故我们使用物联网

来解决这个传统意义上的问题。物联网顾名思义就是连接物品的网络，许多学者讨论物

联网时，经常会引入一个M2M的概念，可以解释成为人到人（MantoMan）、人到机

器

（MantoMachine）、机器到机器（MachinetoMachine）。从本质上讲，

人与机器、机器与机器的交互，大部分是为了实现人与人之间的信息交互。1.4.1物联网的含义物联网是指通过各种信息传感设备，实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息，与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制。其在2011年的产业规模超过2600亿元人民币。构成物联网产业五个层级的支撑层、感知层、传输层、平台层和应用层分别占物联网产业规模的2.7%、22.0%、33.1%、37.5%和4.7%。而物联网感知层、传输层参与厂商众多，成为产业中竞争最为激烈的领域。在市场应用方面，2011年从整体来看，占据中国物联网市场主要份额的应用领域为智能工业、智能物流、智能交通、智能电网、智能医疗、智能农业和智能环保。其中智能工业占比最大，为20.0%。1.4.1物联网的含义1.4.2物联网与大数据的关系过去，企业只是存储数据，简单地存与读，或者进行简单的数据分析，然而随着数据呈现爆炸式增长趋势，企业不再满足于这种简单的数据处理，而是希望通过数据帮助企业做出更好的决策，正是对数据的需求催生了大数据。如果说物联网和云计算让产生、收集、处理海量数据成为可能，那么大数据则让海量数据产生价值，让数据成为宝贵的资产。大数据热潮产生于新一代信息技术融合发展之时，是信息技术中最具有颠覆性的技术变革。物联网时代让成千上万的网络传感器嵌入到现实世界中，云计算则为物联网产生的海量数据提供存储空间，并使得在线处理变得可能。1.4.3美国物联网应用美国在1993年推出的“信息高速公路”计划，促使美国从事信息产业的劳动力规模占比达到2/3以上，在一系列工业领域中，创造了每年3000亿美元的销售额，与此同时，还带动了半导体技术、

通信技术、计算机网络技术等相关产业的发展。此后，美国陆续推出了“数字地球”、“智慧城市”等技术战略。这些技术战略的实施，不仅提升了国家的影响力和实力，还极大地带动了

社会生产力的提升。2012年3月29日，美国总统办事机构（EOP）公布了《大数据的研

究和发展计划》，为了履行该计划，联邦政府五大部门承诺将投资超过

两亿美元，来大力推动和改善大数据相关的收集、组织和分析工具集技

术。仅第一轮扶持计划就覆盖了科学技术、卫生疾病、国防、能源、地

质勘探等领域方面。《大数据的研究和发展计划》标志着大数据战略地位

的提升，它不仅关系IT领域、商业领域的未来发展，还牵动着国家、社会的

发展脉搏。图1-6美国国家数据平台对于整个国家甚至社会而言，大数据发挥了众多的作用，比如提升国防安全水平、促进政府开放、提升公共服务决策预见性及响应性、降低公共服务开支等。图1-6是美国国家数据平台，它向我们展示了美国物联网的应用。1.4.3美国物联网应用

大数据将逐渐成为现代社会基础设施的一部分，就像公路、铁路、港口、水电和通信网络一样不可或缺。但就其价值特性而言，大数据却和这些物理化的基础设施不同，不会因为人们的使用而折旧和贬值。例如，一组DNA可能会死亡或毁灭，但数据化的DNA却会永存。世界的本质就是数据，大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。1.4.3美国物联网应用移动互联网01移动互联网（Mobile

Internet，简称MI），就是将移动通信和互联网二者结合起来，成为一体。移动通信和互联网成为当今世界发展最快、市场潜力最大、前景最诱人的两大业务，它们的增长速度是任何预测家都未曾预料到的，可以预见移动互联网将会创造经济神话。移动互联网的优势决定了其用户数量庞大。1.5移动互联网与大数据移动互联网是一种通过智能移动终端，采用移动无线通信方式获取业务和服务的新兴业态，它包含终端、软件和应用三个层面。其中，终端层包括智能手机、平板电脑、电子书、MID等；软件层包括操作系统、中间件、数据库和安全软件等；应用层包括休闲娱乐类、工具媒体类、商务财经类等不同应用与服务。随着技术和产业的发展，LTE（长期演进，4G通信技术标准之一）和NFC（近场通信，移动支付的支撑技术）等网络传输层关键技术也将被纳入移动互联网的范畴之内。1.5移动互联网与大数据随着宽带无线接入技术和移动终端技术的飞速发展，人们迫切希望能够随时随地乃至在移动过程中都能方便地从互联网获取信息和服务，移动互联网应运而生并迅猛发展。然而，移动互联网在移动终端、接入网络、应用服务、安全与隐私保护等方面还面临着一系列的挑战，其基础理论与关键技术的研究，对于国家信息产业整体发展具有重要的现实意义。1.5移动互联网与大数据智能终端设备02智能终端设备是指那些具有多媒体功能的智能设备，这些设备支持音频、视频、数据等方面的功能，如可视电话、会议终端、内置多媒体功能的PC、PDA……智能终端设备大致可分为以下几类：1.5移动互联网与大数据家居智能终端家庭智能化就是将家居生活中所涉及的信息传输、信息处理和设备控制集成起来，形成一个自动的或半自动的现代家居环境空间。人们在生活和工作中需要大量的信息交流，而信息技术的突破是以1895年马可尼成功实现2.5公里电报传输为标志的，它的现实意义在于突破有限空间进行信息交流。此后出现的电话、计算机也是突破空间的信息交流方式。14G智能终端智能手机采用的是开放式的操作系统，通过安装相应的程序可实现相应的功能，为软件运行和内容服务提供了广阔的舞台，很多增值业务可以就此展开，如股票、新闻、天气、交通、商品、应用程序下载、音乐/图片下载等等。随着4G通信网络的日益普及，智能手机已经成为一个功能强大，集通话、短信、网络接入、影视娱乐于一体的综合性个人手持终端设备。21.5移动互联网与大数据数字会议桌面智能终端随着当今科技的飞速发展，加之政府和部队对智能化会议室建设要求逐渐提高，老式的会议形式已无法适应现代化会议系统的要求，现代化的会议系统要求“网络化、数字化、智能化、集成化”。数字会议桌面智能终端系统就是在以“四化”为核心的基础上不断创新会议，集成了IT技术、数字化技术、网络化技术、微电子技术、计算机的交互性、通信的分布性、通信技术等多项技术，实现了人与人、人与机、机与机之间的相互联络，营造了交互式的会议环境。3金融智能终端机金融智能终端机覆盖金融服务网点网络，覆盖社区（以便利店居多），用户在家门口即可完成还款、付款、缴费、充值、转账等日常金融业务，从而缓解了银行柜面压力，解决了用户在银行营业厅的排队难题。沃尔玛、中国石油、中国石化、7-11、物美、快客、好德、海王星辰、华润万家、美宜佳、苏宁、国美等全国所有知名便利店、商超和社区店都配备了金融智能终端机，以便于支付。41.5移动互联网与大数据移动互联网与大数据03大数据与移动互联网密不可分，一方面移动互联网提升了大数据的质量，能准确更快地收集移动信息；另一方面移动网丰富了大数据的类型，大量的用户生成内容、音频、文本、视频、图片等非结构化的数据，应该说无所不包。移动互联网时代大数据从何而来，将给我们的生活带来什么样的改变或者影响呢？正是由于移动互联网的出现，使我们得以随时随地通过网络实现现实生活的各种需求。随着移动互联网的不断普及和便捷，越来越多的人通过移动支付实现购物、订餐、打车等各类消费；也会有越来越多的人尝试用智能可穿戴设备记录下自己的睡眠、体温、热量消耗等每一个生活细节以及健康情况。1.5移动互联网与大数据当所有这些数据被放到互联网中，这正是不断被充实和扩充的大数据，对大数据的渴求正是大量移动软件烧钱运营以争夺客户资源的重要原因。试想：如果有一款名为“舟山旅游指南”的APP应用可以提供所需的各类旅游信息，并可用它实现打车、订餐、预定门票、住宿等各类旅游服务。那么，当大量游客普遍使用它的时候，软件开发商已经不需要市场调查就能了解游客们在关心什么、偏好什么，清楚如何改变以更好地吸引游客，哪里还有尚待开发的旅游资源并及时跟进游客们的需求变化，它掌握的将是整个城市的旅游信息，这正是移动互联网时代所需要的城市大数据。1.5移动互联网与大数据大数据成为许多公司竞争力的来源，从而使整个行业结构都改变了。当然，每个公司的情况各有不同。大公司和小公司最有可能成为赢家，而大部分中等规模的公司则可能无法在这次行业调整中尝到甜头。虽然像亚马逊和谷歌一样的行业领头羊会一直保持领先地位，但是和工业时代不一样，它们的企业竞争力并不是体现在庞大的生产规模上。已经拥有的技术配备规模固然很重要，但那也不是它们的核心竞争力，毕竟如今已经能够快速而廉价地进行大量的数据存储和处理了。公司可以根据实际需要调整它们的计算机技术力量，这样就把固定投入变成了可变投入，同时也削弱了大公司的技术配备规模的优势。1.6大数据应用给企业带来的机会规模仍然很重要，但是如今重要的是数据的规模，也就是说要掌握大量的数据而且要有能力轻松地获得更多的数据。所以，随着拥有的数据越来越多，大数据拥有者将大放异彩，因为他们可以把这些数据转化为价值。大数据向小数据时代的赢家以及那些线下大公司（如沃尔玛、联邦快递、宝洁公司、雀巢公司、波音公司）提出了挑战，后者必须意识到大数据的威力然后有策略地收集和使用数据。同时，科技创业公司和新兴行业中的老牌企业也准备收集大量的数据。1.6大数据应用给企业带来的机会苹果公司进军移动手机行业就是一个很好的例子。在iPhone推出之前，移动运营商从用户手中收集了大量具有潜在价值的数据，但是没能深入挖掘其价值。相反，苹果公司在与运营商签订的合约中规定运营商要提供给它大部分的有用数据。通过来自多个运营商提供的大量数据，苹果公司所得到的关于用户体验的数据比任何一个运营商都要多。苹果公司的规模效益体现在了数据上，而不是固有资产上。坐落于英格兰德比郡的劳斯莱斯运营中心一直监控着全球范围内超过3700架飞机的引擎运行情况，为的就是能在故障发生之前发现问题。数据帮助劳斯莱斯把简单的制造转变成了有附加价值的商业行为：劳斯莱斯出售发动机，同时通过按时计费的方式提供有偿监控服务（一旦出现问题，还进一步提供维修和更换服务）。如今，民用航空发动机部门大约70%的年收入都是来自其提供服务所赚得的费用。1.6大数据应用给企业带来的机会大数据也为小公司带来了机遇。聪明而灵活的小公司能享受到非固有资产规模带来的好处。这也就是说，它们可能没有很多的固有资产但是存在感非常强，也可以低成本地传播它们的创新成果。重要的是，因为最好的大数据服务都是以创新思维为基础的，所以它们不一定需要大量的原始资本投入。数据可以授权但是不能被占有，数据分析能在云处理平台上快速而且低成本地进行，而授权费用则应从数据带来的利益中抽取一小部分。1.6大数据应用给企业带来的机会大大小小的公司都能从大数据中获利，这个情况很有可能并不只是适用于使用数据的公司，也适用于掌握数据的公司。大数据拥有者想尽办法想增加它们的数据存储量，因为这样能以极小的成本带来更大的利润。首先，它们已经具备了存储和处理数据的基础。其次，数据库的融合能带来特有的价值。最后，数据使用者如果只需要从一人手中购得数据，那将更加省时省力。不过实际情况要远远复杂得多，可能还会有一群处在另一方的数据拥有者（个人）诞生。因为随着数据价值的显现，很多人会想以数据拥有者的身份大展身手，他们收集的数据往往是和自身相关的，比如他们的购物习惯、观影习惯、医疗数据等。1.6大数据应用给企业带来的机会

这使得消费者拥有了比以前更大的权利。消费者可以自行决定把这些数据中的多少授权给哪些公司。当然，不是每个人都只在乎把他的数据卖个高价，很多人愿意免费提供这些数据来换取更好的服务，比如想得到亚马逊更准确的图书推荐。但是对于很大一部分对数据敏感的消费者来说，营销和出售他们的个人信息就像写博客、发Twitter信息和在维基百科检索一样自然。然而，这一切的发生不只是消费者意识和喜好的转变所能促成的。现在，无论是消费者授权他们的信息还是公司从个人手中购得信息都还过于昂贵和复杂。这很可能会催生出一些中间商，它们从众多消费者手中购得信息，然后卖给公司。如果成本够低，而消费者又足够信任这样的中间商，那么个人数据市场就很有可能诞生，这样个人就成功地成为了数据拥有者。美国麻省理工学院媒体实验室的个人数据分析专家桑迪·彭特兰等一起创办的ID3公司已经在致力于让这种模式变为现实。1.6大数据应用给企业带来的机会只有当这些数据中间商诞生并开始运营，而数据使用者也开始使用这些数据的时候，消费者才能真正变成数据掌握者。如今，消费者在等待足够的设备和适当的数据中间商的出现，在这之前，他们希望自己披露的信息越少越好。总之，一旦条件成熟，消费者就能从真正意义上成为数据掌握者了。不过，大数据对中等规模的公司帮助并不大。波士顿咨询集团的资深技术和商业顾问菲利浦·埃文斯（PhilipEvans）说，超大型的公司占据了规模优势，而小公司则具有灵活性。在传统行业中，中等规模的公司比大公司更有灵活性，比小公司更有规模。但是在大数据时代，一个公司没必要非要达到某种规模才能支付它的生产设备所需投入。大数据公司发现它们可以是一个灵活的小公司并且会很成功（或者会被大数据巨头并购）。1.6大数据应用给企业带