大数据的发展现状

1、大数据的发展现状2015年7月一、大数据的提出及概念123大数据的提出大数据的概念大数据的特点 大数据最早在上世纪90年代被提出，麦肯锡在2012年的评估报告中指出“大数据时代”已经到来，使得人们对于大数据重要性的认知和关注度进一步增加。 研究机构Gartner给出的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）二、国内外大数据的发展现状2012-2017年全球大数据市场规模 2014 年全球大数据市场规模达到285

2、亿美元，同比增长53.2%。大数据成为全球IT 支出新的增长点。2014年大数据对全球IT 开支的直接或间接推动达2320 亿美元，预计到2018 年这一数据将增长三倍。 2014 年，我国大数据仍处于起步发展阶段，行业应用得到快速推广，市场规模增速明显。2014 年，我国大数据市场规模达到75.7 亿元，同比增长28.4%。2012-2016年中国大数据市场规模 视频监控摄像头广泛应用于主要道路、热点地区、地铁和居民小区的安全监视。北京超市食品架前均要求装能清晰拍到走在架前的人的脸部。 一个8Mbps摄像头每小时产生3.6GB,很多城市的摄像头多达几十万个，一个月的数据量达到数百PB，若需保

3、存3个月则存储量达EB量级。 国家税务总局每月收集全国数据4TB，己集中的结构化数据260TB 北京市政府部门数据库总量2011年63PB，2012年95PB三、各大行业的数据积累与价值 政府数据被标签和分析的数据类型比例监控嵌入与医疗数据处理娱乐与社交媒体消费者图像与视频20102015202050%100% GE的每一引擎装20个传感器，在飞行过程中每隔一段时间通过卫星将传感器收集的引擎状态传给GE公司。每个引擎每飞行小时产生20TB,从伦敦到纽约每一飞行产生640TB级数据，GE每天收集PB级引擎数据。美国每月收集360万次飞行记录，监视机队25000个引擎。 GE通过对所生产的2万台喷

4、气引擎的数据分析，开发的算法能够提前一个月预测其维护需求，预测准确率达到70%。依此对喷气引擎预防性维护，在美国就防止了不止6万次的航班延误或取消。如果将传感数据收集和分析用于燃油效率上，1%的提高就能使航空业每年省20亿美元。三、各大行业的数据积累与价值 制造业数据 公交一卡通每天4千万次，地铁一千万人次。北京市交通调度中心每天数据增量30GB，存储量20TB 发卡量40亿张，每天近600亿次交易，每秒50万次记录，存储量350TB三、各大行业的数据积累与价值服务业数据 年均产生数据510TB(不含视频)累计产生数5PB 用户上网记录每秒83万条，对应年数据量3.6PB 农夫山泉每天从销售其

5、矿泉水的超市回传10张照片，每月3TB 企业级数据仓库存储量已超过350TB，积累的数据4. 5PB工商银行 每年产生结构化和非结构化数据分别突破100TB和1PB，已归档PB级数据农业银行 每日约处理600G数据，存量数据超过70TB交通银行现在一个病人的CT影像往往多达两千幅，数据量己经到了几十个GB.如今中国大城市的医院每天门诊上万人，全国每年门诊人数更是以数十亿计，住院人次己经达到两亿人次。按照医疗行业的相关规定，一个患者的数据通常需要保留50年以上。三、各大行业的数据积累与价值医疗数据中山大学第一附属医院数据存储量（TB） 淘宝每天交易超过数千万笔，其单日数据产生量超过50TB, 峰

6、值时处理交易达到9万笔/分钟，1GB/s。在阿里数据平台事业部的服务器上有超过100PB己处理过的数据。 百度每天要处理60亿次搜索请求(谷歌为30亿次)，新增10TB，处理100PB数据，每天产生一个TB的日志。目前存储网页数近1万亿，数据总量1000PB 腾讯腾讯QQ月活跃用户超8亿，微信用户5亿，在线人际关系链超1000亿，每天1千亿次服务调用，日新增200-300TB数据量，每月增加10%。经压缩后的数据总存储量100PB 新浪微博每天有数十亿外部网页和API接口访问需求。在晚上高峰期，微博每秒要接受100万以上的响应请求。三、各大行业的数据积累与价值互联网数据图灵奖获得者Jim Gr

7、ay提出新摩尔定律:全球新产生的数据年增40%,全球信息总量每两年就可以翻番!红楼梦含标点共87万字，每汉字占2B，全书1.74MB,1EB =6626亿部，即全球人均100部红楼梦，1EB可刻满1.68亿张DVD三、各大行业的数据积累与价值互联网流量变化 英国医疗服务业每年价值3000亿美元大约0.7%的年生产率增长 美国零售业可能的净利润增长水平为60%或以上0.51.0%的年生产率增长 欧洲公共部门管理每年价值2500亿欧元 (约35OO亿美元)大约0.5%的年生产率增长 制造业产品开发、组装成本降低达50%运营资本降低达7% 全球个人位置数据服务提供商收入1000亿美元或以上最终用户价

8、值达7000亿美元40%GDP 麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务等领域都将带来可观的价值海量数据可以在各个部门创造重大财务价值三、各大行业的数据积累与价值大数据的价值四、大数据的热门应用领域1制造业 丰田利用数据分析在试制样车前避免了80%的缺陷；GE通过对2万台喷气引擎的数据分析，能够提前一个月预测其维护需求，预测准确率达到70%；百度将网民对汽车的各类搜索 请求进行大数据挖掘，帮助一汽等车企深入了解消费者需求，设计新品及资源调配2农业 硅谷Climate公司从美国政府获得30年的气候、60年的农作物收成、14TB的土壤数据，还收集25

9、0万个地点的气候数据，向农户提供天气变化、作物、病虫害和灾害、肥料、收获、产量、市场 价格等咨询和保险服务，承诺侮英亩的玉米利润增加100美元，如预测有误将将及时赔付。3商业 沃尔玛基于每月4500万网购数据，结合网上挖掘的对产品的大众评分，开发语义搜索引擎，方便浏览，在线购物者增加1015%,增加销售十多亿美元。还通过对消费者购物行为分析，了解顾客购物习惯，优化商品陈列。四、大数据的热门应用领域4金融 华尔街的银行应用大数据分析风险时间从3月缩短到3小时，价格计算从48小时到20分钟，行为分析从72小时到20分钟；交通银行太平洋信用卡中心采用大数据信贷审批决策引擎，审批效率提高30%；阿里公

10、司基于大数据建设投融资平台。5交通 美国UPS每天平均运输163万件包裹，用传感器跟踪46000辆车，2011年少跑了8500万英里路程，节约了840万加仑燃料；中远物流公司有100多个配送中心，3000个网点，装GPS的上万辆车每月产生2亿条信息，减排10%。6医疗 苹果公司总裁乔布斯花费几十万美元获得自身全部DNA，希望通过这种方式战胜癌症虽然愿望没有实现，但也将他的生命延长了几年；人体对药品 代谢方式的差异 取决于个体特定的基因、酶和蛋白质组合，因此基因信息对选择最优治疗非常关键。 2014 年，大数据在公共服务中的交通、医疗、教育、预测服务等领域得到广泛应用。随着第三方服务机构的参与，公众需求被不断挖掘，应用场景逐步丰富。 企业级大数据应用逐渐普及，消费者行为分析、精准营销、新业务新产品推广、广告推送、社