大数据与社会发展

1、大数据与社会发展环境研究院鲍雷 张银晓 王园园 卢春颖 朱建强 张浩杰 章涵穹 程淑敏第1页背景概览核心展望目录影响第2页背景早在1980年，著名未来学家托夫勒在其所著第三次浪潮中就热情地将“大数据”称颂为 “第三次浪潮华彩乐章”。自然杂志在9月推出了名为“大数据”封面专栏。从年开始“大数据”才成为互联网技术行业中热门词汇。第3页背景麦塔集团分析员道格萊尼指出数据增加挑战和机遇有三个方向：量（Volume，数据大小）、速（Velocity，资料输入输出速度）与多变（Variety，多样性），现在这被认为是大数据三个特征。Hadoop项目诞生。 Hadoop其最初只是雅虎企业用来处理网页搜索问题

2、一个项目，以后因其技术高效性，被Apache Software Foundation企业引入并成为开源应用。云计算成熟让大数据不再是纸上谈兵，大数据技术有了真正实现可能性。麦肯锡正式定义了大数据概念。1月份瑞士达沃斯召开世界经济论坛上，大数据是主题之一，会上公布汇报大数据，大影响(Big Data, Big Impact) 宣称，数据已经成为一个新经济资产类别，就像货币或黄金一样。大数据首次出现在当年政府工作汇报中，汇报中指出，要设置新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。大数据旋即成为国内热议词汇。大数据“十三五”规划出台，规划广泛征求教授意见，进行了集中讨论和修改。

3、规划包括内容包含，推进大数据在工业研发、制造、产业链全流程各步骤应用；支持服务业利用大数据建立品牌、精准营销和定制服务等。第4页政府推进背景2009年，美国政府开放政府数据，这一行动使得从肯尼亚到英国范围内的各国政府相继效仿。 2010年，德国联邦政府启动“数字德国2015”战略，将物联网引入制造业，打造智能工厂。2011年，工信部把信息处理技术作为四项关键技术创新工程之一，包括了海量数据存储、数据挖掘、图像视频智能分析等大数据重要组成部分。2012年，美国政府在白宫网站发布大数据研究和发展倡议，这一倡议标志着大数据已经成为重要的时代特征。2013年，英国政府宣布注资6亿英镑发展8类高新技术，

4、其中，1.89亿英镑用来发展大数据技术。欧盟实施开放数据战略，旨在开放欧盟公共管理部门的所有信息。2015年，五中全会的“十三五”规划中将大数据作为国家级战略。BigData Big data第5页背景大数据技术Hadoop本身不是一个产品，而是由多个软件产品组成一个生态系统， 这些软件产品共同实现全方面功效和灵活大数据分析。采取Hadoop分布式文件系统（HDFS）可靠数据 存放服务，以及利用一个叫做MapReduce技术高性能并行数据处理服务.Hive是一个建立在Hadoop文件系统上数据仓库架构，并能对存放在HDFS中数据进行分析和管理。它最初是应Facebook天天产生海量新兴社会网络

5、数据进行管理和机器学习需求而产生和发展。以后其它企业也开始使用和开发Apache Hive，比如Netflix、亚马逊等。Storm是一个分布式计算框架，主要由Clojure编程语言编写。最初是由Nathan Marz及其团体创建于BackType，这家市场营销情报企业于被Twitter收购。之后Twitter将该项目转为开源并推向GitHub平台，最终Storm加入Apache孵化器计划并于年9月正式成为Apache旗下顶级项目之一。第6页背景大数据价值肯尼斯库克尔发表大数据专题汇报数据， 无所不在数据。库克尔在汇报中提到：“世界上有着无法想象巨量数字信息，并以极快速度增加。从经济界到科学界

6、，从政府部门到艺术领域，很多方面都 已经感受到了这种巨量信息影响。科学家和计算机工程师已经为这个现象创造了一个新词汇：大数据。”互联网巨头纷纷公布机器学习产品，IBM Watson 系统、微软小冰、苹果Siri，标志着大数据进入深层价值阶段。Computing Research(计算研究)公布 大数据市场评论，该评论发觉在过去一年中，没有将大数据和大数据分析集成到其运行过程企业百分比从 33% 降到了 16%。大数据开始作为企业决议主要支撑，在商业市场上发挥巨大价值。第7页概览对于“大数据”（Big data）研究机构Gartner给出了这么定义：“大数据”是需要新处理模式才能含有更强决议力、

7、洞察发觉力和流程优化能力来适应海量、高增加率和多样化信息资产。麦肯锡全球研究所给出定义是：一个规模大到在获取、存放、管理、分析方面大大超出了传统数据库软件工具能力范围数据集合，含有海量数据规模、快速数据流转、多样数据类型和价值密度低四大特征。在维克托迈尔-舍恩伯格及肯尼斯库克耶编写大数据时代中大数据指不用随机分析法（抽样调查）这么捷径，而采取全部数据进行分析处理。定义第8页概览4V特点Big DataVelocity高速Volume大量Value价值Variety 多样第9页概览特征指取得数据速度妨碍了处理和有效地管理数据过程数据质量数据量巨大起源多渠道速度可变性真实性复杂性第10页概览应用洛

8、杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪发生。Google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感散布。统计学家内特.西尔弗(Nate Silver)利用大数据预测美国选举结果。麻省理工学院利用手机定位数据和交通数据建立城市规划。梅西百货实时定价机制。依据需求和库存情况，该企业基于SAS系统对多达7300万种货物进行实时调价。医疗行业早就碰到了海量数据和非结构化数据挑战，而近年来很多国家都在主动推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。第11页关键针对企业数据市场 商业发展天生就依赖于大量数据分析来做决议 对于企业用户，更关心还是决议需求

9、，还有企业营销需求针对终端消费者 对大数据需求主要表达在信息能按需搜索，并能提供友好、可信信息推荐，其次是提供高阶服务针对政府公共服务 大数据也不停被应用到政府日常管理和为民服务中， 并成为推进政府政务公开、完善服务、依法行政重 要力量。关键价值表达用户第12页关键关键详细价值大数据优化资源配置大数据提升决议能力智慧驱动下友好社会第13页关键优化资源配置个人依据各种数据能够选择适合自己工作，舒适 居住条件，便利出行方式；企业依据各种数据选择自己生产经营方向，精细 化分工，为客户量身定做产品，实现利益最大化；政府依据各种数据合理制订政策，分配资源， 以实现经济社会自然全方面发展。第14页关键这种

10、基于大数据决议特点是：一是量变到质变，因为数据被广泛挖掘，决议所依据信息完整性越来越高，有信息理性决议在快速扩大，拍脑袋盲目决议在急剧缩小；二是决议技术含量、知识含量大幅度提升；三是大数据决议催生了很多过去难以想象重大处理方案。 提升决议能力宏观层面 大数据使经济决议部门能够更敏锐地把握经济走向，制订并实施科学经济政策；微观方面 大数据能够提升企业经营决议水平和效率，推进创新，给企业、行业领域带来价值。第15页影响对国家社会影响推进政府开放（反作用力）提升公共服务质量、降低运行开支提升政策预见性、响应性 基于数据驱动决议方法，政府将愈加效率、愈加开放、愈加负责，引导政府前进将是“基于实证事实”

11、，而不是“意识形态”，也不是利益集团在政府决议过程中施加影响。 丹尼尔 埃斯蒂 耶鲁大学法学教授 未雇佣人数（百万）失业率：4.4% 4.4% 4.9% 4.5% 第16页影响推进经济发展催生硬件、软件及服务类市场价值推进相关行业产生大价值零售业制造业医疗行业公共管理部门净增加可到达60%以上0.5%-1%增加率产品开发、组装成本降低50%，运行资本降低7%每年创造价值2500亿欧元年增速0.5%每年创造价值3000亿美元大约0.7%年增速第17页影响推进科技发展实验科学 几千年前理论科学 过去几百年计算机科学 过去几十年数据密集型科学 今天图灵奖得主詹姆士格雷和戴瑟在“科学发展第四个范型”中

12、，将人类科学研究历史划分为四个阶段。第18页影响带来全新生活方式综合应用智能处理传输感知城市心智空间城市虚拟空间城市物理空间城市管理是一个复杂学科，智慧城市建设是一项复杂系统工程。对智慧城市建设应该同时着眼于三个空间整体。大数据将为智慧城市建设提供数据支持。智慧城市系统体系结构智慧城市三个空间理论智慧城市发展第19页影响近年来，在国内利用大数据伎俩提升社会治理水平、维护社会友好稳定“智慧城市”建设也在如火如荼开展。截止去年底，我国国家智慧城市试点已达193个，而公开宣告建设智慧城市城市超出400个。伴伴随智慧城市建设炽热进行，政府大数据应用已进入实质性建设阶段，有效拉动了大数据市场需求，带动了当地大数据产业发展，大数据在各个领域应用价值已得到初显。智慧驱动友好社会第20页展望大数据成为企业和社会关注主要战略资源，企业必须要提前制订大数据营销战略计划，抢占市场先机。很多数