迎接大数据时代【前半部分】-@大数据you大智慧-20130613

1、迎接大数据时代Welcome the BigData Age新浪微博：大数据you大智慧Email：何谓大数据？引言大数据大价值备注说明大数据时代大数据技术大数据风险制造业大数据参考与推荐演讲主题My BigData Topics 引言用数据打造冠军团队点球成金；大数据什么都知道；尿布与啤酒还有飓风和蛋挞；源于时代的紧迫感；Welcome the BigData Age引言 电影点球成金基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片，所讲述的是皮特扮演

2、的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。 引言 没有隐私：它什么都知道你的什么大数据都知道旧手机坏了想换新的是一个爱国的屌丝女朋友有了一个新手提包邻居上高中的女儿怀孕了你两年后可能要买车喜欢日本爱情动作片你可能会得高血压你最近手头不宽裕特别讨厌某个明星你在这个世界上留下了太多的痕迹！引言 飓风&蛋挞 And 啤酒&尿布沃尔玛在上世纪创造的啤酒与尿布的相关性销售是一个营销的经典案例，但是类似的不只有这一个，飓风和啤酒也是沃尔玛基于大数据分析之后的一个又很成功的营销案例。 啤酒和尿布、星期五、男人、小孩飓风和蛋挞、躲在家里、吃蛋挞引言

3、源于时代的紧迫感发达国家都在“未雨绸缪”，积极制定“大数据”战略。大数据已成为国际业界的热门话题，国内IT业也开始积极追捧大数据。未来的十年将是以数据位引领的智慧科技时代，核心是数据能力的竞争。在这颠覆性的IT革命浪潮中，我们如何能占据一席之地？值得深思！ 大数据时代我们生活在数据中，所有人都在制造和分享数据；数据是可再生资源，其本质是生产资料；数据惊人的的爆炸式增长；各个国家的大数据战略规划；国际业界对大数据的关注度持续升温；大数据在国内日益受重视；Welcome the BigData Age大数据时代 我们生活在数据的世界中大数据时代 数据是可再生资源，本质是生产资料仅供开采162年仅供

4、开采45年仅供开采60年不可再生资源VS数据过去3年数据总量被以往4万年还多2013年,10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。大数据时代 数据爆炸式增长（每分钟）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票184

5、0+张大数据时代 大数据规划战略2012年3月，美国政府启动“大数据研究和发展倡议”计划。这是 继“信息高速公路”后的又一重大科技战略部署。美国政府将大数据视为“未来的新石油”并将对其研究上升为国家意志。2010年1月，英国政府的数据开放网站正式出台，2010年5月卡梅伦上台之后正式提出“数据权”的概念，2011年4月主要部门宣布“我的数据”新项目，旨在落实和强化数据权。继美英之后，国际上德国、法国、日本、加拿大和新西兰等国家也开始了各自国家的大数据发展战略规划。大数据时代 业界对大数据的关注持续升温Gartner 2011年技术成熟度曲线,大数据处于高速发展期大数据时代 业界对大数据的关注持

6、续升温（续）2012年世界经济论坛发布了“Big data，Big impact”的报告麦肯锡于2011年5月发布下一个前言：创新、竞争和生产力报告从金融服务、健康、教育、农业、医疗等多个领域阐述了大数据为国际发展带来的机会。大数据将成为竞争的关键，大数据将引发新一轮的生产力增长与创新。 Big Data Insight Group和EMC完成的解读大数据的商业价值和战略意义对大数据在英国企业中的应用趋势进行了调查和解读，发现大数据还处于发展初级阶段。早在1980年，著名未来学家阿尔文托夫勒便在第三次浪潮一书中，就将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大数据时代 大数据在国内日益受重视

7、2012年5月，中国云计算国际论坛在北京召开；2012年6月，中国计算机协会成立“CCF大数据专家委员会”；2012年7月，阿里巴巴宣布设立首席数据官，推动“数据分享平台”战略；2012年7月，第二届大数据世界论坛召开，首届中国大数据论坛同年召开；大数据事件2013年1月，华为超越信息和通信，迎接新一轮数字化变革；2012年4月，ETIRI大数据行业应用现状与未来应用热点；2011年12月，中信证券大数据（Big Data）专题研究报告；2011年12月，国金证券“大数据”专题分析报告；2012年6月，中国互联网市场洞见：互联网大数据技术创新研究；专业报告随着大数据产品的逐步退出与完善，201

8、3年国内大数据市场将进入主要培育期；光大证券随着解决方案增多以及用户需求的明确，未来大数据市场将进入高速增长期；计世资讯大数据对国家治理模式、企业决策、组织和流程、个人生活都将产生巨大影响；国金证券在这场呼之欲来的产业革命中，我国并没有落在世界的后面。事实上，全世界都还没有准备好迎接这场革命；周涛他们如此说 何谓大数据？大数据定义；大数据的3V特征（From EMC）；大数据的4V特征（更普遍意义）；大数据的作用；大数据带来的思维变革；Welcome the BigData Age何谓大数据 大数据定义大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到

9、撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯百度百科大数据是指用传统方法或工具不能处理或者分析的数据信息大数据大价值、大机遇、大变革一书，李志刚主编大数据=海量数据+复制类型的数据Informatica中国区首席产品顾问 但彬“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产Gartner何谓大数据 大数据的3V特征（From EMC）何谓大数据 大数据的4V特征（更普遍意义）Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍Value大量的不相关信息

10、对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义Big Data大数据何谓大数据 大数据的4V特征（Volume）1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为

11、单位进行计量的何谓大数据 大数据的4V特征（Velocity）82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；何谓大数据 大数据的4V特征（Variety）行业/企业内数据互联网数据物联网数据大数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的

12、结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。何谓大数据 大数据的4V特征（Value）挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；何谓大数据 大数据带来的思维变革更好不是因果关系而是相关关系更多不是随机样本而是全部数据更杂不是精确性而是混杂性何谓大数据 大数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式是指在国家统一规定的时间内，按照统一的方

13、法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6次人口大普查；人口大普查是一种典型的全数据模式；大数据时代小数据时代何谓大数据 大数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的创新！随机采样分析是小数据时代的产物；大数据时代小数据时代何谓大数据 大

14、数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部；大数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的“大”是相对的相扑比赛所有数据存储还不需要一个TB，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；大数据时代小数据时代何谓大数据 大数据带来的思维变革（更多）Google利用网络大数据预测流感基于全数据进行相扑比赛的作弊分析埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，

15、自身所有DNA和肿瘤DNA排序何谓大数据 大数据带来的思维变革（更杂）从皮尺到哈勃望远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性；大数据的简单算法比小数据的复杂算法更有效；IBM的机器翻译 VS Google的机器翻译；纷繁的数据越多越好；大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；混杂性，不是竭力避免，而是标准途径；何谓大数据 大数据带来的思维变革（更好）佛教三世因果经主要讲：一是人的命是自己造就的；二是怎样为自己造一

16、个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。佛教关于因果报应的解释原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。哲学范畴的因果关系大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；舍恩伯格对大数据的相关性解释Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的一半。为什么？探寻事物的因果关系是人类的本性，但是大数据时代可以做某种

17、程度的妥协，可以只需要关注“是什么”，而忽略“为什么？” 大数据大价值大数据大价值总述大数据商业模式；大数据行业应用；Welcome the BigData Age大数据大价值 总述推动社会进步促进经济发展加强科技创新大数据大价值 总述-推动社会进步历史经验证明，每次重大信息技术的应用，都将会给国家和社会带来深刻的变革。如1993年美国推出的“信息高速公路”计划在一系列工业领域每年创造了3000亿的销售额，于此同时推动了相关多个产品的发展。如在预测和响应方面：传染病预测、粮食生产趋势预测、天气预测、经济预测 提升国家国防安全水平 促进政府开放 提升公共服务质量提高政策预见性、响应性大数据大价值

18、 总述-加强科技创新几千年前过去几百年过去几十年今天自然科学，描述自然现象理论科学，牛顿定律，麦克斯韦方程式之类计算科学，模拟复杂现象数据密集型科学，理论、实验和模拟的统一，数据探索2007年图灵奖得主Jim Gray在美国国家科学研究委员会发表演讲，指出科学研究已经在几千年前的凭经验、几百年前的靠理论模型、几十年前的科学仿真之后，进入了第四个阶段数据探索！大数据大价值 总述-加强科技创新互联网行业技术创新生物工程-数字化模拟细胞海洋勘探-捕捉海洋活动运动科学-数据提高成绩计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据

19、应用需求，潜在市场空间非常可观。计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。大数据大价值 总述-促进经济发展-中国大数据市场大数据大价值商业模式 -大数据故事地图（From EMC）大数据大价值 商业模式-大数据产业（Landscape）大数据应用类大数据数据源类开源项目类大数据分析类大数据基础设施类跨基础设施分析类大数据大价值 行业应用

20、-整体说明应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。大数据大价值 行业应用-整体说明实时营销信息推送是

21、电信行业大数据应用主要场景电信行业大数据应用场景金融行业大数据应用场景金融行业大数据应用场景主要集中在投资方面制造行业大数据应用场景各个环节的优化是制造行业最关注的大数据应用场景互联网行业大数据应用场景互联网行业大数据主要应用在社交和网购方面大数据大价值 行业应用-医疗行业（From麦肯锡）临床诊断有效性对比研究临床支持系统医疗数据透明化远程患者治疗病人档案的先进分析研发预测建模统计工具与算法个性化医疗分析临床试验数据分析疾病模式新商业模式聚合病人临床诊断和索赔记录数据库在线平台和社区付款和定价自动系统健康经济学效果研究基于效果的定价计划大数据大价值 行业应用-能源行业（Distribu TECH）Big能源数据库油气资源勘探输电线传感器（智能电网）通过控制行为分析能源消费清洁能源数据气象数据联网热传感数据建筑数据（绿色建筑）动态定价DataDistribu TECH电动汽车数据手机数据大数据大价值 行业应用-零售业市场Market销售规划、Merchandising运营Operation供应链Supply chain基于大数据分析，市场活动变