大数据思维与决策--范文慧.ppt

2016.04.27,大数据思维与决策,个人简介,清华大学自动化系教授/博导中国仿真学会副理事长中国仿真学会组织工作委员会主任委员中国仿真学会复杂系统建模与仿真专业委员会主任委员中国仿真学会仿真技术应用专业委员会副主任委员中国仿真学会仿真科普与教育工作委员会副主任委员中国自动化学会系统仿真专业委员会副主任委员北京市复杂产品先进制造系统工程技术研究中心专家委委员中国标准化研究院科学技术专家委委员中国智慧城市发展研究中心西北分中心（克拉玛依）特邀研究员,联系方式：地址：北京市海淀区清华大学中央主楼601室邮编：100084电话0991-8592299手机13201272959传真mail:fanwenhui,提纲,一、大数据时代二、大数据内涵三、大数据思维四、大数据技术五、结束语,大数据订外卖披萨的案例,一、大数据时代,请看视频01-3分钟,1、数据定义,一、大数据时代,宇宙构成的元素：物质、能量、信息,2、信息革命,一、大数据时代,3、能源革命,一、大数据时代,杰里米里夫金,新的通信技术（ICT）和新的能源系统结合将再次出现互联网技术和可再生能源融合,美国华盛顿特区经济趋势基金会总裁，享有国际声誉的社会批评家和畅销书作家,一、大数据时代,4、数据爆炸（1）,一、大数据时代,4、数据爆炸（2）,最早提出“大数据时代”到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。,纽约时报2012年2月的一篇专栏中称“大数据时代”已经降临，在商业、经济及其他领域中决策将日益基于数据和分析而作出而并非基于经验和直觉。,一、大数据时代,5、大数据时代（1）,2012年3月奥巴马政府发布了“大数据研究和发展倡议”拟投资2亿美元启动“大数据发展计划”以期在科学研究、环境、生物医学等领域利用大数据技术进行突破。,2012年5月联合国发表大数据促发展挑战与机遇政务白皮书，指出大数据对于世界各国是一个历史机遇，探讨如何利用包括社交网络在内的大数据资源造福人类。,2014年10月29日，国务院常务会议特别强调了要扩大移动互联网、物联网等信息消费，提升宽带速度，支持网购发展和农村电商配送。加快健康医疗、企业监管等大数据应用。2015年的政府工作报告也强调，要制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展。,一、大数据时代,5、大数据时代（2）,如果一个个人拒绝大数据时代，可能会失去生命；如果一个国家拒绝大数据时代，可能会失去这个国家的未来！,一、大数据时代,6、小结,无论你知道与不知道，无论你接受与不接受,大数据时代已经来临！,1、大数据的定义,二、什么是大数据,麦肯锡全球研究所：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。Gartner定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,1Byte=8bit,进率1024（2的10次方）计算,Mega兆M.1003Giga吉G.1006Tera太T.1009Peta拍P.1012Exa艾E.1015Zetta泽Z.1018Yotta尧Y.1021,进制单位全称及译音,涂子沛数据之巅大数据,2、大数据的特征,二、什么是大数据,Volume大量,Velocity高速,6000万用户登录/天20亿次页面访问/天每天1.2亿次网站访问响应时间小于100毫秒由于输入速度加快，所以要求输出速度也要加快,大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快销行业等。,2、大数据的特征,二、什么是大数据,2、大数据的特征,二、什么是大数据,Veracity真实,数据的重要性就在于对决策的支持；数据的真实性和质量才是获得真知和思路最重要的因素，是制定成功决策最坚实的基础；准确源自于对全部数据的处理分析；大数据的核心思想之一。,2、大数据的特征,二、什么是大数据,大数据能做一个预言家谷歌和推特都曾用大数据，提前7天到一个月，在2009年准确预测当年的流感趋势一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒大数据分析犹如“大海捞针”,Value价值,2、大数据的特征,二、什么是大数据,2、大数据的特征,二、什么是大数据,3、大数据的应用（1）,二、什么是大数据,丹麦风轮机制造商维斯塔斯，在世界上最大的超级计算机上部署IBM大数据解决方案，通过分析包括PB量级气象报告、潮汐相位、地理空间、卫星图像等结构化及非结构化的海量数据优化风力涡轮机布局，有效提高风力涡轮机的性能，为客户提供精确和优化的风力涡轮机配置方案；帮助客户降低每千瓦时的成本；提高客户投资回报估计的准确度；将业务用户请求的响应时间从几星期缩短到几小时。,3、大数据的应用（2）,二、什么是大数据,电力大数据,数据即能量（Energy）：电力大数据使用过程中不断精炼而增值数据即交互（Exchange）：电力数据同行业外数据的交互融合数据即共情（Empathy）：挖掘和满足电力用户，建立情感联系，提供电力服务,3、大数据的应用（3）,二、什么是大数据,3、大数据的应用（3）,二、什么是大数据,23,电力大数据,5、大数据的好处,二、什么是大数据,请看视频03-15分钟,肯尼斯库克耶,给我们展现了由大数据给机器学习和人类知识带来的翻天覆地的变化。,我们可以从我们能收集的信息中来了解这个世界以及人类在这个世界中所处的地位。,大数据即将改变我们的生活、工作和思考方式，可以帮助我们管理事业、过想要的充满希望幸福和健康的生活,大数据核心是预测,什么大数据思维,三、大数据思维,大数据思维，是指一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。,1、不是随机样本，而是全体数据,三、大数据思维,大数据时代,小数据的随机采样，统计学用尽可能少的数据来证实尽可能重大的发现；统计学本身存在许多固有的缺陷。,全数据模式，样本=总体数据深度探讨，抽样几乎无法；用所有数据，抽样会淹没掉的信息；所有数据的方法，非随机分析法。,诺贝尔奖自1901年创办至2016年共110届的诺贝尔数据，排除48次空缺或无生辰资料及23个机构获奖外，提供了877份科学家的案例，统计如下：,三、大数据思维,大数据诺贝尔奖案例,三、大数据思维,大数据诺贝尔奖案例,诺贝尔奖大数据告诉你：最聪明的星座是谁？,腾讯科技讯2月8日，猴年除夕红包：红包收发总量：微信80.8亿个；QQ：42亿个，双双创下历史新高。微信：共有4.2亿人收发红包，QQ：在“刷一刷”抢红包中吸引3.08亿人。微信，广东人发送的红包最多，收到的也最多；除夕当天，有人收到5279个红包，也有人发出79193个红包。“年度最值钱”的红包照片，共收到597个红包；来自河南的29岁女性用户，为了看照片共发出了219个红包，当日最多。,三、大数据思维,大数据红包案例,允许不精确“小数据”最基本、最重要的是减少错误，保证质量；大数据的简单算法比小数据的复杂算法更有效数据多比少好，更多数据比算法系统更智能还要重要；,2、不是精确性，而是混杂性,三、大数据思维,谷歌翻译好不是因为它拥有一个更好的算法机制，利用成千上万数据，它接受了有错误的数据。,大数据时代,纷繁的数据越多越好大数据用概率说话，要学会拥抱混乱。掌握了大量新型数据时，精确性就不那么重要；错误并不是大数据固有的特性，而是现实问题。,大数据与葡萄酒品质预测,三、大数据思维,小数据专家（直觉与经验）：罗伯特帕克使用传统的“品咂并吐掉”的方法。葡萄酒在装瓶之前盛放在橡木桶里发酵18-24个月，评酒家在4个月后才能第一次品尝，很难得出酒品质的准确信息。大数据专家：奥利阿什菲尔特在品酒师第一次尝酒的数月之前，是在卖出的数年之前，葡萄收获时就能预测出葡萄酒的未来品质。奥利预测：1989年法国波尔多酒（仅仅在木桶放了3个月）将成为“世纪佳酿”;如果1961年评级为100，那么1989年将会达到149；“1989年能够卖出35年中所生产的葡萄酒的最高价”事实证明，奥利是对的。,大数据思维与实践,正确的观点不一定总是受欢迎的！,大数据与葡萄酒品质预测,遭到讥讽和鄙视：“这个公式显然是可笑的，我们无法重视它”“介入极端和滑稽可笑之间”“一个彻头彻尾的骗子”“其实是在用尼安德特人的思维来看待葡萄酒，这是非常荒谬甚至非常可笑的”“如果他邀请我去他家喝酒，我会感到恶心”“就像某些影评一样，根据演员和导演来告诉你电影有多好，实际上却从来没有看过那部电影”“愚蠢可笑”“既愤怒又恐惧，他确实让人感到恐慌。”当他在酒行演讲时，后面嘘声一片,三、大数据思维,大数据思维与实践,大数据与葡萄酒品质预测,根据1952年1980年期间6家波尔多名庄（白马、拉图、拉菲、爱士图尔、蒙特罗斯、碧尚女爵）10个年份的60款葡萄酒在1990年1999年期间的伦敦市场拍卖价格曲线，推导出一条葡萄酒价格公式：,超级大数据分析的崛起，并不意味着直觉判断的消亡，也不是说工作中累计的经验不重要。最优秀、最聪明的人对于运用统计与直觉都游刃有余。,葡萄酒价格被解释变量=0.0240AGE（酒龄）+0.608TEMP（葡萄生长期平均气温）-0.0038RAIN（8月至9月的降水量）+0.00115WRAIN（上年10月至本年3月的降水量）,三、大数据思维,大数据思维与实践,“是什么”而不是“为什么”相关关系核心是量化两个数据值之间的数理关系相关关系通过识别有用的关联物来帮助我们分析一个现象，捕捉现在和预测未来；而不是揭示其内部的运作机制相关关系帮助更好地了解这个世界,3、不是因果关系，而是相关关系,三、大数据思维,大数据时代,人类通过因果关系与相关关系分析而了解世界在小数据中，相关关系也是有用的,大数据折扣零售商与怀孕预测案例,三、大数据思维,美国折扣零售商塔吉特与怀孕预测,大数据时代,大数据流感传播预测案例,5000万条美国人最频繁检索的词条4.5亿个不同的数学模型与实际流感病例对比后，软件发现45条检索词条的组合用于一个特定的数学模型后，预测与官方数据的相关性高达97%唯一关注：特定检索词条的使用频率与流感在时间和空间上的传播之间的联系。,大数据时代-一场生活、工作与思维的大变革,小数据专家（直觉与经验）专家：流感爆发一两周之后才可以做到。大数据专家：谷歌公司在2009年甲型H1N1流感爆发的几周前，预测流感是从哪里传播出来的，判断非常及时。,三、大数据思维,大数据与机票价格预测,建立在12000个价格样本基础之上，而这些数据都是从一个旅游网站上爬取过来的到2012年为止，用了将近十万亿条价格记录来帮助预测美国国内航班的票价，准确度已经高达75，平均每张机票可节省50美元不需要去解开机票价格差异的奥秘，只推测会发生什么，未来时间内上涨还是下降,世界就是一系列的大数据问题，而且他认为自己有能力解决这些问题,小数据专家（直觉与经验）：无法完成大数据专家：埃齐奥尼，2003年创立机票价格预测系统Farecast，微软公司以1.1亿美元收购,三、大数据思维,4、小结,三、大数据思维,大数据的精髓在于三个思维转变（认识世界与改造世界的方法）,第一个转变：分析样本=分析全集第二个转变：追求精确=接受混杂第三个转变：寻找因果=探求相关,大数据时代,四、大数据技术,1、大数据技术,四、大数据技术,2、大数据工具,四、大数据技术,2、大数据工具,AutoGrid由前斯坦福大学智能电网研究室负责人AmitNarayan创办的服务于电力、能源行业的大数据公司。通过建立能源数据平台，收集并处理其客户接入智能电网的智能仪表等设备的数据，面向其客户或合作方提供需求响应优化及管理系统，实现实时资源预测、资源优化、自动需求响应、客户通知引擎和事后分析等功能。单个DROMS集群每天可以产生数以亿计的能源消费的预测数据。,四、大数据技术,3、能源大数据软件平台,OpowerOpower公司是于2007年创办的一家家庭能源数据分析公司。Opower与电力公司合作，抢占家庭消费者“入口”，获取家庭消费者的能源使用数据，进行消费者用电行为分析，并为其提供节能减耗的方案，推动节能的互联网应用。,3、能源大数据软件平台,四、大数据技术,法国电力公司(EDF)基于大数据的分析预测：目前全法已经安装3500万智能电表，电表产生的数据量将在5-10年内达到PB级。智能电表采集的主要是个体家庭的用电负荷数据。以每个电表每10分钟抄表1次计算，3500万智能电表每年产生1.8万亿次抄表记录和600TB压缩前数据；3500万智能电表每天产生5亿次抄表记录和大约2TB的抄表数据。这些电表数据，结合气象数据、用电合同信息及电网数据，构成了法国电力的大数据，用于生成用户用电负荷曲线及其关联数据。,3、能源大数据软件平台,四、大数据技术,C3IoTPlatformPoweringData：电网实时监测和即时数据分析,3、能源大数据软件平台,四、大数据技术,Acompleteplatform-as-a-servicesolutionthatenablestherapiddesign,development,deployment,andoperationofenterprise-scalesoftwareapplicationsWithanelasticcloud,distributed-computingarchitecturecapableofhandlingdatasetsgrowingbyhundredsofTerabytesperdayandmillionsofMessagespersecond,theplatformhas70millionsmartdevicesandsensorsundermanagementatmorethan20productiondeploymentsworldwide,数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。,一旦世界被数据化，只有想不到的，没有信息做不到的,数据“无所不有”,五、结束语,我的思考,数据“无所不说”,第一个转变：分析样本=分析全集；不拒绝样本第二个转变：追求精确=接受混杂；不丢弃精确第三个转变：寻找因果=探求相关；不否定