大数据概念技术与应用介绍课件

大数据概念技术与应用介绍PPT大数据概念技术与应用介绍PPT11.大数据4.02.什么是大数据3.大数据如何产生目录Contents4.大数据带来的思维变革5.大数据可以做什么6.中国：从“数据大国”走向“数据强国”1.大数据4.02.什么是大数据3.大数据2Part1国家大数据战略Part1国家大数据战略3大数据系统的三要素❖ 数据资源❖ 业务化的数据资源整合❖ 跨界数据合作的必然趋势❖ 宽度和深度的数据丰富❖ 数据生产能力❖ 可驾驭的数据技术❖ 可落地的数据治理❖ 衔接产品和数据的桥梁❖数据产品❖ 场景化的业务主题❖ 数据驱动应用的模式❖ 推动数据和生产能力的整合服务于数据产品的基础设施“三通一平”，为唱戏的搭台IT支撑业务，不是引领业务；不当瓶颈、不拖后腿、不背黑锅；SLA是关键大数据系统的三要素❖ 数据资源❖ 宽度和深度的数据丰富❖ 数4目前大数据生产所面临的问题复杂度高——复杂度隔离，业务的和技术业务与技术交叉影响——业务理解和技术实现的松耦合业务理解与信息化协同——业务理解和技术实现的强一致性大数据容灾难——有效防范技术单点故障，杜绝技术绑架业务协同、数据协同难——公共知识，跨角色和角色间沟通协作的基础业务化的数据流图，不懂技术的我，也能看懂…文档即生产，生产即文档，“知行合一”！目前大数据生产所面临的问题复杂度高——复杂度隔离，业务的5大数据生产4.0快速、高质量的规模化量产个性化产品Cyber-PhysicalSystem用户可全程参与产品设计和制造环节动态、有机重构、模块化的生产方式工厂标准化，全制造流程的数字化快速、高质量的规模化量产个性化数据产品用户可全程参与数据产品的设计和生产过程动态、敏捷、对象化的数据生产方式数据工厂标准化，全生产流程的数字化Data-Tech

SystemHi,Iam工业4.0Hi,Iam数据4.0大数据生产4.0快速、高质量的规模化量产个性化产品快速、高质6从数据作坊，到数据工厂分析型系统的难题❖ 数据产品的个性化❖ 数据资源的多样性❖ 数据生产的复杂度❖ 业务满意度难保障❖响应时间的不可控❖响应质量的不可控数据产品数据输出中间数据数据加工、处理基础数据数据输入数据资源：结构化、非结构化数据生产DataManufacturing成品：业务线原材料：技术线半成品：数据线大数据系统+生产数据产品的制造业=数据工厂从数据作坊，到数据工厂分析型系统的难题❖响应时间的不可控❖7大数据梦工厂=数据+技术移动互联大数据+政务大数据数据总和的价值远远大于数据价值的总和行为数据移动互联数据物联网数据政务数据基础大数据梦工厂=数据+技术移动互联大数据+政务大数据8数据滚雪球，为缓变的政务数据注入新的活力和价值用户标签体系近千个维度标签人口属性生活方式应用兴趣消费兴趣付费能力……数据滚雪球，为缓变的政务数据注入新的活力和价值用户标签体系人9城市为民，需要兼顾网络侧与政务侧网络空间 政务空间停车园区一卡通办公维修工作单位园区医院体育运动社保公积信息资源库喜欢听歌喜欢玩刀塔传奇他还在在租房有车一族经常代驾关心宝宝他很喜欢旅游中产阶级生活小资她很爱美丽滴滴重度用户他工作在CBD居住在通州他很喜欢新闻城市为民，需要兼顾网络侧与政务侧网络空间 政务空间停车园区一10Part2什么是大数据Part2什么是大数据11大数据的解释大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据的解释大数据是需要新处理模式才能具有更强的决策力、洞察12本章概要0102什么是大数据大数据的五个特点本章概要0102什么是大数据大数据的五个特点131.什么是大数据它什么都知道会员卡号是：342623我想要一个海鲜披萨。**披萨店为您服务。您的会员卡号是？为什么？海鲜披萨不适合您。根据您的医疗记录，你的血压和胆固醇都偏高。您可以试试我们的低脂健康比萨。那你们有什么推荐？您上星期一在国家图书馆借了一本《低脂健康食谱》。你怎么知道我会喜欢吃这种的？好。那要一个家庭特大号，多少钱？99元，它足够您一家六口吃。但您母亲应该少吃。你们直接把比萨送我家吧，你们多久会送到？大约30分钟。如果您不想等，可以自己骑车来。根据我们CRM全球定位系统的车辆行驶自动跟踪系统记录，您登记有一辆车号为SV-568的摩托车，而您目前正在铁山路右侧骑着这辆摩托车……她上月刚做了心脏手术，还在恢复期。1.什么是大数据它什么都知道会员卡号是：342623**披萨141.什么是大数据大数据——挖掘和整合一切有用的信息，为人类社会提供更好的服务。21世纪前10年……社交媒体的产生，数据开始呈现爆炸式的增长，大数据的提法开始进入大众的视野并获得了越来越多的关注。1.什么是大数据大数据——挖掘和整合一切有用的信息，为人类社152.大数据的五个特点类型多75%网络日志、音频、视频、图片、地理位置信息社交媒体中产生的数据25%“1、2、3、4”等传统数字以及符号非结构化数据结构化数据2.大数据的五个特点类型多75%网络日志、音频、视频、图片、162.大数据的五个特点容量大美国的国会图书馆5000百度每天处理数据量根据IDC（国际数据公司）的监测统计，2011年全球数据总量已经达到1.8ZB，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍，相当于我们地球上所有海滩沙粒总数的57倍。（摘自涂子沛《数据之巅》《大数据》）截至2010年，人类拥有的信息总量大概是1.2Z存储数据量最大的图书馆之一。2011年4月，拥有235TB的数据一首歌4M×1024×1024一部电影1G×1024一图书馆藏书1T×1024谷歌每小时处理1P13亿中国人人手1本500页书的信息量总和=1E×1024吉（G）兆（M）太（T）拍（P）艾（E）泽（Z）约为5000个美国图书馆总和2.大数据的五个特点容量大美国的国会图书馆5000百度每天处172.大数据的五个特点数据产生得快一台大型粒子对撞机里共有1.5亿个传感器每秒钟发生粒子对撞6亿次仅仅使用十万分之一一年积累25PB的数据1TB的硬盘×25000个剔除99.999%数据处理速度快大数据通过云计算，以上数据储存仅需20分钟共计1PB，速度1G/s，还剩144小时已完成50%存取速度快2.大数据的五个特点数据产生得快一台大型粒子对撞机里仅仅使用182.大数据的五个特点应用价值大大数据之“大”，其实并不在于其表面的“大容量”，而在于其潜在的“大价值”。如果不能把拥有的数据转化为价值，那么拥有再多的数据也是毫无意义的。个人位置大数据服务8000亿美元的市场规模——麦肯锡研究院对美国的测算零售业大数据帮助企业增加60%的利润制造业大数据降低50%的产品开发制造装配成本2.大数据的五个特点应用价值大大数据之“大”，其实并不在于其192.大数据的五个特点具备大智能更加智能的社会传感器、可穿戴式设备等微小的计算设备将进一步普及“万物皆互联、无处不计算”实时收集数据确保安全行驶谷歌无人驾驶汽车2.大数据的五个特点具备大智能更加智能的社会传感器、可穿戴式20Part3大数据如何产生Part3大数据如何产生21123保存数据的能力在增强处理数据的能力在增强生产数据的能力在增强大数据的背后推手123保存数据的能力在增强处理数据的能力在增强生产数据的能力221.随着存储器硬件能力的提升，人类保存数据的能力在增强摩尔定律英特尔的创始人之一戈登·摩尔半个世纪来，硬件技术的发展基本符合摩尔定律：同一面积芯片上可容纳的晶体管数量，约每隔18—24个月便增加一倍。今天，一根头发尖大小的地方，就能放上万个晶体管。1.随着存储器硬件能力的提升，人类保存数据的能力在增强摩尔定231.随着存储器硬件能力的提升，人类保存数据的能力在增强世界上第一款硬盘——IBM商用硬盘存储器一兆字节的存储量需要6000多美元1955年2010年一兆字节的存储量仅需要0.005美分2020年1T硬盘=一杯咖啡的钱=一个图书馆的全部信息1.随着存储器硬件能力的提升，人类保存数据的能力在增强世界上242.随着物联网技术与互联网经济的发展，人类生产数据的能力在增强机器产生的数据传感器感知和运输不断生产的数据移动设备收集了大量的用户数据2.随着物联网技术与互联网经济的发展，人类生产数据的能力在增252.随着物联网技术与互联网经济的发展，人类生产数据的能力在增强人创造的数据社交媒体及互联网经济的发展移动设备收集了大量的用户数据记录各自的活动和行为留下支付行为、空间位置、兴趣爱好、信用历史等发微博写微信网上购物每个网民都是数据的生产者2.随着物联网技术与互联网经济的发展，人类生产数据的能力在增263.随着云计算的诞生与发展，人类处理数据的能力在增强爱迪生发明电灯泡自己用电信息时代的“云计算”发电机和电线持续供电个人和企业独立发电私人电厂遍地开中央电厂公共电网付费用电3.随着云计算的诞生与发展，人类处理数据的能力在增强爱迪生发273.随着云计算的诞生与发展，人类处理数据的能力在增强A

大数据B

云计算云计算一般由数量惊人的计算机群构成，谷歌云计算拥有的服务器超过100万台；云计算系统是一个极其庞大的资源池子，用户可以随时、随地、按需灵活地购买，就像购买煤气和自来水一样便利；云计算让普通人体验每秒10万亿次的运算能力。而如此强大的计算能力，可以模拟核爆炸、预测气候变化和市场发展趋势。3.随着云计算的诞生与发展，人类处理数据的能力在增强A大数28Part4大数据带来的思维变革Part4大数据带来的思维变革29大数据带来的思维变革更好不是因果关系而是相关关系更多不是随机样本而是全部数据更杂不是精确性而是混杂性大数据带来的思维变革更好更多更杂30大数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6次人口大普查；人口大普查是一种典型的全数据模式；大数据时代小数据时代大数据带来的思维变革（更多）人口大普查随机采样大数据应用是指31大数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的创新！随机采样分析是小数据时代的产物；大数据时代小数据时代大数据带来的思维变革（更多）人口大普查随机采样大数据应用人口32大数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部；大数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的“大”是相对的——相扑比赛所有数据存储还不需要一个TB，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；大数据时代小数据时代大数据带来的思维变革（更多）人口大普查随机采样大数据应用我们33大数据带来的思维变革（更多）Google利用网络大数据预测流感基于全数据进行相扑比赛的作弊分析埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序大数据带来的思维变革（更多）Google利用网络大数据预测流34大数据带来的思维变革（更杂）从皮尺到哈勃望远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性；大数据的简单算法比小数据的复杂算法更有效；IBM的机器翻译VSGoogle的机器翻译；纷繁的数据越多越好；大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；混杂性，不是竭力避免，而是标准途径；大数据带来的思维变革（更杂）从皮尺到哈勃望远镜，人类一直在追35大数据带来的思维变革（更好）佛教《三世因果经》主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。佛教关于因果报应的解释原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。哲学范畴的因果关系大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；舍恩伯格对大数据的相关性解释Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的一半。为什么？探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？”大数据带来的思维变革（更好）佛教《三世因果经》主要讲：一是人36Part5大数据可以做什么Part5大数据可以做什么371234大数据让政府治理更精准透明大数据让公共服务更智慧大数据让商业创新更迅猛大数据让经济治理更有效大数据可以做什么1234大数据让政府治理更精准透明大数据让公共服务更智慧大数381.大数据让政府治理更精准透明精准预测智慧治理风险预警舆情监测大数据迈向“数据驱动”的精准治理方式“主观主义”“经验主义”1.大数据让政府治理更精准透明精准预测智慧治理风险预警舆情监391.大数据让政府治理更精准透明百度地图1用户去目的地前，用百度地图搜索地点和规划路线3提前1—2小时对即将到来的风险进行预警2百度地图通过分析大量数据，预测相关地点的人流量避免如上海外滩踩踏事件一类悲剧再度发生1.大数据让政府治理更精准透明百度地图1用户去目的地前，用百401.大数据让政府治理更精准透明设计人员编入流感关键词，如温度计、流感症状、肌肉疼痛、胸闷等只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图预测出世界上不同国家和地区的流感传播情况2009年，甲型H1N1流感暴发的几周前，“谷歌流感趋势”成功预测了流感在美国境内的传播，其分析结果甚至具体到特定的地区和州，并非常及时，令公共卫生官员备感震惊。而传统上，美国疾病控制中心要在流感暴发一两周之后才可以做到这些。谷歌流感趋势谷歌工程师认为，搜索流感信息的人数与实际患病人数之间存在密切关联。谷歌一周疫情报告1.大数据让政府治理更精准透明设计人员编入流感关键词，如温度411.大数据让政府治理更精准透明大数据“第三只眼”使政府治理更加透明化，打造阳光政府反腐倡廉反应各地区的腐败轻重程度、廉洁指数、市民抱怨度、市民对政府的满意度等网民搜索反腐关键词1.大数据让政府治理更精准透明大数据“第三只眼”使政府治理更422.大数据让经济治理更有效降低银行坏账率银行通过贷款对象的大数据特征可以推测出对方违约的可能性，从而减少可能的损失。推导宏观大趋势判断经济形势可以通过把海量的微观主体的行为进行加总分析，从而推导出宏观大趋势的好坏。提高生产效率大数据与物联网技术相结合，可以推动企业做出最优决策，帮助企业提高生产效率。打击假冒伪劣打击假冒伪劣、建设“信用中国”也不再需要消耗大量人力物力，大数据将使危害市场秩序的行为无处遁形。经济治理领域是大数据创新应用的沃土大数据是提高经济治理质量的有效手段2.大数据让经济治理更有效降低银行银行通过贷款对象的大数据特432.大数据让经济治理更有效支付宝“芝麻信用”——“芝麻信用分”，授权开通后，每个支付宝用户都可以看到自己的芝麻信用分。分数越高代表信用程度越好，违约可能性越低。天猫淘宝淘宝电影水费电费工商学历学籍公安内部数据外部数据……支付宝网购相关行为数据政府已经开放的外部数据…芝麻信用分高芝麻信用分低租车、住酒店无押金签证无需财产证明…找不到工作租不到房子贷不到款…2.大数据让经济治理更有效支付宝“芝麻信用”——天猫淘宝淘宝442.大数据让经济治理更有效12341.6万平方米的厂房内安装了1万个传感器，分布在各条生产线上传感器监控、记录生产过程中的温度、气压、湿度、生产配料、能耗等数据工厂的管理人员通过随身携带的iPad获取这些数据第一时间发现问题，对生产进行监督和调整，提高生产效率，减少成本损失2012年7月，通用电器公司投资1.7亿美元在纽约州斯克内克塔迪市开设了一家电池工厂。2.大数据让经济治理更有效12341.6万平方米的厂房内安装453.大数据让公共服务更智慧智慧服务智慧出行智慧家居智慧教育智慧社区智慧医疗智慧物流智慧旅游在公共服务领域，基于大数据的智能服务系统，将会极大提升人们的生活体验。人们享受的一切公共服务将在数字空间中以新的模式重新构建。…3.大数据让公共服务更智慧智慧智慧智慧智慧智慧智慧智慧智慧在463.大数据让公共服务更智慧高德导航高德公司基于位置服务大数据的能力，与乌镇、古北水镇两家旅游公司合作，上线了全国首个“智慧景区”服务，解决游客在景区容易遇到的迷路、拥堵、排队等问题。地图渲染高德在地图上增加游览车、游船的线路地址，增加了重要景点的渲染图分类筛选商店、卫生间餐厅、灯景区重要地点信息一目了然导游语音当游客走到某个对应景点附近，导游语音会自动播放智慧景区引入热力图，游客可以看到该处游客人数的多少，合理安排游览时间3.大数据让公共服务更智慧高德导航高德公司基于位置服务大数据473.大数据让公共服务更智慧基于大数据技术，有朝一日，机器的诊疗准确率甚至可能超过人类历史上最有名的名医。超级计算机Watson在医疗、医药行业可以帮助做复杂疾病的诊断和数据分析利用认知计算技术缩短治疗方案制定周期医疗机构以利用Watson规范医疗费用帮助分析疾病风险，保证理赔过程的合规性、合理性，防止滥用和欺诈3.大数据让公共服务更智慧基于大数据技术，有朝一日，机器的诊484.大数据让商业创新更迅猛未来，无论是在中国，还是在世界其他国家，数据密集型产业将成为发展最快的产业。拥有数据最多的公司将迅速崛起为这个时代的领军公司。商业领域变革4.大数据让商业创新更迅猛未来，无论是在中国，还是在世界其他494.大数据让商业创新更迅猛北美最大的付费订阅视频网站——Netflix2012年，Netflix准备推出自制剧。不过在决定拍什么、怎么拍上，Netflix推出了自己的秘密武器——大数据。用大数据拍自制剧收集01预测02拍摄03收集该网站上用户每天产生的行为，如收藏、推荐、回放、暂停等，还包括用户的搜索请求等。分析出凯文·史派西、大卫·芬奇和“BBC出品”这三种元素结合在一起的电视剧产品将会大火。融合三者拍摄了一部《纸牌屋》，结果大获成功，成为了2013年全球最火的美剧。4.大数据让商业创新更迅猛北美最大的付费订阅视频网站——Ne50Part6中国：从“数据大国”走向“数据强国”Part6中国：从“数据大国”走向“数据强国”511234“数据驱动”已成为全球大趋势中国成为数据强国依然面临严峻的挑战面对机遇与挑战，中国的大思路、大举措中国具备成为数据强国的优势条件本章概要1234“数据驱动”已成为全球大趋势中国成为数据强国依然面临521.“数据驱动”已成为全球大趋势“大数据研发计划”,2亿美元启动资金，开放多门类政府数据确保商业创新开设课程，为大数据时代储备“数据科学家”美国《数据价值链战略计划》预计到2020年大数据技术将为欧盟创造GDP9570亿欧元，增加就业人数380万欧盟“面向2020年的ICT综合战略”《创建最尖端IT国家宣言》日本联合国·“全球脉动”项目：用大数据对互联网世界进行“情绪分析”提前指导援助项目大数据时代的到来，让“数据驱动”成为新的全球大趋势。世界各国纷纷利用大数据提升国家治理能力，“得数据者得天下”已经成为全球的普遍共识。1.“数据驱动”已成为全球大趋势“大数据研发计划”,2亿美元532.中国具备成为数据强国的优势条件中国拥有丰富的数据资源。未来，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分为数据强国与数据弱国两大阵营。值得振奋的是，中国具备成为数据强国的优势条件。中国的优势条件A13.68亿(2014年)6.49亿中国移动互联网用户中国人口中国互联网用户IDC预计到2020年中国的数据总量将达到8.4ZB，占全球数据量的24%，中国将成为世界上第一数据大国和“世界数据中心”。北京公交一卡通日均刷卡4000万次9.5亿数据分别来自国家统计局2014，中国互联网中心(CNNIC)《第35次中国互联网络发展状况统计报告》，工信部《2015年10月份通信业经济运行情况》等。2.中国具备成为数据强国的优势条件中国拥有丰富的数据资源。未54电商广告搜索金融医疗百科教育电信城市化创新创业大数据正在得到越来越深入的应用123456791082.中国具备成为数据强国的优势条件中国大数据的应用和发展有广阔的市场空间。中国的优势条件B未来，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分为数据强国与数据弱国两大阵营。值得振奋的是，中国具备成为数据强国的优势条件。电商广告搜索金融医疗百科教育电信城市化创新创业大数据正在得到552.中国具备成为数据强国的优势条件中国大数据的发展已经具备了一定的技术基础和产业基础。中国的优势条件C2014年互联网趋势报告:全球10大网站中有四家来自中国;在网络基础设施方面，截至2015年6月底，中国固定宽带接入用户超过2亿，8M以上带宽占比超过了53%，全国经营性互联网数据中心超过了1000个;在数据处理分析、语音识别、视频识别、商业智能软件、数据中心建设和维护、IT咨询等领域都已有代表性企业——形成获取、存储、处理、应用的大数据产业链。未来，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分为数据强国与数据弱国两大阵营。值得振奋的是，中国具备成为数据强国的优势条件。2.中国具备成为数据强国的优势条件中国大数据的发展已经具备了563.中国成为数据强国依然面临严峻的挑战政府数据开放共享不够，潜在价值大量淹没A海量的数据分散在各个部门、各个层级，彼此分割，形成一个个“信息孤岛”，且对社会、公众开放严重不够。B个人隐私法律缺位，信息滥用引发焦虑缺少个人隐私和商业机密的专门法律法规和政策制度，对公民隐私权和知情权范围有待厘清。C数据控制力尚未引起足够重视，数据话语权堪忧发展形态较为单一，核心的数据“基础设施”大量依赖进口,数据主权极易受到侵蚀。D人才培育机制薄弱，数据分析型、复合型人才短缺人才缺口已经超过100万人。目前我国每年培养的大数据深度学习方面的博士生大概只有50人左右。3.中国成为数据强国依然面临严峻的挑战政府数据开放A海量的数57完善国家顶层设计，全面实施“国家大数据”战略。4.面对机遇与挑战，中国的大思路、大举措大数据是一场关乎中国前途未来，涉及格局深刻调整的革命。幸运的是，这场革命才刚刚开始，面对机遇与挑战，中国已