交通基础设施智能化基础 课件 第3、4章 大数据概述、云计算概述

第3章大数据概述本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术什么是“大数据”

大数据概念形成的标志性事件《科学》(Science)杂志专刊——Dealingwithdata第一次综合分析了大数据对人们生活的影响，详细描述了人类面临的“数据困境”麦肯锡研究院发布报告《BigData：Thenextfrontierforinnovation,competition,andproductivity》,第一次清晰地定义了大数据2008.092011.022011.05

大数据是指大小超过经典数据库系统收集、存储、管理和分析能力的数据集，是基于经典数据库的处理能力进行的定义。

大数据是规模庞大，结构复杂，难以通过现有商业工具和技术在可容忍的时间内获取、管理和处理的数据集。

大数据是具有规模巨大、种类繁多、增长速度快和变化频繁的特征，且需要一个可扩展体系结构来有效存储、处理和分析的广泛的数据集。

给出了大数据“4V特征”的定义强调了大数据的数量、多样性、速度和真实性等方面，后来也引进数据价值，成为大数据的“5V特性”。美国《自然》(Nature)杂志专刊——TheNextGoogle第一次正式提出“大数据”概念大数据基本概念大数据（BigData）：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。互联网每天产生的全部内容可以刻满6.4亿张DVD网民每天在Facbook上要花费234亿分钟，所产生的数据量高达44PB每天会有2.88万小时的视频上传到YouTube，够一个人昼夜不停地看3.3年Google每天要处理24PB的数据全球每秒发送290万封电子邮件，以1篇/min的速度够一个人昼夜不停地读5.5年Twitter上每天发布5000万条消息，以10s/条的速度够一个人昼夜不停地浏览16年世界每天产生大数据大数据基本概念大数据（BigData）：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。符号名称容量符号名称容量B字节8BitPB拍字节1024TBKB千字节1024BEB艾字节1024PBMB兆字节1024KBZB泽字节1024EBGB吉字节1024MBYB尧字节1024ZBTB太字节1024GBBB-1024YB大数据分类按数据来源分机器产生的数据人类活动产生的数据按数据格式分结构化数据半结构化数据非结构化数据感知设备、计算机等网络日志、聊天记录等传统的关系型数据库等XML、HTML类，自描述，数据结构与内容混杂的数据文档、图片、视频、音频等数据的计量单位大数据发展历程萌芽期成熟期大规模应用

上世纪90年代至本世纪初2010年以后

大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高。本世纪前十年

Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动大数据技术走向成熟，形成了并行计算与分布式系统两大核心技术。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。大数据的基本特征Veracity数据体量大5V

特征VolumeVelocityValueVariety真实有效性传输速度快数据种类多潜在价值高采集量大存储量大计算量大增长速度快处理速度快时效性要求高来源广维度多类型杂隐含知识价值高但价值密度低需要数据挖掘本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术大数据的发展动力需求的驱动数据量剧增储存成本下降运行计算能力提高人工智能发展新经济时代...需求数据资源数据处理和存储使机器理解数据数据资源分析应用数据来源计算方法应用空间“用数据说话”，“让数据发声”已然成为一种新的方法论（一）大数据成为推动经济转型发展的新动力（二）大数据成为重塑国家竞争优势的新机遇（三）大数据成为提升政府治理能力的新途径2015年9月，国务院印发《促进大数据发展行动纲要》系统部署大数据发展工作，指出数据已成为国家基础性战略资源，要坚持创新驱动发展，加快大数据部署，深化大数据应用。同时，也指出大数据的发展形势和重要意义。以国家战略应对大数据时代大数据的发展动力国家的发展战略大数据的价值核心价值在各应用领域价值1发现客户需求规律2解释现象发生原因3预测未来发展态势4提高科学决策水平5优化社会资源配置，激发商业模式创新天气实时预测医疗精准诊断改善生物基因量化农牧生产优化商业布局了解社会舆论改进社会服务...大数据的发展趋势大数据发展趋势可总结为“融合、跨界、基础、突破”。1.大力发展跨学科、跨领域交叉的数据分析应用;2.建立系统全面的大数据治理体系，如隐私保护、数据安全与共享管理机制等3.以开源为基础构建自主可控的大数据产业生态4.积极推动国际合作并筹划布局跨国数据共享机制互联网+物联网通信网车联网电视网连接泛在化......计算多元化机器学习数据挖掘流式计算批量计算量子计算......数据产业化工业大数据政府大数据商业大数据教育大数据科学大数据......应用智能化智慧城市智能家居智能制造智慧医疗智慧交通......创新生态化跨界融合创新产业协同创新技术集成创新......本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术数据采集从现实世界中采集的(非)结构化海量数据，对其进行清洗、过滤、校验、转换、集成，最后输入到数据仓库或数据集市数据存储与管理利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库等，实现对结构化、半结构化和非结构化海量数据的读取、分类、编码、存储、索引和查询数据处理与分析利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理与分析数据可视化与应用基于海量数据建立多维可视化图形，并进行交互处理与应用，深入洞察海量数据中隐藏的关键信息和规律大数据的关键技术大数据采集大数据采集与预处理是获取有效数据的重要途径，也是大数据应用的重要支撑。数据采集方法采集物理世界信息的传感器采集设备运行状态的日志文件采集互联网信息的网络爬虫外包和众包系统日志状态用户交互行为诊断系统错误发现用户偏好优化运行效率WEB初始化URL下载网页网页URL初始URL待访问URL已访问URL数据库数据采集工具ChukwaFlumeScribleKafkaCrowdsourcing-众包

一大群不固定的志愿者参与

Outsouring-外包

已知的雇员大数据管理Hadoop系统由Apache基金会所开发的，一种利用集群的方式进行高效数据存储、处理的一种分布式系统基础框架。数据采集数据储存与管理数据处理与分析数据应用Hadoop核心分布式存储HDFS分布式处理MapReduceHDFS分布式文件系统MapReduce分布式计算框架Hive数据仓库Pig数据流处理Mahout数据挖掘库Ambari（安装、部署、配置和管理工具）Zookeeper分布式协作服务HBase实时分布数据库SqoopETL工具Flume日志收集大数据管理分布式文件系统（DistributedFileSystem，DFS）文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。网络文件系统NetworkFileSystem,NFS通用并行文件系统GeneralParallelFileSystem,GPFSGoogle文件系统GoogleFileSystem,GFSHadoop分布式文件系统HadoopDistributedFileSystem,HDFS

HDFS特性：主从体系结构支持大文件储存容错能力强分块并行性流式数据访问可扩展性一致模型大数据管理HDFS分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统，适合部署在廉价的机器上及超大数据集的应用程序，以提供高吞吐量访问应用程序的数据。

HDFS架构大数据管理关系数据库一种基于关系模型的数据库，常以行和列的二维表形式存储数据，具有易于读取、结构性好、独立性高、共享性好、冗余度小等特点。NoSQL数据库泛指非关系型的数据库，具有高扩展性、高读写性能、数据模型灵活及较好的容灾能力。关系数据库NoSQL键值数据库图数据库文档数据库CouchDBMongoDBRavenDBCouchbaseCloudant列式数据库BigTableHypertableHBaseCassandraRiakRedisBekeleyDBMembrainVoldemortInfinitedGraphNeo4JGraphDBOrientDBOldSQLTeradataNetezzaParAccelEMCCalpontSOLServerMySQLOracleIBMInfoSphere云数据库DatastoreAPPEngineSimpleDBNewSQLHandlerSocketMySQLClustrixAmazonRDSSQLAzureFathomDBXeroundDAkibanScaleBaseCodeFuturesSchoonerMySQL大数据分析大数据分析包括描述性分析、预测性分析和规范性分析。大数据计算模式包括批处理计算流计算图计算查询分析计算针对大规模数据的批量、离线处理针对流数据的实时计算针对大规模图结构数据的处理针对大规模数据的储存管理与查询分析图、表、数值等描述性分析预测未来事件发展趋势提供具体的应对措施MapReduce工作原理图大数据分析批量计算系统

一种面向大规模数据集（>1TB）并行处理的计算模型，具有可靠性、可扩展性、高容错等特点，适用于大规模、离线的算法图形处理、文字处理。数据切片Map计算产生中间结果Reduce计算产生最终结果数据应用中间结果交换大数据分析流式计算系统

一种针对具有实时性、易失性、突发性、无序性、无限性等特征的数据流进行实时处理及反馈的计算模型，适用于对信息时效性要求较高的场景。常见流式框架包括Storm,SparkStreaming,S4,Samza,Flink,Timestream。Storm基本概念：计算流程：大数据分析数据挖掘

从大量的数据中通过算法搜索隐藏于其中信息的过程，通常被视为数据库知识发现（KnowledgeDiscoveryInDatabase，KDD），后者包括从数据的预处理到数据挖掘结果的后处理等一系列过程。数据输入数据预处理结果分析展示数据挖掘实施过程数据挖掘流程数据挖掘算法：神经网络法分类决策树法遗传算法粗糙算法模糊算法关联规则法大数据可视化运用计算机图形学和图像处理技术，将大型数据集中的数据转换为图形或图像显示，并进行交互处理的理论、方法和技术。文本可视化时空数据可视化网络数据可视化高维数据可视化层次化数据可视化本章重点大数据基本概念大数据的发展与意义大数据应用大数据关键技术大数据应用大数据主要应用于教育、交通、能源、医疗、金融等领域。智慧城市框架图大数据主要应用于教育、交通、能源、医疗、金融等领域。大数据应用建立患者电子病历，支持医院间信息共享和远程在线就诊，深度挖掘病例规律，实现精准治疗及健康预警。体现在旅游管理、旅游服务、旅游营销和旅游运营等层面，优化旅游资源和信息资源，并服务于公众、企业、政府等充分发挥市场监管、经济调节、社会管理和服务公众的职能，数据统筹助力决策参考，数据公开辅助政府监督。利用交通实时大数据进行人车交通行为预测、智能疏导、公共车辆管理、拥挤路段/时段的车辆调度。第4章云计算概述目录云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用大数据发展的推动数据量大（Volume）类型繁多（Variety）价值密度低（Value）速度快（Velocity）数据复杂（Complexity）无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。制造业交通运输生物医学物流行业IBM提出什么是大数据？大数据特征大数据应用环境技术/市场条件技术条件数据中心技术和WSC宽带网络普及化大规模分布式系统的成熟虚拟化技术开源软件带来一系列标准化推动云计算发展市场条件发展过程埃里克·施密特Google总裁起源1961年约翰·麦卡锡首次提出“网络即计算机”，为云计算概念前身。提出2006年埃里克·施密特在搜素引擎大会（SESSanJose2006）上首次提出“云计算”概念。云计算产生的五大契机约翰·麦卡锡图灵奖获得者VMWare公司成立并首次引入x86虚拟化技术贝尼奥夫离开Oracle，创建Salesforce，在网络端向客户提供软件服务Google发表学术论文详细论述OFS文件系统和MpaReduce框架亚马逊推出S3、EC2服务，开创IaaS服务先河Google、Microsoft、IBM推出云计算服务2004年1999年2005年2008年发展过程约翰·麦卡锡提出“效应计算”概念。电厂模式阶段MIT和DARPA下属信息处理技术办公室共同启动了“MAC”项目，开发“多人可同时使用的电脑系统”。效应计算阶段网格计算应用在商业模式、技术和安全性方面，但存在诸多问题，并未在工程、商业界取得成功。网格计算阶段虚拟化、WSC等技术以及互联网大规模应用、人工智能不断发展的多方面因素推动下，云计算迎来了前所未有的发展。云计算阶段云计算发展的四个阶段并行计算云计算网格计算集群计算云计算定义一个虚拟化的计算机资源池。托管多种不同的工作负载通过快速提供虚拟机器或物理机器，迅速部署和增加工作负载。以公开的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务。“云—端计算”即“云”和终端都会具备很强的计算能力；所有应用程序都在本地终端上使用也不一定合理，因此强调“云”和终端的均衡将是一种合理的方式；云是“软件+服务”的综合。一种将规模可动态扩展的虚拟化资源通过Internet提供对外按需使用服务的计算模式，用户无需了解提供这种服务的底层基础设施，也无需去拥有和控制。“云计算”是一种可随时随地通过网络以便捷且按需付费的方式获取可配置计算资源（网络、服务器、存储、应用和服务等）的模式。权威机构关于云计算的定义云计算核心理念理念1：并行化理念2：虚拟化理念3：规模经济核心设计理念“云”内资源“云”外终端用户开放硬件平台，软件与硬件解耦；分布式设计，软件定义存储；IT建设转向互联网架构；动态调配、弹性伸缩、低成本、标准化硬件等；芯片、新介质取得突破，CPU、硬盘等性能大幅提升为IT架构水平化演进提供了技术支撑。不开放硬件平台，软件与硬件捆绑；烟囱式系统建设，IT成本高（硬件/能耗/管理）；建设周期长，无法快速提供与部署；每个系统按峰值规模建设，资源利用率低。传统IT建设云计算IT建设云计算基本框架图共享的资源池快速的伸缩性按需的自助服务泛在的网络访问可度量的服务混合云私有云公有云社区云软件即服务(SaaS)平台即服务(PaaS)基础设施即服务(IaaS)5个基本特征4种部署方式3种服务模式云计算基本理念1.共享的资源池2.快速的伸缩性3.按需的自助服务5.可度量的服务4.泛在的网络访问本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用云计算服务类型分类云计算服务提供商专注于自己所在层次，无需拥有三个层次服务能力，上层服务提供商可以利用下层云计算服务来实现自己计划提供的云计算服务。软件即服务SaaS（SoftwareasaService）平台即服务PaaS（PlatformasaService）基础设施即服务IaaS（InfrastructureasaService）应用层平台层基础设施层云计算服务：云计算是一种新的技术，也是一种新的服务模式。IaaSIaaS：把计算、存储、网络以及搭建应用环境所需的一些工具当成服务提供给用户，使得用户能够按需获取IT基础设施。低成本免维护伸缩性强支持应用广泛灵活迁移AmazonEc2IBMBlueCloudSunGrid优势PaaSPaaS：是一种分布式平台服务，为用户提供一个包括应用设计、应用开发、应用测试及应用托管的完整的计算机平台。优势友好的开发环境丰富的服务精细的管理和控制弹性强多租户机制整合率高FGoogleAppEngineWindowsAzureCloudFoundrySaaSSaaS：软件服务提供商为了满足用户的需求提供的软件计算能力。SaaS云服务提供商负责维护和管理云中的软件以及支撑硬件设施，同时免费提供服务或者以按需使用的方式向用户收费。优势GoogleAPPSSoftWare+Services使用简单支持公开协议成本低安全保障本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用公有云公有云：一种对公众开放的云服务，由云服务提供商运营，为最终用户提供各种IT资源，众多用户可在开放的共有网络中共用一个云服务器。优势劣势适用群体前期无需进行大量投资和建设价格低廉、使用便捷维护成本较低小微、创新型企业数据安全性较低流量峰值期易出现网络问题数据移动时费用较高私有云私有云：组织机构建设的专供自己使用的云平台，可部署在企业数据中心防火墙内，也可部署在一个安全主机托管场所。适用群体优势劣势支持动态灵活的基础设施，降低IT架构的复杂度，降低企业IT运营成本安全性及隐私性较高定制程度较高企业需要有大量的前期投资，需要采用传统的商业模型私有云的规模相对于公有云来说一般要小得多，无法充分发挥规模效应金融、电信、政府、能源、教育、交通等大中型企业社区云社区云：服务的用户是一个特定范围的群体，它既不是一个单位内部的，也不是一个完全公开的服务，而是介于两者之间。适用群体优势劣势便于统一管理及资源整合方便用户使用支持范围较小建设成本较高混合云混合云：由私有云及外部云提供商构建的混合云计算模式。使用混合云计算模式，机构可以在公有云上运行非核心应用程序，而在私有云上支持其核心程序以及内部敏感数据。使用场景优势劣势跨国灾备由于跨平台等导致兼容性较差后期维护成本较高混合云部署方式对提供者要求较高公有云、私有云相互独立又相互结合，发挥多种云计算模型优势企业可以在私有云的私密性和公有云的低廉之间做一定的权衡本章重点云计算发展及特点云计算服务类型云计算部署形式及应用云计算的关键技术云应用云布局“让计算离用户更近“共有云全国布局“让内容离用户更近“阿里云CDN“离能源丰富的地方最近“微软海底数据中心“离寒冷的地方最近“谷歌芬兰数据中心云布局原则存储存储：一方面是虚拟内存的组成部分，另一方面也是软件、数据的存放场所。目前的技术已能够做到将存储与CPU分离，该技术带来很多好处，例如可以共享存储、计算机可以无状态、便于计算资源横向伸缩等。根据存储与CPU分离的程度外部存储直接存储分布式存储虚拟化虚拟化分类按虚拟平台角度完全虚拟化半虚拟化按实现结构分类宿主型Hypervisor型混合型按层次分类软件辅助虚拟化硬件支持虚拟化按应用领域分类服务器虚拟化存储虚拟化应用程序虚拟化平台虚拟化桌面虚拟化云计算资源配置应用效率物理实体机虚拟机①虚拟机②实体资源抽象化打破结构阻碍虚拟化优势集中化管理高硬件利用率动态资源配置高可靠性减少总体成本终端设备少虚拟化虚拟化在云计算应用领域分类①服务器虚拟化将物理资源抽象成逻辑资源，一台服务器变成多个虚拟服务器，将硬件转换为可动态管理的“资源池”，提高资源利用率，简化系统管理。②存储虚拟化将所有的存储模块在一个存储池中得到统一管理，为使用者提供大容量、高数据传输性能的存储系统。A类B类虚拟化分离解耦虚拟化在云计算应用领域分类桌面终端通过网络访