第7章 大数据与云计算

物联网武奇生第7章

大数据与云计算

7.1大数据与云计算概述背景：随着移动互联网、物联网、5G等技术的高速发展及其在各行各业中的广泛应用，数以亿计的设备接入网络，导致对处理能力、存储空间、数据资源的需求日益强烈，呈现出爆炸式增长的态势。数字基础设施：云计算和大数据为代表的数字基础设施建设是支撑社会高速发展的科技新动力，也成为满足各类用户信息服务需求的基础。7.1.1大数据的概念及发展大数据定义：数据规模庞大，类型复杂，信息全面、维度高，难以基于传统软、硬件工具在有效的时间范围内进行采集、存储、分析、处理和展示的数据集合，对该数据集合进行处理有可能获得高价值处理结果，有助于机构或个人洞察事物真相，预测发展趋势，进行合理的判断和决策。萌芽阶段1997年：NASA首次使用大数据概念1998年：大数据这一专用名词正式出现在期刊上21世纪初：开始应用数据仓库、专家系统、知识管理系统成熟阶段2006年：Hadoop诞生2008年：科学杂志推出系列大数据专刊2010年：Google的GFS和MapReduce等大数据技术成为热门大规模应用阶段2011年：IBM开发每秒处理4TB数据的超级计算机2012年：世界经济论坛发表BigData,BigImpact报告当前数据规模呈几何级增长7.1.1大数据的概念及发展2020年全球数据存储量达到47ZB，而到2035年，这一数字将达到2142ZB，全球数据量即将迎来更大规模的爆发。7.1.2云计算的概念及发展云计算定义：云计算是一种将硬件基础设施、软件系统平台等资源通过互联网以按需使用、按量计费的方式为用户提供动态的、高性价比的、规模可扩展的计算、存储和网络等服务的信息技术。7.1.2云计算的概念及发展科学计算科研，军用商用计算银行，航空个人计算办公，游戏互联网计算搜索，电子商务大数据，人工智能202019501990198019607.1.3大数据与云计算的关系大数据与云计算是相辅相成的。大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息的积淀，即数据存储能力。云计算着眼于“计算”，关注对资源的灵活管理，看重的是计算能力，即数据处理能力。没有大数据的信息积淀，云计算的计算能力再强大，也难以找到用武之地；大数据的信息积淀再丰富，也需要云计算强大的处理能力。7.2云计算架构与关键技术7.2.2云计算关键技术虚拟化技术分布式并行编程模型技术分布式数据存储技术分布式任务调度技术监控管理技术云计算安全保障机制云计算网络技术绿色节能技术......云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为了达到这个目标，需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、绿色节能技术等若干关键技术加以支持。7.2.3服务模式SaaSPaaSIaaS－（SoftwareasaService）软件即服务SaaS侧重于服务，通过网络提供软件程序服务－（PlatformasaService）平台即服务PaaS侧重于服务，以服务器平台或者开发环境提供服务－(InfrastructureasaService)基础设施即服务IaaS注重计算资源的共享，消费者通过Internet可以从完善的计算机基础设施获得服务7.2.4部署模型公有云：向公众提供计算资源的服务。资源共享、高性价比、弹性扩展。私有云：为单个客户而构建。私有云的核心属性是专有资源。混合云：融合公有云和私有云优势的云服务混合模式。7.3大数据关键技术数据采集技术数据预处理技术数据存储技术数据处理技术结果可视化技术......7.3.1大数据预处理7.3.2大数据存储7.3.3大数据分析7.4云计算及大数据开源软件7.4.1OpenStack概述OpenStack提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。7.4.2容器开源软件：Kubernetes/Mesos/Docker容器中运行的是一个或者多个应用程序，以及应用程序所需要的运行环境，可直接运行在操作系统内核之上的用户空间。容器技术是对进程（操作系统内核）的虚拟，从而可提供更轻量级的虚拟化，实现进程和资源的隔离，使得多个独立的用户空间可以运行在同一台宿主机上。Docker、Kubernetes及Mesos是三个典型开源容器项目。7.4.3大数据开源软件：Hadoop/SparkHadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem）来执行MapReduce程序的MapReduce引擎。7.4.3大数据开源软件：Hadoop/SparkSpark是加州大学伯克利分校的AMP实验室开源的类似MapReduce的通用并行计算框架，拥有MapReduce所具备的分布式计算的优点。但不同于MapReduce的是，Spark更多地采用内存计算，减少了磁盘读写，比MapReduce性能更高。Spark在Hadoop生态圈中主要是替代MapReduce进行分布式计算，如下图所示。同时，组件SparkSQL可以替换Hive对数据仓库的处理，组件SparkStreaming可以替换Storm对流式计算的处理，组件SparkML可以替换Mahout数据挖掘算法库。7.5区块链技术区块链技术最初源自于中本聪（SatoshiNakamoto）2008年提出的比特币（Bitcoin），其去中心化、开放性、信息不可篡改等特性将很可能会对金融、服务等一系列行业带来颠覆性的影响。2016年1月，中国人民银行在北京召开“数字货币”研讨会，探讨采用区块链技术发行“虚拟数字货币”的可行性，于是“区块链”这个带着些神秘色彩的名词突然间成为热议的话题，接踵而来的是区块链技术在国内迅速升温，越来越多的区块链初创公司和相关研究机构小组相继成立，这带动了区块链技术高速发展，使其成为近年来最具革命性的新兴技术之一，甚至被认为是继大型机、个人电脑、互联网、移动/社交网络之后计算范式的第五次颠覆式创新，同时它还被誉为人类信用进化史上继血亲信用、贵金属信用、纸币信用之后的第四个信用里程碑。7.5.1区块链的概念与发展区块链(Blockchain)是一种将数据区块有序连接，并以密码学方式保证其不可篡改、不可伪造的分布式账本(数据库)技术。近年来，区块链（Blockchain）技术在全球范围内受到广泛关注。区块链本质是一种点对点网络下的不可篡改的分布式数据库。7.5.2区块链与大数据的关系大数据与区块链的差异：结构化VS非结构化独立VS整合直接VS间接数学VS数据匿名VS个性大数据与区块链的互补作用：区块链的使用数据规模会越来越大区块链以其可信任性、安全性和不可篡改性，让更多数据被解放出来区块链的可追溯性保证了数据的质量区块链能够规范数据的使用，突破信息孤岛大数据可以提升区块链数据的价值和使用空间

7.5.3区块链基础技术分布式账本加密技术和授权技术7.5.4区块链在行业中的