《信息技术基础》-第7章 大数据和云计算

7.1大数据概述7.2云计算概述教学目的与要求教学目的与要求掌握大数据、云计算的基本定义和特征了解大数据、云计算在现实生活中的应用场景培养学生的探究精神和自主学习能力，鼓励学生在日常生活中发现大数据与云计算的应用实例7.1

大数据概述认知大数据：首先是理论其次是技术最后是实践。描绘具体描绘现有客户和潜在客户，提供重要见解。预测配合分析建模，大数据可预测未来行为指引帮助指引企业制定客户关系策略分析发现更多有关客户和企业关系7.1

大数据概述

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等特征。7.1.1初识大数据数据量大（Volume)类型多样（Variety)价值密度（Value)快速（Velocity)大数据特征大数据特征

大数据的显而易见的特征就是其庞大的数据规模。随着信息技术的发展，互联网规模的不断扩大，每个人的生活都被记录在了大数据之中，由此数据本身也呈爆发性增长。其中大数据的计量单位也逐渐发展，现如今对大数据的计量已达到EB了。数据量大（Volume)大数据特征

在数量庞大的互联网用户等因素的影响下，大数据的来源十分广泛，因此大数据的类型也具有多样性。大数据由因果关系的强弱可以分为三种，即结构化数据、非结构化数据、半结构化数据，它们统称为大数据。资料表明，结构化数据在整个大数据中占比较大，高达百分之七十五，但能够产生高价值的大数据却是非结构化数据。类型多样（Variety)大数据特征

大数据所有的价值在大数据的特征中占核心地位，大数据的数据总量与其价值密度的高低关系是成反比的。同时对于任何有价值的信息，都是在处理海量的基础数据后提取的。在大数据蓬勃发展的今天，人们一直探索着如何提高计算机算法处理海量大数据，提取有价值信息的的速度这一难题。价值密度（Value)大数据特征

大数据的高速特征主要体现在数据数量的迅速增长和处理上。与传统媒体相比，在如今大数据时代，信息的生产和传播方式都发生了巨大改变，在互联网和云计算等方式的作用下，大数据得以迅速生产和传播，此外由于信息的时效性，还要求在处理大数据的过程中要快速响应，无延迟输入、提取数据。快速（Velocity)大数据容量单位1Byte一字节=8bit1KB（KiloByte）千字节=1,024Bytes=8192bit1MB（MegaByte）兆字节=1,024KB=1,048,576Bytes1GB（GigaByte）吉字节=1,024MB=1,048,576KB1TB（TeraByte）太字节=1,024GB=1,048,576MB数据存储中最小的基本单位是bit，按从小到大顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。大数据容量单位1EB（ExaByte）艾字节=1,024PB=1,048,576TB1ZB（ZettaByte）泽字节=1,024EB=1,048,576PB1YB（YottaByte）尧字节=1,024ZB=1,048,576EB1NB（NonaByte）诺字节=1,024BB=1,048,576YB1DB（DoggaByte）刀字节=1,024NB=1,048,576BB1PB（PetaByte）拍字节=1,024TB=1,048,576GB1BB（NonaByte）珀字节=1,024YB=1,048,576ZB大数据技术7.1大数据概述

时间追溯到1980年“大数据”这个词汇首次由美国著名未来学家阿尔文托夫勒(AlvinToffler)在《第三次浪潮》一书中提出的。大数据技术7.1大数据概述从2009年开始“大数据”才成为互联网技术行业中的热门词汇。最早应用“大数据”的是麦肯锡公司(McKinsey)大数据主要技术有哪些，数据主要技术有Java基础、JavaEE核心、Hadoop生态体系、Spark生态体系等四方面。大数据技术7.1大数据概述大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。大数据技术7.1大数据概述Hadoop概念一个能够对大量数据进行分布式处理的软件框架。主要解决海量数据存储与计算的问题Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。

基本的大数据处理技术Hadoop、MapReduce、HDFS、NoSql等，下面简单介绍其中两个：大数据技术7.1大数据概述

MapReduce是-一个简单易用的软件框架，基于它可以将任务分发到由，上千台商用机器组成的集群上，并以一种高容错的方式并行处理大量的数据集，实现Hadoop的并行任务处理功能。MapReduce是一种并行编程模式，这种模式使得软件开发者可以轻松地编写出分布式并行程序。

MapReduce概述大数据技术7.1大数据概述MapReduce包括Map(映射)和Reduce(化简)两个阶段，可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。适合用MapReduce来处理的数据集，需要可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。MapReduce极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。MapReduce概述大数据应用7.1大数据概述ChatGPT（GenerativePre-trainedTransformer）是OpenAI研发的聊天机器人程序，于2022年11月30日发布。ChatGPT大数据应用7.1大数据概述基于深度学习的自然语言处理技术

它们能够自动地与用户进行对话模拟自然语言对话的过程。ChatGPT大数据应用7.1大数据概述

这些聊天机器人通常是通过大规模训练的深度学习模型构建而成，能够利用上下文信息和推理能力生成连贯、流畅、自然的回答；并自动生成文章、进行文本摘要、翻译等任务。ChatGPT大数据应用7.1大数据概述

智慧城市是指运用物联网、云计算、大数据、空间地理信息集成等新一代信息技术，促进城市规划、建设、管理和服务智慧化的新理念和新模式。智慧城市大数据应用7.1大数据概述一个城市的智慧水平可以通过智慧环境、智慧生活、智慧经济、智慧人、智慧交通、智慧治理、智慧旅游等多个因素来评价。智慧城市大数据应用7.1大数据概述信息通信技术、机器人技术、无线传感器网络、物联网、云计算、雾计算和大数据分析等方面的最新进展和创新，为智慧城市的发展奠定了基础。智慧城市城市交通城市规划和建设能源和环境管理智能治理大数据技术可以更加精准的分析城市道路的情况及车辆流量，更好地理解交通状况，为公共交通系统优化规划和智能导航提供支持。智慧城市的开发离不开研究城市的过去、现在和未来。大数据技术可以帮助决策者更加科学地做出决策，包括城市规划、建设和改善。大数据技术可以监测城市能源和环保状况，分析城市消耗能源和资源的方式，并提供可持续发展的解决方案。通过大数据技术，城市治理可以更精细化、快速化和精确化。政府可以实时监控城市的各个方面，如地铁、公交等，以及卫生局、公安等与民生相关的部门，让治理更加精准。作为智慧城市的核心应用之一，大数据技术在以下方面起到了重要作用：7.1大数据概述LOGO大数据应用7.1大数据概述总体而言，智慧城市的建设也面临一些挑战，如数据隐私保护、信息安全等问题，需要在推进城市智能化的同时妥善处理这些问题，确保数据安全和隐私保护。大数据技术在智慧城市的发展中扮演着至关重要的角色，将城市的各个方面联系在一起，并监测了城市内部的运动变化。借助大数据技术和智慧城市发展，城市成为一个更加温馨、绿色、和谐的地方，同时也能得到更高效地管理。智慧城市初识云计算7.2云计算概述

云计算（cloud

computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

云计算概念初识云计算7.2云计算概述云计算不是一种全新的网络技术，而是一种全新的网络应用概念，云计算的核心概念就是以互联网为中心，在网站上提供快速且安全的云计算服务计算机存储，让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。

云计算概念初识云计算7.2云计算概述

云服务类别是拥有相同质量集的一组云服务。一种云服务类别可对应一种或多种云能力类型。参考自《云计算标准化白皮书》中描述，典型的云服务类别包括:通讯即服务(CaaS)。为云服务客户提供实时交互与协作能力的一种云服务类别。计算即服务(CompaaS)。为云服务客户提供部署和运行软件所需的配置和使用计算资源能力的一种云服务类别。数据存储即服务(DSaaS)。为云服务客户提供配置和使用数据存储相关能力的一种云服务类别。基础设施即服务(IaaS)。为云服务客户提供云能力类型中的基础设施能力类型的一种云服务类别。网络即服务(NaaS)。为云服务客户提供传输连接和相关网络能力的一种云服务类别。平台即服务(PaaS)。为云服务客户提供云能力类型中的平台能力类型的一种云服务类别。软件即服务(SaaS)。为云服务客户提供云能力类型中的应用能力类型的一种云服务类别。其中以IaaS、PaaS和SaaS应用最为广泛。云服务类别云计算技术7.2云计算概述

云计算的可贵之处在于高灵活性、可扩展性和高性比等，与传统的网络应用模式相比，虚拟化技术：这是云计算最为显著的特点，虚拟化突破了时间、空间的界限，虚拟化技术包括应用虚拟和资源虚拟两种。众所周知，物理平台与应用部署的环境在空间上是没有任何联系的，正是通过虚拟平台对相应终端操作完成数据备份、迁移和扩展等。云计算特点性价比高按需部署可扩展性高虚拟化资源多动态可扩展可靠性高灵活性高虚拟化技术这是云计算最为显著的特点，虚拟化突破了时间、空间的界限，虚拟化技术包括应用虚拟和资源虚拟两种。按需部署计算机包含了许多应用、程序软件等，不同的应用对应的数据资源库不同，所以用户运行不同的应用需要较强的计算能力对资源进行部署，而云计算平台能够根据用户的需求快速配备计算能力及资源。

可靠性高倘若服务器故障也不影响计算与应用的正常运行。因为单点服务器出现故障可以通过虚拟化技术将分布在不同物理服务器上面的应用进行恢复或利用动态扩展功能部署新的服务器进行计算。可扩展性用户可以利用应用软件的快速部署条件来更为简单快捷的将自身所需的已有业务以及新业务进行扩展。动态可扩展云计算具有高效的运算能力，在原有服务器基础上增加云计算功能能够使计算速度迅速提高，最终实现动态扩展虚拟化的层次达到对应用进行扩展的目的。灵活性高目前市场上大多数IT资源、软、硬件都支持虚拟化，比如存储网络、操作系统和开发软、硬件等。性价比高将资源放在虚拟资源池中统一管理在一定程度上优化了物理资源，用户不再需要昂贵、存储空间大的主机，可以选择相对廉价的PC组成云，一方面减少费用，另一方面计算性能不逊于大型主机。云计算技术-云计算特点7.2云计算概述云计算应用7.2云计算概述

较为简单的云计算技术已经普遍服务于现如今的互联网服务中，最为常见的就是网络搜索引擎和网络邮箱。搜索引擎大家最为熟悉的莫过于谷歌和百度了，在任何时刻，只要用过移动终端就可以在搜索引擎上搜索任何自己想要的资源，通过云端共享了数据资源。而网络邮箱也是如此，在过去，寄写一封邮件是一件比较麻烦的事情，同时也是很慢的过程，而在云计算技术和网络技术的推动下，电子邮箱成为了社会生活中的一部分，只要在网络环境下，就可以实现实时的邮件的寄发。其实，云计算技术已经融入现今的社会生活。存储云医疗云金融云教育云云计算云计算应用7.2云计算概述

存储云，又称云存储，是在云计算技术上发展起来的一个新的存储技术。云存储是一个以数据存储和管理为核心的云计算系统。用户可以将本地的资源上传至云端上，可以在任何地方连入互联网来获取云上的资源。大家所熟知的谷歌、微软等大型网络公司均有云存储的服务，在国内，百度云和微云则是市场占有量最大的存储云。存储云向用户提供了存储容器服务、备份服务、归档服务和记录管理服务等等，大大方便了使用者对资源的管理。

存储云云计算应用7.2云计算概述

医疗云，是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等等都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全国的优势。

医疗云云计算应用7.2云计算概述

金融云，是指利用云计算的模型，将信息、金融和服务等功能分散到庞大分支机构构成的互联网“云”中，旨在为银行、保险和基金等金融机构提供互联网处理和运行服务，同时共享互联网资源，从而解决现有问题并且达到高效、低成本的目标。在2013年11月27日，阿里云整合阿里巴巴旗下资源并推出来阿里金融云服务。其实，这就是现在基本普及了的快捷支付，因为金融与云计算的结合，现在只需要在手机上简单操作，就可以完成银行存款、购买保险和基金买卖。现在，不仅仅阿里巴巴推出了金融云服务，像苏宁金融、腾讯等等企业均推出了自己的金融云服务。金融云云计算应用7.2云计算概述

教育云，实质上是指教育信息化的一中发展。具体的，教育云可以将所需要的任何教育硬件资源虚拟化，然后将其传入互联网中，以向教育机构和学生老师提供一个方便快捷的平台。现在流行的慕课就是教育云的一种应用。慕课MOOC，指的是大规模开放的在线课程。现阶段慕课的三大优秀平台为Coursera、edX以及Udacity，在国内，中国大学MOOC也是非常好的平台。在2013年10月10日，清华大学推出来MOOC平台——学堂在线，许多大学现已使用学堂在线开设了一些课程的MOOC。教育云云计算应用7.2云计算概述教育云云计算的四大特征在电视互动领域的商业应用“云计算”提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦。“云计算”对客户端的设备要求最低，使用起来也最方便。“云计算”可以轻松实现不同设备间的数据与应用共享。“云计算”为我们使用网络提供了几乎无限多的可能。云计算应用7.2云计算概述

云农业（CloudAgriculture）是指以云计算商业模式应用与技术（虚拟化、分布式存储和计算）为支撑，统一描述、部署异构分散的大规模农业信息服务。满足千万级农业用户数以十万计的并发请求，满足大规模农业信息服务对计算、存储的可靠性、扩展性要求。实现功能：用户可以按需部署或定制所需的农业信息服务，实现了