大学计算与人工智能 课件 第6章大数据分析与可视化

大学计算与人工智能（第6章大数据分析和可视化）配套清华出版社《大学计算与人工智能》通识教材本章目录6.1大数据的概念与特征6.2大数据的存储方法6.3数据分析技术6.4数据分析可视化6.5基于Python的数据可视化

2计算思维+人工智能学习目标（1）理解的大数据的概念和特征。（2）理解关系数据库的特点和行、列存储方法。（3）了解云存储的数据分块技术和并行处理方法。（4）理解大数据的预处理和分析方法，能够对给定的数据集合进行分类和聚类。（5）能够使用问卷网站设计调查问卷并进行可视化分析。（6）能够使用电子表格进行数据的可视化分析。（7）能够利用Python程序设计分形图形和一维码。

36.1大数据的概念与特征大数据目前还没有一个被业界广泛认同的明确定义。麦肯锡：大数据（bigdata）是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。Gartner：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。IBM公司：大数据是指所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

4大数据正在呈现出5V特征，即Volume（海量性）、Velocity（高速性）、Variety（多样性）、Veracity（真实性）、Value（低价值密度），如图8-1所示。（1）海量性实时监控系统中，数据是以视频流（Videostream）的形式实时、高速、源源不断地产生的，数据具有明显的海量性特征。例如，当图片分辨率从800*600上升到3840*2160时，一张24位色彩的图片的存储空间从（800*600*24）/（1024*8）=1406KB上升到24300KB。（2）高速性对实时高的应用中，数据的传输、存储都要求有更高的实时性。

5（3）多样性在不同领域、不同行业，需要面对不同类型、不同格式的应用数据，这些数据包括文本、状态、音频、视频、图片、地理位置等。（4）真实性基于视频监控的数据，通常用来作为法律判断的依据，更是对真实世界的现实反映。（5）低价值密度在视频监控实际应用中，存在采样频率过高以及不同的感知设备对同一个物体同时感知等情况，这类情况导致了大量的冗余数据，所以相对来说数据的价值密度较低。

66.2大数据的存储方法由于物联网感知的数据种类较多，有文本、图片、语音、视频等，而不同的类型数据如果采用相同的存储方法，将会导致数据存储效率和检索性能快速下降。因此，需要采用差异化的数据存储技术，即关系数据库技术和云存储技术等。例如，对于文本类数据，采用关系数据库存储效率更高；对于图片特别是视频信息，可能使用云存储架构更加高效。

76.2.1关系数据库存储1.结构化数据和非结构化数据数据(Data)是反映客观事物存在方式和运动状态的记录，是信息的载体。数据表现信息的形式是多种多样的，不仅有数字、文字符号，还可以有图形、图像和音频视频文件等。根据数据的不同特征，我们可以把数据分为结构化数据和非结构化数据。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库的二维逻辑表来表现的数据。如各类报表、图片、音频和视频信息等。

82.数据库所谓数据库(DB)，是以一定的组织方式将相关的数据组织在一起，长期存放在计算机内，可为多个用户共享，与应用程序彼此独立，统一管理的数据集合。关系数据库分为两类：一类是桌面数据库，例如Access、FoxPro和dBase等；另一类是客户/服务器数据库，例如SQLServer、Oracle和Sybase等。

93.行式数据库和列式数据库行式数据库是以行相关存储架构进行数据存储的数据库。行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行的数据，以此类推。对于表8-1所示的数据，采用行数据库时，其存储方式为：1，Smith，F，3400；2，Jones，M，3500；3，Johnson，F，3600。行数据库通常用在联机事务的批量数据处理中，主要行式数据库包括MySQL、Sybase和Oracle等。列式存储以流的方式在列中存储所有的数据，即把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。针对表中的数据，采用列式数据库时，其存储方式为：1，2，3；Smith，Jones，Johnson；F，M，F；3400，3500，3600。

10----4.数据库系统数据库系统（DBS）是指支持数据库运行的计算机支持系统，即数据处理计算机系统。数据库是数据库系统的核心和管理对象，每个具体的数据库及其数据的存储、维护以及为应用系统提供数据支持，都是在数据库系统环境下运行完成的。5.数据库管理系统数据库管理系统（DBMS）是位于用户与操作系统之间，具有数据定义、管理和操纵功能的软件集合。日前，受广大用户欢迎的数据库管理系统很多，如ACCESS、SQLServer、MySQ、Oracle、GuassDB、KingbaseES和PolarDB等。

116.2.2云数据存储云数据存储（也称云存储）是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储的发展推动了NOSQL发展。传统的关系数据库具有较好的性能，高稳定性，久经历史考验，而且使用简单，功能强大，同时也积累了大量的成功案例，为互联网的发展做出了卓越的贡献。云存储不是一种产品，而是一种服务，它的概念始于Amazon提供的简单存储服务(S3)，同时还伴随着亚马逊弹性计算云（EC2)，在Amazon的S3的服务背后，它还管理着多个商业硬件设备，并捆绑着相应的软件，用于创建一个存储池。目前常见的符合这样特征的系统，有Google的GFS（GoogleFileSystem）以及BigTable，Apache基金会的Hadoop（包括HDFS和HBase），此外还有MongoDB、Redis等等。

12（1）Hadoop体系架构Hadoop是具有可靠性和扩展性的一个开源分布式系统的基础框架，被部署到一个集群上，使多台机器可彼此通信并能协同工作。Hadoop它为用户提供了一个透明的生态系统，用户在不了解分布式底层细节的情况下，可开发分布式应用程序，充分利用集群的威力进行数据的高速运算和存储。Hadoop的核心是分布式文件系统HDFS和MapReduce。HDFS支持大数据存储，MapReduce支持大数据计算。

13Haddop生态系统Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个开源的软件框架，具有可靠、高效、可伸缩的特点。先后经历了Hadoop1时期和Haddop2时期。

14HDFS的体系结构HDFS采用主从式（master/slave）架构，由一个名称节点（namenode）和一些数据节点（datanode）组成。其中，名称节点作为中心服务器控制所有文件操作，是所有HDFS元数据的管理者，负责管理文件系统的命名空间（namespace）和客户端访问文件。数据节点则提供存储块，负责本节点的存储管理。HDFS公开文件系统的命名空间，以文件形式存储数据。HDFS将存储文件分为一个或多个数据单元块，然后复制这些数据块到一组数据节点上。

15名称节点执行文件系统的命名空间操作，负责管理数据块到具体数据节点的映射。数据节点负责处理文件系统客户端的读写请求，并在名称节点的统一调度下创建、删除和复制数据块，如图所示。

16HDFS的数据组织与操作跟磁盘的文件系统采用分块的思想类似，HDFS中文件被分割成单元块大小为64MB的区块，而磁盘文件系统的单元块大小为512B。需要注意的是，如果HDFS中的文件小于单元块大小，该文件并不会占满该单元块的存储空间。HDFS采用大单元块的设计目的是尽量减小寻找数据块的开销。（1）Hadoop文件读取HDFS客户端向名称节点发送读取文件请求，名称节点返回存储文件的数据节点信息，然后客户端开始读取文件信息。具体操作步骤如图8-6所示。

17（2）Hadoop文件写入HDFS客户端向名称节点发送写入文件请求，名称节点根据文件大小和文件块配置情况，向客户端返回所管理数据节点信息。客户端将文件分割成多个单元块，根据数据节点的地址信息，按顺序写入到每一个数据节点中。文件写入的具体操作步骤如图8-7所示。

18MapReduce体系架构MapReduce是一种面向大数据处理的并行编程模型，用于大规模数据集（大于1TB）的并行运算。主要反映了“Map（映射）”和“Reduce（归约）”两个概念，分别完成映射操作和规约操作。映射操作按照需求操作独立元素组里面的每个元素，这个操作是独立的，然后新建一个元素组保存刚生成的中间结果。因为元素组之间是独立的，所以映射操作基本上是高度并行的。规约操作对一个元素组的元素进行合适的归并。虽然有可能规约操作不如映射操作并行度那么高，但是求得一个简单答案，大规模的运行仍然可能相对独立，所以规约操作同样具有并行的可能。

19MapReduce的工作流程MapReduce具有唯一的主节点（masternode），实现对从节点群（slavenodes）的管理。Hadoop把每个MapReduce作业划分为一组任务集合。对每个输入块，首先由映射任务处理，并输出一个键值对列表。映射函数由用户定义。当所有的映射任务完成时，规约任务对按键组织的映射输出列表进行规约操作。Hadoop模型的Map、Reduce的数据流的具体操作细节如图所示。

20MapReduce的工作流程

216.3数据分析技术不管是通过什么方式获取数据，在进行存储和分析之前，一般都需要进行预处理，取其精华，去其糟粕，目标是为减少存储空间、提高存储与服务效率。6.3.1数据的预处理方式大数据的预处理方式有很多，主要包括数据清洗、数据集成、数据转换和数据归约等。1．数据清洗数据清洗是删去数据中重复的记录，消除数据中的噪声数据，纠正不完整和不一致数据的过程。2．数据集成数据集成是指将来自多个数据源的数据合并到一起构成一个完整的数据集。由于描述同一个概念的属性在不同数据库取了不同的名字，在进行数据集成时就常常会引起数据的不一致或冗余。3．数据转换数据转换是指将一种格式数据转换为另一种格式数据。数据转换主要是对数据进行规格化操作。4．数据归约数据规约是指在尽可能保持数据原貌的前提下，最大限度地精简数据量。

22数据规格化实例网络节点可用属性包括cpu利用率、内存利用率、带宽利用率；可靠属性包括执行过程错误率；安全属性包括扫描重要端口次数、访问敏感文件次数、尝试越权次数、恶意操作数、创建文件数等。具体指标及其含义见表。

23----数据规格化实例

24数据规格化实例

25-36.3.2数据分析方法数据分析也称为数据挖掘，是指从大量的数据中挖掘出令人感兴趣的知识。令人感兴趣的知识是指：有效的、新颖的、潜在有用的和最终可以理解的知识。实际应用中，数据分析过程与数据预处理过程是融合为一体化实现的。具体分析手段包括：关联分析、分类分析、聚类分析等。1、关联分析算法基于关联规则挖掘的数据分析方法有很多种。（1）Apriori算法Apriori算法是一种挖掘布尔关联规则频繁项集的算法，其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。

266.3.2数据分析方法（2）基于划分的算法Savasere等设计了一种基于划分的算法。这个算法先把数据库从逻辑上分成几个互不相交的块，每次单独考虑一个分块并对它生成所有的频繁项集，然后把产生的频繁项集合并，用来生成所有可能的频繁项集，最后计算这些项集的支持度。（3）FP-树频繁项集算法针对Apriori算法的固有缺陷，J.Han等提出了不产生候选挖掘频繁项集的方法：FP-树频繁集算法。它采用分而治之的策略，在经过第一遍扫描之后，把数据库中的频繁集压缩进一棵频繁模式树（FP-tree）中，同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频繁集相关，然后再对这些条件库分别进行挖掘。

276.3.2数据分析方法2、数据分类与聚类算法1）数据分类分类是一种已知分类数量基础上的数据分析方法。它使用类标签已知的样本建立一个分类函数或分类模型（也常常称作分类器）。2）数据聚类聚类是一种根据数据对象的相似度等指标进行数据分析的方法。俗话说：“物以类聚，人以群分”。所谓类，通俗地说就是指相似元素的集合。聚类分析又称集群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。

28传统的聚类分析方法主要有如下几种（1）划分方法给定一个有N个元组或者纪录的数据集，划分法将构造K个分组，每一个分组就代表一个聚类，K<N。如K-MEANS算法、K-MEDOIDS算法、CLARANS算法。（2）层次方法这种方法对给定的数据集进行层次式的分解，直到某种条件满足为止。有：BIRCH算法、CURE算法、CHAMELEON算法等。（3）基于密度的方法这个方法的指导思想就是，只要一个区域中的点的密度大过某个阈值，就把它加到与之相近的聚类中去。使用这个基本思想的算法有：DBSCAN算法、OPTICS算法、DENCLUE算法等。（4）基于网格的方法这种方法首先将数据空间划分成为有限个单元（cell）的网格结构，所有的处理都是以单个的单元为对象的。有：STING算法、CLIQUE算法、WAVE-CLUSTER算法。（5）基于模型的方法基于模型的方法给每一个聚类假定一个模型，然后去寻找能够很好地满足这个模型的数据集。

296.3.3典型数据分析方法1.K-means分类方法

306.3.3典型数据分析方法2.最大树聚类算法最大树聚类法是模糊聚类方法的一种，首先需要规格化，然后通过标准步骤建立相似系数构成的相似矩阵。

31最大树聚类算法

326.4数据分析可视化大数据应用范围越来越广阔，人们对数据进行可视化的需求就越来越强烈，以数据驱动方式来获取处理和使用数据，来为组织和个人创造效益，是数据使用程度不断内化的过程。如何有效地使用数据，数据可视化应用程度是关键。大数据数据可视化是指对大型数据集合中的数据，通过利用数据分析和开发工具，以图形、图像形式进行表示，以此发现其中未知信息的处理过程。数据可视化有许多方法，这些方法根据其可视化的原理不同可以划分为：基于几何的技术、面向像素的技术、基于图标的技术、基于层次的技术基于图像的技术等等。

336.4.1调查问卷的设计与分析可视化问卷调查是我们日常生活中一种非常重要的数据获取手段。在问卷调查之前，我们首先要掌握调查问卷的类型与结构，学会科学、合理地设计调查问卷。通过调查问卷设计，目标是培养我们利用数据进行综合分析问题的能力。常见的问卷网站包括问卷网和腾讯问卷等。以腾讯问卷为例，点击网站链接，使用微信扫描绑定身份后就可以使用。腾讯问卷支持个人问卷、团队问卷等功能。通过新建问卷、通过模板创建和通过Excel导入三种方式建立个人问卷钉钉调查问卷使用手机或桌面电脑登录“钉钉APP”，找到“钉钉塔”，在窗口右上角搜索“调查问卷”，

346.4.2电子表格的数据分析可视化电子表格，又称电子数据表，是一类模拟纸上计算表格的计算机程序。它会显示由一系列行与列构成的网格。电子版表格可以输入数值、计算式或文本、显示数据，帮助用户制作各种复杂的表格文档，进行加减乘除等复杂的数据计算，并能对输入的数据进行各种复杂统计运算后显示为可视性极佳的表格，同时它还能形象地将大量枯燥无味的数据变为多种漂亮的彩色商业图表显示出来，极大地增强了数据的可视性。现在流行和大众使用的电子版表格主要有EXCEL和WPS。EXCEL是微软OFFICE软件中的电子版表格组件，也是办公软件中应用最多的应用软件之一。除此以外，常用的电子表格还有金山软件WPS中的电子表格等。

356.4.3基于平台的数据分析可视化1.Tableau工具Tableau工具帮助人们快速分析、可视化并分享信息。其编程简单而且容易上手，用户可以先将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。2.Echarts平台Echarts是一个基于JavaScript的开源可视化平台，可以运用于散点图、折线图、柱状图等这些常用的图表的制作。3.Highcharts软件Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。4.魔镜魔镜是中国企业开发的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，实现数据分析5.图表秀图表秀操作简单，站内包含多种图表案例，支持编辑和Excel、csv等表格导入，可以实现多个图表之间联动，使数据在软件辅助下变得更生动直观，是国内企业开发的图表制作工具。

366.4.3基于平台的数据分析可视化Echarts是一个基于JavaScript的开源可视化平台及图表库，使用方便。读者可以在其官网上快速入门、下载教程和查找示例，如图9-2所示。

376.5基于Python的数据可视化turtle库是Python的标准库之一，属于入门级的图形绘制函数库。其绘制原理为：有一只海龟在窗体正中心，在画布上游走，走过的轨迹形成了绘制的图形，海龟由程序控制，可以自由改变颜色、方向宽度等。数据结构：引入列表数据结构zm存储中文点阵字模。程序实现：每次读取列表zm中的两个字节当值为1、0时，分别使用turtle库的画笔函数pendw()和penup()在计算机屏幕上绘制汉字的一行（即若干小线段）。根据字模大小，循环若干次后最终形成汉字。下面是16×16中文点阵字形“你”的可视化显示的Python程序。

386.5基于Python的数据可视化使用turtle图形库进行图形绘制，可以通过设置绘制速度，给用户以动态绘制的感觉。但需要快速获得图像效果时，使用matplotlib图形库是一种更好的选择。matplot