数据基础编程应用 2

可视化简介1234大数据概述大数据发展数据可视化的简介数据可视化技术分析01大数据概述大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。1、大数据简介01

大数据简介图01-01对于“大数据”，研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。2、大数据定义01

大数据简介图01-02大多数的技术突破来源于实际的产品需要，大数据最初诞生于谷歌的搜索引擎中。随着web2.0时代的发展，互联网上数据量呈献爆炸式的增长，为了满足信息搜索的需要，对大规模数据的存储提出了非常强劲的需要。3、大数据产生的原因01

大数据简介图01-03从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。4、大数据技术01

大数据简介图01-04最小的基本单位是bit，最大的单位是DB。它们按照进率1024（2的十次方）来计算：5、基本单位01

大数据简介图01-0501

大数据简介大数据包括结构化、半结构化和非结构化数据，非结构化数据逐渐成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。其次，想要全面而细致的分解它，可以从三个层面来展开：第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。第二层面是技术，技术是大数据价值体现的手段和前进的基石。第三层面是实践，实践是大数据的最终价值体现。6、大数据结构图01-0601

大数据简介7、其他方面的诠释牛津词典将‘数据’定义为：“由计算机执行操作的数量，字符或符号，可以以电信号的形式存储和传输，并记录在磁，光或机械记录介质上。”图01-078、“大数据”的例子以下是“大数据”的一些例子：社交媒体影响统计数据显示，每天有500多TB的新数据被提取到社交媒体网站Facebook的数据库中。这些数据主要是根据照片和视频上传，消息交换，评论等方式生成的。01

大数据简介图01-088、“大数据”的例子工业领域应用单喷射引擎可在30分钟的飞行时间内生成10+TB的数据。每天有数千个航班，数据生成量可达数PB。01

大数据简介图01-0901

大数据简介9、“大数据”的特征卷——“大数据”这个名称本身与巨大的规模有关。数据大小在确定数据价值方面起着非常关键的作用。多样性——“大数据”的下一个方面是它的多样性。多样性是指异构来源和数据的本质，包括结构化和非结构化。速度——术语“速度”是指数据生成的速度。生成和处理数据以满足需求的速度有多快，这决定了数据的真正潜力。可变性——这是指有时可能由数据显示的不一致性，从而妨碍了能够有效处理和管理数据的过程。图01-1001

大数据简介10、大数据处理的好处处理“大数据”的能力带来多种好处，例如：企业可以在做出决策时利用外部情报从搜索引擎和Facebook，Twitter等网站访问社交数据使组织能够微调其业务战略。改善客户服务传统的客户反馈系统正在被采用“大数据”技术设计的新系统所取代。在这些新系统中，大数据和自然语言处理技术正被用于阅读和评估消费者的反应。及早识别产品/服务的风险（如果有）更高的运营效率在确定应将哪些数据移动到数据仓库之前，“大数据”技术可用于为新数据创建临时区域或登陆区域。此外，“大数据”技术和数据仓库的这种集成有助于组织卸载不常访问的数据。图01-1102大数据发展02

大数据发展在全球范围内，以电子方式存储的数据（简称为电子书籍）总量空前巨大。2011年，电子数据总量达到1.8ZB，相比2010年同期增高了1ZB，统计结果表明，没经过两年就可以增加一倍，预计到2020年可达到44ZB，其预测曲线如图02-01所示。1、大数据图02-0102

大数据发展2、发展历程20世纪90年代到21世纪，数据库技术成熟，数据挖掘理论成熟，也称数据挖掘阶段。2003年--2006年，非结构化的数据大量出现，传统的数据库处理难以应付，也称非结构化数据阶段。2006年--2009年，谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》。2009年至今，大数据基础技术成熟之后，学术界及企业界纷纷开始转向应用研究，2013年曾被称为大数据元年。萌芽阶段突破阶段成熟阶段应用阶段02

大数据发展大数据可以分为大数据技术、大数据工程、大数据科学和大数据应用等领域。大数据技术是指从数据采集、清洗、集成、分析与解释，进而从各种各样的巨量数据中快速获得有价值信息的全部技术。目前所说的大数据有双重含义，他不仅指数据本身的特点，也包括采集数据的工具、平台和数据分析系统。3、大数据技术发展历程图02-0202

大数据发展在大数据时代，传统的软件已经无法处理和挖掘大量数据中的信息。大数据进入了一个快速发展的阶段，整体的发展历程如图02-03所示。4、大数据相关技术发展历程图02-0302

大数据发展5、大数据处理的基本流程数据规模急剧扩大超过了当前计算机存储与处理能力。不仅数据处理规模巨大，而且数据处理需求多样化。一般来说，数据处理的过程可以分为以下几个步骤：图02-0402

大数据发展6、大数据发展趋势预测（2019年）大数据是近年来备受关注的一门技术，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据的价值体现在几个方面：(1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；(2)做小而美模式的中小微企业可以利用大数据做服务转型；(3)面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。02

大数据发展6、大数据发展趋势预测（2019年）趋势一：数据的资源化何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。图02-0502

大数据发展6、大数据发展趋势预测（2019年）趋势二：与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。图02-0602

大数据发展6、大数据发展趋势预测（2019年）趋势三：科学理论的突破随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。图02-0702

大数据发展6、大数据发展趋势预测（2019年）趋势四：数据科学和数据联盟的成立未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。图02-0802

大数据发展6、大数据发展趋势预测（2019年）趋势五：数据泄露泛滥未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。图02-0902

大数据发展6、大数据发展趋势预测（2019年）趋势六：数据管理成为核心竞争力数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。图02-1002

大数据发展6、大数据发展趋势预测（2019年）趋势七：数据生态系统复合化程度加强大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。图02-1103数据可视化的简介03

数据可视化简介人类的创造性不仅取决于人的逻辑思维，而且还取决于人类的形象思维，将数据映射为视觉符号，充分利用人们的杰出视觉，帮助人们获取大数据中蕴含的信息。1、数据可视化概述图03-0103

数据可视化简介2.1列表将实验数据按一定规律用列表方式表达出来是记录和处理实验视觉最常用的方法。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系。如图03-02所示。2、信息展示方式图03-0203

数据可视化简介2.2

作图作图法可以显式地表达物理量间的变化关系。如图03-03所示。2、信息展示方式图03-0303

数据可视化简介2.3

图表直方图：是将一个变量的不同等级的相对频数用矩形块标绘的图表，直方图又被称为柱状图、质量分布图，是一种统计报告图，有一系列高度不等的纵向条纹或线段表示数据分布的情况，如图03-04所示。2、信息展示方式图03-0403

数据可视化简介2.3

图表散点图：表示变量随自变量而变化的大致趋势，据此看可以选择合适的函数对数据点矩形拟合，如图03-05所示。2、信息展示方式图03-0503

数据可视化简介FMEA：它是一种可靠性设计的重要方法，是以FMA(故障模式分析）和FEA（故障影响分析）的组合。它对各种可能的风险进行评价、分析，以便在现有技术的基础山消除这些风险或将这些风险减小到可接受的水平。如图03-06所示。3、设计方式图03-0603

数据可视化简介独特的数据可视化更加令人难忘，并为观众增添了多种多样的内容——即使是最清晰直观的可视化类型，当反复重复时也会失去吸引力。下面将介绍几种不太常见的，但非常有用的数据可视化方法：斜率图：斜率图是一种特殊类型的折线图，其中通过将一个比例尺上的每个组的值与第二个比例尺上的值相比较，可以比较两组（或更多）组的值，并在组值旁边显示标签以便于解释。4、数据可视化方法图03-0703

数据可视化简介斜率图：何时使用它：比较不同类别（通常是连续几年）的群体变化率和排序顺序切换。坡度通常要求每个组和每个类别都有相应的值，以显示从一个类别到另一个类别的全部变化。现实中例子：各国如何发电（2004-2014年），如图03-08所示。4、数据可视化方法图03-0803

数据可视化简介平行坐标图：平行坐标图将多个变量排列在一起，每个变量从最高值到最低值（顶部最高，底部最低）以及每条实体对每个变量位置进行水平连接的线。由于大量案例显示，它通常使用交互式视图呈现，其中可以选择和突出显示个别行。4、数据可视化方法图03-0903

数据可视化简介平行坐标图：何时使用它：揭示群体如何在许多量化变量中显示相似或不同的概况。平行坐标可视化是大规模数据的最佳可视化类型之一。现实中例子：国内数据流的物理平行坐标，如图03-10所示。4、数据可视化方法图03-1003

数据可视化简介冲积图：冲积图（与桑葚图密切相关）显示了各个实体（或节点）如何在代表多个组或时间段的阶段中一起或分开流动。在图03-11所示，河流的宽度显示了每个类别内的大小或比例，类似于支流如何连接形成更大的溪流，或河流如何分裂形成各种分支。4、数据可视化方法图03-1103

数据可视化简介冲积图：何时使用它：显示多个组之间如何相互关联（当它们的流一起流动时显示）或彼此不同（当它们的流分离时显示），跨越多个变量。现实中例子：美国总统及其出生迹象，如图03-12所示。4、数据可视化方法图03-1203

数据可视化简介5.1明确问题数据可视化大致可以分为五个过程，首先第一步，明确问题，对一个数据进行可视化操作时，第一是要明确要回答的问题，如图03-13中的所操作的可视化，所有的变量都被包含在一张表格中，这会诱导用户去比较不相干的变量。清晰的问题可以有助于避免数据可视化的一个常见毛病：把不相干的事物放在一起比较。5、数据可视化过程图03-1303

数据可视化简介5.2从基本可视化入手确定可视化项目的目标后，下一步是建立一个基本的图形。它可能是饼图、线图、流程图、散点图、表面图、地图、网络图等等，取决于手头的数据是什么样子。例如，线形图最适合表现与时间有关的趋势，亦或是两个变量的潜在关系。当数据集中的数据点过多时，使用散点图进行可视化会比较容易。而直方图展示数据的分布。直方图的形状可能会根据不同组距改变，如图03-14所示。5、数据可视化过程图03-1403

数据可视化简介5.3确定信息指标假设有一个关于某研究机构出版物数量的数据库(如图所示）。可视化过程中最关键的步骤是充分了解数据库以及每个变量的含义。在图03-15中，我们想了解此机构在各个领域发表了多少文章。出版数量是一个有用的指标，不仅如此，与下面这些指标对照会呈现出更多信息：1.此领域的研究成果总量(B列)2.此领域的全球活跃程度

由此，可以确定一个相对活跃指标，1.0代表全球平均活跃程度。高于1.0代表高于全球水平，低于1.0代表低于全球水平。5、数据可视化过程图03-1503

数据可视化简介5.4选择正确的图表类型例如采用雷达图来比较相对活跃指数，并着重观察指数最高/最低的研究领域。在此机构在G领域的相对活跃指数最高(1.8)，但是此领域的全球总量远远小于其他领域，如图03-16所示。5、数据可视化过程图03-1603

数据可视化简介5.5关键信息使用肉眼衡量半径长度可能不容易，所以要将注意力引向关键的信息中，在本例中，相对活跃指数的1.0代表此领域的全球活跃程度，可以通过给出1.0的参照值来引导读者，如图03-17。这样很容易看出哪些领域的半径超出参考线。还可以使用颜色帮助读者识别出版物最多的领域。如图03-17例所示，一块的颜色深浅由出版物数量决定。为了便于识别，把各领域名称作为标签，如图03-18所示。5、数据可视化过程图03-17图03-1804数据可视化技术分析04

数据可视化技术分析它是一个处于不断演变之中的概念，其边界在不断地扩大。主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。1、数据可视化技术概念图04-0104

数据可视化技术分析2.1面积可视化面积、尺寸可视化对同一类图形（例如柱状、圆环等等）的长度、高度和面积加以区别，来清清晰的表达不同指标对应的指标值之间的对比。如图04-02所示2、常用可视化技术方法图04-0204

数据可视化技术分析2.2颜色可视化通过颜色的深浅来表达指标值的强弱和大小，是数据可视化设计的常用方法，用户一眼看上去便可整体的看出哪一部分指标的数据值更突出。如图04-03所示，2013年美国失业率统计在图中可以看到，通过对美国地图以州为单位的划分，用不同的颜色来代表不同的失业率等级范围，整个的全美失业率状况便尽收眼底了。2、常用可视化技术方法图04-0304

数据可视化技术分析2.3图形可视化在设计指标及数据时，使用有对应实际含义的图形来结合呈现，会使数据图表更加生动的被展现，更便于用户理解图表要表达的主题。如图04-04所示，苹果在展示使用不同类型的手机和平板用户占比时，直接用总的苹果图形为背景来划分用户比例，让用户第一眼就可以直观的看到这些图是在描述苹果设备的，直观而清晰。2、常用可视化技术方法图04-0404

数据可视化技术分析2.4地域可视化当指标数据要表达的主题跟地域有关联时，一般会选择用地图为大背景。这样用户可以直观的了解整体的数据情况，同时也可以根据地理位置快速的定位到某一地区来查看详细数据。如图04-05所示。2、常用可视化技术方法图04-0504

数据可视化技术分析2.5概念可视化通过将抽象的指标数据转换成熟悉的容易感知的数据时，便使用户更容易理解图形要表达的意义。如图04-06所示，厕所广告图是厕所里贴在墙上的节省纸张的环保贴士，用了概念转换的方法，让用户清晰的感受到的用纸量之多。2、常用可视化技术方法图04-0604

数据可视化技术分析数据挖掘是指在大量的数据中挖掘出信息，通过认真分析来揭示数据之间有意义的联系、趋势和模式。而数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术。数据挖掘可视化这边介绍几种：文本挖掘；Web挖掘；多媒体数据的挖掘；时空数据挖掘。3、数据挖掘可视化图04-0704

数据可视化技术分析3.1文本挖掘将不同的文档进行比较之后，进行文档重要性和相关性排列，整理出文档的模式和趋势。文本挖掘的处理过程包括对大量文档集的内容进行预处理、特征提取、结构分析等等。3、数据挖掘可视化图04-0804

数据可视化技术分析3.2Web挖掘Web挖掘是指从www有关联的资源及行为中获取有用的模式和隐含的信息。Web中含有大量信息和超链接信息、Web页面的访问和使用信息，是进行Web挖掘的重要资源。而它分为三块内容：1.Web内容挖掘；2.

Web结构挖掘；3.

Web使用记录的挖掘3、数据挖掘可视化图04-0904

数据可视化技术分析3.3多媒体数据挖掘多媒体数据类型包括图形、视频、音频时空数据和超文本等，隐藏了大量的有价值的只是，而多媒体数据的挖掘是综合分析大量多媒体数据的试听特征与语义，利用多媒体的时间、空间、视觉特性、视听对象以及运动特性，挖掘具有一定价值的、能够理解的只是模式，找出实践的趋势以及关联性。3、数据挖掘可视