数据可视化 课件 第1章 数据可视化概述

第

1

章

数据可视化概述本章主要内容数据可视化的内涵和意义数据可视化的发展历史数据可视化的应用数据可视化的挑战可视化分析与编程工具1. 数据可视化的内涵和意义人眼是一个高带宽的巨量视觉信号输入并行处理器,最高带宽为每秒100MB,具有很强的模式识别能力,对可视符号的感知速度比对数字或文本快多个数量级,且大量的视觉信息的处理发生在潜意识阶段。视觉是获取信息的最重要通道,超过50%的人脑功能用于视觉的感知,包括解码可视信息、层次可视信息处理和思考可视符号。可视化对应两个英文单词：VISUALIZE

和VISUALIZATIONVISUALIZE是动词，意即“生成符合人类感知”的图像；通过可视元素传递信息。VISUALIZATION是名词，表达“使某物、某事可见的动作或事实”；对某个原本不可见的事物在人的大脑中形成一幅可感知的心理图片的过程或能力。VISUALIZATION，也可以用于表达对某目标进行可视化的结果，即一帧图像或动画。利用人眼的感知能力对数据进行交互的可视表达以增强认知的技术，称为可视化。它将不可见或难以直接显示的数据转化为可感知的图形、符号、颜色、纹理等，增强数据识别效率，传递有效信息。表.

4个二维数据点集单维度均值、最小二乘法回归线方程、误差的平方和、方误差的等统计属方差的回归和、均误差和、相关系数性均相同可视化是认知的过程，即形成某个物体的感知图像，强化认知理解。可视化的终极目的是对事物规律的洞悉。包含多重含义：发现、决策、解释、分析、探索和学习。可视化可简明地定义为“通过可视表达，增强人们完成某些任务的效率”。可视化的作用信息记录对信息的推理和分析信息传播与协同抽象Harry

Beck,1933数据可视化分类科学可视化（Scientific

Visualization）信息可视化（Information

Visualization）面向的领域主要是自然科学，如物理、化学、气象气候、航空航天、医学、生物学等各个学科。这些学科通常需要对数据和模型进行解释、操作与处理，旨在寻找其中的模式、特点、关系以及异常情况。

数据通常表达在三维或二维空间，或包含时间维度。科学可视化（Scientific

Visualization）数据的类别可分为:标量（密度、温度）向量（风向、力场）张量（压力）科学可视化也可粗略地分为标量场可视化、向量场可视化、张量场可视化三类。科学可视化（Scientific

Visualization）信息可视化（Information

Visualization）处理的对象是抽象的数据集合（如文本、图表、层次结构、地图、软件、复杂系统等）更关注抽象、高维数据。1.时空数据可视化对于地理信息数据可视化来说，合理地选择和布局地图上的可视化元素，从而呈现尽可能多的信息是关键。时变数据通常具有线性和周期性两种特征，需要依此选择不同的可视化方法。2.层次与网络结构数据可视化人与人之间的关系、城市之间的道路连接、科研论文之间的引用都组成了网络。通常使用点线图来可视化，如何在空间中合理有效地布局节点和连线是可视化的关键。

3.文本和跨媒体数据可视化

随着网络媒体，特别是社交媒体的迅速发展，每天都会产生海量的文本数据，人们对于视觉符号的感知和认知速度远远高于文本。

4.多变量数据可视化现实世界中复杂问题和对象的数据通常是多变量的高维数据，数据降维到低维度空间，使用相互关联的多视图同时表现不同维度等等。可视分析学（Visual

Analytics）是一门综合性学科：在可视化方面，有信息可视化、科学可视化与计算机图形学；与数据分析相关的领域：信息获取、数据处理和数据挖掘；在交互方面，人机交互、认知科学和感知等学科融合。图. 可视分析学涉及的学科科学可视化的研究重点是带有空间坐标和几何信息的医学影像数据、三维空间信息测量数据、流体计算模拟数据等。由于数据的规模通常超过图形硬件的处理能力，所以如何快速地呈现数据中包含的几何、拓扑、形状特征和演化规律是其核心问题。随着图形硬件和可视化算法的迅猛发展，单纯的数据显示已经得到了较好的解决。信息可视化的核心问题主要有高维数据的可视化、数据间各种抽象关系的可视化、用户的敏捷交互和可视化有效性的评断等。可视分析将可视化、人的因素和数据分析集成在内。感知与认知科学研究人在可视分析学中的重要作用数据管理和知识表达是可视分析构建数据到知识转换的基础理论地理分析、信息分析、科学分析、统计分析、知识发现等是可视分析学的核心方法；人机交互必不可少，用于驾驭模型构建、分析推理和信息呈现等整个过程；可视分析流程中推导出的结论与知识最终需要向用户表达和传播。可视分析偏重于从各类数据综合、推理出知识。其实质是完成机器智能和人脑智能的双向转换，整个探索过程是迭代的、螺旋式的上升过程。可视分析2. 数据可视化的发展历史十六世纪：Early

Maps

&

Diagrams（萌芽时期）人类已经掌握了精确的观测技术和设备，也采用手工方式制作可视化作品。公元前6200年的人类地图图片来源:http://www.math.yorku.ca/SCS/Gallery/imagesloldest-map.jpg图片来源:http://www.math.yorku.ca/SCS/Gallery/images/peutinger335-366.jpg人类历史上第一幅城市交通图呈现了罗马城的交通状况十七世纪：Measurement

&

Theory（成长时期）对物理基本量（时间、距离和空间）的测量设备与理论完善，被广泛用于航空、测绘、制图、国土勘探等。制图学理论与实践也随着分析几何、测量误差、概率论、人口统计和政治版图的发展而迅速成长。产生了基于真实测量数据的可视化方法开始了可视化思考的新模式诞生于1626年表达太阳黑子随时间变化的图。在一个视图上同时可视化多个小图序列是现代可视化技术中邮票图表法（

small

multiples

)

的雏形。图片来源:

http:J/content/m11970/latest/tres_epistolae.gif图片来源:http://www.math.yorku.ca/SCS/Gallery/images/halley1866a-1.jpg1686年绘制的历史上第一幅天气图，显示了地球的主流风场分布。这也是向量场可视化的鼻祖。十八世纪：

New

Graphic

Forms（发展时期）发明了新的图形化形式（等值线、轮廓线）包含地理，经济和医学数据信息的概念图产生创造了新颖的视觉形式来描绘经济和政治方面的真实数据大多数这些新图形形式出现在发行量有限的出版物中，在这一时期并没有引起广泛关注。1701年绘制的人类历史第一幅等值线图图片来源:http://www.math.yorku.ca/SCS/Gallery/images/palsky/halley-map.jpg;1758年Lambert完成的三维金字塔颜色系统可视化图片来源:http:/lirtel.uni-mannheim.de/colsys/Lambcrt..html图片来源:http://www.math.yorku.ca/SCS/Gallery/images/priestley.gif1765年Josep

hPriestley发明的时间线图采用了单个线段表现某个人的一生同时比较了公元前1200年到公元1750年间2000个著名人物的生平。这幅作品直接激发了柱状图的诞生。18世纪是统计图形学的繁荣时期，苏格兰工程师、政治经济学家William

Playfair是统计制图法的创始人，他创造了折线图、柱状图、饼图、面积图等今天使用最频繁的统计图，并且坚信图表比数据更有表现力。William

Playfair作品:丹麦和挪威1700—1780年间的贸易进出口序列图图片来源:/wiki'William_Playfair世界上第一幅饼图显示了1789年土耳其帝国在亚洲、欧洲和非洲的疆土比例图片来源:

http://www.math.yorku.ca/SCS/Gallery/images/Lambert1765-evaporation.jpg德国物理学家Lambert用于表达水的蒸发和时间之间的关系的线图可视化。图片来源:

http://www.math.yorku.ca/SCS/Gallery/images/Lambert1765-evaporation.jpg十九世纪：1800-1849年,

Modern

Period（现代时期）统计图形、概念图等呈爆炸式增长关于社会、地理、医学和经济的统计数据越来越多衍生了可视化思考的新方式：图表用于表达数学证明和函数；列线图用于辅助计算；各类可视化显示用于表达数据的趋势和分布，便于交流、获取和可视化观察。Playfair绘制的⼩⻨价格与⼯资时间序列图、柱形图。图片来源：

http://www.datavis.ca/milestones/1837年第⼀幅流图，以可变宽度的线段显示了交通运输的轨迹和乘客数量。图片来源:http://www.math.yorku.ca/SCS/Gallery/images/harness-flow.gif19世纪下半叶(1850-1899年)，系统地构建可视化方法的条件日渐成熟，进入了统计图形学的黄金时期

(Golden

Age)

。认识到数字信息对于社会计划、工业化，商业和运输的重要性日益提高，统计理论扩展到社会领域。法国工程师查尔斯∙约瑟夫∙米纳德（Charles

Joseph

Minard）

，是将可视化应用于工程和统计的先驱者。其最著名的工作是1869年发布的描绘拿破仑进军莫斯科大败而归的历史事件的流图，该图被誉为有史以来最好的统计可视化。图片来源:/wikipedia/commons/2/29/Minard.png1812——1813年拿破仑进军莫斯科的历史事件的流图米纳德在这一幅平面图，呈现了6

个维度的信息：1.军队人数距离温度经纬度移动方向时‐地关系南丁格尔“玫瑰图（极区图）”图.

南丁格尔弗洛伦斯ꞏ南丁格尔（1820年5月12日~1910年8月13日）是世界上第一个真正意义上的女护士，被誉为现代护理业之母。5.12国际护士节就是为了纪念这一天是南丁格尔的生日除了在医学和护理界的辉煌成就，南丁格尔还是一名优秀的统计学家——她是英国皇家统计学会的第一位女性会员，也是美国统计学会的会员。南丁格尔早期大部分声望都来自其对数据清楚且准确的表达。她认为医学统计资料有助于改进医疗护理的方法和措施。在她编著的各类书籍、报告等材料中使用了大量的统计图表，其中最为著名的就是极区图，也叫南丁格尔玫瑰图。•••图径1854年4月～1855年3月图片来源：

http://www.datavis.ca/milestones/1855年4月～1856年3月东部军队死亡原因示意图（1854-1856）生动有力的说明了在战地开展医疗救护和蓝色促代进表伤可预兵防医和疗可工缓作解的的疾病治疗不必及要时性造。成的死亡红

色打代动表了战场当阵局亡者，增加黑色了代战表地其他医死院亡，原改因善。了军队医院的条件，为表各挽个救扇区士角兵度生相命同做，出用了半及扇区面巨积大来贡表献示”死亡。人数。图1-3 极区图：Facebook

vs.

推特英国麻醉学家、流⾏病学家John

Snow绘制的1854年伦敦霍乱地图。该图⾸次结合了地图和疾病数据。现代黑暗时期很少有图形创新应⽤和普及的时期第⼀次使⽤图形⽅法来提供有关天⽂、物理、⽣物和其他学科的新发现和新理论开始对各种图形形式的效率进⾏实验⽐较二十世纪: 1900-1949年：

Modern

Dark

Age1904年关于太阳黑子随时间扰动的蝴蝶图验证了太阳黑子的周期性1957年发明的圆形图标，采用线段及其朝向编码多维数据。图片来源:http://www.math.yorku.ca/SCS/Gallery/images/dan/anderson_glyphs2.jpJacques

Bertin提出的七个视觉变量，给出了完备的图形符号和表示理论。针对点(Point)、线(Line)和区域(Area)数据采用不同视觉通道的图形符号表示方案。图片来源:http://www.math.yorku.ca/SCS/Gallery/images/bertin-ve.jpg图.

1973年Herman

Chernoff发明的表达多变量数据的脸谱编码⾎液化学数据使⽤计算机软件Biplot进⾏的可视化图.

John

Hartigan发明的散点图矩阵图.

1975年统计图形学家发明的增强型散点图1991年Ben

Shneideman教授发明的树图，⽤级联嵌套的平⾯化树状结构表达层次结构。1994年施乐公司创造的表格透镜技术进入21世纪，现有的可视化技术已难以应对海量、高维、多源和动态数据的分析挑战，需要综合可视化、图形学、数据挖掘理论与方法，研究新的理论模型、新的可视化方法和新的用户交互手段，辅助用户从大尺度、复杂、矛盾甚至不完整的数据中快速挖掘有用的信息，以便做出有效决策。3.

数据可视化的应用斯坦福大学生物工程和精神病学负责人Karl

Deisseroth说：“以分子水平和全局范围观察整个大脑系统，曾经一直都是生物学领域一个无法实现的重大目标”。可视化系统在探索性任务（例如包含大数据量信息）中有突出的表现，它可以帮助用户从大量的数据空间中找到关注的信息来进行详细分析。医学可视化工程可视化表意性可视化地理气象信息可视化政治社会领域可视化商业智能可视化数据可视化的应用4.

数据可视化的挑战导入和清理数据。决定如何组织输入数据以获得期望的结果，它所需要的思考和工作经常比预期的多。把视觉表示与文本标签结合在一起。视觉表示是强有力的，有意义的文本标签起到很重要的作用。查找相关信息。经常需要多个信息源来做出有意义的判断。集成数据挖掘。信息可视化和数据挖掘起源于两条独立的研究路线。研究人员正在逐渐把这两种方法结合在一起。与他人协同。发现是一个复杂的过程，它依赖于知道要寻找什么、通过与他人协同来验证假设、注意异常和使其他人相信发现的意义。实现普遍可用性。当可视化工具打算被公众使用时，必须使该工具可被多种多样的用户使用而不管他们的生活背景、工作背景、学习背景或技术背景如何。评估。分析很少是一个孤立的短期过程，用户可能需要长期从不同视角察看相同的数据。5

可视化分析与编程工具（1）TableauTableau

(http://

www.

tableausoftware.

com)是可视化领域标杆性的商业智能分析软件，起源于美国斯坦福⼤学的科研成果，其设计⽬标是以可视的形式动态呈现关系型数据之间的关联，并允许⽤户以所⻅即所得的⽅式完成数据分析和可视图表和报告的创建。Tableau软件最吸引⼈的特点在于，⽤户⽆需掌握⾼深的技术或任何编程技能便可以上⼿操作。该⼯具已经引起了来⾃各⾏各业的⼈们的兴趣，⽐如咨询、⾦融、通信、媒体、⾼科技、制造业、能源、体育、科研机构等等。Python指⼀种⾯向对象、解释型的计算机程序设计语⾔，是⼀种功能强⼤的通⽤型语⾔，具有近⼆⼗年的发展历史，成熟且稳定。它包含⼀组完善⽽且容易理解的标准库，能够轻松完成很多常⻅的任务。Python的NumPy、SciPy库能够⾮常快速和⽅便地操作⼤量数据、进⾏科学计算，Matplotlib库能够以简洁的代码绘制出漂亮的图形。（2）

Python（3）

其他可视化工具ExcelGoogle

Spreadsheets谷歌版的Excel，但用起来更容易，而且是在线的。可以通过内置的聊天和实时编辑功能进行协作。通过importHTML和importXML

函数，可以从网上导入HTML和XML文件。（1）TileMill。自定义地图的制作难度较大且技术性强，然而现在已经有多种程序能够基于自己的数据、按喜好和需求设计地图。地图平台MapBox提供的TileMill就是一款开源的桌面软件，有不同平台的多个版本。（2）ImagePlot。加州电信学院软件研究实验室的ImagePlot能将大规模图像集合作为一组数据点来进行探索。例如，可以根据颜色、时间或数量来绘制图形，从而展现某位艺术家或某一组照片的发展趋势与变化。针对特定数据的工具（3）树图。马里兰大学人机交互实验室的交互式软件是最早的，可以免费使用。树图对于探索小空间中的层次式数据非常有用。Hive小组还开发并维护了一款商用版本。（4）indiemapper。这是地图制作小组Axis

Maps提供的一个免费服务。与TileMill类似，它支持创建自定义地图以及用自己的数据制图，但它运行在浏览器中，而不是作为桌面客户端软件运行。indiemapper使用简单，并且有大量的示例帮助起步。可以方便地变换地图投影，找出最适合自己需要的投影方式。（5）GeoCommons。其与indiemapper类似，但更专注于数据的探索和分析。你可以上传自己的数据，也可以从GeoCommons数据库中抽取数据，然后与点和区域进行交互。还可以将数据以多种常见的格式导出，以便导入其他软件。（6）ArcGIS。在新的地图工具出现之前，对大数人来说，AreGIS都是首选的地图工具。ArcGIS是个特性丰富的平台，几乎能做与地图有关的任何事情。大多数时候，基本功能已经足够，因此最好还是先尝试一下免费选项，如果不够用，再尝试ArcGIS。

（7）Gephi。是一款跨平台的基于JVM的复杂网络分析软件，其主要用于各种网络和复杂系统，帮助用户创建动态的层次丰富的图表。Gephi自称是“开放的图表及可视化平台”

，起创于2009年的一个大学生项目，已迅速成为一个颇具价值的开源软件资源。支撑用户创建检验假设、深入探寻模式以及观测异常值、偏差值。可以将Gephi想象成统计辅助工具（能跟R进行整合）。（8）Timeflow。用于分析时间数据的开源可视化工具，由

Sarah

Cohen（杜克大学）于

2010

年创建。TimeFlow

有一套强大的工具用于过滤和聚合数据。该程序提供了四种不同的显示视图：标准时间线、表格、条形图和交互式日历。可视化编程工具– JavaScript、HTML和CSS随着浏览器的速度越来越快，可视化开始借助HTML

、JavaScript和CSS代码在浏览器中展示。具有很大的灵活性，可以做出用户想要的各种效果。JavaScript具有很多进行可视化的库，例如D3.js、Echarts、Recharts、ApexCharts等。D3.js

。处理基于数据文档的JavaScript

库。利用诸如HTML

、Scalable

Vector

Graphic以及Cascading

Style

Sheets