哈尔滨医科大学《数据挖掘》第3章 探索数据

1、 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 1 数据挖掘数据挖掘: 探索数据探索数据第第3章章 探索数据探索数据 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 2 什么是数据探索什么是数据探索?l数据探索的主要目的数据探索的主要目的 有助于选择合适的数据预处理和数据分析技术有助于选择合适的数据预处理和数据分析技术 有时可以通过对数据进行直观检查来发现模式有时可以通过对数据进行直观检查来发现模式l本章涵盖的主题主要是探测性数据分析的相关领域本章涵盖的主题主要是探测性数据分析的相关领域 Exploratory Data Analysis (EDA)

2、EDA由统计学家由统计学家John Tukey创建创建对数据进行初步研究，以便更好地理解它的特殊性质对数据进行初步研究，以便更好地理解它的特殊性质. 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 3 鸢尾花（鸢尾花（Iris）l本章用到的数据集鸢尾花. 150种鸢尾花的信息，每50种取自三个鸢尾花种之一 三种花类型 (classes):u Setosau Virginica u Versicolour 四个属性描述u 萼片长度和宽度（厘米）u 花瓣长度和宽度（厘米） 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 4 李春权 数据挖掘 哈尔滨医科大学

3、生物信息科学与技术学院 2011 5 汇众统计（汇众统计（Summary Statistics）l汇总统计是量化的，用单个数或数的小集合捕获可汇总统计是量化的，用单个数或数的小集合捕获可能很大的值集的各种特性能很大的值集的各种特性 例子：家庭平均收入例子：家庭平均收入 大部分汇总统计只需要简单的计算就可得到结大部分汇总统计只需要简单的计算就可得到结果果 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 6 频率和众数（频率和众数（Frequency and Mode）l频率定义为频率定义为l众数定义：具有最高频率众数定义：具有最高频率的值的值 mvvfrequencyii的对

4、象值具有属性值)( 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 7 百分位数（百分位数（Percentiles）l对于有序数据，考虑值集的百分位数更有意义对于有序数据，考虑值集的百分位数更有意义. l给定一个有序的或连续的属性给定一个有序的或连续的属性x和和0与与100之间的数之间的数p，第，第p个百分位数个百分位数xp是一个是一个x值，使得值，使得x的的p%的观的观测值小于测值小于xp。 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 8 位置度量位置度量:均值和中位数（均值和中位数（ Mean and Median）l均值和中位数定义均值和中位数

5、定义 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 9 散布度量散布度量: 极差和方差（极差和方差（Range and Variance）l极差：最大值和最小值的差l方差： l均值和方差对离群值很敏感，这样常常需要使用值集散布更稳健的估计. 绝对平均偏差、中位数绝对偏差、四分位数极差 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 10 可视化可视化l数据可视化是指以图形或表格的形式显数据可视化是指以图形或表格的形式显示信息示信息. 成功的可视化需要将数据转化成可视成功的可视化需要将数据转化成可视的形式，使得能够借此分析或报告数的形式，使得能够借此分析

6、或报告数据的特征和属性之间的关系。据的特征和属性之间的关系。可视化的目标是可视化信息的人工解可视化的目标是可视化信息的人工解释和信息的意境模型的形成释和信息的意境模型的形成 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 11 例子例子:海洋表面温度海洋表面温度 l以摄氏度为单位显示1982年7月的海洋表面温度 (SST) 这张图汇总大约250000格数据 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 12 可视化技术可视化技术: 直方图（直方图（Histograms）l直方图 通常显示单个变量值的分布 通过将可能的值分散到箱中，并显示落入每个箱中的对

7、象数. 高度表示对象数l例子: 花瓣宽度 (10 和 20 个箱) 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 13 二维直方图二维直方图l每个属性划分成区间，而两个区间集定义值的二维长方体 l例子: 花瓣宽度和花瓣长度 从这个二维直方图，我们能看出什么特点? 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 14 可视化技术可视化技术: 盒状图（盒状图（Box Plots）l盒状图 由 J. Tukey提出 它是另一种显示一维数值属性分布的方法 例子：盒的下端和上端分别指示第25和第75个百分位数，而盒中的线指示第50个百分位数的值，底部和顶部的尾线

8、分别指示第10和第90个百分位数，离群值用“+”显示outlier10th percentile25th percentile75th percentile50th percentile90th percentile 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 15 盒状图的例子盒状图的例子 l盒状图相对紧凑，因此可以将许多盒状图放在一个图中。 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 16 疾病基因与各种类型基因的共表达情况疾病基因与各种类型基因的共表达情况 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 17 可视化技术

9、可视化技术: 散布图（散布图（Scatter Plots）l散布图 二维散布图，使用数据对象两个属性的值作为x和y坐标值，每个数据对象都都作为平面上的一个点绘制 一般附加的属性可用如大小、颜色、形状等来表示 散布图矩阵可同时考察许多散布图 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 18 散布图矩阵例子：鸢尾花散布图矩阵例子：鸢尾花 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 19 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 20 可视化技术可视化技术: 矩阵（矩阵（Matrix Plots）l矩阵 主要用于数据矩阵可视化

10、，将数据矩阵的每个元素与图像中的一个像素相关联 这使得容易检查一个类的所有对象是否在某些属性上具有相似的属性值。 如果不同的属性具有不同的值域，则可以对属性标准化，使其均值为0，标准差为1 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 21 鸢尾花数据矩阵的可视化鸢尾花数据矩阵的可视化 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 22 胚胎发育过程表达谱胚胎发育过程表达谱 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 23 鸢尾花相关矩阵的可视化鸢尾花相关矩阵的可视化 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院

11、2011 24 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 25 可视化技术可视化技术: 平行坐标系平行坐标系l平行坐标系 每个属性一个坐标轴 与传统的坐标轴不同，平行坐标系不同的坐标轴平行 ，而不是正交的。对象用线而不是用点来表示。 当对象过多时会产生混乱，但，对象趋于分成少数几组时，而且对象数少时，结果有可能揭示有趣的模式。 平行坐标系显示结果可能依赖于坐标轴的序 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 26 鸢尾花的平行坐标系鸢尾花的平行坐标系 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 27 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 28 李春权 数据挖掘 哈尔滨医科大学 生物信息科学与技术学院 2011 29 其他可视化技术其他可视化技术l星形坐标（Star Plots） 与平行坐标系相似，但坐标轴从一中心点向四周发散 所有的属性值都映射到0，1区间 每个对象映射成一个多边形lChernoff 脸（Chernoff Face