第-3-章---数据的整理与显示1

第第 3 章章 数据的整理与显示数据的整理与显示 3 1 数据的预处理数据的预处理 3 2 统计分组与频数分布统计分组与频数分布 3 3 统计图统计图 3 4 统计表统计表 学习目标学习目标 了解数据预处理的内容和目的了解数据预处理的内容和目的 掌握统计分组的方法掌握统计分组的方法 掌握品质数据的整理与图示方法掌握品质数据的整理与图示方法 掌握数值型数据的整理与图示方法掌握数值型数据的整理与图示方法 用用 Excel 作频数分布表和统计图作频数分布表和统计图 合理使用统计表合理使用统计表 统计应用统计应用 把数据画图之后 要用用脑袋把数据画图之后 要用用脑袋 沃德沃德 Abraham Wald 和许多统计学家一样 在第二次世界大战时也处理了战争与相关的问和许多统计学家一样 在第二次世界大战时也处理了战争与相关的问 题 他发明的一些统计方法在战时被视为军事机密 以下是他提出的概念中较简单的一种题 他发明的一些统计方法在战时被视为军事机密 以下是他提出的概念中较简单的一种 沃德被咨询飞机上什么部位应该加强钢板时 开始研究从战役中返航的军机上受敌军创伤的沃德被咨询飞机上什么部位应该加强钢板时 开始研究从战役中返航的军机上受敌军创伤的 弹孔位置 他画了飞机的轮廓 并且标识出弹孔的位置 资料累积一段时间后 几乎把机身各弹孔位置 他画了飞机的轮廓 并且标识出弹孔的位置 资料累积一段时间后 几乎把机身各 部位都填满了 于是沃德建议 把剩下少数几个没有弹孔的部位补强 因为这些部位被击中的部位都填满了 于是沃德建议 把剩下少数几个没有弹孔的部位补强 因为这些部位被击中的 飞机都没有返航飞机都没有返航 数据的预处理数据的预处理 数据的审核数据的审核 检查数据中的错误检查数据中的错误 数据的筛选数据的筛选 找出符合条件的数据找出符合条件的数据 数据排序数据排序 升序和降序升序和降序 寻找数据的基本特征寻找数据的基本特征 一 数据审核 数据审核数据审核 原始数据原始数据 审核的内容审核的内容 完整性审核完整性审核 应调查的单位或个体是否有遗漏应调查的单位或个体是否有遗漏 调查项目或指标是否填写齐全调查项目或指标是否填写齐全 准确性审核准确性审核 内容是否真实反映客观实际情况内容是否真实反映客观实际情况 是否有错误 逻辑检查 计算检查是否有错误 逻辑检查 计算检查 数据的审核数据的审核 二手数据二手数据 适用性审核适用性审核 数据的来源 口径以及有关的背景材料数据的来源 口径以及有关的背景材料 数据是否符合自己分析研究的需要数据是否符合自己分析研究的需要 时效性审核时效性审核 最新的数据最新的数据 确认是否要做进一步的加工整理确认是否要做进一步的加工整理 二 数据筛选二 数据筛选 数据筛选数据筛选 数据筛选的内容包括数据筛选的内容包括 将某些不符合要求的数据或有明显错误的数据予以剔除将某些不符合要求的数据或有明显错误的数据予以剔除 将符合某种特定条件的数据筛选出来将符合某种特定条件的数据筛选出来 数据筛选数据筛选 用用 Excel 进行数据筛选进行数据筛选 三 数据排序 数据排序数据排序 将数据按一定顺序排列 以发现一些明显的特征或趋势 将数据按一定顺序排列 以发现一些明显的特征或趋势 排序有助于对数据检查纠错 以及为重新归类或分组等提供依据排序有助于对数据检查纠错 以及为重新归类或分组等提供依据 在某些场合 排序本身就是分析的目的之一在某些场合 排序本身就是分析的目的之一 数据排序数据排序 方法方法 分类数据的排序分类数据的排序 字母型数据 升序 降序 字母型数据 升序 降序 汉字型数据 按首位拼音字母排列 或按笔画多少排序 汉字型数据 按首位拼音字母排列 或按笔画多少排序 数值型数据的排序数值型数据的排序 递增排序 递增排序 x 1 x 2 x 2 x n 数据排序数据排序 方法方法 用用 Excel 进行数据排序进行数据排序 一 统计分组的概念及方法一 统计分组的概念及方法 一 统计分组的概念 一 统计分组的概念 根据统计研究的目的和客观现象的内在特点 按照一定的标志把被研究总体划根据统计研究的目的和客观现象的内在特点 按照一定的标志把被研究总体划 分为若干个性质不同但又有联系的组 称为统计分组 分为若干个性质不同但又有联系的组 称为统计分组 二 统计分组的方法统计分组的方法 1 按品质标志分组 按品质标志分组 按研究对象的某种属性特征分组按研究对象的某种属性特征分组 1 简单分组 人口按性别分组 企业按行业分组 学生按专业分组等等 简单分组 人口按性别分组 企业按行业分组 学生按专业分组等等 2 复合分组 对总体按两个或两个以上的标志进行的重叠式分组 复合分组 对总体按两个或两个以上的标志进行的重叠式分组 例如 我国把社会经济部门分为第一产业 第二产业 第三产业 第一产业又可分为农 林 例如 我国把社会经济部门分为第一产业 第二产业 第三产业 第一产业又可分为农 林 牧 渔业 牧 渔业 复合分组表 2 按数量标志分组 按数量标志分组 按表现总体数量特征的标志进行分组按表现总体数量特征的标志进行分组 例如 人口按年龄分组 企业按销售额分组等例如 人口按年龄分组 企业按销售额分组等 1 单项式分组 每组变量值是一个值 单项式分组 每组变量值是一个值 2 组距式分组 组距式分组 每组变量值是一个区间 每组变量值是一个区间 某车间工人产量分组表某车间工人产量分组表 某地区某地区 120 家企业按利润分组表家企业按利润分组表 二 频数分布二 频数分布 频数分布的概念频数分布的概念 频数频数 frequency 落在某一组中的数据个数 落在某一组中的数据个数 频数分布 把各个组及其相应的频数全部列出 并用表格形式表现出来 称为频数分布 频数分布 把各个组及其相应的频数全部列出 并用表格形式表现出来 称为频数分布 比率比率 ratio 各组次数与总次数之比 各组次数与总次数之比 百分比百分比 percentage 将比率乘以 将比率乘以 100 得到的值得到的值 一 品质数据的频数分布 一 品质数据的频数分布 1 分类数据的频数分布表 分类数据的频数分布表 1 列出各类别 列出各类别 1 分类数据整理 分类数据整理 频数分布表频数分布表 2 顺序数据的整理 顺序数据的整理 1 累积频数 累积频数 cumulative frequencies 各类别频数的逐级累加 各类别频数的逐级累加 2 累积频率 累积频率 cumulative percentages 各类别频率 各类别频率 百分比百分比 的逐级累加的逐级累加 向上累积 由第一项向最后一项累加 变量值由小到大累加 向上累积 由第一项向最后一项累加 变量值由小到大累加 向下累积 由最后一项向第一项累加 变量值由大到小累加 向下累积 由最后一项向第一项累加 变量值由大到小累加 3 分类汇总 分类汇总 如果我们已经建立了一张某单位部分人事统计表 如下所示 试按职称进行分类汇总 如果我们已经建立了一张某单位部分人事统计表 如下所示 试按职称进行分类汇总 4 数据透视表 数据透视表 可以从复杂的数据中提取有用的信息可以从复杂的数据中提取有用的信息 可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图 形成一个符合需要的交叉表形成一个符合需要的交叉表 列联表列联表 注意 数据源表中的首行必须有列标题注意 数据源表中的首行必须有列标题 数据透视表数据透视表 用用 Excel 创建数据透视表创建数据透视表 第第 1 步 在步 在 Excel 工作表中建立数据清单工作表中建立数据清单 第第 2 步 选中数据清单中的任意单元格 并选择步 选中数据清单中的任意单元格 并选择 数据数据 菜单中的菜单中的 数据透视表和数据透视图数据透视表和数据透视图 第第 3 步 确定数据源区域步 确定数据源区域 第第 4 步 在步 在 向导向导 3 步骤之步骤之 3 中选择数据透视表的输出位置 然后选择中选择数据透视表的输出位置 然后选择 布局布局 第第 5 步 在步 在 向导向导 布局布局 对话框中 依次将对话框中 依次将 分类变量分类变量 拖至左边的拖至左边的 行行 区域 上边的区域 上边的 列列 区域 将需要汇总的区域 将需要汇总的 变量变量 拖至拖至 数据区域数据区域 第第 6 步 然后单击步 然后单击 确定确定 自动返回 自动返回 向导向导 3 步骤之步骤之 3 对话框 然后单对话框 然后单 击击 完成完成 即可输出数据透视表 即可输出数据透视表 分组方法分组方法 1 单变量值分组 单变量值分组 要点要点 1 将一个变量值作为一组将一个变量值作为一组 2 适合于离散变量适合于离散变量 3 适合于变量适合于变量 值较少的情况值较少的情况 单变量值分组单变量值分组 实例 实例 117 122 124 129 124 129 117 130 122 125 123 131 125 127 122 133 126 122 118 124 121 125 123 126 133 130 127 123 118 122 122 134 127 123 125 125 120 123 127 130 126 126 128 128 124 125 123 128 124 125 单变量值分组表单变量值分组表 实例 实例 2 组距分组 组距分组 要点要点 将变量值的一个区间作为一组将变量值的一个区间作为一组 适合于连续变量或变量值较多适合于连续变量或变量值较多 遵循遵循 不重不漏不重不漏 的原则的原则 可采用等距分组 或不等距分组可采用等距分组 或不等距分组 组距分组步骤组距分组步骤 确定组数 可以按确定组数 可以按 Sturges 提出的经验公式来确定提出的经验公式来确定 组距分组组距分组 几个概念几个概念 1 下限下限 low limit 一个组的最小值 一个组的最小值 2 上限上限 upper limit 一个组的最大值 一个组的最大值 3 组距组距 class width 上限与下限之差 上限与下限之差 4 组中值组中值 class midpoint 下限与上限之间的中点值 下限与上限之间的中点值 频数分布表的编制频数分布表的编制 例题分析例题分析 频数分布表的编制步骤频数分布表的编制步骤 确定组数 确定组数 等距分组表等距分组表 上下组限重叠上下组限重叠 等距分组表等距分组表 上下组限间断上下组限间断 等距分组表等距分组表 使用开口组使用开口组 等距分组表等距分组表 使用开口组使用开口组 不等距分组不等距分组 等距分组与不等距分组 在表现频数分布上的差异 等距分组与不等距分组 在表现频数分布上的差异 等距分组等距分组 各组频数的分布不受组距大小的影响各组频数的分布不受组距大小的影响 可直接根据绝对频数来观察频数分布的特征和规律可直接根据绝对频数来观察频数分布的特征和规律 不等距分组不等距分组 各组频数的分布受组距大小不同的影响各组频数的分布受组距大小不同的影响 各组绝对频数的多少不能反映频数分布的实际状况各组绝对频数的多少不能反映频数分布的实际状况 用频数密度 频数密度 频数用频数密度 频数密度 频数 组距 反映频数分布的实际状况组距 反映频数分布的实际状况 3 3 统计图统计图 一 品质数据统计图一 品质数据统计图 二 数值型数据统计图二 数值型数据统计图 三 统计绘图的综合运用三 统计绘图的综合运用 洛伦茨曲线洛伦茨曲线 一 品质数据统计图一 品质数据统计图 一 条形图和柱形图 一 条形图和柱形图 用宽度相同的条形的高度或长短来表示各类别数据的图形用宽度相同的条形的高度或长短来表示各类别数据的图形 有单式条形图 复式条形图等形式有单式条形图 复式条形图等形式 绘制时 各类别可以放在纵轴 称为条形图绘制时 各类别可以放在纵轴 称为条形图 bar Chart 也可以放在横轴 称为柱形图 也可以放在横轴 称为柱形图 柱形图柱形图 例题分析例题分析 条形图条形图 例题分析例题分析 对比条形图对比条形图 分类变量在不同时间或不同空间上有多个取值分类变量在不同时间或不同空间上有多个取值 对比分类变量的取值在不同时间或不同空间上的差异或变化趋势对比分类变量的取值在不同时间或不同空间上的差异或变化趋势 对比条形图对比条形图 例题分析例题分析 二 饼图 二 饼图 也称圆形图 是用圆形及圆内扇形的面积来表示数值大小的图形也称圆形图 是用圆形及圆内扇形的面积来表示数值大小的图形 主要用于表示总体或样本的结构主要用于表示总体或样本的结构 三 环形图 三 环形图 环形图中间有一个环形图中间有一个 空洞空洞 总体中的每一部分数据用环中的一段表示 总体中的每一部分数据用环中的一段表示 环形图与圆形图类似 但又有区别环形图与圆形图类似 但又有区别 圆形图只能显示一个总体的构成情况圆形图只能显示一个总体的构成情况 环形图则可以同时绘制多个总体的数据系列环形图则可以同时绘制多个总体的数据系列 环形图可用于结构比较研究环形图可用于结构比较研究 环形图环形图 例题分析例题分析 直方图直方图 用矩形的宽度和高度来表示频数分布用矩形的宽度和高度来表示频数分布 本质上是用矩形的本质上是用矩形的面积面积来表示频数分布来表示频数分布 在直角坐标中 用横轴表示数据分组 纵轴表示频数或频率 各组与相应的频数就形成了一个在直角坐标中 用横轴表示数据分组 纵轴表示频数或频率 各组与相应的频数就形成了一个 矩形 即直方图矩形 即直方图 直方图下的总面积等于直方图下的总面积等于 1 直方图的绘制直方图的绘制 直方图与条形图的区别直方图与条形图的区别 条形图是用条形的长度表示各类别频数的多少 其宽度条形图是用条形的长度表示各类别频数的多少 其宽度 表示类别表示类别 则是固定的则是固定的 直方图是用面积表示各组频数的多少 矩形的高度表示各组的频数或百分比 宽度表示各组直方图是用面积表示各组频数的多少 矩形的高度表示各组的频数或百分比 宽度表示各组 的组距 其高度与宽度均有意义的组距 其高度与宽度均有意义 直方图的矩形是连续排列 条形图则是分开排列直方图的矩形是连续排列 条形图则是分开排列 条形图主要用于展示品质数据 直方图则主要用于展示数值型数据条形图主要用于展示品质数据 直方图则主要用于展示数值型数据 茎叶图茎叶图 用于显示未分组的原始数据的分布用于显示未分组的原始数据的分布 由由 茎茎 和和 叶叶 两部分构成 图形是由数字组成的两部分构成 图形是由数字组成的 高位数值作树茎 个位数字作树叶高位数值作树茎 个位数字作树叶 茎叶图与直方图的区别茎叶图与直方图的区别 直方图可观察数据的分布状况 但没有具体的数值直方图可观察数据的分布状况 但没有具体的数值 茎叶图既能给出数据的分布状况 又保留了原始数据的信息茎叶图既能给出数据的分布状况 又保留了原始数据的信息 直方图适用于大批量数据 茎叶图适用于小批量数据直方图适用于大批量数据 茎叶图适用于小批量数据 茎叶图茎叶图 例题分析例题分析 茎叶图茎叶图 扩展的茎叶图扩展的茎叶图 箱线图箱线图 用于显示未分组的原始数据的分布用于显示未分组的原始数据的分布 绘制方法是 绘制方法是 首先找出一组数据的首先找出一组数据的 5 个特征值 即最大值 最小值 中位数个特征值 即最大值 最小值 中位数 Me 和两个四分位数和两个四分位数 下四分位下四分位 数数 QL和上四分位数和上四分位数 QU 连接两个四分位数画出箱子 再将两个极值点与箱子相连接连接两个四分位数画出箱子 再将两个极值点与箱子相连接 该箱线图也称为该箱线图也称为 Median Quart Range 箱线图箱线图 单批数据箱线图单批数据箱线图 箱线图的构成箱线图的构成 单批数据箱线图单批数据箱线图 例题分析例题分析 分布的形状与箱线图分布的形状与箱线图 多批数据箱线图多批数据箱线图 例题分析例题分析 多批数据箱线图多批数据箱线图 例题分析例题分析 多批数据箱线图多批数据箱线图 例题分析例题分析 箱线图箱线图 K 线图线图 上证指数上证指数 K 线图线图 折线图折线图 绘制折线图时应注意绘制折线图时应注意 时间一般绘在横轴 指标数据绘在纵轴时间一般绘在横轴 指标数据绘在纵轴 图形的长宽比例要适当 大致为图形的长宽比例要适当 大致为 10 7 一般情况下 纵轴数据下端应从一般情况下 纵轴数据下端应从 0 开始 以便于比较 数据与开始 以便于比较 数据与 0 之间的间距过大时 可以之间的间距过大时 可以 采取折断的符号将纵轴折断采取折断的符号将纵轴折断 折线图折线图 例题分析例题分析 折线图折线图 例题分析例题分析 两个变量间的关系两个变量间的关系 二维散点图二维散点图 展示两个变量之间的关系展示两个变量之间的关系 用横轴代表变量用横轴代表变量 x 纵轴代表变量 纵轴代表变量 y 每组数据 每组数据 xi yi 在坐标系中用一个点表示 在坐标系中用一个点表示 n 组数据在组数据在 坐标系中形成的坐标系中形成的 n 个点称为散点 由坐标及其散点形成的二维数据图个点称为散点 由坐标及其散点形成的二维数据图 两个变量间的关系两个变量间的关系 二维散点图二维散点图 三个变量间的关系三个变量间的关系 气泡图气泡图 显示三个变量之间的关系显示三个变量之间的关系 图中数据点的大小依赖于第三个变量图中数据点的大小依赖于第三个变量 多变量数据多变量数据 雷达图雷达图 也称为蜘蛛图也称为蜘蛛图 spider chart 显示多个变量的图示方法显示多个变量的图示方法 假定各变量的取值具有相同的正负号假定各变量的取值具有相同的正负号 可用于研究多个样本之间的相