数据基础分析及研究5

马秀麟数据分析方法及应用2019年3月第3讲基本统计分析——统计描述一、数据统计描述中的概念0.综述基本特点数据统计分析中的数据都是数值型的。四个方面数值型量的类型定类变量（名义变量）——整型定序变量（序号变量）——整型定距变量（度量变量）——连续变量。（实数）基本统计量集中性量、离散性（波动性）量、偏离性分布形态描述正态、泊松、指数等缺失值一、数据统计描述中的概念1、关于测量的描述&概念不同的测量及语境对同一实物的多次测量真值，测量值（观察值）、误差对一类事物中不同个体的测量均值、测量值（观察值）、离差对理想状态（计算状态）与现实状态的描述期望值、测量值（观察值）、残差一、数据统计描述中的概念2.三类数值型变量度量型变量（定距变量、连续变量）高测度、连续取值序号变量（定序变量）低测度、离散型取值、有大小之分例如：5级量表的取值名义变量（定类变量）低测度、离散型取值、无大小之分例如：性别、单位编号、学号等在统计中通常不作为统计量，常用作分组依据一、数据统计描述中的概念3、对定距变量的描述方式(1)集中性描述均值（Mean）中位数（Medium）排序后位于正中间的数。如果有偶数个数据，则为中间2个数的均值。一、数据统计描述中的概念3.对定距变量的统计描述技术(2)离散性描述概念：反映数据序列的波动程度，或者说偏离均值的程度。关键技术离差：当前数据与均值的差。全体数据的离差之和为0.一、数据统计描述中的概念3.对定距变量的统计描述技术(2)离散性描述方差：方差是离差平方和的均值。两种算法：离差平方和/样本数n——基于总体数据Varp(数据序列)离差平方和/自由度——基于样本估算总体方差Var(数据序列）一、数据统计描述中的概念标准差（Std.Deviation）：方差的算术平方根。反映样本量偏离均值的程度。两种算法：基于总体数据的标准差STDEVP(数据序列)基于样本估算的标准差STDEV(数据序列)正态分布的数据68.3%在正负1倍的标准差范围之内一、数据统计描述中的概念扩展概念均值的标准误（Std.ErrorMean）——SE.Mean含义：多个样本组的均值的波动程度（以均值为基准的标准差）在等精度多次测量中：反应样本组均值偏离真值的程度在多次抽样测量中：反应样本组均值偏离总体均值的程度公式：标准误=平方根（方差/样本数n）标准误（SE）=标准差/平方根(n)一、数据统计描述中的概念补充说明标准差与标准误的对比基本作用标准差反映样本量偏离均值（真值）的程度（或样本个体变异量的大小），是数据精密度的衡量指标；标准误反映样本组均值偏离总体均值的程度，是测量精准度(或抽样波动性)的衡量指标——反应量度精度。实际应用标准差用来描述样本针对均值的偏离水平：M±SD；标准误是对一组测量数据可靠性的估计。标准误越小，测量的可靠性大一些，反之，测量就不大可靠。标准误常常与置信度结合在一起使用。M±SE。一、数据统计描述中的概念标准差系数（CV）：即均方差系数，离散系数；从相对角度观察的差异和离散程度，在比较相关事物的差异程度时较之直接比较标准差要好些。反映标志变动程度的相对指标原因：标准差受样本值域的影响（5分制成绩与百分制成绩计算标准差）标准差系数=标准差/均值。一、数据统计描述中的概念全距（极差）描述样本值的最大范围最大值与最小值的差——适应于定距变量，易受奇异值的影响四分位差（三分位的值）—（一分位的值）即75%处的值减去25%之处的值（箱体图的范围）奇异值与极端值一、数据统计描述中的概念4.对定序变量的统计描述(1)集中性描述中位数(medium)众数（mode）出现次数最多的数据(2)离散性描述高测度数据可借助定距变量的方差与标准差的概念。低测度数据四分位数四分位差一、数据统计描述中的概念5.对定类变量的统计描述(1)集中性描述众数(2)离散性描述异众比率计算非众值次数与样本数的比率。可最快求出一、数据统计描述中的概念6、缺失值概念数据采集中获得的“空白”或者“不合理”数据对数据分析的影响影响分析结果的准确性处理排除不允许带缺失值的个案参与运算预处理对缺失值数据进行适当填充一、数据统计描述中的概念7.数据的分布形态(1)正态分布是一种理想化的分布形态，也叫高斯分布。若随机变量服从一个位置参数为u、尺度参数为ð的概率分布，且其概率密度函数满足：则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布。理想化的正态分布满足u=0,ð=1。U是位置，ð是标准差。一、数据统计描述中的概念一、数据统计描述中的概念正态分布的标记变量偏度描述统计数据分布形态对称性的统计量相对于正态分布（或t分布形态）内涵：偏度大于0，为正偏——向左偏偏度小于0，为负偏——向右偏峰度描述变量值分布形态陡缓程度的统计量。相对于正态分布内涵：其值与正态分布标准曲线对比。大于0，更陡；小于0；较缓。一、数据统计描述中的概念(2)均匀分布（随机分布）也叫相等分布在各个区间的分布概率接近相等一、数据统计描述中的概念(3)泊松分布一种离散的概率分布形式：若随机变量X只取非负整数值0,1,2,...,且其概率分布服从则随机变量X的分布称为泊松分布，记作P(λ)。含义：在固定期望值的条件之下，单位时间内独立事件发生的概率，满足泊松分布。例如：大数据情况下，每分钟有10个人（不关联、独立）进入车站。但在具体的某一分钟内，进入车站的人数满足泊松分布。一、数据统计描述中的概念一、数据统计描述中的概念适应性描述适应于小概率发生的随机事件，事件发生概率满足二元规则。在实际事例中，泊松分布反应：对一个独立、具有固定期望的随机事件，其单位时间内发生的概率。其核心思想为：已知：总体固定期望（概率）、独立事件反应：具体某一时段内的发生概率例如：某电话交换台收到的呼叫；来到某公共汽车站的乘客；某放射性物质发射出的粒子；显微镜下某区域中的白血球等。一、数据统计描述中的概念(4)指数分布在统计学中，指某一时刻事件发生的概率满足以“入”为控制量、时间t为自变量的指数关系。一、数据统计描述中的概念一、数据统计描述中的概念其含义：适宜解决无记忆性的事情发生的概率。对于单一事件的发生而言，与时间无关。指数分布为“永远年青”的分布。例如：车站每分钟会来10个人。下一个人到来的时间间隔满足指数分布。具体应用。在学校门口等人，在7点来不来人与你等待的时间无关。如果把X解释为仪器寿命，这表明如果已知X的寿命大于t年，则它再活s年的概率与年龄t无关。总体分布满足指数关系。一、数据统计描述中的概念(4)对分布形态的总结正态分布、指数分布、泊松分布都是一种数学模型；在实际应用中，可先判断样本所满足的分布形态，然后再决定采取何种处理方法？基于数据形态可以做数据分析、数据挖掘与预测。一、数据统计描述中的概念8、小结(1)集中性描述量均值中位数众数适用于定距数据、定序数据适用于定序数据、定距数据适用于定类数据、定序数据计算时要用到全部数据只需中间数据可最快求出受极端值的影响对极端值不敏感有时对个别值的变动也很敏感分组变化时影响不大分组变化时有些影响分组变化时影响较大一、数据统计描述中的概念(2)离散性描述量标准差四分位差异众比率适用于定距数据适用于定序数据适用于定类数据计算时用到全部数据只需要其中两段的数据计算非众值次数与样本数的比率。可最快求出受极端值的影响大对极端值不敏感有时对个别值的变动也很敏感二、SPSS中的统计描述1、频数统计方案1：菜单：分析——描述统计——频率细项左下角“显示频率表格”选择“统计量”执行样本的抽样执行bootstrap设置置信区间抽样方式：简单抽样分层抽样二、SPSS中的统计描述方案2：菜单分析——报告——个案汇总细项左下角的“”选择“统计量”选择“分组变量”执行样本的抽样二、SPSS中的统计描述方案3：菜单分析—描述统计——交叉表细项选择“行”统计量；选择“列”统计量；执行“确定”。二、SPSS中的统计描述2、集中性描述内容均值众数与中位数方案1：菜单：分析——描述统计——频率细项选择“统计量”选择“计算项”二、SPSS中的统计描述方案2：菜单：分析——描述统计——描述细项选择“统计量”选择“计算项”二、SPSS中的统计描述3、离散性描述内容方差与标准差均值的标准误标准差除以样本数的平方根方案1：菜单：分析——描述统计——频率细项选择“统计量”选择“计算项”二、SPSS中的统计描述方案2：菜单：分析——描述统计——描述细项选择“统计量”选择“计算项”二、SPSS中的统计描述4、分布方式描述内容判断数据满足什么形态正态分布、t分布、指数分布、均匀分布等方法Q-Q图P-P图二、SPSS中的统计描述操作过程——方法1菜单分析——描述统计——Q-Q图(或QQ图)细项选择“统计量”；选择“分布类型”设置数据预处理方式执行“确定”观察运行结果现行散点与预期直线的吻合度。吻合度高：满足，吻合度低，不满足。二、SPSS的统计描述操作过程——方法2菜单分析——非参数检验——旧对话框——1样本k-S检验细项选择“被检验的变量”左下角选择“检验分布”类型常规——正态分布指数分布泊松分布执行“确定”结果检验概率大于0.05，符合正态分布检验概率小于0.05，不符合正态分布二、SPSS中的统计描述5、综合探索与统计图统计图箱体图中间的50%，奇异值茎叶图频数（叶宽），茎，叶（内容）统计数据分组统计频数分组计算M估算值等二、SPSS中的统计描述操作方案——绘制茎叶图或直方图菜单分析——描述统计——探索细项选定“因变量”统计量的设置——“统计量”统计图的设置——“绘制”（选中相应复选框）设置分组依据——“因子”变量设置“输出”类型执行“确定”二、SPSS中的统计描述操作方案——绘制箱体图菜单图形——旧对话框——箱图——定义细项选定“变量”选定“类别轴”执行“确定”按钮，得到箱体图二、SPSS中的统计描述阅读输出结果对箱体图的理解箱体（中部50%的样本，呈现中位线）奇异值、极端值对茎叶图的理解频数茎叶、茎宽其他的统计图条形图饼图直方图二、SPSS中的统计描述6、摘要报告(1)在线摘要报告——OLAP立方菜单分析——报告——OLAP立方细项选择“摘要变量”与“分组变量”设置“统计量”执行“确定”观察结果可双击结果项，然后选择不同的分组值二、SPSS中的统计描述(2)行汇总摘要用途对于指定列，统一以列表方式显示其个数、均值、最大值等统计信息操作方法菜单：分析——报告——描述细项选择多个“数据列”选择总摘要项目——右上角“摘要”按钮选作：添加“分组列”设置分组摘要项目——右下角的“摘要”按钮阅读结果二、SPSS中的统计描述(3)列汇总摘要用途对于指定的若干列，分别以不同的要求进行摘要（比如语文求和、数学求均值等）方法菜单分析—报告——按列汇总细项选择某个“数据列”，设置其“摘要”类型，设置列标题选作：选择“分组列”，以便分组摘要设置“分组摘要”的属性阅读结果三、SPSS中变量的高级变形1、秩分(1)秩分的概念与价值定义即依据某一种规则对数据序列中的数据重新编制序号，这个序号的值称为这种规则下的秩。价值在对非正态分布数据的处理中，将大量地使用秩分的概念。(2)秩分的类型秩分方向升序、降序秩分值的形式最小值、最大值、均值其他秩分类型指数分布变量秩分百分比（秩分/权重）三、SPSS中变量的高级变形1、秩分(3)创建秩分变量在