统计学入门介绍2015

1、课 程 大 纲,一、何为统计学 1.1 定义 1.2 统计分析方法的类别 1.3 统计学相关名词 二、变量及其分布 2.1 变量及类型 2.2 正态分布 2.3 其他常见分布 2.4 中心极限定理,1,三、统计量及抽样分布 3.1 何为统计量 3.2 三大抽样分布 四、参数估计 4.1 点估计 4.2 区间估计,课 程 大 纲,五、图形分析 5.1 直方图 5.2 箱型图 5.3 散点图 5.4 时间序列图 六、假设检验 6.1 假设检验定义及原理 6.2 均值检验,2,6.3 方差检验 6.4 One Way ANOVA 6.5 Two Way ANOVA 6.6 比例检验 七、相关与回归

2、7.1 相关分析 7.2 回归分析,何为统计学,3,何为统计学,统计学定义,以上所有例子，都要通过各种直接或间接的手段来搜集数据，都要利用相应方法来整理和分析数据，最后通过分析得到结论。,4,统计学分析方法的类别,5,一般来说，推论统计分析是在描述统计分析的基础上进行的，两种分析方法密不可分；,统计学分析方法的类别,描述统计与推论统计的联系：,6,统计名词,总体：研究对象所有个体的集合 样本：由总体中抽取部分个体所组成的集合 一般n30 称为小样本，n30 则称为大样本 总体参数：表达总体特征的指标 统计量：表达样本特征的量数，也称样本统计量 变量：统计学研究的对象，用数据衡量，根据其特性可分

3、为：,计量值（连续型）：可量化表示 - 例如：高度、膜厚、温度、CD、流量、阻值 - 常用的总体参数或统计量有平均数、标准差 计数值（离散型）：可分类表示 -例如：人数、不合格品数、亮点数、良率 -常用的总体参数或统计量有比例,7,变量及其分布,8,变量,当一个指标的取值固定为某个值时，我们称之为常量； 当一个指标的取值不固定时（多种可能性），我们称之为变量。,例如： 若用X表示32A05产品的mura检测结果，因该结果的值可能是”OK”、”NG”等各种可能，故X为变量。 若用CD表示28”产品的CD值，因制程的波动该值也是波动的，CD值不固定，故CD为变量。,变量：,变量的具体取值是用数据衡

4、量的,9,变量的数据类型,变量不能连续取值，能一 一列出样本点； 一般用数据表示其频数，故用计数型数据表示,变量能够连续取值，无法一 一列出样本点； 具体取值可用计量型数据表示,例：某产品defect类型检验结果； 一次掷20个硬币，硬币正面朝上的数量；,例： 28”产品的CD值； 华星员工食堂吃午饭，打饭的排队时间；,离散型变量：,连续型变量：,10,变量特征的测度,变量特征,中心趋势,分散程度,众数,中位数,平均值,一般用表示,一般用表示,标准偏差,全距,变异数,形状特征,偏态系数,峰态系数,11,变量的分布,变量的分布函数 F()：,为变量X的分布函数。 称 X 服从,例：投掷一个骰子，

5、求点数X不超过3的概率。, =(), , = 3 = 3 6 =0.5,解：,不同数据类型的变量用不同的方式衡量其分布状况,设X是一个离散型变量，若X的所有可能取值是 , , , , , 则称X取 的概率,12,离散型变量的分布列,对离散型随机变量，常用以下定义的分布列来表示其分布：,例：X为投掷两个骰子的点数之和，其分布列如下：, = =(= ),为X的概率分布列，简称分布列，记为, ,逐一列出每个可能的取值的概率,13,练习 现同时投掷两个骰子，Y为6点的骰子个数，Z为最大点数， 求随机变量Y的分布列 求随机变量Z的分布列,14,连续型变量的概率密度函数,例 膜厚X是一个随机变量。假如记录

6、10000笔膜厚值，我们将各膜厚的频率用直方图形式表示出来，x轴表示膜厚，y轴表示单位长度上的频率,对连续型随机变量，用概率密度函数来表示其分布状况：,( ),即为膜厚的概率密度函数,=0.1,=0.01, 0,X(, 2 )的概率密度函数如下： p = 1 2 () 2 2 2,15,正态分布,在统计学上最重要的连续型分布是正态分布 特点：,正态分布的概率密度函数,中间高，两边低，对称的钟型; 均值=中位数=众数,16,正态分布(, )的图形特点,为位置尺度，决定图形的中心位置； 为形状尺度，决定图形的胖瘦。,固定s，变动m,固定m，变动s,17,正态分布的概率计算,中心到各标准偏差()之概

7、率如下,0.6826,0.9544,0.9973,曲线以下的面积等于概率,18,正态分布的概率计算,Excel计算公式如下： P（X15）=1- P（X=15） 若已知概率（假设P (X=z1)=0.8）,求区间点Z1，则 Z1=NORM.INV（p, , ）,XN（10， 3 2 ）,已知X服从N（10， 3 2 ）分布， 求X大于15的概率。,19,练习 假设1370站点CD值服从正态分布，平均值为16.5，标准差为0.5，规格为16.818.2 求超出规格上限的概率 CD大于Z的概率为0.025，求Z值 求该CD值的不良率（即，超出规格的概率）,20,一般正态分布,标准正态分布表示为 任

8、何一个一般的正态分布，可通过下面的线性变换转化为标准 正态分布,标准正态分布,21,标准正态分布的概率计算,Excel计算公式如下： P（X1.96）=1- P（X=1.96） 若已知概率（假设P (X=Z1)=0.8）,求区间点则 Z1=NORM.S.INV（p）,已知X服从N（0，1）分布， 求X大于1.96的概率。,XN（0，1）,22,正态性检验,23,其他常见连续分布,均匀分布,指数分布,例如： 比如旅客进机场的时间间隔、电话通话时间 电子元器件的寿命、动物的寿命 许多电子产品的寿命分布一般服从指数分布,f(x)=,， 其他,0,， axb,概率密度函数,l=0.5,l=1,l=2,

9、其中参数0，记作XExp() 期望：E(X)= 1/ 方差：D(X)=1/( 2),记作XU(a，b) 期望：E(X)=(a + b )/2 方差：D(X)=(b-a)2/12,分布函数,1 ,24,常见离散分布,二项分布,泊松分布,一般地，在n次独立重复试验中，用X表示事件A发生的次数，如果单次试验中A发生的概率是P，则不发生的概率q=1-p，N次独立重复试验中发生K次的概率是,那么就说K服从二项分布。 记作XB(n,p) 期望：E(X)=np 方差：D(X)=npq,P(X=k)=,(K=1,2,3,n）,例如： 良率的问题一般属于二项分布,泊松分布常与单位时间（单位面积、单位产品等）上的

10、计数过程相联系，例如：,(K=1,2,3,）,泊松分布的概率分布列为：,其中参数0，记作XP() 期望：E(X)= 方差：D(X)= ,在单位时间内，电话总机接到用户呼唤的次数 在单位时间内，一电路受到外界电磁波的冲击次数 1平方米内，玻璃上的气泡数 单片panel上的defect数, ,25,样本均值的分布,假如X1，X2， Xn是从均值为，方差为 2 的正态总体中抽取的样本值 其抽样的均值： 若将其视为另外一个变量 则 的均值为 ，方差为 且服从正态分布, = + + ,总体分布,样本均值 的分布,26,样本均值的分布,已知总体XN（50，102），若抽取样本，样本均值的分布如下：,X,样

11、本均值的标准差 = 样本均值的均值 =（总体均值）,27,中心极限定理,不论总体为何种分布，只要样本容量n 30，样本平均值的抽样分布近似于正态分布，假设总体均值为m，标准差为s。 即，当n足够大时，样本均值 服从, ， 2 ,JMP操作,28,统计量及抽样分布,29,统计量,总体,样本,最常见的统计量：平均值 m 标准差 s,= 2,设 为取自某总体的样本，若样本函数 中不含任何未知参数，则称T为统计量，统计量的服从的分布称为抽样分布。,定义, 1 , 2 , ,=( 1 , 2 , ),统计量,30,三大抽样分布,卡方分布 t 分布 F 分布,31,卡方分布,32,卡方分布的计算,Exce

12、l计算公式：, 10.05 2 10 = 0.05,10 =18.31,1= 1 2 ,true,10.05= 18.31,10 =0.95,33,卡方统计量的构建,设x1,x2,. ,xn是来自N（m,s2）的样本，其中样本均值和样本方差分别为,34,F分布,35,F分布的计算,36,F统计量的构建,37,t 分布,定义：设随机变量X1与X2独立且X1N（0,1），X2 （n），则称 的分布为自由度为n的t分布，记为 t t（n）。,Z分布,不同自由度的t分布,自由度n越大，t分布越接近正态； 一般n=30，可认为正态, ,= /,t分配受两个变量的影响（ ），因此其变异会较标准正态分布来的

13、大 当t 分布的自由度越大时，会越接近标准正态分布 也就是说,38,t 分布的性质,Z分布,不同自由度的t分布,39,t 统计量的构建,大部分的情况下，总体标准是未知的! 当未知，且样本不够大时，可以用样本标准偏差s替代，仍可得到跟正态分布接近的性质 t分布的自由度是n-1,40,t 分布的计算,41,参数估计,42,估计,点估计：以样本统计量为基础估计参数,推测某一分布的母数值是多少的方法，包括 点估计 和 区间估计 。,估计,估计,请注意：点估计没有误差的概念，即不知道抽取的样本之估计值与总体真值的接近程度。,43,估计,估计,区间估计：与点估计不同，估计参数存在的范围（区间） = 点估计

14、 抽样误差,考虑了抽样误差,置信区间的计算：,a. 根据一组样本观察值； b. 给定某区间可以估计总体参数的概率；,计算出总体参数的估计范围,44,估计,置信水平,置信水平一般表示为(1-)，意思是总体参数落在该置信区间内的概率。,例如：95%的 置信区间，是指100次取样中，求得的 100个置信区间中 ，有95个包含总体平均。, 为显著性水平，是总体参数未在区间内的概率，在假设检验中，为第一类风险； 常用的置信水平(1-)有99%，95%，90% 相对应的显著性水平为0.01，0.05，0.1,存在总体参数不在置信区间内的风险，该风险概率为,45,Xi,1-,/2,/2,1) 总体s已知时,

15、对平均()的置信区间, = ? = 10.5 10.5 ?,2= ? s2= 3.8 3.8 ?,对平均()的区间估计,对变异（2）的的区间估计,估计,置信区间的计算公式,1) 总体s未知时,对变异（2）的置信区间, (n1) 2 1/2 2 n1 ， (n1) 2 /2 2 n1 ,46,估计,置信区间的计算练习：,现抽取10片32A05产品，每片在同一点位量测其CD1值（第一层），数据如下：,请问：CD1的均值和方差的置信区间分别为多少？（取=0.05）,在JMP中创建新数据表，输入以上数据； 操作：分析分布,47,估计,JMP操作：,在JMP中创建新数据表，输入以上数据； 操作：分析分布

16、 平台选单置信区间,注：默认置信水平为95%，可在平台选单中修改置信水平,现在，请尝试用excel计算出以上结果,常用统计分析方法汇总,48,图形分析,49,50,直方图,51,区分data的区间，显示分布形态和中心位置及变异，能看到连续性资料的分布模样。,直方图,用以了解一群数据之分布状况，及其中心值与变异情形。,直方图分析目的,1. 观察数据分布形态,1）数据的中心位置,2）数据的离散程度,2. 与规格的关系,将产品特性值数据与规格进行比较,52,正态型,陡壁型,缺齿型,偏态型,平顶型,孤岛型,双峰型,.,制订层别的矩形图 而比较.,重新制订 层别的矩形图的话， 2个分布的差就明确.,常见

17、直方图形态,直方图与规格进行比较,53,与规格比较,(1) 满足规格时,LSL,USL,特性值都满足规格，但制程变异尚有较大改善空间,特性值都满足规格，且制程非常稳定。,LSL,USL,特性值都满足规格，且制程非常稳定，但是制程整体偏离中心位置（目标）。,直方图与规格进行比较,54,与规格比较,(2) 不满足规格时,LSL,USL,LSL,USL,制程稳定，但是特性值偏离中心目标值，导致超出规格,中心与目标值一致，但特性值的变异大而存在超过规格的数据。,LSL,USL,数据的中心偏离目标值很大，特性值的变异也很大,制程很不稳定，很多数据超出规格。,备注：在计算制程能力时，可先用直方图做初步观察

18、。,案例A01,现已搜集32A05产品CD1，请用直方图分析其分布状况：,案例,55,打开“直方图.jmp”数据表； 操作：图形图形生成器,鼠标放在图形区域，右击，选择直方图,注：将数据拖到Y轴也可,案例A01,案例,56,图形看起来没有太大问题，可将其与规格进行比较，规格为15+/-1.5,By机台层别分析 操作：将“机台”拖到Y轴,对比两个机台，可得出什么结论？,57,什么是箱型图,对X测定的Y值可用 Box形态表示，用于确认分布的模样，以及数据的中央值、最小值、4分位数、最大值、异常点，也可以分析几个Group之间对数据分布的差异点,58,箱型图,箱型图的解释,50分位（中位数）,Q3

19、+ 1.5 (Q3 - Q1) 内最大值,Q1 - 1.5 (Q3 - Q1) 内最小值,75分位（第三四分位数）Q3,25分位（第一四分位数）Q1,异常点（Outlies）,*,数据的中间 50% IQR= Q3-Q1,59,箱型图,案例A01,针对上个案例A01，请做箱型图分析：,打开“直方图.jmp”数据表； 操作：图形图形生成器,鼠标放在图形区域，右击，选择箱型图,60,箱型图,案例A01,从箱型图可得出什么结论？,61,箱型图,范例,62,定义：,以纵轴表示因变量，以横轴表示自变量，用点表示出分布型态，根据分布的型态判断对应数据之间的相互关系的图形。,63,散点图,目的,用以探索分析

20、成对的二个连续型变量数据之间的关系,适用时机,原因分析、真因证实,散点图常见形态,散点图,64,65,散点图,案例A02：,散布图注意事项,注意是否有异常点存在，亦即该点与其他点相距很远。 是否有必要加以层别，亦即由数据看是无相关，但将数据分群后却发现具有相关，反之亦然。因此一个相关与否的散布图需放入单纯且必要的数据。,67,时间序列图,显示随时间经过的数据变化； 可通过时间序列图观察特性值是否存在时间趋势或存在周期性； 掌握随时间经过对制程Data有何影响，掌握是否有因异常原因的工序变化。,68,时间序列图,69,时间序列图,案例A04：,每月客返品中均有不规则mura，现针对每月搜集的累计

21、不规则mura产品数，做数据分析，以期预估未来不规则mura数量趋势。,打开“不规则mura.jmp”数据表； 操作：图形图形生成器,鼠标放在图形区域，右击，选择箱型图,70,时间序列图,案例A04：,从该时间序列图可得出什么结论？,备注：必要时可在JMP软件中通过“分析建模时间序列”操作，进行时间序列建模分析,71,时间序列图,范例：,72,图形分析注意事项,图形分析只是数据分析的第一步，利用图形直观地做出初步判断，具体尚需做进一步推论统计分析验证 做图形分析时，要注意使用层别法,假设检验,73,假设检验,1,2,3,4,5,假设检验基本概念,平均值检验,变异数检验,比例检验,单因子方差分析

22、,74,案例A1,原厂内产品不良率为1.5%，工程师陈某负责该产品良率，经过1个月的努力，现将给改善对策进行小量试产，共run 250片产品，发现2片不良。据此，该工程师声称，良率得到改善，决定量产。,为什么需要假设检验,75,0.8%跟1.5%之间的差异，到底是真的存在此差异？还是差异只是因正常抽样而导致的差异？在统计上是否有意义呢？,提问：,别担心，假设检验可以为您解决这个困扰！,原假设 （简称H0）：,也叫虚无假或零假设； 通常H0 叙述的是无效果 或无差别； 先假设H0成立，后基于统计证据拒绝或不能拒绝H0。,对立假设 （简称H1或Ha）：,与H0对立的假设； 关于总体体参数的，在H0

23、被拒绝时可以成立的叙述。,一般含有等号，例如： H0： 1 =2H0： 1 =2H0： 1 =2,与H0对立，例如： H1 : 1 2H1 : 1 2,注意：1. 含有等号的均放在H0； 2. H1通常是想验证的结果。,假设检验基本概念,76,练习题 请写出以下各情形的H0和H1： 某制药会社 新开发的头痛药B比原有的头痛药A，药效能多持续30分钟； AC厂某工程师想知道膜厚机台A和机台B是否有差异；,以案例A1为例，建立H0和H1：,H0： （调整前）=（调整后） 统计意义：调整前和调整后的总体膜厚平均是相等的； 实际意义：wiping time调整前后PS膜厚没有差异,H1： （调整前）

24、（调整后） 统计意义：调整前和调整后的总体膜厚平均是不相等的； 实际意义： wiping time调整前后PS膜厚有差异,假设检验基本概念,77,假设检验中，建立H0 若H0成立，则 t t（m+n-2）,= 1 + 1 ,根据实际情况可设为 H0： m1 m2 或 H0： m1 =m2 V.S H1： m1m2 或 H0： m1 =m2 V.S H1： m1m2,当 = ，且未知时：,其中， = 1 +2 =1 2 + =1 2 = 1 2 +(1) 2 +2,98,2 sample t 检验,检验统计量： ; 若H0成立，则 t 近似服从t（L） （L推算复杂，此处不做解释）,= 2 +

25、2 ,当 、 不等，且未知时：,备注：一般情况下总体方差 、 是无法预先知道的，所以此处不讨论 、 已知的情况。,99,2 sample t 检验,回到案例A3，验证等方差性后，发现调整前后方差相等，故均值检验操作如下：,功能选单： 平台选单 均值/方差/合并的t,P-value0.05 ，拒绝Ho 故wiping time调整前后PHS均值不一样。,综合变异数和均值检验结果发现：wiping time调整前后PHS变异无差别，但均值受到影响，故不能将wiping time调整至5.95s，需要另寻因子，或检验其他调整幅度。,100,2 sample t 检验,在案例A3中，平台选单 t检验,

26、备注：方差不等情况下，检验统计量近似服从t分布。,101,Paired t 检验,在双样本连续型变量检验中，若样本一 一对应，此时“2 sample t 检验”不再适用； 例如： 1. 同一批样品的CD，由两种不同量具量测结果的比较； 2. 同一批样品在不同温度下的某连续型特性值。,102,案例A4：,Paired t 检验,某研究学者欲了解补习班能否增进学习能力，选一组随机样本12位小朋友，以=0.05 的显著水平，验证补习后成绩是否高于补习前： 补习前：22、31、28、27、29、32、26、27、31、28、25、30 补习后：29、27、32、25、33、30、36、29、33、28

27、、32、29,该案例中，两组样本是一 一对应的，此时2 sample t检验不再适用； 此时，使用Paired t 检验。,首先对两组样本做如下处理： di=补习后成绩-补习前成绩，得到新的样本数据： 7、-4、4、-2、4、-2、10、2、2、0、7、-1,A4_Paired t_补习成绩.jmp,103,Paired t 检验,H0： 0 （a取0.05）,则 检验两样本均值 的问题转化为 单样本零均值检验 的问题；,根据实际情况可设为 H0： mm0 或 H0： m=m0 V.S H1： mm0 或 H0： m=m0 V.S H1： mm0,检验统计量： ， sd为新的数据列di的样本标

28、准差 若H0成立，则 t t（n-1）,t= / ,104,Paired t 检验,打开 Paired t_补习成绩.jmp 档案。 功能选单：分析 配对,P-value0.05 ，拒绝Ho 故补习后成绩确实大于补习前，补习有一定成效。,备注： paired t检验，要求两列数据样本量要一样； 2 sample t 检验，两列数据样本量可以不一样。,105,假设检验,1,2,3,4,5,假设检验基本概念,平均值检验,变异数检验,比例检验,单因子方差分析,106,单因子方差分析（One Way ANOVA）,1. 两个机台之间的CD是否有差异可以用 2 sample t检验，如果是三个机台或更多

29、呢？ 2. 如何判断两个以上不同温度条件下膜厚是否受影响？,107,定义： 方差分析(Analysis of Variance，简称ANOVA)，又称 “F检验”，是R . A . Fisher发明的，用于两个及两个以上样本均数差别的显著性检验。,原理：,One Way ANOVA,机台1的样本数据,机台2的样本数据,总变异 包括： 组间变异 + 组内变异,不同机台引起的波动,随机因素引起的波动,在总变异中，当组间变异占比重较大时，说明不同机台之间差异显著，即该因子有影响，这就是ANOVA的原理。,108,One Way ANOVA,H0： m1 =m2 =m k ，即， 所有水平样本平均值均

30、相等 H1： 各样本平均值不全相等，即至少有一个与其他不相等,原假设 0：两个变量呈现正相关，如散点图1和散点图2； 0：两个变量呈现负相关，如散点图3和散点图4； =0：两个变量无线性相关性，如散点图5和散点图6； 的绝对值越大说明二者的线性相关关系越密切 计算公式：,相关分析, = , = ( ), = 2, = 2,请注意：当 等于或接近零时，只能说明俩变量不存在线性相关，不排除有其他相关性（如曲线相关）。,137,两个变量之间相关性强并不代表两者之间存在因果关系； 判断其是否存在因果关系还需从原理上进行探索解释； 样本数据搜集时需注意因变量和自变量的样本数是一 一对应的，故样本个数一样

31、； 样本量要足够，方可进行相关与回归分析（建议至少10-15笔）,相关分析注意事项,138,案例A8：,为确定LC Filter使用寿命，现搜集液晶使用量和EQ down的系列数据： 请分析这两个变量时间是否相关？若相关，请拟合关系式（模型）。,相关分析,A8_相关与回归分析 . jmp,样本数据如下：,1. Filter使用越久EQ down越严重，故需制定合理的使用寿命，因可能存在不连续生产的情况，故用液晶使用量取代使用时间，以衡量Filter寿命； 2. EQD=当机时间/当天时间（24h）,139,备注：教学需要，数据稍有修饰,对案例A8进行相关分析：,相关分析,打开 A8_相关与回归

32、分析 . Jmp 文档。 功能选单：分析 多元方法多元,以散点图可知，两变量间存在明显正相关，且有点曲线关系,平台选单多元相关性,相关系数 =0.9742;,相关分析结果： EQD与液晶过滤量有明显正相关性，线性相关性高达0.97，后续可进行回归建模。,140,定义：,回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法； 不仅提供变量之间相关性的公式y=f（x），且可判断所建立的回归方程的有效性； 若方程拟合得好，可用于做预测。,何为回归分析,在一元回归中，若两个变量之间关系为线性，则为一元线性回归，该模型称为一元线性模型。,分类：,一元回归 （只有1个x）,多元回归 （有多个x）,线性回归,非线性回归,按自变量（x）的多少分类,按自变量（x）与因变量（y）之间的关系类型分类,141,一元线性回归：,回归模型的计算,y=+ (、为回归系数，N（0， 2 ）,如何计算出和 ? 按最小二乘法对、进行估计： 即 找到一条直线使得样本的残差平方和最小,X可解释的y的变化,随机因素影响的y的变化，称为误差,残差平方和 =1 2 = =1 ( ( +) 2,针对该方程式，通过求导计算得到 、 ，称 、 为、的最小二乘估计, ,142,前面已对A8做了相关分析，发现EQD与液晶使用量存在正相关，且稍微呈现曲线（抛物线）关