2011课程概论和假设检验

袁克虹 办公电话：26032453 办公地点:L楼305B 邮件： 2011.02.21,实验设计和数据处理,2,课程的中心目的,如何最小成本地获取同类事务差别的数据？ 如何推断出事务间差别原因？ 如何应用这些差别来为未来服务？,3,课程整体思路,数据的获取方法和预处理,因素分析和实验设计的方案,数据处理,差别问题的提出,结果的讨论分析、结论,4,课程主要内容,5,参考资料,实验设计主要参考资料： Gerry P. Qiunn, Michael J. Keough, Experimental Design and Data Analysis for Biologists, Cambridge, 2002 (Q-33/k942) 刘振学等,实验设计与数据处理.北京:化学工业出版社, 2005 (O212.6/6) 数据处理： 张学工，模式识别，清华大学出版社； 部分最新的文章；,6,其他相关事情,课程辅导：段侪杰老师 时间：每周2，5晚上7点30到8点30； 地点：L楼307； 电话：26036355； 手机邮件： 课程考核： 练习（10%） 笔试（30%） 大作业考核（60%，根据专业不同，要求标准有区别，至多3个同学一组）,误差,误差: 获得的值与真实值之间的差别; 因素误差:由于因素影响产生的误差; 随机误差:由于不确定因素影响产生的误差;,10,误差的表示,绝对误差 X: 观测值, :真实值 相对误差,11,误差表示例子,绝对误差 X = 80.18%, =80.13% =+0.05 相对误差 =0.05/83.13x100%=0.06%,12,平均误差,样本绝对误差 样本平均误差,13,标准方差,标准方差 标准方差与误差区别 样本标准方差,14,准确度和精密度,准确度(Accuracy): 分析结果与真实值间的近似程度; 精密度(precision):分析人员在同一条件下实验的结果间的近似程度,15,例1,如果 = 54.32 样本方差是多少？ A,B,C 哪个准确度高？ A,B,C哪个精密度好?,16,重复性和再现性,重复性:同一分析人在相同条件下所得到结果的精密度; 再现性:不同分析人或不同实验室之间在各自条件下所得分析结果的精密度;,17,标准差与精密度关系,标准差小: 表明重复实验获得相似的结果; 任何单个样本都非常接近总体样本值; 精密度高 标准差大: 表明重复实验获得相似程度差; 单个样本与总体样本值间误差大; 精密度低,假 设 检 验 又叫 显著性 检验 （test of significance）。显著性检验的方法很多 ，常用的有u检验、t检验、F检验和2检验等。尽管这些检验方法的用途及使用条件不同，但其检验的基本原理是相同的-单因素单水平分析。,假 设 检 验,某一酿造厂新引进一种酿醋曲种，以原曲种为对照进行试验。已知原曲种酿出的食醋醋酸含量平均为09.75，其标准差为5.30。现采用新曲种酿醋，得到30个醋样，测得其醋酸含量平均为 11.99。试问，能否由这30个醋样的平均数 判断新曲种好于原曲种？,统计假设检验的意义-例1：,食醋醋酸含量的差异是由于采用新曲种引起的还是由于试验误差引起的？,20,A，B两种肥料，在相同条件下各施用于5个小区的水稻上，水稻产量平均分别为 二者相差20kg，那么20kg差异究竟是由于两种肥料不同而造成的还是由试验的随机误差造成的？,统计假设检验的意义-例2：,21,今年春节到全国房屋购买量明显下降，是新政8条起作用还是正常现象（每年春节后房地产都处于销售淡季）？,例3：,22,以上这几种问题的判断均是由样本去推断总体的，属于统计假设检验问题，均是来判断数据差异、分布差异是由因素引起，还是由于随机误差引起的。,统计假设检验的意义,23,样本虽然来自于总体，但样本平均数并非是总体平均数。由于抽样误差的影响（随机误差的存在），样本平均数与总体平均数之间往往有偏差。因此，仅由表面效应 是不能判断它们之间是否有显著差异。 其根本原因在于 试验误差（或抽样误差）的不可避免性。,统计假设检验的意义,通过试验测定得到的每个观测值 ，既由被测个体所属总体的特征决定，又受其它诸多无法控制的随机因素的影响。所以观测值 由两部分组成，即 = + 总体平均数 反映了总体特征， 表示试验误差。,统计假设检验的意义,若 样本含量为n ，则 可 得 到 n 个 观 测值： ， ， ， 。于是样本平均数,可以看出，样本平均数并非总体平均数，它还包含试验误差的成分。,统计假设检验的意义,26,试验表面效应,上式表明，试验的表面效应由两部分构成： 一部分是试验的因素效应（即两总体平均数的差异） ； 另一部分是试验误差 。 因此，仅凭表面效应来判断两总体平均数是否相同是不可靠的。,27,试验表面效应,如果因素效应不存在即： 则表面效应仅由误差造成，此时可以说两总体平均数无显著差异；如果因素效应存在，则表面效应不仅由误差造成，更主要由因素效应影响。 所以，判断因素效应是否存在是假设检验的关健。,同理，对于接受不同处理的两个样本来说，则有： = + ， = + 这说明两个样本平均数之差（ - ）也包括了两部分： 一部分是两个总体平均数的差（ - ），叫 做 试 验 的 因素效应 （treatment effect）； 另一部分是试验的随机误差（ - ）。,试验表面效应,也就是说样本平均数之差（ - ）包含有试验误差，它只是试验的表面效应。因此，仅凭（ - ）就对总体平均数 、 是否相同下结论是不可靠的。只有 通过 显著性检验 才能从（ - ）中提取结论。对（ - ）进行显著性检验就是要分析： 试验的表面效应（ - ）主要由因素效应（ - ）引起的，还是主要由试验随机误差所造成。,试验表面效应,因素效应（ - ）未知，但试验的表面效应是可以计算的，借助数理统计方法可以对试验误差作出估计。所以，可从试验的表面效应与试验随机误差的权衡比较中间接地推断因素效应是否存在。,试验表面效应,小概率事件不是不可能事件，但在一次试验中出现的可能性很小，不出现的可能性很大 ，以至于实际上可以看成是不可能发生的。 统计学上，把小概率事件在一次试验中看成是实际不可能发生的事件称为小概率事件实际不可能性原理，亦称为小概率原理。,0.05 0.01 0.001称之为小概率事件。,小概率事件实际不可能性原理,小概率事件在一次试验中被认为是不可能发生的。,3. 小概率事件实际不可能性原理是统计学上进行假设检验（显著性检验）的基本依据。,小概率事件实际不可能性原理,箱子中有黑球和白球，总数100个，但不知黑球白球各多少个。 现提出假设H0：“箱子中有99个白球”，暂时设H0正确; 那么从箱子中任取一球，得黑球的概率为0.01，是一小概率事件。 今取球一次，如果居然取到了黑球，那么，自然会使人对H0的正确性产生怀疑，从而否定H0。也就是说箱中不止1个黑球。,例子,34,假设 均值 ； 方差：S2 样本数 n, 总体检验： 2：已知 2：未知,总体分布的假设检验,35,U-检验,统计量:,方差已知：,拒绝H0假设：,显著性水平：,样本数 n,36,例题1,原来生产设备生产的陈醋中醋酸的含量是符合N(4.5, 0.12). 购置台新设备，实验4次的醋酸含量结果如下 (%): 4.3, 4.4, 4.5, 4.6. 问:新设备与原来设备是否有区别 (P=95%)? Note： table values:,37,分别方差未知，均值已知,假设 X1,Xn 是随机样本，统计量,是有n 1自由度的 t分布,t 检验,38,单总体 t 检验,零假设:,统计量:,显著性水平 , 自由度df = n - 1,39,选择假设,拒绝域,t-Test,40,例子,假设某产品的标准PH值是4.5，某批次产品随机试验5次的结果是: 4.2, 4.3, 4.4, 4.5, 4.6. 问题：此批次的产品是否可靠(P=95%)? 对于的检验的值是：,41,2. 两总体均值是否相同 ? 两总体的方差已知： u-test,两总体检验,42,两总体方差不知道，并样本数分别是 m 和 n ： H0:1=2 if n = m ，then：,两总体样本检验,43,例子,某产品分南北方两大区销售，销售量如下： 北方5个销售点: 28, 36,43,38,30 南方4个销售点: 44,41,39,36 问题：南北方销售情况相同？ (P=95%)? Note：Q table values:,44,假设某产品设计两种包装，每种包装在公司的5个销售点销售，销售量分别是： 第一种包装：50，49，46，51，48； 第二种包装：53，50，51，48，49； 问：两种包装对产品的销售量影响是否相同？,配对样本的均值检验,45,两总体配对样本检验方法,如果 X1,Xn ; Y1, Yn 是两组样本, 用 t-test 来检测配对数据的均值问题，按照如下步骤: 假设是随机误差，并符合正态分别; H0 假设: 统计量:,是有n 1 自由度的t分布,46,两总体的方差检验,两总体方差是否一致? F-test: 这里:,47,例子,两总体进行相同实验，结果如下: 一组实验5次的结果分别是: 28, 36,43,38,30 另一组实验4次结果是：44,41,39,36 问题: 两总体是否有相同的方差（精密度） (P=95%)? Note： table values:,48,练习1,1. 某工厂实验室经过常年的例行分析，得知一种原材料中含铁量符合均值是4.55，标准方差是0.11的正态分布。一天，某实验员对这种原材料测定5次，结果为4.30，4.5，4.5，4.4，4.49。试问此测定结果是否可靠？ 2. 某药厂生产维生素要求含铁400mg，现从一批药品中随机抽样，5次测定结果是372，409，395，399，411. 问此产品含铁量是否合格？ 3. 比较两种安眠药A和B的疗效， 5个失眠者分别服用两种药后延长睡眠时间，结果如下: 1 2 3 4 5 X: 1.9 0.8 1.1 0.1 -0.1 Y: 0.7 -1.6 -0.2 -1.2 -0.1 假定X,Y服从方差相等的正态分布,检验两种药的疗效有无显著性？ 4.有两个实验室对某实验进行评价，分别作三次实验结果如下：