《非参数检验方法》PPT课件.ppt

数理统计在化学中的应用,第五章：非参数检验方法,数理统计在化学中的应用,$5.1 非参数检验方法概述,非参数统计是一种不要求变量值为某种特定分布和不依赖某种特定理论的统计方法，或者是在不了解总体分布及其全部参数的情况下的统计方法。非参数统计方法开始于20世纪中期，早期的符号检验可以追溯到18世纪。实际工作中，有许多资料常不能确定或假设其总体变量值的分布，因此参数统计不宜使用，不知道总分布，就不能比较参数，而只能比较非参数。所谓非参数，即指数据的正负符号，大小顺序号，综合判断所划分的名次、严重程度、优劣等级等，利用直接说明或比较两个或几个样本的非参数的方法均属于非参数统计法。,数理统计在化学中的应用,参数检验和非参数检验,参数检验：指总体分布服从正态分布或总体 分布已知条 件下的统计检验。 非参数检验：指总体分布不要求服从正态分布或总体分布情况不明时，用来检验数据资料是否来自同一个总体的统计检验方法。,数理统计在化学中的应用,通常非参数统计方法适用于以下几种情况 未知分布型，或样本数太少(n6)而使得分布状况尚未显示出来 非参数性，只能以严重程度、优劣等级、效果大小、名次先后以及综合判断等方式记录其符号或等级 分布程度偏态 组内个别随机变量偏离过大。,数理统计在化学中的应用,非参数检验的优点和缺点：,优点： 不受总体分布的限制，适用范围广。 适宜定量模糊的变量和等级变量。 方法简便易学。 缺点：当测量的数据能够满足参数统计的所有假设时，非参数检验方法虽然也可以使用，但效果远不如参数检验方法。由于当数据满足假设条件时，参数统计检验方法能够从其中广泛地充分地提取有关信息。非参数统计检验方法对数据的限制较为宽松，只能从中提取一般的信息，相对参数统计检验方法会浪费一些信息。,数理统计在化学中的应用,$5.2 Pearsons X2拟合检验,需要研究所研究的对象或者实验的结果是否与预期的原假设之间有显著性的差异，也就是检验观察值与理论值之间的紧密程度。X2拟合检验就是用来确定事件出现的频数分布与某一理论分布之间的差别是否是随机性的。 X2定义：,理论频数的期望值,实测值或观察值频数,m,试验结果只有两个，且频数较小,数理统计在化学中的应用,$5.2 Pearsons chi-square test,如果检验的参数是一个特定值，比如产品的不合格率，由于产品的合格与不合格问题属于二项式分布，此时就还可以用：,观察值,np: 观察值的期望值,数理统计在化学中的应用,$5.2.1 X2拟合检验的步骤,把观察到的不同类别的频数分别归入k类，这些频数之和应是独立观察到总频数之和。 假设H0，即确定出每一类应有的期望书Tk（或np）。如k2，只要有20%的Tk（或np）5，就要合并相邻精度类别以减少k值，以此来增加某些Tk值。如k=2，只有当Tk都5时，才能应用式5-1来进行X2检验，否则就需要应用修正式来检验。 计算X2。 根据给定的置信概率，查X2分布表，如果计算值小于表值，则接受H0，反之则拒绝。,数理统计在化学中的应用,数理统计在化学中的应用,例5-2 （讲义上的解是错的）,一试剂公司按现行生产工艺生产的化学试剂，其优品率要占到10%。现从一批产品中抽取100个进行检验，结果发现优级品仅5个。问是否优级品率出现了下降的变化(=0.05)？,因为X2 X20.05,1， 所以优级品率没有出现下降的变化。,数理统计在化学中的应用,$5.3 符号检验,$5.3.1 符号检验 检验不知道分布类型的数据 根据统计资料的符号，可以简便地来检验两组成对的数据是否属于同一总体。两个样本既可以是互相独立，也可以是相关的，也就是说既可检验两总体是否存在显著差异，也可检验是否来自同一总体。 思想：若两个样本差异不显著，正差值与负差值的个数应大致各占一半。 假定P(XY)，则如果X与Y属于同一总体的话，P(XY)=0.5,数理统计在化学中的应用,$5.3.2 符号检验的步骤,编符号：一对一比较，如果前者大于后者，或者前者较优，记以符号”+”，否则记以”-”，如二者相等或不能判明优劣，就记为”0”。 建立假设： H0: P(X1X2) = P(X2X1) = 0.5 H1: P(X1X2） P(X2X1) 0.5 清点“+”、“-”、“0”各有几个，分别记为n+、n-、n0 进行显著性检验 查符号检验表（表中N=n+n-)：r = min(n+, n-)，查表，如r表值，差异不显著，r 表值，差异显著。（讲义附录的表是错的）,数理统计在化学中的应用,数理统计在化学中的应用,$5.3.2 符号检验的步骤,2检验：如2 2/2,1，接受H0，否则拒绝H0。 N25：Z-检验，查t检验表（双侧），如|Z|z/2，接受H0，否则拒绝H0。,数理统计在化学中的应用,$5.3.2 符号检验的步骤,X2检验：如X2 2/2,v，接受H0，否则拒绝H0。 在样本数比较小的情况下，查符合检验表检验并不是很灵敏。,数理统计在化学中的应用,数理统计在化学中的应用,数理统计在化学中的应用,$5.4 Wilcoxon符号秩次检验,$5.4.1 Wilcoxon符号秩次检验的基本思想 如果两个总体的分布相同，每个配对数值的差应服从以0为中心的对称分布。也即是将差值按照绝对值的大小编秩（排顺序）并给秩次加上原来差值的符号后，所形成的正秩和与负秩和在理论上是相等的（满足差值总体中位数为0的假设），如果二者相差太大，超出界值范围，则拒绝原假设。 符号检验没有充分应用信息，主要是大小。,数理统计在化学中的应用,$5.4.2 符号秩次检验的步骤,1、NT表：接受H0 TT表：拒绝H0,数理统计在化学中的应用,成对资料秩和检验表,数理统计在化学中的应用,2、N25(大样本) 当N25时，一般认为T的分布接近正态分布，其平均数和标准差分别为:,数理统计在化学中的应用,例 某幼儿园对10名儿童在刚入园时和入园一年后均进行了血色素检查，结果如下，试问两次检查有否明显变化？,解：T-1+6+2+514 T+=8+4+3+7+9=31, T=T-14， N=9， 查符号秩次检验表，双侧检验， T0.056， 因为T T0.05, 所以，两次血色素检查差异不显著。,数理统计在化学中的应用,注意：对同一问题用符号检验法和符号等级检验法，如果出现矛盾的结果，应该相信符号等级检验法的结果，因为它既考虑差值的符号，也考虑其大小，利用了更多的信息，所以结果相对可靠些。,数理统计在化学中的应用,例5-4 为了比较两种血浆皮质醇放射免疫测定法，每份标本同时用H3法和I131法测定，数据及秩次计算见下表，用非参数法进行显著性检验。,数理统计在化学中的应用,$5.5 秩和检验,秩和即秩次的和或等级之和。秩和检验法也叫Mann-Whitney-Wilcoxon检验，它常被译为曼惠特尼维尔克松检验，简称M-W-W检验，也称Mann-Whitney Z检验。 （一）适用资料 1）秩和检验法与参数检验法中独立样本的t检验法相对应。当“总体正态”这一前提不成立时，不能用t检验，可以用秩和检验法； 2）当两个样本都为定序（顺序）变量时，也需使用秩和法进行差异显著性检验。,数理统计在化学中的应用,$5.4.2 秩和检验的步骤,1、小样本：两个样本容量均小于10（n110,n210） （1）将两个样本数据混合由小到大排列秩次（如果大小相同就计算它们的平均秩次）； （2）把样本容量较小的样本中各数据的秩次相加，以T表示； （3）建立假设 H0：A = B H1：A B （4）检验 把T值与秩和检验表中的临界值比较 T T1或T T2，则表明两样本差异显著； T1 T T2,则意味着两样本差异不显著。,数理统计在化学中的应用,例5-5 医学院试验两种新药治疗贫血病人，两个月后病人的红细胞数(万/毫米3)增加的秩次如下表，试问这两种新药有无显著性差异？(=0.05),解：T = 1+2+3+6+8+8 = 28 查表，n1 = 6, n2 = 8, = 0.05 (双测), c1 = 29, c2 = 61 因为：T c1，所以两种药有显著差异,数理统计在化学中的应用,2、大样本：两个样本容量均大于10（n110, n210）。可以证明，当n时，T就趋向正态分布，此时，秩和T的分布接近正态分布，可以进行Z检验。其平均数和标准差如下：,数理统计在化学中的应用,例5-6 有两个水稻品系A与B，分别在10块试验田中作栽培试验，得产量如下表，试问它们的平均产量有无显著性差异？(=0.05),数理统计在化学中的应用,例 对某班学生进行注意稳定性实验男生与女生的实验结果如下，试检验男女生之间注意稳定性有否显著差异？,数理统计在化学中的应用,数理统计在化学中的应用,$5.6 感官检验的一致性,$5.6.1 感官检验的一致性 在对产品质量的检验上，常常要用到人的感觉器官来对产品的质量进行评定，例如评酒、评茶要用口感，纺织品质量要用手感，有色泽的可以用目测，有香味的可以凭嗅觉。这种检验就称为感官检验，也叫做官感检验。 问题：不同检验人员的检验结果是否一致？ 必须解决能用来检验一致性的统计量的问题。,数理统计在化学中的应用,感官检验一致性的统计量：,m: 参加检验的人员数 n: 被检验的样品数 S: 每一类样品秩和的偏差平方和 W: 一致性系数, 0W1,数理统计在化学中的应用,$5.6.2 感官检验一致性检验的方法,m和n都很大 可以证明，W可转换为统计量F，从而可以应用F检验。 F F：检验一致性很差； F F：检验一致性很好；,数理统计在化学中的应