非参数统计方法简介.ppt

非参数统计方法简介,廖海仁 2011.3.17,提 纲,统计的稳健性 参数统计 vs 非参数统计 单总体位置参数的检验 1）中位数的符号检验 2）符号秩和检验 分布的一致性检验: 2检验 两总体的比较与检验 多总体的比较与检验,统计之都论坛的一个帖子,标题：心理统计求教，方差分析还是T检验呢？ 内容： 问题是这样的：对我校4个年级的大学生适应心理进行分析，每个年级得出50组数据，现在要比较不同年级之间适应性的差异性，到底要用什么检验，用spss这样操作呢？小妹在此求教求真理，谢谢各位大哥了！ 回答一： 一般与人的行为相关的数据都是偏态的分布，方差分析和t-test就不适用了吧,统计的稳健性,指统计的一种性质：当真实模型与理论模型有不大的偏离时，统计方法仍能维持较为良好的性质，至少不致变得太坏。 实际应用中总体的分布的假定的分布常略有偏离；大量的观测数据中常存在部分异常数据。 （1）对总体分布的稳健性 若性能与总体的正态性有较强的依赖关系者，如F检验，其稳健性较差；而与总体均值相关的统计方法，如t检验之类，其稳健性相对较好。 （2）对异常数据的稳健性 典型例子：样本均值估计总体均值，受异常数据影响较大，相对中位数与截断均值更不稳健。 获得对异常数据稳健性的途径：a) 设计有效的方法发现并剔除异常值；b) 设计对个别异常数据不敏感的统计方法,参数统计 vs 非参数统计,参数统计 假设总体分布函数已知（大多数基于正态假设）或只带有一些未知参数 非参数统计 如果在一个统计问题中，如果其总体分布不能用有限个实数来刻画，只能对它做一些分布连续、有密度、具有某些矩等一般性的假定，则称为非参数统计问题。,非参数方法的特点,方法的适用面广而效率可能较低 大样本理论占重要位置 所谓大样本统计方法是指根据统计量的极限性质而得出的统计方法 大样本理论依赖于概率论的极限理论 从数据本身获取信息 具有良好的稳健性,基本概念,秩(Rank): 把样本X1,X2,Xn按大小排列为X(1) = X(2) = X(n), 若Xi=X (Ri) ,则称Ri为Xi的秩， 全部n个秩构成秩统计量。秩统计量是非参数统计的一个主要工具。 Statistical Methods Based on RankE.L. Lehmann Order Statistics H.A. David 中位数(Median) 均值(Mean) 优点：（1）有时比数学期望更有代表性； （2）受少数异常值的影响很小 （3）理论上总是存在 性质：设X有概率密度函数f(x), 另h(a)=E|X-a|, 当a为X的中位数m时，h(a)达到最小值。 缺点：（1）X1+X2的中位数与X1,X2的中位数缺乏简单联系，数学上处理复杂且不方便 （2）中位数可能不唯一，对于离散型，定义可能不理想 （3）实际计算的复杂度远大于均值计算的复杂度,样本数据分析的一般步骤,数据探查 R: plot, hist, boxplot 分布的检验 使用QQ图 R：qqnorm, qqline Shapiro-Wilk Normality test（正态分布检验）(适合小样本 N2000) R: shapiro.test(x) Kolmogorov-Smironov test (K-S分布检验) (适合大样本） ks.test(x, “pnorm“, mean = mean(x), sd = sqrt(var(x) 使用具体的假设检验方法：方差分析、T检验、非参数方法等,中位数的符号检验,在总体分布为正态分布时，要检验其均值是否为，使用t检验： T= (X- ) / (s/sqrt(n) t(n-1)。当分布未知时，此方法可能有风险 中位数检验：检验其中位数是否为M0 H0: M=M0 H1: M M0 (双边假设检验） 符号检验检验统计量： S+ = #Xi: Xi-M0 0, i=1,2,3,n 将其转化为二项分布检验： S+ binom(n, ) R实现：无直接函数，自己借用binom.test(s, n, p=0.5, ),符号秩和检验,符号检验不足：不考察值的大小，不能检验出偏度非常大的分布（实例中的值明显偏大于6064，却没有检验出来）。 符号秩和检验（又称Wilcoxon符号秩检验）基本思想：考察 |xi-M0| 的秩，假定总体是连续的，且对其中位数是对称的，则 W+ = Ri(+) 服从中点为n(n+1)/4的对称分布。 符号秩和检验一般比符号检验更有效(强势） R： wilcox.test()可用来进行符号秩和检验 wilcox.test(x, y = NULL, alternative = c(“two.sided“, “less“, “greater“), mu = 0, paired = FALSE, exact = NULL, correct = TRUE, = FALSE, conf.level = 0.95, .),分布的一致性检验：2检验,用来检验数据分布是否与假设分布是否一致(拟合优度检验） H0: X具有分布F H1: X不具有分布F 理论（Pearson定理）：若F(x)完全已知，则 K = m(ni- npi)2 / npi 2(m-1) 其中n= ni, pi是第i个区间的理论概率, m为区间数。 （区间的选择：不宜太大，也不宜太小，每个区间一般至少要有5个数据，总区间数可选5-10个） R: chisq.test chisq.test(x, y = NULL, correct = TRUE, p = rep(1/length(x), length(x), rescale.p = FALSE, simulate.p.value = FALSE, B = 2000),r x c 列联表,一般,若总体中的个体可按两个属性A与B分类，A有r个等级A1,A2,Ar；B有个等级B1,B2,Bc,从总体中抽取大小为n的样本设其中有nij个属于等级Ai和Bj，nij称为频数，将r个nij(i=1,2,r; j=1,2,)排列为一个r行列的二维列联表（表2），简称r 表。,两总体独立性的2检验,统计量 的渐近分布是自由度为 (r1)(1) 的2分布，式中Eijninj/n 称为期望频数。 假设： H0（零假设）: 对任意的i, j, 事件“一个观测值在行i”与事件”同样的观测在列j”是独立性。 H1（备择假设）: 行与列不独立 R: wilcox.test,Fisher精确检验,2检验只允许20%以下的个子的期望频数小于5，如果不满足此条件，则应该使用Fisher精确检验 基本思想：固定各边缘和的条件下，根据超几何分布，可以计算观测频数出现任一种特定排列的条件概率。把实际出现的观测频数排列以及比它呈现更多关联迹象的所有可能排列的条件概率算出来并相加，若所得结果小于给定的显著水平，则判定所考虑的两个属性存在关联，从而拒绝H0。 fisher.test(x, y = NULL, workspace = 200000, hybrid = FALSE, control = list(), or = 1, alternative = “two.sided“, = TRUE, conf.level = 0.95, simulate.p.value = FALSE, B = 2000),两样本Wilcoxon秩和检验,在正态总体的假定下，两样本的均值检验通常使用t检验，但t检验并不稳健 基本思想：将样本X1,X2,Xm和Y1,Y2,Yn混合起来，并把N=(m+n)个观测值从小到大排列起来每一个观察在混合排列中都有自己的秩。计算X与Y样本的秩和Wx与Wy. 假设检验(检验两样本中值是否相等）：H0: Mx=My H1: Mx My R: wilcox.test,两样本尺度参数的Mood检验,两独立样本方差之比的F检验对于总体非正态或数据有严重污染时不一定适用。 设两连续总体X与Y独立，样本X1, X2, ,XmF(x-1/1) Y1, Y2, , YmF(x-2/2) , 而且F(0)=1/2, 1 = 2 (若不相等，可以通过平移来使它们相等） 假设检验： H0: 1 = 2 H1: 1 2 构造统计量：记R11, R12, , R1m为X的观察值在混合样本中的秩， M = m(R1i-(N+1)/2)2 R: mood.test(x, y, alternative = c(“two.sided“, “less“, “greater“), .) 注意：做检验时必须保证两样本中值相等！,两样本尺度参数的Ansari-Bradley检验,检验两样本方差是否相等（相当于F检验） R: ansari.test(x, y, alternative = c(“two.sided“, “less“, “greater“), exact = NULL, = FALSE, conf.level = 0.95, .),多样本位置