逆向思维与统计研究

本课内容包含 统计回顾 方差分析 主成分分析和因子分析 聚类分析 判别分析 典型相关分析 对应分析 列联表 Logistic回归 Poisson对数线性模型 时间序列分析 。 统计基本概念回顾 随机性和 规律性 现实中的随机性和规律性 从中学起，我们就知道自然科学的许多定律，例如物理中的牛顿三定律，物质不灭定律以及化学中的各种定律等等。 但是在许多领域， 很难用如此确定的公式或论述来描述一些现象。 比如，人的寿命是很难预先确定的。一个吸烟、喝酒、不锻炼、而且一口长荤的人可能比一个很少得病、生活习惯良好的人活得长。 因此，可以说，活得长短是有一定随机性的(randomness)。这种随机性可能和人的经历、基因、习惯等 无数说不清的因素 都有关系。 现实中的随机性和规律性 但是从总体来说，我国公民的平均年龄却是非常稳定的。而且女性的平均年龄也稳定地比男性高几年。这就是 规律性 。 一个人可能活过这个平均年龄，也可能活不到这个年龄，这是 随机的 。 但是总体来说，平均年龄的稳定性，却说明了 随机之中有规律性 。这种规律就是统计规律。 概率和机会 你可能经常听到概率（ probability）这个名词。例如在天气预报中会提到降水概率。大家都明白，如果降水概率是百分之九十，那就很可能下雨；但如果是百分之十，就不大可能下雨。 因此，从某种意义说来， 概率描述了某件事情发生的机会。 显然，这种概率不可能超过百分之百，也不可能少于百分之零。换言之， 概率是在 0和 1之间的一个数 ，说明某事件发生的机会有多大。 有些概率是无法精确推断的 比如你对别人说你下一个周末去公园的概率是百分之八十。但你无法精确说出为什么是百分之八十而不是百分之八十四或百分之七十八。 其实你想说的是你很可能去，但又没有完全肯定。 实际上，到了周末，你或者去，或者不去；不可能有分身术把百分之八十的你放到公园，而其余的放在别处。 有些概率是可以估计的 比如掷骰子。只要没有人在骰子上做手脚，你得到 6点的概率应该是六分之一。得到其他点的概率也是一样。 得到 6的概率或者机会是可以知道的，但掷骰子的结果还 只可能是六个数目之一。 这个已知的规律就反映了规律性，而得到哪个结果则反映了随机性。 如果你掷 1000次骰子，那么，大约有六分之一的可能会得到 6； 这也是随机性呈现有规律的一个体现。 变量 做任何事情都要有 对象 。比如一个班上注册的学生有 200人，这是一个固定的数目，称为常数（ constant） 或者常量。 但是，如果猜测今天这个班有多少人会来上课，那就没准了。这有随机性。 可能有请病假或事假的，也可能有逃课的。这样，就要来上课的人数是个 变量 (variable)。 另外对于某项政策同意与否的回答，也有“同意”、“不同意”或者“不知道”三种可能值；这也是变量，只不过 不是数量 而已。 变量 当变量按照随机规律所取的值是数量时该变量称为 定量变量或数量变量 （ quantitative variable）；因为是随机的，也称为随机变量（ random variable）。 象性别，观点之类的取非数量值的变量就称为 定性变量或属性变量或分类变量 （ qualitative variable， categorical variable）。 这些定性变量也可以由随机变量来描述，比如男性和女性的数目，同意某政策人数的比例等等。只有当变量用数量来描述时，才有可能建立数学模型，才可能使用计算机来分析。 数据 有了变量的概念，什么是数据呢？拿掷骰子来说，掷骰子会得到什么值，是个随机变量；而每次取得 1至 6点中任意点数的概率它在理论上都是六分之一（如果骰子公平）。这依赖于在掷骰子背后的理论或假定；而在实际掷骰子过程中，如果掷 100次，会得到 100个由 1至 6点组成的数字串；再掷 100次，又得到一个数字串，和前一次的结果多半不一样。这些试验结果就是数据。所以说 ,数据是关于变量的观测值 . 通过数据可以验证有关的理论或假定 （比如每一次得到每个点的概率是不是 1/6等等）。对于顾客是否喜欢某种饮品的调查也类似，但这里不象掷骰子那样事先可以大致猜测顾客喜欢与否的概率。在问了 1000人之后，可能有 364人说喜欢，而 480人说不喜欢，其余的人可能不回答，或说不知道，或从来没有喝过这种饮料。这些数目就是数据。当然，它仅仅反映了 1000个被问到的人的观点；但这对于估计整个消费群体的观点还是有用的。 统计和计算机 现代生活越来越离不开计算机了 。 最早使用计算机的统计当然更离不开计算机了 。 事实上 ， 最初的计算机 仅仅是为科学计算而建造的 。 大型计算机的最早一批用户就包含统计 。 而现在统计仍然是进行数字计算最多的用户 。 计算机现在早已脱离了仅有计算功能的单一模式 ， 而成为 百姓生活的一部分 。 计算机的使用 ， 也从过去必须学会计算机语言到只需要 “ 傻瓜式 ” 地点击鼠标 。 结果也从单纯的数字输出到包括漂亮的表格和图形的各种形式 。 统计软件 统计软件的发展，也使得统计从统计学家的圈内游戏变成了大众的游戏。只要你输入你的数据，点几下鼠标，做一些选项，马上就得到令人惊叹的漂亮结果了。 你可能会问，是否傻瓜式的统计软件使用可以代替统计课程了？ 当然不是。数据的整理和识别，方法的选用，计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。 统计软件 有些诸如法律和医学方面的软件都有不少警告，不时提醒你去咨询专家。 但统计软件则不那么负责。只要数据格式无误、方法不矛盾而且不用零作为除数就一定给你结果，而且 没有任何警告 。 另外，统计软件 输出的结果太多 ；即使是同样的方法，不同软件输出的内容还不一样；有时同样的内容名称也不一样。这就使得使用者大伤脑筋。即使是统计学家也不一定能解释所有的输出。因此，就应该特别留神，明白自己是在干什么。 不要在得到一堆毫无意义的垃圾之后还沾沾自喜 。 统计软件 统计软件的种类很多。有些功能齐全，有些价格便宜；有些容易操作，有些需要更多的实践才能掌握。还有些是专门的软件，只处理某一类统计问题。面对太多的选择往往给决策带来困难。这里介绍最常见的几种。 统计软件 SPSS： 这是一个很受欢迎的统计软件；它容易操作 ，输出漂亮 ， 功能齐全 ， 价格合理 。 对于非统计工作者是很好的选择 。 Excel： 它严格说来并不是统计软件 ， 但作为数据表格软件 ， 必然有一定统计计算功能 。 而且凡是有Microsoft Office的计算机 ， 基本上都装有 Excel。 但要注意 ， 有时在装 Office时没有装数据分析的功能 ， 那就必须装了才行 。 当然 ， 画图功能是都具备的 。 对于简单分析 ， Excel还算方便 ， 但随着问题的深入 ， Excel就不那么 “ 傻瓜 ” ， 需要使用函数 ， 甚至根本没有相应的方法了 。 多数专门一些的统计推断问题还需要其他专门的统计软件来处理 。 SAS： 这是功能非常齐全的软件；尽管价格不菲 ， 许多公司还是因为其功能众多和某些美国政府机构认可而使用 。 尽管现在已经尽量 “ 傻瓜化 ” ， 仍然需要一定的训练才可以进入 。 对于基本统计课程则不那么方便 。 统计软件 S-plus：这是统计学家喜爱的软件 。 不仅由于其功能齐全 ， 而且由于其强大的编程功能 ， 使得研究人员可以编制自己的程序来实现自己的理论和方法 。 它也在进行 “ 傻瓜化 ” 以争取顾客 。 但仍然以编程方便为顾客所青睐 。 R软件： 这是一个 免费的 ， 由志愿者管理的软件 。其编程语言与 S-plus所基于的 S语言一样 ， 很方便 。 还有不断加入的各个方向统计学家编写的统计软件包 。 同时从网上可以不断更新和增加有关的软件包和程序 。 这是 发展最快 的软件 ， 受到世界上统计师生的欢迎 。 是用户量增加最快的统计软件 。 对于一般非统计工作者来说 ， 主要问题是它没有 “ 傻瓜化 ” 。 统计软件 Minitab： 这个软件是很方便的功能强大而又齐全的软件 ， 也已经 “ 傻瓜化 ” ， 在我国用的不如 SPSS与 SAS那么普遍 。 Statistica： 也是功能强大而齐全的 “ 傻瓜化 ” 的软件 ，在我国用的也不如 SAS与 SPSS那么普遍 。 Eviews： 这是一个主要处理回归和时间序列的软件 。 GAUSS： 这是一个很好用的统计软件 ， 许多搞经济的喜欢它 。 主要也是编程功能强大 。 目前在我国使用的人不多 。 FORTRAN： 这是应用于各个领域的历史很长的非常优秀的编程软件 ， 功能强大 ， 也有一定的统计软件包 。 计算速度比这里介绍的都快得多 。 但需要编程和编译 。 操作不那么容易 。 MATLAB： 这也是应用于各个领域的以编程为主的软件 ， 在工程上应用广泛 。 编程类似于 S和 R。 但是统计方法不多 。 统计软件 当然 ， 还有其他的软件 ， 没有必要一一罗列 。 其实 ， 聪明的读者只要学会使用一种 “ 傻瓜式 ” 软件 ， 使用其他的仅仅是举一反三之劳；最多看看帮助和说明即可 。如果只有英文帮助 ， 那还可以顺便提高你的英文阅读能力 。 想想看 举出你所知道的统计应用例子 。 举出日常生活中随机性和规律性的例子 。 你使用过统计软件或者利用过其他软件中的统计功能吗 ？ 你有什么经验和体会 ？ 数据的收集 二手数据 每天翻开报纸或打开电视，就可以看到各种数据。比如高速公路通车里程、物价指数、股票行情、外汇牌价、犯罪率、房价、流行病的有关数据（确诊病例、疑似病例、死亡人数和出院人数等等）；当然还有国家统计局定期发布的各种国家经济数据、海关发布的进出口贸易数据等等。从中可以选取对自己有用的信息。 这些间接得到的数据都是 二手数据 。 第一手数据 获得第一手数据并不象得到二手数据那么轻松 。 某些在华的外资企业每年至少要花三四千万元来收集和分析数据 。 他们调查其产品目前在市场中的状况和地位并确定其竞争对手的态势； 他们调查不同地区 ， 不同阶层的民众对其产品的认知程度和购买意愿以改进产品或推出新品种争取新顾客； 他们还收集各地方的经济交通等信息以决定如何保住现有市场和开发新市场 。 市场信息数据对企业是至关重要的 。 他们很舍得在这方面花钱 。 因为这是企业生存所必需的 ， 绝不是可有可无的 。 观测数据 和 试验数据 上面所说的数据是在 自然的未被控制的条件下观测到的，称为观测数据(observational data)。 而对于有些问题， 比如在不同的医疗手段下某疾病的治疗结果有什么不同、不同的肥料和土壤条件下某农作物的产量有没有区别、用什么成分可以提高某物质变成超导体的温度等等。 这种在人工干预和操作情况下收集的数据就称为试验数据 (experimental data)。 总体和样本 要想了解北京市民对建设北京交通设施是以包括轨道运输在内的公共交通工具为主还是以小汽车为主的观点，需要进行调查； 调查对象是 所有北京市民 ，调查 目的是希望知道市民中对这个问题的不同看法各自占有的 比例 。 显然， 不可能去问所有的北京市民，而只能够问一部分 ；并且根据这一部分的观点来理解整个北京市民的总体观点。 总体和样本 这种情况下，称所有（每个）北京市民对这个问题的观点为一个 总体(population)，而调查时问到的那部分市民的观点为 该总体的 一个样本(sample)。 当然，也有可能调查所有的人（比如人口普查），那叫做 普查 (census)。 总体是包含所有要研究的个体 (element)的集合。而样本是总体中选中的一部分。 随机样本 在抽取样本时，如果总体中的每一个体都有同等机会被选到样本中，这种抽样称为简单 随机抽样（ simple random sampling）， 而这样得到的样本则称为 随机样本 （ random sample）。 随机样本 就北京交通问题的调查为例，在随机抽样的情况下，如果样本量（sample size，也就是样本中个体的数目）在总体中的比例为 1/5000，那么，无论在东城区或者在延庆县，无论在白领阶层还是蓝领阶层被问到的人的比例都应该大体是1/5000。 也就是说， 这种比例在总体的任何部分是大体不变的。 方便样本 在实践中，得到随机样本不容易。很多搞调查的人就采取 简单 的办法。 还以北京的交通问题的调查为例。假定按照随机选出的电话号码进行调查。这样肯定节省时间和资源，但这样得到的就不是一个随机样本了。 如果按照随机选择的数字（无论号码本上有没有）打电话，那很多电话是空号或单位电话；显然这种样本也不是随机样本，它称为方便样本（ convenience sample）。 在调查中，即使选择对象的确是随机的，最理想的情况所得到的样本也只代表那些愿意回答问题人的观点所组成的总体； 没有回答问题的人的观点永远不会被这种调查的样本所代表。 方便样本 这种不回答的问题是抽样调查特有的问题。 在其他问题中，也有使用方便样本的情况。比如在肺癌研究中，人们往往看到吸烟和肺癌的关系的数据；这些数据并不是整个人群中采集的随机样本；它们可能只是医院中的病人记录中得到的。 在杂志和报纸上也有问卷，但得到的只是拥有这份报刊，而且愿意回答的人的观点。 误差 假定在某一职业人群中女性占的比例为 60%。如果在这个人群中抽取一些随机样本，这些随机样本中女性的比例并不一定是刚好 60，可能稍微多些或稍微少些。这是很正常的，因为样本的特征不一定和总体完全一样。这种差异不是错误，而是必然会出现的 抽样误差（ sampling error）。 刚才提到在抽样调查中，一些人因为种种原因没有对调查作出反映（或回答），这种误差称为 未响应误差（ nonresponse error）。 而另有一些人因为各种原因回答时并没有真实反映他们的观点，这称为 响应误差 （ response error）。 和抽样误差不一样，未响应误差和响应误差都会影响对真实世界的了解；应该在设计调查方案时尽量避免。 抽样调查的一些常用方法 在抽样调查时，最理想的样本是前面提到的随机样本。 但是 由于实践起来不方便 ，在大规模调查时一般不用这种全部随机抽样的方式，而只是在局部采用随机抽样的方法。 下面介绍几种抽样方法。这里没有深奥的理论；读者完全可以根据常识判断在什么情况下简单的随机样本不方便以及下面的每个方法有什么好处和缺陷。对于它们具体的设计、实施与数据分析，有许多专门的书籍，就不在这里赘述了。 一些抽样方法 1 分层抽样 （ stratified sampling） 。 这是先把要研究的总体按照某些性质分类（ stratum） ， 再在各类中分别抽取样本 。在每类中调查的人数通常是按照这该类人的比例 ， 但出于各种考虑 ， 也可能不按照比例 ， 也可能需要加权 （ 加权就是在求若干项的和时 ， 对各项乘以不同的系数 ， 这些系数的和通常为 1） 。 比如可以按照教育程度把要访问的人群分成几类；再在每一类中调查和该类成比例数目的人 。 这样就确保了每一类都有成比例的代表 。 一些抽样方法 2.整群抽样 （ cluster sampling） 。 这是先把总体划分成若干群 （ cluster） ， 再（ 通常是随机地 ） 从这些群中抽取几群；然后再在这些抽取的群中对个体进行抽样 。 比如 ， 在某县进行调查 ，首先在所有村中选取若干村子 ， 然后只对这些村子的人进行调查 。 显然 ，如果各村情况差异不大 ， 这种抽样还是方便的 。 否则就会增大误差了 。 一些抽样方法 3.多级抽样 （ multistage sampling） 。 在群体很大时 ， 往往在抽取若干群之后 ， 再在其中抽取若干子群 ， 甚至再在子群中抽取子群 ， 等等 。 最后只对最后选定的最下面一级进行调查 。 比如在全国调查时 ， 先抽取省 ， 再抽取市地 ， 再抽取县区 ， 再抽取乡 、 村直到户 。 在多级抽样中的每一级都可能采取各种抽样方法 。 因此 ， 整个抽样计划可能比较复杂 ， 也称为多级混和型抽样 。 一些抽样方法 4.系统抽样 （ systematic sampling） 。这是先把总体中的每个单元编号 ， 然后随机选取其中之一作为抽样的开始点进行抽样 。 如果编号是随机选取的 ，则这和简单随机抽样是等价的 。 在选取开始点之后 ， 通常从开始点开始按照编号进行所谓等距抽样；也就是说 ，如果开始点为 5号 ， “ 距离 ” 为 10， 则下面的调查对象为 15号 、 25号等等 。 抽样方法的选择不能一概而论 实际上每个抽样通常都可能是各种抽样方法的组合。既要考虑精确度，还要根据客观情况考虑方便性、可行性和经济性。不能一概而论。 计算机中常用的数据形式 数据是由一些变量和它们的观测值所组成。下面就是调查人们对某个问题观点的一个数据的方阵形式。其中有 6个变量：观点（观测值为支持、反对和不知道三种）、教育程度（有高中低三种取值，用 H、 M、 L表示）、月收入（取值为实际数字）、性别（取值有男女两个，用 M和 F表示）以及地区号（用数字 1， 2， 3， 4表示）等。该表一共有 1364个观测值（问卷回答）。可以看出这些变量有定性（属性）变量，也有定量（数值）变量。按照这个数据的格式，每一列为一个变量的不同观测值；而每一行则称为一个观测值，它是个由数量值和属性值组成的向量，每一个值相应于一个变量。 思考 1 举出一些观测数据和试验数据的例子 。 2 举出简单随机样本的例子 。 3 根据你的经验 ， 举出总体和样本的一些具体例子 。 4 举出调查抽样时可能发生的各种影响调查结果的问题 ， 并且提出你认为可以减少或避免这些问题的建议 。 5 根据你的直觉 ， 本章提到的几种抽样方法的优缺点是什么 ？ 原因何在 ？ 6 举出一些书报上发表的数据例子 ， 并指出那些是变量 ， 哪些是观测值 。 数据的描述 如同给人画像一样 直方图 比如某个地区（地区 1）学校高三男生的身高；有 163个度量如何用图形来表示这个数据，使人们能够看出这个数据的大体分布或 “ 形状 ” 呢？一个办法就是画一个直方图 (histogram)。 地区 1 高三男生高度2 0 0 . 01 9 5 . 01 9 0 . 01 8 5 . 01 8 0 . 01 7 5 . 01 7 0 . 01 6 5 . 01 6 0 . 01 5 5 . 01 5 0 . 0403020100S t d . D e v = 1 0 . 9 1 M e a n = 1 7 0 . 9N = 1 6 3 . 0 0盒型图 比 直 方 图 简 单 一 些 的 是 盒 形 图(boxplot， 又称箱图 、 箱线图 、 盒子图 )。 后面图的左边一个是根据地区 1高三男生的身高数据所绘的盒形图；其右边的图代表另一个地区 （ 地区 2）的高三学生的身高 175163N =地区地区 2地区 1高三男生身高210200190180170160150140323259250248596158茎叶图 地区 1高三男生身高数据的茎叶图 HEIGHT Stem-and-Leaf Plot Frequency Stem & Leaf 9.00 15 . 001223344 17.00 15 . 55666667778899999 20.00 16 . 01112222223333333444 35.00 16 . 55555666666667777788888888888999999 25.00 17 . 0000000011112222233333344 24.00 17 . 555666677777777777888899 13.00 18 . 0111111122333 11.00 18 . 55667788899 4.00 19 . 2333 2.00 19 . 56 3.00 Extremes (=198) Stem width: 10.00 Each leaf: 1 case(s) 散点图 往往人们得到的数据有两个变量的，比如美国男士和女士初婚年限的数据。该数据描述了自 1900年到1998年男女第一次结婚延续的时间的中位数。当然，不可能将所有人的婚姻年限都给出来。所以，每年就取了一个中间的值 (中位数 )作为代表。自 1900到1960年是每十年一个值，以后到 1990是每五年取一个数， 1995年以后是每年一个数。这里的一个变量为记录年份，另一个是结婚时间长短。由于分男士和女士，因此有两二维数据。这时可以以一个变量为横坐标（如年份），另一个为纵坐标（这里是结婚年限）来点图。这种图称为散点图（ scatter plot）。还可以看出在二十世纪六十年代婚姻年限降低，而后来又升高。而男子的年限平均比女性长。这个图是用 SPSS画的。 2 0 0 01 9 8 01 9 6 01 9 4 01 9 2 01 9 0 0282726252423222120女男定性变量的点图 定性变量（或属性变量，分类变量）不能点出直方图、散点图或茎叶图，但可以描绘出它们各类的比例。下面用 SPSS绘的图表示了说世界各种主要语言的人数的比例 阿拉伯语4 . 2 7 %德语2 . 1 3 %俄语4 . 5 9 %法语2 . 1 5 %马来印 2 . 9 4 %孟加拉语 3 . 5 9 %葡萄牙语 3 . 2 4 %其他3 3 . 1 4 %日语2 . 1 0 %西班牙语 7 . 0 9 %印地语 8 . 2 7 %英语 8 . 5 7 %中国北方1 7 . 9 3 %饼图 语种中国北方英语印地语西班牙语日语其他葡萄牙语孟加拉语马来印法语俄语德语阿拉伯语Mean3 0 0 02 0 0 01 0 0 00母语日常使用条形图 汇总统计量 或 概括统计量(summary statistic) 汇总统计量（位置） 均值 (mean) 中位数 (median) (第一，第三 )四分位数 (点 )(first quantile, third quantile ) k百分位数 (k-percentile) 众数 (mode) 汇总统计量（尺度） (scale statistic) 极差（ range) 四分位间距 (四分位极差 ) (interquantile range) 标准差 (standard deviation) 方差 (variance) -3 -2 -1 0 1 2 3020406080x-3 -2 -1 0 1 2 3020406080y两个尺度不同的数据的直方图，左边的标准差大约只有右边的一半 数据的标准得分 (standard score) 两个水平类似的班级（一班和二班）上同一门课，但是由于两个任课老师的评分标准不同，使得两个班成绩的均值和标准差都不一样 (数据： grade.sav)。一班分数的均值和标准差分别为 78.53和 9.43，而二班的均值和标准差分别为 70.19和 7.00。那么得到 90分的一班的张颖是不是比得到 82分的二班的刘疏成绩更好呢？怎么比较才能合理呢？虽然这种均值和标准差不同的数据不能够直接比较，但是可以把它们进行标准化，然后再比较标准化后的数据。一个标准化的方法是把原始观测值（亦称得分， score）和均值之差除以标准差；得到的度量称为标准得分 (standard score)。 10097N =班级二班一班得分1101009080706050402110097N =班级二班一班标准得分3210-1-2-3-421思考 1 根据你的经验 ， 给出定性和定量变量的例子 。 2 对于问题 1中你的例子 ， 试图画出各种描述性图形并计算汇总统计量 。 3 举例说明众数 、 中位数和均值的优缺点 。 4 举例说明尺度统计量说明了数据的什么特性 。 5 标准得分实际上是对原始数据的一种标准化 。试举出标准得分的用处 。 统计推断 从数据得到对现实世界的结论的过程 估计 总体它代表我们所关心的那部分现实世界。而在利用样本中的信息来对总体进行推断之前人们一般对代表总体的变量假定了分布族。比如假定人们的身高属于正态分布族；对抽样调查假定了二项分布族等等。这些模型基本上是根据经验来假定的，所以仅仅是对现实世界的一个近似。在假定了总体分布族之后，进一步对总体的认识就是要在这个分布族中选择一个适合于我们问题的分布；由于分布族成员是由参数确定的，如果参数能够估计，对总体的具体分布就知道得差不多了。 估计 一种是点估计 (point estimation)，也就是用估计量的实现值来近似相应的总体参数。 另一种是区间估计 (interval estimation)；它是包括估计量在内（有时是以估计量为中心）的一个区间；该区间被认为很可能包含总体参数。 点估计给出一个数字，用起来很方便；而区间估计给出一个区间，说起来留有余地；不象点估计那么绝对。 无偏估计 (大样本性质 ) 区间估计的置信度 (大样本性质 ) 估计 注意置信区间的论述是由区间和置信度两部分组成 。 有些新闻媒体报道一些调查结果只给出百分比和误差 （ 即置信区间 ） ， 并不说明置信度 ， 也不给出被调查的人数 ， 这是不负责的表现 。 因为降低置信度可以使置信区间变窄 （ 显得 “ 精确 ” ） ， 有误导读者之嫌 。 如果给出被调查的人数 ， 则内行可以由推算出置信度 （ 由后面给出的公式 ） ， 反之亦然 。 一个描述性例子 一个有 10000个人回答的调查显示 ， 同意某种观点的人的比例为 70%（ 有 7000人同意 ） ， 可以算出总体中同意该观点的比例的 95%置信区间为 （ 0.691， 0.709） ；另一个调查声称有 70%的比例反对该种观点 ，还说总体中反对该观点的置信区间也是（ 0.691， 0.709） 。 到底相信谁呢 ？ 实际上 ，第二个调查隐瞒了置信度 （ 等价于隐瞒了样本量 ） 。 如果第二个调查仅仅调查了 50个人 ， 有 35个人反对该观点 。 根据后面的公式可以算出 ， 第二个调查的置信区间的置信度仅有 11%。 假设检验 在假设检验中，一般要设立一个原假设；而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设和现实的矛盾，从而否定这个假设。在多数统计教科书中（除了理论探讨之外）的假设检验都是以否定原假设为目标。 如果否定不了，那就说明证据不足，无法否定原假设。但这不能说明原假设正确。很多教科书在这个问题上不适当地用“接受原假设”的说法，犯了明显的低级逻辑错误。 假设检验的过程和逻辑 首先要提出一个原假设，比如某正态总体的均值等于 5（ m=5）。这种原假设也称为零假设（ null hypothesis），记为 H0。 与此同时必须提出对立假设，比如总体均值大于 5（ m5）。对立假设又称为备选假设或备择假设（ alternative hypothesis）记为记为 H1或 Ha。 假设检验的过程和逻辑 根据零假设 （不是备选假设！），我们可以得到该检验统计量的分布； 然后再看这个统计量的数据实现值（ realization）属不属于小概率事件。也就是说把数据代入检验统计量，看其值是否落入零假设下的小概率范畴； 如果的确是小概率事件，那么我们就有可能拒绝零假设，否则我们说没有足够证据拒绝零假设。 假设检验的过程和逻辑 注意： 零假设和备选假设在假设检验中并不对称 。因检验统计量的分布是从零假设导出的，因此，如果发生矛盾，当然就对零假设不利了。 不发生矛盾也不说明备选假设有问题（因为和备选假设无关）。 假设检验的过程和逻辑 检验统计量在零假设下等于这个样本的数据实现值或更加极端值的概率称为 p-值 （ p-value） 。 显然得到很小 p-值意味着小概率事件发生了 。 如果小概率事件发生 ， 是相信零假设 ，还是相信数据呢 ？ 当然是相信数据 。 于是就拒绝零假设 。 但小概率并不能说明不会发生 ， 仅仅发生的概率很小罢了 。 拒绝正确零假设的错误常被称为第一类错误 （ type I error） 。 假设检验的过程和逻辑 有第一类错误 ， 就有第二类错误；那是备选零假设正确时反而说零假设正确的错误 ，称为第二类错误 （ type II error） 。 零假设和备选假设哪一个正确 ， 这是确定性的 ， 没有概率可言 。 而可能犯错误的是人 。 涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率 。 负责的态度是无论做出什么决策 ， 都应该给出犯错误的概率 。 假设检验的过程和逻辑 到底 p-值是多小才能够拒绝零假设呢 ？ 也就是说 ，需要有什么是小概率的标准 。 这要看具体应用的需要 。 但在一般的统计书和软件中 ， 使用最多的标准是在零假设下 （ 或零假设正确时 ） 抽样所得的数据拒绝零假设的概率应小于 0.05（ 也可能是0.01， 0.005， 0.001等等 ） 。 这种事先规定的概率称为显著性水平 (significance level)， 用字母 a来表示 。 当 p-值小于或等于 a时 ， 就拒绝零假设 。所以 ， a是所允许的犯第一类错误概率的最大值 。当 p-值小于或等于 a时 ， 我们说这个检验是显著的 (significant)。 假设检验的过程和逻辑 归纳起来 ， 假设检验的逻辑步骤为： 第一 ， 写出零假设和备选假设； 第二 ， 确定检验统计量； 第三 ， 确定显著性水平 a； 第四 ， 根据数据计算检验统计量的实现值； 第五 ， 根据这个实现值计算 p值； 第六 ， 进行判断：如果 p值小于或等于 a，就拒绝零假设 ， 这时犯错误的概率最多为 a；如果 p值大于 a， 就不拒绝零假设 ， 因为证据不足 。 假设检验的过程和逻辑 实际上 ， 计算机软件仅仅给出 p-值 ， 而不给出 a。 这有很多方便之处 。 比如 a=0.05，而假定我们得到的 p-值等于 0.001。 这时我们如果如果采用 p-值作为新的显著性水平 ，即 a=0.001， 于是可以说 ， 我们拒绝零假设 ，显著性水平为 0.001。 拒绝零假设时犯错误的概率实际只是千分之一而不是百分之五 。在这个意义上 ， p-值又称为观测的显著性水平 （ observed significant level） 。 在统计软件输出 p-值的位置 ， 有的用 “ p-value”，有的用 significant的缩写 “ Sig”就是这个道理 。 假设检验的过程和逻辑 展示结果的精确性 （ 根据数据减少 a的值 ） 总是没有害处的 。 这好比一个身高 180厘米的男生 ， 可能愿意被认为高于或等于 180厘米 ， 而不愿意说他高于或等于 155厘米 ， 虽然这第二种说法数学上没有丝毫错误 。 假设检验的过程和逻辑 关于 “ 临界值 ” 的注：作为概率的显著性水平 a实际上相应于一个检验统计量取值范围的一个 临界 值 （ critical value） ， 它定义为 ， 统计量取 该值或更极端的值 的概率等于 a。 也就是说 ， “ 统计量的实现值比临界值更极端 ” 等价于 “ p-值小于 a”。 使用临界值的概念进行的检验不计算 p-值 。 只比较统计量的取值和临界值的大小 。 使用临界值而不是 p-值来判断拒绝与否 是前计算机时代的产物 。 当时计算 p-值不易 ， 只有采用临界值的概念 。但从给定的 a求临界值同样也不容易 ， 好在习惯上仅仅在教科书中列出相应于特定分布的几个有限的 a临界值（ 比如 a=0.05， a=0.025， a=0.01， a=0.005， a=0.001等等 ） ， 或者根据分布表反过来查临界值 （ 很不方便也很粗糙 ） 。 现在计算机软件都不给出 a和临界值 ， 但都给出 p-值和统计量实现值 ， 让用户自己决定显著性水平是多少 。 假设检验的例子 汽车厂商声称其发动机排放标准的一个指标平均低于 20个单位 。 在抽查了 10台发动机之后 ， 得到下面的排放数据： 17.0、 21.7、 17.9、 22.9、 20.7、22.4、 17.3、 21.8、 24.2、 25.4。 该样本均值为21.13。 究竟能否由此认为该指标均值超过 20？这次我们的假设检验问题就是 01: 2 0 : 2 0HHmm 假设检验的例子 检验统计量为 我们可以发现 p-值为 0.1243， 因此 ， 我们没有证据否定零假设 。 01 . 2 3 4/xtsnm-5 -4 -3 -2 -1 0 1 2 3 4 500 . 0 50 . 10 . 1 50 . 20 . 2 50 . 30 . 3 50 . 4t v a l u eDensityoft(9)T a i l P r o b a b i l i t y f o r t ( 9 )t = 1 . 2 3 4p - v a l u e = 0 . 1 2 4 3统计推断 从数据得到对现实世界的结论的过程 估计 总体它代表我们所关心的那部分现实世界。而在利用样本中的信息来对总体进行推断之前人们一般对代表总体的变量假定了分布族。比如假定人们的身高属于正态分布族；对抽样调查假定了二项分布族等等。这些模型基本上是根据经验来假定的，所以仅仅是对现实世界的一个近似。在假定了总体分布族之后，进一步对总体的认识就是要在这个分布族中选择一个适合于我们问题的分布；由于分布族成员是由参数确定的，如果参数能够估计，对总体的具体分布就知道得差不多了。 估计 一种是点估计 (point estimation)，也就是用估计量的实现值来近似相应的总体参数。 另一种是区间估计 (interval estimation)；它是包括估计量在内（有时是以估计量为中心）的一个区间；该区间被认为很可能包含总体参数。 点估计给出一个数字，用起来很方便；而区间估计给出一个区间，说起来留有余地；不象点估计那么绝对。 无偏估计 (大样本性质 ) 区间估计的置信度 (大样本性质 ) 估计 注意置信区间的论述是由区间和置信度两部分组成 。 有些新闻媒体报道一些调查结果只给出百分比和误差 （ 即置信区间 ） ， 并不说明置信度 ， 也不给出被调查的人数 ， 这是不负责的表现 。 因为降低置信度可以使置信区间变窄 （ 显得 “ 精确 ” ） ， 有误导读者之嫌 。 如果给出被调查的人数 ， 则内行可以由推算出置信度 （ 由后面给出的公式 ） ， 反之亦然 。 一个描述性例子 一个有 10000个人回答的调查显示 ， 同意某种观点的人的比例为 70%（ 有 7000人同意 ） ， 可以算出总体中同意该观点的比例的 95%置信区间为 （ 0.691， 0.709） ；另一个调查声称有 70%的比例反对该种观点 ，还说总体中反对该观点的置信区间也是（ 0.691， 0.709） 。 到底相信谁呢 ？ 实际上 ，第二个调查隐瞒了置信度 （ 等价于隐瞒了样本量 ） 。 如果第二个调查仅仅调查了 50个人 ， 有 35个人反对该观点 。 根据后面的公式可以算出 ， 第二个调查的置信区间的置信度仅有 11%。 假设检验 在假设检验中，一般要设立一个原假设；而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设和现实的矛盾，从而否定这个假设。在多数统计教科书中（除了理论探讨之外）的假设检验都是以否定原假设为目标。 如果否定不了，那就说明证据不足，无法否定原假设。但这不能说明原假设正确。很多教科书在这个问题上不适当地用“接受原假设”的说法，犯了明显的低级逻辑错误。 假设检验的过程和逻辑 首先要提出一个原假设，比如某正态总体的均值等于 5（ m=5）。这种原假设也称为零假设（ null hypothesis），记为 H0。 与此同时必须提出对立假设，比如总体均值大于 5（ m5）。对立假设又称为备选假设或备择假设（ alternative hypothesis）记为记为 H1或 Ha。 假设检验的过程和逻辑 根据零假设 （不是备选假设！），我们可以得到该检验统计量的分布； 然后再看这个统计量的数据实现值（ realization）属不属于小概率事件。也就是说把数据代入检验统计量，看其值是否落入零假设下的小概率范畴； 如果的确是小概率事件，那么我们就有可能拒绝零假设，否则我们说没有足够证据拒绝零假设。 假设检验的过程和逻辑 注意： 零假设和备选假设在假设检验中并不对称 。因检验统计量的分布是从零假设导出的，因此，如果发生矛盾，当然就对零假设不利了。 不发生矛盾也不说明备选假设有问题（因为和备选假设无关）。 假设检验的过程和逻辑 检验统计量在零假设下等于这个样本的数据实现值或更加极端值的概率称为 p-值 （ p-value） 。 显然得到很小 p-值意味着小概率事件发生了 。 如果小概率事件发生 ， 是相信零假设 ，还是相信数据呢 ？ 当然是相信数据 。 于是就拒绝零假设 。 但小概率并不能说明不会发生 ， 仅仅发生的概率很小罢了 。 拒绝正确零假设的错误常被称为第一类错误 （ type I error） 。 假设检验的过程和逻辑 有第一类错误 ， 就有第二类错误；那是备选零假设正确时反而说零假设正确的错误 ，称为第二类错误 （ type II error） 。 零假设和备选假设哪一个正确 ， 这是确定性的 ， 没有概率可言 。 而可能犯错误的是人 。 涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率 。 负责的态度是无论做出什么决策 ， 都应该给出犯错误的概率 。 假设检验的过程和逻辑 到底 p-值是多小才能够拒绝零假设呢 ？ 也就是说 ， 需要有什么是小概率的标准 。 这要看具体应用的需要 。 但在一般的统计书和软件中 ， 使用最多的标准是在零假设下（ 或零假设正确时 ） 抽样所得的数据拒绝零假设的概率应小于 0.05（ 也可能是 0.01，0.005， 0.001等等 ） 。 这种事先规定的概率称为显著性水平 (significant level)， 用字母a来表示 。 当 p-值小于或等于 a时 ， 就拒绝零假设 。 所以 ， a是所允许的犯第一类错误概率的最大值 。 当 p-值小于或等于 a时 ， 我们说这个检验是显著的 (significant)。 假设检验的过程和逻辑 归纳起来 ， 假设检验的逻辑步骤为： 第一 ， 写出零假设和备选假设； 第二 ， 确定检验统计量； 第三 ， 确定显著性水平 a； 第四 ， 根据数据计算检验统计量的实现值； 第五 ， 根据这个实现值计算 p值； 第六 ， 进行判断：如果 p值小于或等于 a，就拒绝零假设 ， 这时犯错误的概率最多为 a；如果 p值大于 a， 就不拒绝零假设 ， 因为证据不足 。 假设检验的过程和逻辑 实际上 ， 计算机软件仅仅给出 p-值 ， 而不给出 a。 这有很多方便之处 。 比如 a=0.05，而假定我们得到的 p-值等于 0.001。 这时我们如果如果采用 p-值作为新的显著性水平 ，即 a=0.001， 于是可以说 ， 我们拒绝零假设 ，显著性水平为 0.001。 拒绝零假设时犯错误的概率实际只是千分之一而不是百分之五 。在这个意义上 ， p-值又称为观测的显著性水平 （ observed significant level） 。 在统计软件输出 p-值的位置 ， 有的用 “ p-value”，有的用 significant的缩写 “ Sig”就是这个道理 。 假设检验的过程和逻辑 展示结果的精确性 （ 根据数据减少 a的值 ） 总是没有害处的 。 这好比一个身高 180厘米的男生 ， 可能愿意被认为高于或等于 180厘米 ， 而不愿意说他高于或等于 155厘米 ， 虽然这第二种说法数学上没有丝毫错误 。 假设检验的过程和逻辑 关于 “ 临界值 ” 的注：作为概率的显著性水平 a实际上相应于一个检验统计量取值范围的一个 临界 值 （ critical value） ， 它定义为 ， 统计量取 该值或更极端的值 的概率等于 a。 也就是说 ， “ 统计量的实现值比临界值更极端 ” 等价于 “ p-值小于 a”。 使用临界值的概念进行的检验不计算 p-值 。 只比较