逆向思维与统计研究.ppt

本课内容包含,统计回顾 方差分析 主成分分析和因子分析 聚类分析 判别分析 典型相关分析 对应分析 列联表 Logistic回归 Poisson对数线性模型 时间序列分析 。,统计基本概念回顾,随机性和 规律性,现实中的随机性和规律性,从中学起，我们就知道自然科学的许多定律，例如物理中的牛顿三定律，物质不灭定律以及化学中的各种定律等等。 但是在许多领域，很难用如此确定的公式或论述来描述一些现象。比如，人的寿命是很难预先确定的。一个吸烟、喝酒、不锻炼、而且一口长荤的人可能比一个很少得病、生活习惯良好的人活得长。 因此，可以说，活得长短是有一定随机性的(randomness)。这种随机性可能和人的经历、基因、习惯等无数说不清的因素都有关系。,现实中的随机性和规律性,但是从总体来说，我国公民的平均年龄却是非常稳定的。而且女性的平均年龄也稳定地比男性高几年。这就是规律性。 一个人可能活过这个平均年龄，也可能活不到这个年龄，这是随机的。 但是总体来说，平均年龄的稳定性，却说明了随机之中有规律性。这种规律就是统计规律。,概率和机会,你可能经常听到概率（probability）这个名词。例如在天气预报中会提到降水概率。大家都明白，如果降水概率是百分之九十，那就很可能下雨；但如果是百分之十，就不大可能下雨。 因此，从某种意义说来，概率描述了某件事情发生的机会。 显然，这种概率不可能超过百分之百，也不可能少于百分之零。换言之，概率是在0和1之间的一个数，说明某事件发生的机会有多大。,有些概率是无法精确推断的,比如你对别人说你下一个周末去公园的概率是百分之八十。但你无法精确说出为什么是百分之八十而不是百分之八十四或百分之七十八。 其实你想说的是你很可能去，但又没有完全肯定。 实际上，到了周末，你或者去，或者不去；不可能有分身术把百分之八十的你放到公园，而其余的放在别处。,有些概率是可以估计的,比如掷骰子。只要没有人在骰子上做手脚，你得到6点的概率应该是六分之一。得到其他点的概率也是一样。 得到6的概率或者机会是可以知道的，但掷骰子的结果还只可能是六个数目之一。 这个已知的规律就反映了规律性，而得到哪个结果则反映了随机性。 如果你掷1000次骰子，那么，大约有六分之一的可能会得到6；这也是随机性呈现有规律的一个体现。,变量,做任何事情都要有对象。比如一个班上注册的学生有200人，这是一个固定的数目，称为常数（constant）或者常量。 但是，如果猜测今天这个班有多少人会来上课，那就没准了。这有随机性。可能有请病假或事假的，也可能有逃课的。这样，就要来上课的人数是个变量(variable)。 另外对于某项政策同意与否的回答，也有“同意”、“不同意”或者“不知道”三种可能值；这也是变量，只不过不是数量而已。,变量,当变量按照随机规律所取的值是数量时该变量称为定量变量或数量变量（quantitative variable）；因为是随机的，也称为随机变量（random variable）。 象性别，观点之类的取非数量值的变量就称为定性变量或属性变量或分类变量（qualitative variable，categorical variable）。 这些定性变量也可以由随机变量来描述，比如男性和女性的数目，同意某政策人数的比例等等。只有当变量用数量来描述时，才有可能建立数学模型，才可能使用计算机来分析。,数据,有了变量的概念，什么是数据呢？拿掷骰子来说，掷骰子会得到什么值，是个随机变量；而每次取得1至6点中任意点数的概率它在理论上都是六分之一（如果骰子公平）。这依赖于在掷骰子背后的理论或假定；而在实际掷骰子过程中，如果掷100次，会得到100个由1至6点组成的数字串；再掷100次，又得到一个数字串，和前一次的结果多半不一样。这些试验结果就是数据。所以说,数据是关于变量的观测值. 通过数据可以验证有关的理论或假定（比如每一次得到每个点的概率是不是1/6等等）。对于顾客是否喜欢某种饮品的调查也类似，但这里不象掷骰子那样事先可以大致猜测顾客喜欢与否的概率。在问了1000人之后，可能有364人说喜欢，而480人说不喜欢，其余的人可能不回答，或说不知道，或从来没有喝过这种饮料。这些数目就是数据。当然，它仅仅反映了1000个被问到的人的观点；但这对于估计整个消费群体的观点还是有用的。,统计和计算机,现代生活越来越离不开计算机了。最早使用计算机的统计当然更离不开计算机了。 事实上，最初的计算机仅仅是为科学计算而建造的。大型计算机的最早一批用户就包含统计。而现在统计仍然是进行数字计算最多的用户。 计算机现在早已脱离了仅有计算功能的单一模式，而成为百姓生活的一部分。 计算机的使用，也从过去必须学会计算机语言到只需要“傻瓜式”地点击鼠标。结果也从单纯的数字输出到包括漂亮的表格和图形的各种形式。,统计软件,统计软件的发展，也使得统计从统计学家的圈内游戏变成了大众的游戏。只要你输入你的数据，点几下鼠标，做一些选项，马上就得到令人惊叹的漂亮结果了。 你可能会问，是否傻瓜式的统计软件使用可以代替统计课程了？ 当然不是。数据的整理和识别，方法的选用，计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。,有些诸如法律和医学方面的软件都有不少警告，不时提醒你去咨询专家。 但统计软件则不那么负责。只要数据格式无误、方法不矛盾而且不用零作为除数就一定给你结果，而且没有任何警告。 另外，统计软件输出的结果太多；即使是同样的方法，不同软件输出的内容还不一样；有时同样的内容名称也不一样。这就使得使用者大伤脑筋。即使是统计学家也不一定能解释所有的输出。因此，就应该特别留神，明白自己是在干什么。不要在得到一堆毫无意义的垃圾之后还沾沾自喜。,统计软件,统计软件的种类很多。有些功能齐全，有些价格便宜；有些容易操作，有些需要更多的实践才能掌握。还有些是专门的软件，只处理某一类统计问题。面对太多的选择往往给决策带来困难。这里介绍最常见的几种。,统计软件,SPSS：这是一个很受欢迎的统计软件；它容易操作，输出漂亮，功能齐全，价格合理。对于非统计工作者是很好的选择。 Excel：它严格说来并不是统计软件，但作为数据表格软件，必然有一定统计计算功能。而且凡是有Microsoft Office的计算机，基本上都装有Excel。但要注意，有时在装Office时没有装数据分析的功能，那就必须装了才行。当然，画图功能是都具备的。对于简单分析，Excel还算方便，但随着问题的深入，Excel就不那么“傻瓜”，需要使用函数，甚至根本没有相应的方法了。多数专门一些的统计推断问题还需要其他专门的统计软件来处理。 SAS：这是功能非常齐全的软件；尽管价格不菲，许多公司还是因为其功能众多和某些美国政府机构认可而使用。尽管现在已经尽量“傻瓜化”，仍然需要一定的训练才可以进入。对于基本统计课程则不那么方便。,统计软件,S-plus：这是统计学家喜爱的软件。不仅由于其功能齐全，而且由于其强大的编程功能，使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”以争取顾客。但仍然以编程方便为顾客所青睐。 R软件：这是一个免费的，由志愿者管理的软件。其编程语言与S-plus所基于的S语言一样，很方便。还有不断加入的各个方向统计学家编写的统计软件包。同时从网上可以不断更新和增加有关的软件包和程序。这是发展最快的软件，受到世界上统计师生的欢迎。是用户量增加最快的统计软件。对于一般非统计工作者来说，主要问题是它没有“傻瓜化”。,统计软件,Minitab：这个软件是很方便的功能强大而又齐全的软件，也已经“傻瓜化”，在我国用的不如SPSS与SAS那么普遍。 Statistica：也是功能强大而齐全的“傻瓜化”的软件，在我国用的也不如SAS与SPSS那么普遍。 Eviews：这是一个主要处理回归和时间序列的软件。 GAUSS：这是一个很好用的统计软件，许多搞经济的喜欢它。主要也是编程功能强大。目前在我国使用的人不多。 FORTRAN：这是应用于各个领域的历史很长的非常优秀的编程软件，功能强大，也有一定的统计软件包。计算速度比这里介绍的都快得多。但需要编程和编译。操作不那么容易。 MATLAB：这也是应用于各个领域的以编程为主的软件，在工程上应用广泛。编程类似于S和R。但是统计方法不多。,统计软件,当然，还有其他的软件，没有必要一一罗列。其实，聪明的读者只要学会使用一种“傻瓜式”软件，使用其他的仅仅是举一反三之劳；最多看看帮助和说明即可。如果只有英文帮助，那还可以顺便提高你的英文阅读能力。,想想看,举出你所知道的统计应用例子。 举出日常生活中随机性和规律性的例子。 你使用过统计软件或者利用过其他软件中的统计功能吗？你有什么经验和体会？,数据的收集,二手数据,每天翻开报纸或打开电视，就可以看到各种数据。比如高速公路通车里程、物价指数、股票行情、外汇牌价、犯罪率、房价、流行病的有关数据（确诊病例、疑似病例、死亡人数和出院人数等等）；当然还有国家统计局定期发布的各种国家经济数据、海关发布的进出口贸易数据等等。从中可以选取对自己有用的信息。 这些间接得到的数据都是二手数据。,第一手数据,获得第一手数据并不象得到二手数据那么轻松。 某些在华的外资企业每年至少要花三四千万元来收集和分析数据。 他们调查其产品目前在市场中的状况和地位并确定其竞争对手的态势； 他们调查不同地区，不同阶层的民众对其产品的认知程度和购买意愿以改进产品或推出新品种争取新顾客； 他们还收集各地方的经济交通等信息以决定如何保住现有市场和开发新市场。市场信息数据对企业是至关重要的。 他们很舍得在这方面花钱。因为这是企业生存所必需的，绝不是可有可无的。,观测数据和试验数据,上面所说的数据是在自然的未被控制的条件下观测到的，称为观测数据(observational data)。 而对于有些问题，比如在不同的医疗手段下某疾病的治疗结果有什么不同、不同的肥料和土壤条件下某农作物的产量有没有区别、用什么成分可以提高某物质变成超导体的温度等等。这种在人工干预和操作情况下收集的数据就称为试验数据(experimental data)。,总体和样本,要想了解北京市民对建设北京交通设施是以包括轨道运输在内的公共交通工具为主还是以小汽车为主的观点，需要进行调查； 调查对象是所有北京市民，调查目的是希望知道市民中对这个问题的不同看法各自占有的比例。 显然，不可能去问所有的北京市民，而只能够问一部分；并且根据这一部分的观点来理解整个北京市民的总体观点。,总体和样本,这种情况下，称所有（每个）北京市民对这个问题的观点为一个总体(population)，而调查时问到的那部分市民的观点为该总体的一个样本(sample)。 当然，也有可能调查所有的人（比如人口普查），那叫做普查(census)。 总体是包含所有要研究的个体(element)的集合。而样本是总体中选中的一部分。,随机样本,在抽取样本时，如果总体中的每一个体都有同等机会被选到样本中，这种抽样称为简单随机抽样（simple random sampling）， 而这样得到的样本则称为随机样本（random sample）。,随机样本,就北京交通问题的调查为例，在随机抽样的情况下，如果样本量（sample size，也就是样本中个体的数目）在总体中的比例为1/5000，那么，无论在东城区或者在延庆县，无论在白领阶层还是蓝领阶层被问到的人的比例都应该大体是1/5000。 也就是说，这种比例在总体的任何部分是大体不变的。,方便样本,在实践中，得到随机样本不容易。很多搞调查的人就采取简单的办法。 还以北京的交通问题的调查为例。假定按照随机选出的电话号码进行调查。这样肯定节省时间和资源，但这样得到的就不是一个随机样本了。 如果按照随机选择的数字（无论号码本上有没有）打电话，那很多电话是空号或单位电话；显然这种样本也不是随机样本，它称为方便样本（convenience sample）。 在调查中，即使选择对象的确是随机的，最理想的情况所得到的样本也只代表那些愿意回答问题人的观点所组成的总体；没有回答问题的人的观点永远不会被这种调查的样本所代表。,方便样本,这种不回答的问题是抽样调查特有的问题。 在其他问题中，也有使用方便样本的情况。比如在肺癌研究中，人们往往看到吸烟和肺癌的关系的数据；这些数据并不是整个人群中采集的随机样本；它们可能只是医院中的病人记录中得到的。 在杂志和报纸上也有问卷，但得到的只是拥有这份报刊，而且愿意回答的人的观点。,误差,假定在某一职业人群中女性占的比例为60%。如果在这个人群中抽取一些随机样本，这些随机样本中女性的比例并不一定是刚好60，可能稍微多些或稍微少些。这是很正常的，因为样本的特征不一定和总体完全一样。这种差异不是错误，而是必然会出现的抽样误差（sampling error）。 刚才提到在抽样调查中，一些人因为种种原因没有对调查作出反映（或回答），这种误差称为未响应误差（nonresponse error）。 而另有一些人因为各种原因回答时并没有真实反映他们的观点，这称为响应误差（response error）。 和抽样误差不一样，未响应误差和响应误差都会影响对真实世界的了解；应该在设计调查方案时尽量避免。,抽样调查的一些常用方法,在抽样调查时，最理想的样本是前面提到的随机样本。 但是由于实践起来不方便，在大规模调查时一般不用这种全部随机抽样的方式，而只是在局部采用随机抽样的方法。 下面介绍几种抽样方法。这里没有深奥的理论；读者完全可以根据常识判断在什么情况下简单的随机样本不方便以及下面的每个方法有什么好处和缺陷。对于它们具体的设计、实施与数据分析，有许多专门的书籍，就不在这里赘述了。,一些抽样方法,1 分层抽样（stratified sampling）。这是先把要研究的总体按照某些性质分类（stratum），再在各类中分别抽取样本。在每类中调查的人数通常是按照这该类人的比例，但出于各种考虑，也可能不按照比例，也可能需要加权（加权就是在求若干项的和时，对各项乘以不同的系数，这些系数的和通常为1）。比如可以按照教育程度把要访问的人群分成几类；再在每一类中调查和该类成比例数目的人。这样就确保了每一类都有成比例的代表。,一些抽样方法,2.整群抽样（cluster sampling）。这是先把总体划分成若干群（cluster），再（通常是随机地）从这些群中抽取几群；然后再在这些抽取的群中对个体进行抽样。比如，在某县进行调查，首先在所有村中选取若干村子，然后只对这些村子的人进行调查。显然，如果各村情况差异不大，这种抽样还是方便的。否则就会增大误差了。,一些抽样方法,3.多级抽样（multistage sampling）。在群体很大时，往往在抽取若干群之后，再在其中抽取若干子群，甚至再在子群中抽取子群，等等。最后只对最后选定的最下面一级进行调查。比如在全国调查时，先抽取省，再抽取市地，再抽取县区，再抽取乡、村直到户。在多级抽样中的每一级都可能采取各种抽样方法。因此，整个抽样计划可能比较复杂，也称为多级混和型抽样。,一些抽样方法,4.系统抽样（systematic sampling）。这是先把总体中的每个单元编号，然后随机选取其中之一作为抽样的开始点进行抽样。如果编号是随机选取的，则这和简单随机抽样是等价的。在选取开始点之后，通常从开始点开始按照编号进行所谓等距抽样；也就是说，如果开始点为5号，“距离”为10，则下面的调查对象为15号、25号等等。,抽样方法的选择不能一概而论,实际上每个抽样通常都可能是各种抽样方法的组合。既要考虑精确度，还要根据客观情况考虑方便性、可行性和经济性。不能一概而论。,计算机中常用的数据形式,数据是由一些变量和它们的观测值所组成。下面就是调查人们对某个问题观点的一个数据的方阵形式。其中有6个变量：观点（观测值为支持、反对和不知道三种）、教育程度（有高中低三种取值，用H、M、L表示）、月收入（取值为实际数字）、性别（取值有男女两个，用M和F表示）以及地区号（用数字1，2，3，4表示）等。该表一共有1364个观测值（问卷回答）。可以看出这些变量有定性（属性）变量，也有定量（数值）变量。按照这个数据的格式，每一列为一个变量的不同观测值；而每一行则称为一个观测值，它是个由数量值和属性值组成的向量，每一个值相应于一个变量。,思考,1 举出一些观测数据和试验数据的例子。 2 举出简单随机样本的例子。 3 根据你的经验，举出总体和样本的一些具体例子。 4 举出调查抽样时可能发生的各种影响调查结果的问题，并且提出你认为可以减少或避免这些问题的建议。 5 根据你的直觉，本章提到的几种抽样方法的优缺点是什么？原因何在？ 6 举出一些书报上发表的数据例子，并指出那些是变量，哪些是观测值。,数据的描述,如同给人画像一样,直方图,比如某个地区（地区1）学校高三男生的身高；有163个度量如何用图形来表示这个数据，使人们能够看出这个数据的大体分布或“形状”呢？一个办法就是画一个直方图(histogram)。,盒型图,比直方图简单一些的是盒形图(boxplot，又称箱图、箱线图、盒子图)。后面图的左边一个是根据地区1高三男生的身高数据所绘的盒形图；其右边的图代表另一个地区（地区2）的高三学生的身高,茎叶图,地区1高三男生身高数据的茎叶图,HEIGHT Stem-and-Leaf Plot Frequency Stem & Leaf 9.00 15 . 001223344 17.00 15 . 55666667778899999 20.00 16 . 01112222223333333444 35.00 16 . 55555666666667777788888888888999999 25.00 17 . 0000000011112222233333344 24.00 17 . 555666677777777777888899 13.00 18 . 0111111122333 11.00 18 . 55667788899 4.00 19 . 2333 2.00 19 . 56 3.00 Extremes (=198) Stem width: 10.00 Each leaf: 1 case(s),散点图,往往人们得到的数据有两个变量的，比如美国男士和女士初婚年限的数据。该数据描述了自1900年到1998年男女第一次结婚延续的时间的中位数。当然，不可能将所有人的婚姻年限都给出来。所以，每年就取了一个中间的值(中位数)作为代表。自1900到1960年是每十年一个值，以后到1990是每五年取一个数，1995年以后是每年一个数。这里的一个变量为记录年份，另一个是结婚时间长短。由于分男士和女士，因此有两二维数据。这时可以以一个变量为横坐标（如年份），另一个为纵坐标（这里是结婚年限）来点图。这种图称为散点图（scatter plot）。还可以看出在二十世纪六十年代婚姻年限降低，而后来又升高。而男子的年限平均比女性长。这个图是用SPSS画的。,定性变量的点图,定性变量（或属性变量，分类变量）不能点出直方图、散点图或茎叶图，但可以描绘出它们各类的比例。下面用SPSS绘的图表示了说世界各种主要语言的人数的比例,饼图,条形图,汇总统计量或概括统计量(summary statistic),汇总统计量（位置）,均值(mean) 中位数(median) (第一，第三)四分位数(点)(first quantile, third quantile ) k百分位数(k-percentile) 众数(mode),汇总统计量（尺度） (scale statistic),极差（range) 四分位间距(四分位极差) (interquantile range) 标准差(standard deviation) 方差(variance),两个尺度不同的数据的直方图，左边的标准差大约只有右边的一半,数据的标准得分 (standard score),两个水平类似的班级（一班和二班）上同一门课，但是由于两个任课老师的评分标准不同，使得两个班成绩的均值和标准差都不一样(数据：grade.sav)。一班分数的均值和标准差分别为78.53和9.43，而二班的均值和标准差分别为70.19和7.00。那么得到90分的一班的张颖是不是比得到82分的二班的刘疏成绩更好呢？怎么比较才能合理呢？虽然这种均值和标准差不同的数据不能够直接比较，但是可以把它们进行标准化，然后再比较标准化后的数据。一个标准化的方法是把原始观测值（亦称得分，score）和均值之差除以标准差；得到的度量称为标准得分(standard score)。,思考,1 根据你的经验，给出定性和定量变量的例子。 2 对于问题1中你的例子，试图画出各种描述性图形并计算汇总统计量。 3 举例说明众数、中位数和均值的优缺点。 4 举例说明尺度统计量说明了数据的什么特性。 5 标准得分实际上是对原始数据的一种标准化。试举出标准得分的用处。,统计推断,从数据得到对现实世界的结论的过程,估计,总体它代表我们所关心的那部分现实世界。而在利用样本中的信息来对总体进行推断之前人们一般对代表总体的变量假定了分布族。比如假定人们的身高属于正态分布族；对抽样调查假定了二项分布族等等。这些模型基本上是根据经验来假定的，所以仅仅是对现实世界的一个近似。在假定了总体分布族之后，进一步对总体的认识就是要在这个分布族中选择一个适合于我们问题的分布；由于分布族成员是由参数确定的，如果参数能够估计，对总体的具体分布就知道得差不多了。,估计,一种是点估计(point estimation)，也就是用估计量的实现值来近似相应的总体参数。 另一种是区间估计(interval estimation)；它是包括估计量在内（有时是以估计量为中心）的一个区间；该区间被认为很可能包含总体参数。 点估计给出一个数字，用起来很方便；而区间估计给出一个区间，说起来留有余地；不象点估计那么绝对。 无偏估计(大样本性质) 区间估计的置信度(大样本性质),估计,注意置信区间的论述是由区间和置信度两部分组成。有些新闻媒体报道一些调查结果只给出百分比和误差（即置信区间），并不说明置信度，也不给出被调查的人数，这是不负责的表现。因为降低置信度可以使置信区间变窄（显得“精确”），有误导读者之嫌。如果给出被调查的人数，则内行可以由推算出置信度（由后面给出的公式），反之亦然。,一个描述性例子,一个有10000个人回答的调查显示，同意某种观点的人的比例为70%（有7000人同意），可以算出总体中同意该观点的比例的95%置信区间为（0.691，0.709）；另一个调查声称有70%的比例反对该种观点，还说总体中反对该观点的置信区间也是（0.691，0.709）。到底相信谁呢？实际上，第二个调查隐瞒了置信度（等价于隐瞒了样本量）。如果第二个调查仅仅调查了50个人，有35个人反对该观点。根据后面的公式可以算出，第二个调查的置信区间的置信度仅有11%。,假设检验,在假设检验中，一般要设立一个原假设；而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设和现实的矛盾，从而否定这个假设。在多数统计教科书中（除了理论探讨之外）的假设检验都是以否定原假设为目标。 如果否定不了，那就说明证据不足，无法否定原假设。但这不能说明原假设正确。很多教科书在这个问题上不适当地用“接受原假设”的说法，犯了明显的低级逻辑错误。,假设检验的过程和逻辑,首先要提出一个原假设，比如某正态总体的均值等于5（m=5）。这种原假设也称为零假设（null hypothesis），记为H0。 与此同时必须提出对立假设，比如总体均值大于5（m5）。对立假设又称为备选假设或备择假设（alternative hypothesis）记为记为H1或Ha。,假设检验的过程和逻辑,根据零假设（不是备选假设！），我们可以得到该检验统计量的分布； 然后再看这个统计量的数据实现值（realization）属不属于小概率事件。也就是说把数据代入检验统计量，看其值是否落入零假设下的小概率范畴； 如果的确是小概率事件，那么我们就有可能拒绝零假设，否则我们说没有足够证据拒绝零假设。,假设检验的过程和逻辑,注意：零假设和备选假设在假设检验中并不对称。因检验统计量的分布是从零假设导出的，因此，如果发生矛盾，当然就对零假设不利了。 不发生矛盾也不说明备选假设有问题（因为和备选假设无关）。,假设检验的过程和逻辑,检验统计量在零假设下等于这个样本的数据实现值或更加极端值的概率称为p-值（p-value）。 显然得到很小p-值意味着小概率事件发生了。如果小概率事件发生，是相信零假设，还是相信数据呢？ 当然是相信数据。于是就拒绝零假设。但小概率并不能说明不会发生，仅仅发生的概率很小罢了。 拒绝正确零假设的错误常被称为第一类错误（type I error）。,假设检验的过程和逻辑,有第一类错误，就有第二类错误；那是备选零假设正确时反而说零假设正确的错误，称为第二类错误（type II error）。 零假设和备选假设哪一个正确，这是确定性的，没有概率可言。 而可能犯错误的是人。涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率。 负责的态度是无论做出什么决策，都应该给出犯错误的概率。,假设检验的过程和逻辑,到底p-值是多小才能够拒绝零假设呢？也就是说，需要有什么是小概率的标准。这要看具体应用的需要。但在一般的统计书和软件中，使用最多的标准是在零假设下（或零假设正确时）抽样所得的数据拒绝零假设的概率应小于0.05（也可能是0.01，0.005，0.001等等）。这种事先规定的概率称为显著性水平(significance level)，用字母a来表示。当p-值小于或等于a时，就拒绝零假设。所以，a是所允许的犯第一类错误概率的最大值。当p-值小于或等于a时，我们说这个检验是显著的(significant)。,假设检验的过程和逻辑,归纳起来，假设检验的逻辑步骤为： 第一，写出零假设和备选假设； 第二，确定检验统计量； 第三，确定显著性水平a； 第四，根据数据计算检验统计量的实现值； 第五，根据这个实现值计算p-值； 第六，进行判断：如果p-值小于或等于a，就拒绝零假设，这时犯错误的概率最多为a；如果p-值大于a，就不拒绝零假设，因为证据不足。,假设检验的过程和逻辑,实际上，计算机软件仅仅给出p-值，而不给出a。这有很多方便之处。比如a=0.05，而假定我们得到的p-值等于0.001。这时我们如果如果采用p-值作为新的显著性水平，即a=0.001，于是可以说，我们拒绝零假设，显著性水平为0.001。拒绝零假设时犯错误的概率实际只是千分之一而不是百分之五。在这个意义上，p-值又称为观测的显著性水平（observed significant level）。在统计软件输出p-值的位置，有的用“p-value”，有的用significant的缩写“Sig”就是这个道理。,假设检验的过程和逻辑,展示结果的精确性（根据数据减少a的值）总是没有害处的。这好比一个身高180厘米的男生，可能愿意被认为高于或等于180厘米，而不愿意说他高于或等于155厘米，虽然这第二种说法数学上没有丝毫错误。,假设检验的过程和逻辑,关于“临界值”的注：作为概率的显著性水平a实际上相应于一个检验统计量取值范围的一个临界值（critical value），它定义为，统计量取该值或更极端的值的概率等于a。也就是说，“统计量的实现值比临界值更极端”等价于“p-值小于a”。使用临界值的概念进行的检验不计算p-值。只比较统计量的取值和临界值的大小。 使用临界值而不是p-值来判断拒绝与否是前计算机时代的产物。当时计算p-值不易，只有采用临界值的概念。但从给定的a求临界值同样也不容易，好在习惯上仅仅在教科书中列出相应于特定分布的几个有限的a临界值（比如a=0.05，a=0.025，a=0.01，a=0.005，a=0.001等等），或者根据分布表反过来查临界值（很不方便也很粗糙）。 现在计算机软件都不给出a和临界值，但都给出p-值和统计量实现值，让用户自己决定显著性水平是多少。,假设检验的例子,汽车厂商声称其发动机排放标准的一个指标平均低于20个单位。在抽查了10台发动机之后，得到下面的排放数据：17.0、21.7、17.9、22.9、20.7、22.4、17.3、21.8、24.2、25.4。该样本均值为21.13。究竟能否由此认为该指标均值超过20？这次我们的假设检验问题就是,假设检验的例子,检验统计量为 我们可以发现p-值为0.1243，因此，我们没有证据否定零假设。,统计推断,从数据得到对现实世界的结论的过程,估计,总体它代表我们所关心的那部分现实世界。而在利用样本中的信息来对总体进行推断之前人们一般对代表总体的变量假定了分布族。比如假定人们的身高属于正态分布族；对抽样调查假定了二项分布族等等。这些模型基本上是根据经验来假定的，所以仅仅是对现实世界的一个近似。在假定了总体分布族之后，进一步对总体的认识就是要在这个分布族中选择一个适合于我们问题的分布；由于分布族成员是由参数确定的，如果参数能够估计，对总体的具体分布就知道得差不多了。,估计,一种是点估计(point estimation)，也就是用估计量的实现值来近似相应的总体参数。 另一种是区间估计(interval estimation)；它是包括估计量在内（有时是以估计量为中心）的一个区间；该区间被认为很可能包含总体参数。 点估计给出一个数字，用起来很方便；而区间估计给出一个区间，说起来留有余地；不象点估计那么绝对。 无偏估计(大样本性质) 区间估计的置信度(大样本性质),估计,注意置信区间的论述是由区间和置信度两部分组成。有些新闻媒体报道一些调查结果只给出百分比和误差（即置信区间），并不说明置信度，也不给出被调查的人数，这是不负责的表现。因为降低置信度可以使置信区间变窄（显得“精确”），有误导读者之嫌。如果给出被调查的人数，则内行可以由推算出置信度（由后面给出的公式），反之亦然。,一个描述性例子,一个有10000个人回答的调查显示，同意某种观点的人的比例为70%（有7000人同意），可以算出总体中同意该观点的比例的95%置信区间为（0.691，0.709）；另一个调查声称有70%的比例反对该种观点，还说总体中反对该观点的置信区间也是（0.691，0.709）。到底相信谁呢？实际上，第二个调查隐瞒了置信度（等价于隐瞒了样本量）。如果第二个调查仅仅调查了50个人，有35个人反对该观点。根据后面的公式可以算出，第二个调查的置信区间的置信度仅有11%。,假设检验,在假设检验中，一般要设立一个原假设；而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设和现实的矛盾，从而否定这个假设。在多数统计教科书中（除了理论探讨之外）的假设检验都是以否定原假设为目标。 如果否定不了，那就说明证据不足，无法否定原假设。但这不能说明原假设正确。很多教科书在这个问题上不适当地用“接受原假设”的说法，犯了明显的低级逻辑错误。,假设检验的过程和逻辑,首先要提出一个原假设，比如某正态总体的均值等于5（m=5）。这种原假设也称为零假设（null hypothesis），记为H0。 与此同时必须提出对立假设，比如总体均值大于5（m5）。对立假设又称为备选假设或备择假设（alternative hypothesis）记为记为H1或Ha。,假设检验的过程和逻辑,根据零假设（不是备选假设！），我们可以得到该检验统计量的分布； 然后再看这个统计量的数据实现值（realization）属不属于小概率事件。也就是说把数据代入检验统计量，看其值是否落入零假设下的小概率范畴； 如果的确是小概率事件，那么我们就有可能拒绝零假设，否则我们说没有足够证据拒绝零假设。,假设检验的过程和逻辑,注意：零假设和备选假设在假设检验中并不对称。因检验统计量的分布是从零假设导出的，因此，如果发生矛盾，当然就对零假设不利了。 不发生矛盾也不说明备选假设有问题（因为和备选假设无关）。,假设检验的过程和逻辑,检验统计量在零假设下等于这个样本的数据实现值或更加极端值的概率称为p-值（p-value）。 显然得到很小p-值意味着小概率事件发生了。如果小概率事件发生，是相信零假设，还是相信数据呢？ 当然是相信数据。于是就拒绝零假设。但小概率并不能说明不会发生，仅仅发生的概率很小罢了。 拒绝正确零假设的错误常被称为第一类错误（type I error）。,假设检验的过程和逻辑,有第一类错误，就有第二类错误；那是备选零假设正确时反而说零假设正确的错误，称为第二类错误（type II error）。 零假设和备选假设哪一个正确，这是确定性的，没有概率可言。 而可能犯错误的是人。涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率。 负责的态度是无论做出什么决策，都应该给出犯错误的概率。,假设检验的过程和逻辑,到底p-值是多小才能够拒绝零假设呢？也就是说，需要有什么是小概率的标准。这要看具体应用的需要。但在一般的统计书和软件中，使用最多的标准是在零假设下（或零假设正确时）抽样所得的数据拒绝零假设的概率应小于0.05（也可能是0.01，0.005，0.001等等）。这种事先规定的概率称为显著性水平(significant level)，用字母a来表示。当p-值小于或等于a时，就拒绝零假设。所以，a是所允许的犯第一类错误概率的最大值。当p-值小于或等于a时，我们说这个检验是显著的(significant)。,假设检验的过程和逻辑,归纳起来，假设检验的逻辑步骤为： 第一，写出零假设和备选假设； 第二，确定检验统计量； 第三，确定显著性水平a； 第四，根据数据计算检验统计量的实现值； 第五，根据这个实现值计算p-值； 第六，进行判断：如果p-值小于或等于a，就拒绝零假设，这时犯错误的概率最多为a；如果p-值大于a，就不拒绝零假设，因为证据不足。,假设检验的过程和逻辑,实际上，计算机软件仅仅给出p-值，而不给出a。这有很多方便之处。比如a=0.05，而假定我们得到的p-值等于0.001。这时我们如果如果采用p-值作为新的显著性水平，即a=0.001，于是可以说，我们拒绝零假设，显著性水平为0.001。拒绝零假设时犯错误的概率实际只是千分之一而不是百分之五。在这个意义上，p-值又称为观测的显著性水平（observed significant level）。在统计软件输出p-值的位置，有的用“p-value”，有的用significant的缩写“Sig”就是这个道理。,假设检验的过程和逻辑,展示结果的精确性（根据数据减少a的值）总是没有害处的。这好比一个身高180厘米的男生，可能愿意被认为高于或等于180厘米，而不愿意说他高于或等于155厘米，虽然这第二种说法数学上没有丝毫错误。,假设检验的过程和逻辑,关于“临界值”的注：作为概率的显著性水平a实际上相应于一个检验统计量取值范围的一个临界值（critical value），它定义为，统计量取该值或更极端的值的概率等于a。也就是说，“统计量的实现值比临界值更极端”等价于“p-值小于a”。使用临界值的概念进行的检验不计算p-值。只比较统计量的取值和临界值的大小。 使用临界值而不是p-值来判断拒绝与否是前计算机时代的产物。当时计算p-值不易，只有采用临界值的概念。但从给定的a求临界值同样也不容易，好在习惯上仅仅在教科书中列出相应于特定分布的几个有限的a临界值（比如a=0.05，a=0.025，a=0.01，a=0.005，a=0.001等等），或者根据分布表反过来查临界值（很不方便也很粗糙）。 现在计算机软件都不给出a和临界值，但都给出p-值和统计量实现值，让用户自己决定显著性水平是多少。,假设检验的例子,汽车厂商声称其发动机排放标准的一个指标平均低于20个单位。在抽查了10台发动机之后，得到下面的排放数据：17.0、21.7、17.9、22.9、20.7、22.4、17.3、21.8、24.2、25.4。该样本均值为21.13。究竟能否由此认为该指标均值超过20？这次我们的假设检验问题就是,假设检验的例子,检验统计量为 我们可以发现p-值为0.1243，因此，我们没有证据否定零假设。,变量间的关系,直到现在我们所涉及的仅仅是对一些互相没有关系的变量的描述。但是现实世界的问题都是相互联系的。不讨论变量之间的关系，就无从谈起任何有深度的应用；而没有应用，前面讲过的那些基本概念就仅仅是摆设而已。,变量间的关系,人们每时每刻都在关心事物之间的关系。 比如，职业种类和收入之间的关系、政府投入和经济增长之间的关系、广告投入和经济效益之间的关系、治疗手段和治愈率之间的关系等等。 这些都是二元的关系。 还有更加复杂的诸多变量之间的相互关系， 比如企业的固定资产、流动资产、预算分配、管理模式、生产率、债务和利润等诸因素的关系是不能用简单的一些二元关系所描述的。,例1广告投入和销售之间的关系（数据ads.sav）,这是什么关系？,这两个变量是否有关系？显然，它们有关系；这从散点图就很容易看出。基本上销售额是随着广告投入的递增而递增。 如果有关系，它们的关系是否显著？这也可以从散点图得到。当广告投入在6万元以下，销售额增长很快；但大于这个投入时，销售额增长就不明显了。因此，这两个变量的关系是由强变弱。 这些关系是什么关系，是否可以用数学模型来描述？本例看上去是可以拟合一个回归模型（后面会介绍），但绝不是线性的（用一条直线可以描述的）。具体细节需要进一步的分析,这是什么关系？,这个关系是否带有普遍性？也就是说，仅仅这一个样本有这样的关系，还是对于其他企业也有类似的规律。这里的数据还不足以回答这个问题。可能需要考虑更多的变量和收集更多的数据。一般来说，人们希望能够从一些特殊的样本，得到普遍的结论，以利于预测。 这个关系是不是因果关系？在本问题中，看来有因果关系。这类似于一种试验；而试验时是容易找到因果关系的。但是，一般来说，变量之间有关系但绝不意味着存在因果关系。,定性变量间的关系 （关于某项政策调查所得结果:table7.sav）,大致可以看出女性赞成的多，低收入赞成的多,定性和定量变量间的混和关系,假想关于高等学校的数据的一些指标包括:在校生人数(S),研究生比例(G), 教师人数(F), 职工人数(ST),SCI和SSCI文章数目(P), SCI和SSCI文章引用数目(Q), 科研项目数(PR),科研经费(B),总经费及招生范围(N)等,从这个数据很难马上看到任何关系。但是从这个数据可以得到许多有用的关系和结论。比如，可以得到任何一个变量和其余变量之间的定量关系或者多个变量之间的定量关系（因而可以建立模型，进行预测和各种推断）；也可以利用其中一些变量把各个高等学校分类；还可以把众多的变量用少数几个变量代替以利于分析和理解；此外这个数据可以作为高校排名的根据之一。所有这些都是未来章节的内容。,相关和回归分析,相关和回归分析,顾客对商品和服务的反映对于商家是至关重要的,但是仅仅有满意顾客的比例是不够的,商家希望了解什么是影响顾客观点的因素以及这些因素是如何起作用的。 一般来说，统计可以根据目前所拥有的信息（数据）建立人们所关心的变量和其他有关变量的关系（称为模型）。 假如用Y表示感兴趣的变量，用X表示其他可能有关的变量（可能是若干变量组成的向量）。则所需要的是建立一个函数关系Y=f(X)。这里Y称为因变量或响应变量，而X称为自变量或解释变量或协变量。 建立这种关系的过程就叫做回归。,相关和回归分析,一旦建立了回归模型 可以对各种变量的关系有了进一步的定量理解 还可以利用该模型（函数）通过自变量对因变量做预测。 这里所说的预测，是用已知的自变量的值通过模型对未知的因变量值进行估计；它并不一定涉及时间先后的概念。,例1 有50个从初中升到高中的学生.为了比较初三的成绩是否和高中的成绩相关,得到了他们在初三和高一的各科平均成绩(数据:highschool.sav),从这张图可以看出什么呢?,问题是,怎么判断这两个变量是否相关? 如何相关? 相关的度量是什么? 进一步的问题是能否以初三成绩为自变量，高一成绩为因变量来建立一个回归模型以描述这样的关系，或用于预测。,还有定性变量,该数据中，除了初三和高一的成绩之外，还有一个定性变量 它是学生在高一时的家庭收入状况；它有三个水平：低、中、高，分别在数据中用1、2、3表示。,还有定性变量,下面是对三种收入对高一成绩和高一与初三成绩差的盒形图,例2 这是200个不同年龄和性别的人对某项服务产品的认可的数据(logi.sav). 年龄是连续变量,性别是有男和女(分别用1和0表示)两个水平的定性变量,而(定性)变量“观点”则为包含认可(用1表示)和不认可(用0表示)两个水平的定性变量。,从这两张图又可以看出什么呢?,两个定量变量的相关,如果两个定量变量没有关系，就谈不上建立模型或进行回归。 但怎样才能确定两个变量有没有关系呢? 最简单的办法就是画出它们的散点图。,四组数据(每个有两个变量的样本)的散点图,几种相关的度量,Pearson相关系数,又叫相关系数或线性相关系数。它一般用字母r表示. Kendall t 相关系数(Kendalls t)这里的度量原理是把所有的样本点配对,看每一对中的x和y是否都增加来判断总体模式. Spearman 秩相关系数,它和Pearson相关系数定义有些类似,只不过在定义中把点的坐标换成各自样本的秩. 它们各自都有以不相关为零假设的检验,即p-值小则相关.但各自的相关含义不尽相同. 现在再来看例1的数据(highschool.sav).关于初三和高一成绩的相关系数的结果是Pearson相关系数，Kendall t 和Spearman 秩相关系数分别为0.795, 0.595和0.758。,定量变量的线性回归分析,对例1中的两个变量的数据进行线性回归，就是要找到一条直线来最好地代表散点图中的那些点。,检验问题等,对于系数b1=0的检验 对于拟合的F检验 R2(决定系数)及修正的R2.,多个自变量的回归,如何解释拟合直线?,什么是逐步回归方法?,自变量中有定性变量的回归,例1的数据中,还有一个自变量是定性变量“收入”,以虚拟变量或哑元(dummy variable)的方式出现;这里收入的“低”,“中”,“高”，用1,2,3来代表.所以,如果要用这种哑元进行前面回归就没有道理了. 以例1数据为例,可以用下面的模型来描述:,自变量中有定性变量的回归,现在只要估计b0, b1,和a1, a2, a3即可。 哑元的各个参数a1, a2, a3本身只有相对意义，无法三个都估计，只能够在有约束条件下才能够得到估计。 约束条件可以有很多选择，一种默认的条件是把一个参数设为0，比如a3=0，这样和它有相对意义的a1和a2就可以估计出来了。 对于例1，对b0, b1, a1, a2, a3的估计分别为28.708, 0.688, -11.066, -4.679, 0。这时的拟合直线有三条，对三种家庭收入各有一条:,SPSSS实