几种统计分析模型介绍.ppt

几种统计分析模型介绍,福建省国家调查队系统统计建模培训,主讲人：张业圳 2009年6月8日,张业圳 福建师范大学经济学院副教授、博士、财金系副主任 主要教学研究方向：数量经济学与金融实证分析 联系电话：87369087Email: Q Q: 107345901 地址：福建师范大学经济学院 邮编：350108,经济统计分析,统计学研究如何测定、收集、整理、归纳和分析反映客观现象总体数量的数据，以便给出正确认识的方法论科学。,经济统计分析就是用统计方法来分析经济现象数量特征和经济变量之间的关系。主要的工作有： 1）分析经济现象中变量之间相互关系 2）经济预测 3）政策评价,什么是经济统计分析模型,模型,对现实的描述和模拟。 用不同方法对现实进行描述和模拟，就构成不同的模型。语义模型、物理模型、几何模型、数学模型和计算机模拟模型。,经济数学模型：用数学方法描述经济活动。采用的数学方法不同，对经济活动提示的程度不同，构成各类不同的经济数学模型。,数理经济模型 计量经济学模型,本次培训主要模型,1、聚类分析 2、回归分析 3）因子分析和主成分分析 4）时间序列分析,第一部分：预备知识,样本与统计量,总体与样本,在数理统计中，把研究对象的全体称为总体 （population)或母体，而把组成总体的每个单元 称为个体。,抽样,要了解总体的分布规律，在统计分析工作中，往往 是从总体中抽取一部分个体进行观测，这个过程称为抽 样。,样本与统计量,子样,子样 是n个随机变量，抽取之后 的观测数据 称为样本值或子样观察值。,在抽取过程中，每抽取一个个体，就是对总体X进 行一次随机试验，每次抽取的n个个体 ， 称为总体X的一个容量为n的样本（sample）或子 样；其中样本中所包含的个体数量称为样本容量。,随机抽样方法的基本要求,独立性即每次抽样的结果既不影响其余各次抽样的 结果，也不受其它各次抽样结果的影响。,满足上述两点要求的子样称为简单随机子样.获得简 单随机子样的抽样方法叫简单随机抽样.,代表性即子样( )的每个分量 与总体 具有相同的概率分布。,从简单随机子样的含义可知，样本 是来自总体 、与总体 具有相同分布的随机变量.,简单随机抽样,例如：要通过随机抽样了解一批产品的次品率， 如果每次抽取一件产品观测后放回原来的总量中，则 这是一个简单随机抽样。,但实际抽样中，往往是不再放回产品，则这不是一个简单随机抽样。但当总量N很大时，可近似看成是简单 随机抽样。,例如：为了分析福建省居民家庭收入状况，对福建省居民家庭收入进行调查。,统计量,定义 设（ ）为总体X的一个样本， 为不含任何未知参数的连续函数，则 称 为样本（ ）的一个统计量。,则,例如： 设 是从正态总体 中抽取 的一个样本，其中 为已知参数, 为未知参数，,是统计量,不是统计量,几个常用的统计量,样本均值（sample mean),设 是总体 的一个样本，,样本方差(sample variance),样本均方差或标准差,它们的观测值用相应的小写字母表示.反映总体X取值的平均，或反映总体X取值的离散程度。,几个常用的统计量,设 是总体 的一个样本，,子样的K阶（原点）矩,几个常用的统计量,设 是总体 的一个样本，,子样的K阶中心矩,它包括两个方面数据整理 计算样本特征数,数据的简单处理,为了研究随机现象，首要的工作是收集原始数据.一般通过抽样调查或试验得到的数据往往是杂乱无章的，需要通过整理后才能显示出它们的分布状况。,数据的简单处理是以一种直观明了方式加工数据。,计算样本特征数：,数据的简单处理,（1）反映趋势的特征数,样本均值,中位数：数据按大小顺序排列后，位置居中的那个数 或居中的两个数的平均数。,众数：样本中出现最多的那个数。,数据的简单处理,（2）反映分散程度的特征数：极差、四分位差,极差样本数据中最大值与最小值之差，,四分位数将样本数据依概率分为四等份的3个数椐， 依次称为第一、第二、第三四分位数。,第一四分位数Q1：,第二四分位数Q2：,第三四分位数Q3：,第二部分：参数估计,第一节 参数的点估计,一、点估计问题,设总体 X 的分布函数的形式为已知的F ( x, ) ，其中 x 是自变量,为未知参数（它可以是一个数，也可以是一个向量）借助于总体 X 的一个样本（X 1, X 2, , X n ），来估计未知参数的值的问题，称为参数的点估计问题,二、矩估计法,对于总体 X 的样本（ X1, X2, ,Xn ），样本的 l 阶原点矩为 ，l = 1, 2, ，k,令 l = Al , l=1,2,，k，,即,如果样本观察值为（ x1, x2, ,xn ），则得未知参数 的矩估计值为 上述估计未知参数的方法就叫做矩估计法,解此方程组得到 与 的矩估计量为,令 即,解,例1 设总体 X 的均值为，方差为 ，且 ，但与 均未知，又设总体 X 的一个样本为（X1, X2 , , Xn），求与 的矩估计量,解 由例4可得,例2 某厂生产一批铆钉，现要检验铆钉头部直径，从这批产品中随机抽取12只，测得头部直径（单位：mm）如下： 13.30 13.38 13.40 13.43 13.32 13.48 13.54 13.31 13.34 13.47 13.44 13.50 设铆钉头部直径这一总体 X 服从正态分布 ，试求 与 的矩估计值,注 此例说明，无论总体 X 服从什么分布，样本均值 都是总体均值 的矩估计量，样本二阶中心矩就是总体方差 的矩估计量,三、极大似然估计法,解 X 的概率密度为 设 x1, x2, xn 为样本值，似然函数为,令 解得 与 的极大似然估计值为 因此， 与 的极大似然估计量为,四、估计量的评选标准,1无偏性,估计量是样本的函数，它是一个随机变量，由不同的方法得到的估计量可能相同也可能不同而对同一估计量，由不同的样本观察值得到参数的估计值也可能不同我们很自然地要求估计量的期望等于参数的真值，即无偏性,定义 设 是未知参数的估计量，若 ，则称 为的无偏估计（量）,例4 设总体 X 的均值为 ,（ X1, X2, X3 ）是总体 X 的样本，证明下列两个估计量 都是 的无偏估计,设 为参数的估计量，若当 时， 按概率收敛于 ，即对于任意正数，有 ， 则称 为的一致估计（量）,3一致性,根据大数定律可知，样本均值 是总体均值 的一致估计量,设 与 是参数的两个无偏估计量，若 ， 则称 比 有效.,2有效性,第二节 参数的区间估计,定义 设总体 X 的分布中含有一个未知参数 ，(X1, X2, , Xn ）是来自总体 X 的一个样本如果对于给定的常数 ，统计量 1= 1 (X1, X2, , Xn ）与2= 2(X1, X2, , Xn ）满足 （1） 则称随机区间(1 ,2 )是的置信度为 的置信区间，分别称1与2为的置信下限与置信上限,例1 设总体 ， 为已知， 未知,（ X1, X2, ,Xn ）为来自总体 X 的一个样本，求 的置信度为 的置信区间,1 称为置信度或置信水平（1）式的含义是，随机区间(1 ,2 )以 的概率包含着 ， 也就是说，对每一个样本值 （ x1, x2, , xn ）可求得一个具体的区间(1(x1, x2, , xn ),2 (x1, x2, , xn )在这些众多的区间中，包含的有100 ( ) %个，不包含的有100 %个,即有 取 ，于是得到 的置信度为 的置信区间为,第三部分：假设检验,假设检验是进行统计推断的另一种方法，问题的一般提法是对总体未知参数或总体的分布形式作一假设，利用样本提供的信息来检验这一假设是否成立，这一方法具有很重要的实际意义，因而也是数理统计的重要内容之一,第一节 假设检验的基本概念,假设检验是指施加于一个或多个总体的概率分布或参数的假设所作的假设可以是正确的，也可以是错误的,为判断所作的假设是否正确，从总体中抽取样本，根据样本的取值，按一定的原则进行检验，然后，作出接受或拒绝所作假设的决定,何为假设检验？,假设检验所以可行，其理论背景为实际推断原理，即“小概率原理”,假设检验的内容,参数检验,非参数检验,总体均值、均值差的检验,总体方差、方差比的检验,分布拟合检验,符号检验,秩和检验,假设检验的理论依据,引例1 某产品的出厂检验规定：次品率p不超过4%才能出厂现从一万件产品中任意抽查12件发现3件次品，问该批产品能否出厂？若抽查结果发现1件次品，问能否出厂？,件，没理由拒绝原假设，从而接受原假设，即该批产品可以出厂,解 假设,这是小概率事件，一般在一次试验中是不会发生的，现一次试验竟然发生，故可认为原假设不成立，即该批产品次品率,这不是小概率事,，则该批产品不能出厂,若不采用假设检验，按理也不能够出厂,注 直接算,对总体,要求利用样本观察值,对提供的信息作出接受H0 (可出厂)，还是接受H1 (不准出厂)的判断,上述出厂检验问题的数学模型,提出假设,引例2 某厂生产的螺钉，按标准强度为68克/mm2，而实际生产的螺钉强度X 服从N( ,3.62 )若E( X ) = = 68，则认为这批螺钉符合要求，否则认为不符合要求为此提出如下假设：,H0 ： = 68,H1 ： 68,现从该厂生产的螺钉中抽取容量为36的样本，其样本均值为 ，问原假设是否正确?,称为原假设或零假设,原假设的对立面：,称为备择假设,若原假设正确，则,故,取较大值是小概率事件,因而,，即,偏离68不应该太远，偏离,较远是小概率事件，由于,规定为小概率事件的概率大小，通常取=0.05, 0.01,例如，取= 0.05 ，则,因此，可以确定一个常数c ，使得,由,的取值区间( 66.824 , 69.18 )为检验的接受域,(实际上没理由拒绝)，而区间,现,落入接受域，则接受原假设H0: = 68,为检验的拒绝域,称,( ，66.824 )与( 69.18，+ ),由引例2可见，在给定的前提下，接受还是拒绝原假设完全取决于样本值，因此所作检验可能导致以下两类错误的产生：,第一类错误,弃真错误,第二类错误,取伪错误,假设检验的两类错误,犯第一类错误的概率通常记为 ； 犯第二类错误的概率通常记为 ,希望所用的检验方法尽量少犯错误，但不能完全排除犯错误的可能性理想的检验方法应使犯两类错误的概率都很小，但在样本的容量给定的情形下，不可能使两者都很小，降低一个，往往使另一个增大,假设检验的指导思想是控制犯第一类错误的概率不超过，然后，若有必要，通过增大样本容量的方法来减少 ,命题 当样本容量确定后，犯两类错误的概率不可能同时减少,注1 一般作假设检验时，先控制犯第一类错误的概率 ，在保证 的条件下使 尽量地小要降低 一般要增大样本容量当H0不真时，参数值越接近真值， 越大,注2 备择假设可以是单侧，也可以是双侧的,原假设H0 : = 68；备择假设H1 : 68,引例2中的备择假设是双侧的如果根据以往的生产情况，0=68现采用了新工艺，关心的是新工艺能否提高螺钉强度， 越大越好此时，可作如下的假设检验：,当原假设H0 : = 0 = 68为真时，,取较大值的概率较小,当备择假设H1: 68为真时，,取较大值的概率较大,给定显著性水平 ，根据,可确定拒绝域,因而，接受域,称这种检验为右边检验,备择假设H1: 68,另外，可设原假设H0: 68；,若原假设正确，则,但现不知 的真值，只知 0 = 68, 小概率事件