第二章 基本统计概念.doc

第二章 基本统计概念的回顾2.1 求和符号通常用希腊字符表示求和，其表达式为：其中 i 为求和指数，等式的左边代表“把变量X从第一个值(I = 1)加到第 n(I = n) 个值”。Xi 代表变量 X 的第 i 个值。完整的求和符号为：通常简单地记为：求和符号的性质性质1. 若k为常数，则有:性质2. 若k为常数，则有:性质3. 对两个变量的和求和等于对两个变量分别求和的和。 性质4. 其中a，b为常数，利用性质1、性质2、性质3可得。2.2 随机试验、样本空间、样本点和事件2.2.1 随机试验 (statistical or random experiment)随机试验是指至少有两个可能结果，但不确定哪一个结果会出现的过程。例2.1抛一枚硬币，掷一颗骰子和从一副纸牌中抽取一张。（在这些随机试验中，暗含了地必须满足的条件,例如，假定硬币和骰子是正规的，没有注铅。）2.2.2 样本空间或总体随机试验所有可能结果的集合称为总体或样本空间(population or sample space)。例2.2抛两枚同样的硬币。H代表正面朝上，T代表正面朝下。则有四种结果： HH，HT，TH，TT。其中，HH代表第一、二枚硬币都正面朝上，H T代表第一枚硬币正面朝上，第二枚硬币正面朝下，如此类推。全部的结果，或样本空间为（HH，HT，TH，TT）没有其他合乎逻辑的可能的结果（假设硬币不会立起来）。2.2.3 样本点样本空间的每一种结果称为样本点(sample point)。在例2.2中，HH，HT，TH，TT均为一样本点。2.2.4 随机事件随机试验的可能结果组成的集合称为事件( events )，它是样本空间的一个子集。例2.3如果事件A表示抛两枚硬币一枚正面朝上，一枚正面朝下。例2.2中，只有HT和TH属于事件A (HT和TH是样本空间HH，HT，TH，TT的一个子集)。如果事件B表示两枚均正面朝上。很明显，只有H H属于事件B (HH也是样本空间HH，HT，TH，TT的一个子集)。2.3 随机变量虽然试验的结果可用文字来描述，比如正面朝上或正面朝下，或是黑桃A等，但是如果将试验的结果数量化，即将试验结果和具体数字对应起来。 为什么要将随机事件转化为随即变量？在例2.2中，不用HH，HT，TH，TT描述试验结果，若“变量”表示了抛两枚硬币正面朝上的个数，有如下情况：除“正面朝上次数”之外，变量还可以表示那些事件？随机变量可能是连续的，也可能是离散的。离散型随机变量(discrete random variable)只能取到有限多个(或是可列有限多个)数值。连续型随机变量(continuous random variable)可以取某一区间范围内的任意值。例如，人的身高就是一个连续型随机变量，它可以取在150200cm范围内的任一值。类似的，体重、降雨量、温度等都可看做是连续型随机变量。2.4 概率首先我们定义事件的概率，然后扩展到随机变量的概率。2.4.1 事件的概率：古典定义或先验定义如果一随机试验的n个结果互斥(如果两个事件不能同时发生，则两个事件称为是互斥的)且每个结果等可能发生，并且事件A含有m个基本结果，则事件A的发生的概率(probability )即P(A)就是： ( 2 - 1 )这个定义有两个特征：(1) 试验的结果必须互斥即它们不能同时发生。(2) 试验的每个结果等可能发生。例如，掷一颗骰子出现任何一个数字的机会均等。古典定义又称为先验定义(priori definition)。因为这些概率来自于纯粹的演绎推理，没有必要抛一枚硬币来证明正面朝上的概率为1/2，因为它们是合乎逻辑的仅有的结果。（男女出生比率，古典定义与经验定义的区别）但是如果试验的结果不是有限的或不是等可能发生的，又会怎样呢？例如，次年国民生产总值的概率为多少呢？或次年经济衰退的概率有多大？古典定义无法回答类似这样的问题（计量经济学的价值和意义）。2.4.2 概率的频率定义或经验定义例2.4200个学生微观经济学的考试成绩的分布就可以用频率分布(frequency distribution)来描述。第3列数字称为频数(absolute frequencies)，第4列的数字称为频率(relative frequencies )，即频数除以出现的总数。能把频率当作概率吗？如果观察次数足够多，频率就很好地测度了(事件发生的)真实概率，则可以把频率视为概率。如果在n次试验(或n个观察值)中，m次属于事件A，假定试验的次数n足够多，那么事件A的概率P(A)就简单地等于m/n (即频率)。概率的性质(1)事件的概率在01之间。因而，事件A的概率满足：0P(A)1 (2 - 2)若P(A)= 0，即事件A不会发生；若P(A)= 1，则事件A必定发生。(2) 若事件A，B，C，. 为互斥事件，则事件和的概率等于事件概率之和，用符号表示为：P(A + B + C +.)= P(A)+ P(B)+ P(C)+ . (2 - 3)(3) 若事件A，B，C，.为互斥事件，且为一完备事件组，则事件和的概率为1。用符号表示为：P(A + B + C + .)= P(A)+ P(B)+ P(C)+ . =1 (2 - 4) (4)事件A，B，C，.为相互独立的事件，则事件积的概率等于事件概率的积，用符号表示：P(A B C.)= P(A)P(B)P(C) . (2 - 5)其中，P(A B C.)表示事件A，B，C，. 同时发生或联合发生，因此， P(A B C.)称为联合概率(joint probability)。与联合概率相对应， P(A)，P(B)，P(C)，.称为非条件概率( unconditional )，或边缘概率( marginal )。例2.5假设同时抛两枚硬币。那么两枚均正面朝上的概率是多少？令事件A表示第一枚正面朝上，事件B表示第二枚正面朝上，因此现在要求概率P(A B)。一般地认为第一枚正面朝上的概率独立于第二枚正面朝上的概率， 因而有P(A B)= P(A)P(B)=( 1/2 ) ( 1/2 )=1/4(5) 若事件A，B不是互斥事件，则有：P(A + B)= P(A)+ P(B)P(AB) (2 - 6)（A或者B） (A并且B)例2.6从一副扑克中抽取一张，则是红心或是皇后的概率是多少？抽红心抽皇后不是互斥事件，因为4张皇后中有一张是红心。因而有：P(或是红心或是皇后)= P(红心) +P(皇后)P(既是红心又是皇后)= 13/52 + 4/52 - 1/52= 4/13 (6) 条件概率(conditional probability)若有事件A，B，在事件B发生的情况下，事件A发生的概率，这种概率称为在事件B发生条件下事件A的条件概率，用符号P(A/B)表示 (2 - 7)即给定事件B，事件A发生的条件概率等于事件A、B的联合概率与事件B的边缘概率之比。例2.7会计班有5 0 0个学生，其中男生3 0 0人，女生2 0 0人。在这些学生中，100个男生和6 0个女生计划主修会计学。现随机抽取一人，发现这个学生计划主修会计学。那么，这个学生是男生的概率是多少？=0.625这个例子得到一个非常重要的结论：一般条件概率不等于非条件概率。如果事件A,B相互独立，情况会如何？由于P(A B)= P(A)P(B)，则。即如果两事件是相互独立的，则事件A在给定条件B下的条件概率等于其非条件概率。2.5 概率密度函数（PDF）2.5.1 离散型随机变量的概率密度函数离散型随机变量仅可取有限个数值。例2.7若随机变量X代表抛两枚硬币正面朝上的次数，随机变量X取3个不同值0，1，2。在四种可能结果中，X取0值的概率为1/4 (抛两枚硬币没有一枚正面朝上)，X取2值的概率为1/4 (抛两枚硬币皆正面朝上)，X取1值的概率为2/4 =1/2 (即抛两枚硬币其中有任一枚正面朝上)（注意：这里用概率的古典定义） 用函数f(X)表示概率分布或概率密度函数(probability distribution or probability density function，PDF)，给出了变量X的可能值以及与之相对应的概率值。 (2-8)图2 - 1给出离散型概率密度函数的几何图形。 2.5.2 连续型随机变量的概率密度函数连续型随机变量的概率密度函数指随机变量在某一特定范围或区间内的概率。例2.7令X代表某一连续型随机变量人的身高，如果求其在某一区间内(比如说6068英寸;1英寸=2.539999918 cm；150172cm)的概率，见图2.2。连续型随机变量取某一特定值(比如取值63英寸)的概率为0，它总是在一个区间内（例如6068英寸，150172cm）度量连续型随机变量的概率中国牧民鲍喜顺（身高:2.361米）与最矮的人：肯尼亚的Kiran Shah（身高:1.263米）吉尼斯世界纪录大全（2006年版）2010年1月14日，土耳其伊斯坦布尔，来自中国的何平平（身高74厘米）和土耳其人科森（SultanKosen）（身高2.465米）出席吉尼斯世界纪录路演。2.5.3 累积分布函数(cumulative distribution function，CDF) (2-9)其中，P(Xx)表示随机变量X取小于或等于x的概率。P(X2)表示变量X取小于或等于2的概率。例2.8抛币4次，求随机变量(正面朝上的次数)的概率密度函数和累积分布函数。根据累积分布函数的定义，累积分布函数仅仅是当X的值小于或等于某一给定x时的概率密度函数的“累积”或简单求和 (2 - 10)其中，表示对X的值小于或等于给定的x的所有概率密度函数求和。因此，本例中X取小于2的概率为5/16，X取小于3的概率为11/16，X取小于4的概率为1（完备事件组）。例2.8 离散型随机变量的累积分布函数连续型随机变量的累积分布函数 2.6 多元随机变量的概率密度函数最简单的多元概率密度函数：双变量概率密度函数例2.9下表给出了50支债券的等级(X)及收益率(Y)数据，其中X有三个不同水平：X= 1 ( Bbb )，X=2 (Bb), X= 3 ( B )。根据标准普尔债券等级评定，Bb的信用略高于B，而Bbb又略高于Bb。表2-2：双变量的频数分布：债券等级(X)与债券收益(Y)表2-2提供了两个变量X和Y的频数分布。把表中每一个数值都除以50，将频数转化为频率，即概率(为了简单起见，假设总体或样本空间仅由50种债券组成)。表2-3提供了一个双变量或联合概率密度函数(joint PDF)。表中每一值都为联合概率(joint probability)即变量X取一给定值(例如取2)与变量Y取一给定值(例如取11.5%)时的概率。通常用f (X,Y)表示联合概率密度函数。表2-3：双变量概率密度令X、Y是两个离散型随机变量，则函数： (2-11)称为离散型联合概率密度函数。它给出了当X取x，且Y取y的概率。2.6.1非条件概率密度函数（边缘概率密度）当X取一给定值(例如取2)而无论Y取值如何时的概率（0.40）称为X的非条件概率，其概率密度函数称为X的非条件概率密度函数。同样，表2-4也给出了Y的非条件概率。单变量的非条件概率密度函数或边缘概率密度函数，例如f(X) , f(Y)，与双变量的或联合概率密度函数有什么联系吗？非条件概率密度函数f(X)或f(Y)的和为多少？表2-4 X与Y的边缘概率分布 2.6.2 条件概率密度函数(conditional probability density function)在债券等级为1的条件下，收益为8.5%的概率是多少？即在给定X= 1的条件下，Y= 8.5%的概率是多少？ (2-12)其中，f(YX)代表Y的条件概率密度函数；它给出了在给定X=x(例如取1)条件下Y取y值(例如，8.5%)的概率。类似地，给出X的条件概率密度函数： (2-13)计算条件概率密度函数的方法： ( 2 - 1 4 )下载即在给定另一变量取值条件下某变量的条件概率密度函数等于这两个变量的联合概率与另一变量的非条件概率密度函数之比。求f (Y= 8.5X= 1 )0.26/0.300.8667 2.6.3 统计独立性当两个变量X和Y称为统计独立的，当且仅当它们的联合概率密度函数可以表示成为其非条件概率密度函数之积。f (X,Y) = f (X) f (Y) (2-15)例2.10一个袋子中放着分别写有1，2，3的三个球。现从袋子中有放回地随机抽取两球(即每次抽取一个，然后放回再抽取一个)。令变量X表示第一次抽取球的数字，Y代表第二次抽取球的数字。表2-5给出这两个变量的联合概率密度函数和边缘概率密度函数。表2-5 两随机变量的统计独立性现计算概率f (Y = 1, X = 1 ) , f (Y = 1 ) , f (X = 1 )。由表知概率值分别为1 / 9，1 / 3和1 / 3，其中，第一个为联合概率，而剩下的两个为边缘概率，则这两个变量具有统计独立性( statistically independence )。例2.11债券等级与债券收益是独立随机变量吗？令X= 1 ，Y= 8.5%。从表2-3可知，f ( X =1 ,Y = 8.5 ) = 0.26 ; f ( X =1 ) = 0.30 , f ( Y =8.5 ) = 0.36。显然，在此情况下，0.26(0.30)(0.36)。因此，债券等级与债券收益不是独立的随机变量。2.7 概率密度的特征2.7.1 期望值：对集中趋势的度量离散型随机变量的期望值(expected value)用符号E(X)表示，其定义为： (2 - 16)其中f ( X )是X的概率密度函数，表示对所有X求和。例2.12掷一个骰子若干次。求每个数字出现的期望值？表2-6 随机变量(正面朝上数字)的期望值期望的性质(1) 常数的期望值是其自身。若b为一常数，则有：E(b) = b ( 2 - 1 7 )(2) 两随机变量和的期望值等于两变量期望值之和。给定随机变量X和Y，有E (X+Y) =E(X) + E(Y) ( 2 - 18 )(3) (4) E(XY) E(X) E(Y) ( 2 - 19 )但是，如果随机变量X和Y相互独立，则有：E(XY)= E(X) E(Y) (2- 20)(5) 若a为常数，则有：E (a X )= a E(X) ( 2 -2 1 )(6) 若a,b为常数E (aX+b) = a E(X) +E(b)= a E(X) + b ( 2 -2 2 )2.7.2 方差( variance )：对离散程度的度量期望值简单地给出了随机变量密度的中心，但却没有表明单个值在均值附近是如何分散或分布的。例如房价、收入 (2-23)其中，u表示期望值。式(2-23)表明随机变量的方差等于该变量与其均值之差的平方的期望值。因而，方差表明了随机变量X的各取值与其期望值或均值的偏离程度。如果所有X的值恰好都等于E (X )，则方差为零，如果X的值偏离均值幅度很大，则方差也相对较大。图： 同期望值的连续型随机变量的概率密度函数的正的方根称为标准差(standard deviation, s.d)。若X是离散型随机变量，方差计算公式为即需先求出变量X与其期望值之差，然后求其平方，再乘以其相应概率，对变量X的每一取值重复上述过程，最后把所有求得的值累加。例2.13掷一个骰子若干次，求方差。表2-7 随机变量X (正面朝上的数字)的方差方差的性质：（1）常数的方差为零。根据常数定义，一个常数没有变异性。(2) 如果X 与Y是两个相互独立的随机变量，那么，var (X + Y) = var ( X ) + var ( Y ) ( 2 - 2 4)var (XY) = var ( X ) + var ( Y )即两独立随机变量的和或差的方差等于两变量方差的和。(3) 如果b是一常数，那么，var ( X + b ) = var ( X ) ( 2 - 2 5)(4) 如果a为一常数，那么，var ( a X ) = a2var ( X ) ( 2 - 26 )即随机变量常数倍的方差等于该变量方差的常数平方倍。(5) 如果a, b为常数，那么，var ( aX +b ) = a2var ( X ) ( 2 -27 )由性质( 3 )和性质( 4 )得到。(6) 如果X 与Y 相互独立，a, b为常数，那么，var (a X +b Y ) = a2var ( X ) +b2var ( Y ) ( 2 - 28 )2.7.3 协方差期望值和方差是描述单变量概率密度函数最常用的特征前者给出了中心值，后者描述了单个值是围绕中心分布的程度。但是，一旦超出单变量概率密度函数的情况，就需要考虑除了期望值和方差之外，多个随机变量概率分布函数的数字特征，如协方差( covariance )，相关系数( correlation )。令随机变量X 和Y的期望分别为ux，uy，其协方差为： ( 2 - 29 )协方差是一种特殊形式的期望值，它度量了两变量同时变动的状况。如果X与Y是离散型随机变量，协方差计算公式为 两随机变量的协方差可正可负。如果两个变量同方向变动，则协方差为正；如果两个变量反方向变动,则协方差为负。例：2.14计算变量X(债券等级)和变量Y(债券收益)的协方差。首先用原始数据计算=(8.5)(1)(0.26)+(8.5)(2)(0.10)+(8.5)(3)(0.00)+(11.5)(1)(0.04)+(11.5)(2)(0.28)+(11.5)(3)(0.04)+(17.5)(1)(0.0)+(17.5)(2)(0.02)+(17.5)(3)(0.26) （见前面的表）=26.54E(X)=ux=2.0，E(Y)=uy=12.10，因而有：cov(X,Y)=26.54(2.0)(12.10)=2.34即债券等级与债券收益的协方差为正。验证了我们是如何编制债券等级的：等级3代表了风险最大的债券(也即B级)。因此，风险越高，期望收益就越大。协方差的性质(1) 若随机变量X，Y相互独立，则其协方差为零。已证明：如果两变量是独立的，则把上式带到式( 2 - 3 3 )中，得到两个变量的协方差为零。(2) cov (a+bX, c+dY) = bd cov (X,Y) (2-30)其中, a , b , c , d 为常数。(3) cov (X,X) = var ( X ) (2-31)即变量与其自身的协方差就是变量的方差。2.7.4 相关系数协方差仅仅表明两个变量的变动方向，