概率论与数理统计基础知识(ppt 85页).ppt

1 第二讲基础知识复习 一 概率论基础知识二 数理统计基础知识 2 一 概率论基础知识 概率随机变量概率密度函数多维随机变量随机变量的数字特征一些重要的概率分布 3 概率 随机试验可以在相同条件下重复进行每次试验的可能结果不止一个 但事先能明确所有的可能结果进行一次试验之前不能确定会出现哪一个结果实例一枚硬币抛掷两次在北京师范大学校园里询问任意一个学生的年龄 4 概率 样本空间 samplingspace 总体 population 某一个随机试验的所有可能结果组成的集合 记为S样本点 samplingpoint 样本空间里的某一元素 即随机试验的某一可能结果实例一枚硬币抛掷两次 出现正面记为H 出现反面记为T样本空间 HH HT TH TT 样本点 HH HT TH TT 5 概率 事件 event 某一随机试验的样本空间的一个子集实例 一枚硬币抛掷两次事件A 出现两个正面事件B 出现一个正面和一个反面事件C 出现两个反面 6 概率 频率 frequency 在相同条件下 某随机试验进行了n次 其中事件A发生了m次 则比值m n称为事件A发生的频率 记fn A 实例 抛掷一枚硬币 事件A为出现正面 当n逐渐增大时 频率趋向于某一常数 称为频率稳定性 7 概率 概率 probability S是某一随机试验的样本空间 对于其中的任意一个事件A赋予一个实数P A 如果P A 满足下列三个条件 则称P A 为事件A的概率 当n趋近于无穷大时 频率fn A 无限接近于概率P A 从而用概率来度量事件A在一次试验中发生的可能性 8 概率 条件概率 conditionalprobability 设A B是两个事件 且P A 0 称下式为事件A发生的条件下事件B发生的条件概率 实例一枚硬币抛掷两次 出现正面记为H 出现反面记为T 事件A为 至少有一次H 事件B为 两次都是同一面 则事件A的概率为3 4 事件A和B同时发生的概率为1 4 在A发生的条件下B发生的概率为1 3 9 随机变量 随机变量 stochastic randomvariable 一个变量若它的值是由随机试验决定的 称其为随机变量 随机变量通常用大写字母X Y Z表示 其数值则用小写字母x y z表示离散型随机变量 discreterandomvariable 可能取到的值是有限个的随机变量连续型随机变量 continuousrandomvariable 可能取到的值是无限个的随机变量实例离散型随机变量 扔一次骰子出现的点数 未出生婴儿的性别连续型随机变量 人的身高 百米跑速度 10 概率密度函数 离散型变量的概率密度函数 概率分布 probabilitydensityfunction probabilitydistribution 实例X 投掷两颗骰子出现的点数之和X的PDF 11 概率密度函数 连续型变量的累积分布函数 cumulativedistributionfunction 实例枪靶的半径为2米 若每枪都能击中枪靶 且击中靶上任一同心圆内的点的概率与该圆的面积成正比 则弹着点与靶心的距离X是一个连续型随机变量 其CDF为 F x x 2 1 12 概率密度函数 连续型变量的概率密度函数 PDF 实例在上例中 PDF为 f x x 1 2 13 概率密度函数 连续型变量的概率密度函数 PDF f x x a b 14 多维随机变量 多维随机变量多个变量的取值由同一个随机试验决定 称这些变量为多维随机变量 以下我们考虑最简单的二维随机变量 用 X Y 表示 其数值用 x y 表示实例离散型二维随机变量 每一位学生的性别和民族连续型二维随机变量 每一位学生的身高和体重 15 多维随机变量 离散型变量的联合概率密度函数 jointPDF 实例譬如 既是男生又是满族的概率为0 08 既是女生又是回族的概率为0 16 多维随机变量 离散型变量的边缘概率密度函数 marginalPDF 实例 17 多维随机变量 离散型变量的条件概率密度函数 conditionalPDF 表示在Y y的条件下X x的概率譬如 f 满族 女生 0 10 f 女生 0 49 f 满族 女生 0 10 0 49 0 20f 汉族 男生 0 27 f 男生 0 51 f 汉族 男生 0 27 0 51 0 53 18 多维随机变量 统计独立性 statisticallyindependence 如果两个随机变量的联合PDF等于它们边缘PDF的乘积 则称这两个变量是相互独立的 independent 两个变量独立意味着其中一个变量的结果不会影响另一个 譬如 f X H Y H f X H f Y H 1 2 1 2 1 4 19 多维随机变量 连续型变量的联合概率密度函数 jointPDF 连续型变量的边缘概率密度函数 marginalPDF 统计独立性 statisticallyindependence 20 随机变量的数字特征 以上讨论了随机变量的概率密度函数PDF和累积分布函数CDF 但在处理实际问题时 往往不需要求出这些函数 而是只需要了解变量的某些特征值 这些特征值包括三类 度量变量分布的集中趋势 centraltendency 数学期望或均值 中位数 众数度量变量分布的离散性 dispersion 方差 标准差度量两个变量的相关性 correlation 协方差 相关系数 21 随机变量的数字特征 数学期望 expectation 或均值 mean 离散型变量的期望 实例 扔两个骰子的点数之和 22 随机变量的数字特征 连续型变量的期望 实例 23 随机变量的数字特征 期望的性质 24 随机变量的数字特征 中位数 median 对于离散型变量 假设所有可能取值的个数为n 把这些数从小到大排列 若n为奇数 位于中央位置的那个数就是中位数 若n为偶数 位于中央位置的那两个数的平均数就是中位数 记为Med X 中位数所在的位置为 n 1 2 对于连续型变量 中位数m满足下列条件 25 随机变量的数字特征 众数 mode 众数就是随机变量的所有可能取值中出现次数最多的那个随机变量的类型定类变量 nominalvariable 性别 民族定序变量 ordinalvariable 教育水平 收入等级定距变量 intervalvariable 考试成绩 收入水平一般地 不同类型的变量用不同的数学特征表示其集中趋势 定类变量用众数 定序变量用中位数 定距变量用均值或中位数 26 随机变量的数字特征 方差 variance 方差被定义为随机变量对其均值的期望距离 用于表示随机变量与其均值的偏离程度 方差较小说明变量的分布比较集中 反之则说明变量的分布很分散方差的性质 27 随机变量的数字特征 实例 28 随机变量的数字特征 标准差 standarddeviation 方差的量纲与变量的量纲不同 为此引入与变量具有相同量纲的数字特征 标准差 同样度量变量的离散程度标准差的性质 29 随机变量的数字特征 度量变量离散程度的其他常用指标还有 极差 全距极差率变异系数基尼系数泰尔系数 30 随机变量的数字特征 协方差 covariance 协方差度量两个随机变量的相关 correlation 程度协方差大于0表示两个变量正相关 positivelycorrelated 即其中一个变量随着另一个变量的增大而增大协方差大于0表示两个变量负相关 negativelycorrelated 即其中一个变量随着另一个变量的增大而减小协方差等于0表示两个变量不相关 uncorrelated 31 随机变量的数字特征 协方差的性质 32 随机变量的数字特征 相关系数 correlationcoefficient 协方差的大小与度量单位有关 使用不便 因此一般用相关系数来衡量两个变量的相关程度 33 随机变量的数字特征 相关与独立 correlation independence 相关是指两个随机变量之间的线性关联程度 独立是指两个变量之间的一般关联程度若两个变量相互独立 其相关系数一定为0若两个变量的相关系数为0 它们不一定独立 34 随机变量的数字特征 条件期望 conditionalexpectation 如果我们可以用变量X解释变量Y 那么一旦我们知道X取某个特定的值x 就能够计算出在X x的条件下Y的期望值 称为条件期望实例 35 一些重要的概率分布 正态分布 normaldistribution 如果一个随机变量的概率密度函数PDF如下所示 称这个变量服从正态分布 36 一些重要的概率分布 标准正态分布 standardnormaldistribution 如果一个服从正态分布的随机变量的均值为0 方差为1 称这个变量服从标准正态分布 37 一些重要的概率分布 38 一些重要的概率分布 标准化随机变量 standardizedrandomvariable 39 一些重要的概率分布 统计学书籍和计量经济学书籍一般都附有标准化正态变量的累积分布函数 可以通过转换求解正态变量的概率问题 40 一些重要的概率分布 卡方分布 n 2 n 5 n 10 41 一些重要的概率分布 42 一些重要的概率分布 t分布 tdistribution n 120 n 5 n 20 43 一些重要的概率分布 44 一些重要的概率分布 F分布 Fdistribution F 2 2 F 10 2 F 50 50 45 一些重要的概率分布 46 二 数理统计基础知识 总体与样本参数估计点估计区间估计假设检验置信区间法显著性检验法 47 总体与样本 总体 population 研究对象的全体 记为X随机样本 randomsample 样本 sample 在相同条件下对总体X进行n次重复的 独立的观测 每次观测结果都是与X具有相同分布的 相互独立的随机变量 记为X1 X2 Xn 把它们称为来自总体的一个简单随机样本 简称样本 称n为样本容量 当观测完成后 得到一组观测值x1 x2 xn 称为样本值我们感兴趣的实际上是总体 但由于不可能或很难得到总体的信息 只能从中抽取一个样本 根据样本数据来推断总体的性质 这其中包含两类问题 参数估计和假设检验 48 参数估计 参数 parameters 与总体有关的数字特征 如总体均值 总体方差等等 参数估计 parameterestimation 根据样本的有关数值来估计总体参数或总体参数的范围点估计区间估计 49 点估计 点估计 pointestimation 估计量是样本的函数 对于不同的样本 参数估计值是不同的 点估计的方法 矩估计法极大似然法最小二乘法 50 点估计 矩 moment 矩估计法 methodofmoment 用样本矩作为相应总体矩的估计量 并用样本矩的连续函数作为总体矩连续函数的估计量 通过这种方法得到的估计量称为矩估计量 51 点估计 矩估计法 实例 52 点估计 极大似然法 methodofmaximumlikelihood 53 点估计 极大似然法 实例 54 点估计 估计量的评选标准估计量是随机变量 会由于估计方法的不同而不同 那么 如何判断一个估计量的好坏呢 或者说应该选择哪个估计量更好呢 有以下几条标准 针对小样本的标准无偏性有效性针对大样本的标准一致性渐进正态性 55 点估计 无偏性 unbiasedness 实例 56 57 点估计 有效性 efficiency 注意 一个无偏的估计量可能存在很大方差 而一个方差很小的估计量可能是偏离总体均值的 因此有效性综合考虑了估计量的集中趋势和离散性两个特征 58 点估计 实例 有效性和无偏性 59 点估计 线性估计量 linearestimator 最优线性无偏估计量 bestlinearunbiasedestimator BLUE 60 点估计 一致性 consistence 61 点估计 概率极限 probabilitylimits 62 点估计 一些重要的估计量 63 点估计 实例 为了解中国城市失业率 随机抽取了10座城市 得到如下样本 则我们可以用这10座城市的平均失业率来估计中国城市的平均失业率 64 点估计 渐进正态性 asymptoticnormality 当样本容量无限增大时估计量趋向于正态分布中心极限定理 centrallimittheorem CLT 定理一 独立同分布的中心极限定理 当样本容量无限增大时 任何总体的随机样本的均值趋近于正态分布 65 点估计 中心极限定理定理二 李雅普诺夫 Liapunov 定理 66 区间估计 对于一个未知参数 除了估计其近似值 点估计 外 还希望知道这个值的精确程度 从而引出区间估计 intervalestimation 问题置信区间 confidenceinterval 67 区间估计 正态总体均值的区间估计 总体方差已知 68 区间估计 实例 总体方差已知时正态总体均值的区间估计 69 区间估计 正态总体均值的区间估计 总体方差未知 70 区间估计 标准误 standarderror 71 区间估计 正态总体均值的区间估计 95 置信区间的简单法则 72 区间估计 非正态总体均值的区间估计 73 假设检验 假设检验 hypothesistesting 在总体的PDF未知或某些参数未知的情况下 对总体的分布或参数提出某些假设 然后根据样本对提出的假设作出是拒绝还是接受的判断实例 Bush和Kerry竞选总统 Bush获得42 的选票而Kerry获得58 的选票 Bush怀疑大选中有作弊行为 雇佣一个咨询机构随机抽取100个选民调查其选举意愿 发现有53人支持他 47人支持Kerry 由此Bush提出两个假设 H0 虚拟假设 原假设 nullhypothesis v0 42 有作弊 74 假设检验 第 类错误 type error 拒绝了一个真实的虚拟假设第 类错误 type error 没有拒绝一个错误的虚拟假设理论上我