数理统计期末复习笔记.pdf

1、June, 2018 数理统计期末复习 -基本概念 概率论: 随机变量, 分布函数, 大数定律, 中心极限定理 统计量: -定义: ?是样本, ?, 若f为已知函数且不依赖任何未知参 数, 则?是统计量 - 例子: 中位数, 次序统计量, 方差, 均值, 充分统计量 -定义: 若?是充分统计量, 则 ? 不依赖于? -因子分解定理: 设?是一个统计量. 则 ? 是充分统计量的充分必要条件是: ?可以分解为 ? . 其中?不依赖于? , 对 于连续随机变量?是概率密度函数, 对于离散随机变量 ? . - 例子: 高斯分布(? ?), 均匀分布(?), 二项分布(?) -(离散)因子分解定理的证明

2、 统计推断: -点估计:?, 通过样本?来估计? , ?称为? 的点 估计 -假设检验 标准 x1,., xnTn= f(x1,., xn) Tn Tn= f(X1,., Xn) P(X1,., Xn) (x1,., xn)|Tn= t) X = (X1,., Xn) f(x1,., xn), T(X) T(X)f(x1,., xn) f(x1,., xn) = g(T(x1,., xn)h(x1,., xn)h(x1,., xn) f(x1,., xn) f(x1,., xn) = P(X1= x1,., Xn= xn) i xi i x2 i max i xi i xi X f(x)X1,

3、., Xn = T(X1,., Xn) ?1 June, 2018 -无偏性: 样本方差 - (强/弱)相合性: (强/弱)大数定律 ? (证明: 大数定律) ? (证明: 大数定律) 样本中位数: ? - hint: 利用? (两点分布大数定律), 证明 ? 最大值: ? - Borel-Cantelli Lemma: 若?, 则? -渐进正态性: 中心极限定理, MLE的渐近正态性, 等等 -点估计 矩方法/估计 -定义: 总体k阶矩是参数的函数, 于是参数可以用总体k阶矩表示. 总体k阶矩可以用 样本估计,于是通过方程组可以解出参数 -例子: 估计高斯分布的均值和方差 极大似然估计 -已

4、知: ? - 定义: ? -相合性: ? x a.s. 2 a.s. 2 X(n 2) a.s. mX 1 n n i=1 1Xix a.s. P(X x) mX X(n 2) mX + , 0 X U0, max i xi a.s. i=1 P(|Xi X| ) 0Xn a.s. X X f0(x)(X1,., Xn) f(x1,., xn,0) = argmax f(x1,., xn,) = argmax n i=1 log f(xi) a.s. 0 ?2 June, 2018 由大数定律可得: ? 可以证明: ? 且 ? - 有/无偏: MLE可能是无偏估计(二项分布), 也可能是有偏估

5、计(高斯分布的方差, 均匀 分布的最大值) -例子: 二项分布, 均匀分布(?), 高斯分布 - 渐近正态性: ? *高斯发现正态分布的过程 一致最小方差无偏估计(UMVUE) -定义: 若?, 则称?是?的无偏估计; ?是无 偏估计, 且对任一无偏估计?都有?, 则称 ? 是?的一致最小方差无偏估计 -引理: ?是无偏估计, T是充分统计量. 定义?, 可以证 明?是一统计量且还是?的无偏估计, 则有?. (此引理告诉我们在有充分统计量T时, 为求UMVUE, 只需考虑能表达为T的函数的 无偏估计类) -引理的证明hint: ?, ?, ? 零无偏估计法: 验证某个特定的估计量?为UMVUE

6、的工具 -定理: 设?是?的一个无偏估计, ?, 且对任何满 足条件“?”的统计量?都有 ? , 则称?是?的UMVUE. 并且可以说明 ? 是?唯一的的UMVUE. 1 n n i=1 log f(xi) a.s. log f(x) log f(x) =0 = 0 2 2 log f(x) =0 0 X U0, , = X(n) n( 0) d (0, 1 I(0) ) E g(X) = Eg() g(X)g() g(X) g 1(X) Var( g(X) Var( g1(X) g(X)g() g(X) H := E g(X)|T = G(T) Hg()VarH Var g(X) X2 X2

7、 g(X)|Tn g() = g(X) g()|Tn X|Y= X g(X) g(X)g()Var g(X) ( ) l(X) = 0 ( )l(X) Cov g(X),l(X) = 0 ( ) g(X)g() g(X)g() ?3 June, 2018 定理的证明hint: ?, ? (补充)推论: 假设?是充分统计量, 设?是?的一个无偏估计, ? , 且对任何满足条件“?”的统计 量?都有?, 则称?是?的UMVUE. -证明hint: 结合上述的引理和定理 例子: -二项分布(?): ? - 均匀分布(?): ?, ? 完备统计量 -定义: 假设T是一个统计量, 若对任意不依赖于? 的

8、函数?满足 ? , 则称T是完备统计量 -定理: 假设T是充分且完备的统计量, 且?是?的无偏估计, 且 ? , 则?是?的唯一的UMVUE 证明: 构造? - 定理: 设样本X有概率密度函数?, 则统计量 ? 是充分的. 若进一步地, ? 有内点, 则? 是完备的 例子: 可以证明?是充分完备统计量, ? 是?唯一的UMVUE -C-R不等式 Cov g(X),l(X) = g(X) l(X) l(X) := g 1(X) g(X) Tn= T(X1,., Xn) g(Tn)g() Var g(Tn) ( )l(Tn) = 0 ( ) l(Tn)Cov g(Tn),l(Tn) = 0 ( )

9、 g(Tn)g() X B(p) l(Tn) = 0 l(Tn) X U0, := n + 1 n max 1in Xil(Tn) = 0 l(Tn) L( ) EL(T) = 0, L(T) = 0 g(T)g() Var g(T) 0H0 lim n 2lnTn 2(t) P( iH0|Ti| t) iH0 P(|Hi| t) m P(|Hi| t) P(|Hi| t) m FDP = iH 0 1|Ti|t maxm i=1 1|Ti|t, 1 ?9 June, 2018 - FDR(错误发现率): ? p-value -定义: ? 其中?是在原假设成立情况下的cdf (注: 该定义并非

10、一 般性定义) - ? , 若?, 则拒绝? - 对比: ?, 若?, 则拒绝? -B-H method(控制?) ? ? -若?, 则拒绝? -(补充定理)不论原假设为真的数量?有多少, 不管原假设为假的p值的分布如何, B- H方法总可以控制 ?. -多元分析 多元正态分布 - 定义1: 若 ? 则称 ? -定义2: 若对 ? 有 ?, 则称 ? -可以证明: 定义1 ? 定义2 FDR = FDP = iH 0 1|Ti|t maxm i=1 1|Ti|t,1 p := 1 F(|T|)F( ) t = sup0 t 0 : mP(|(0,1)| t) maxm i=1 1pit,1 |

11、Ti| tH0i FDR p(1) p(2) p(m) k = maxk : p(k) k m pi p( k) H0i m0 FDR m0 m f(x) = 1 (2)n/2| 1 2 exp 1 2 (x )T1(x ) X (,) t mtTx (tT,tTt)X (,) ?10 June, 2018 证明定义2?定义1的步骤如下: -若?, 则 ?, 更一般地, ? -若?且?, 则?与?独立. 更一般地, 对于MVN, 两组变 量不相关两组变量独立 (证明: 随机变量的特征函数?, ? ) -由上面两个结论可得, 若?, 则? -概率变换公式: 已知?, 则 ? 数据的分类: -问题

12、: ?, 找到?的一个划分?, 当? 时认为?, 当?时认为?. -错误分类概率: ? - 目标: ? -最优解: ? -Fisher线性判别式(LDA) 假设: ? X (,)AX (A, AAT) AX + b (A + b, AAT) Xi, Xj cov(Xi, Xj) = 0XiXj f(t) = eit Tx eit TX = eitT S1XS1eitTS2XS2 XS 1 XS2 X (,) 1 2(X ) (0,I) X fX(x),Y = g(X) fY(y) = fX(g1(y) (x1,., xn) (y1,.,yn) X f1,Y f2pR1 R2= p,R1 R2=

13、 Z R1 Z XZ R2Z Y = P(Z R2|Z f1) + P(Z R1|Z f2) = R 2 f1(x)dx + R 1 f2(x)dx = 1 R 1 (f1(x) f2(x)dx min R1 max R1 R 1 (f1(x) f2(x)dx R1= x| f1(x) f2(x) X (1,),Y (2,) p ?11 June, 2018 ? 判别向量: ? 可解线性方程组?得到 ? -二次判别式(QDA) 假设: ? ? 最优预测 (补充: 也叫最小均方误差预测) - 定义: ? -可以证明, 最优预测为 ? (hint: ? , ? ) -例子: 假设?, 可以证明存在

14、?使得 ? . 在这种情况下有 ? 证明hint: ? or ?, ? 线性回归 -模型: ? or ? where ? and ? x : f1(x) f2(x) 1 = x : (x 1+ 2 2 )T1(1 2) := 1(1 2) = (1 2) 1 = X, 2 = Y, = 1 n1+ n2 2 n1 i=1 (Xi X)(Xi X)T+ n2 i=1 (Yi Y)(Yi Y)T X (1, 1),Y (2,2) p 1= 1 n1 1 n1 i=1 (Xi X)(Xi X)T, 2= 1 n2 1 n2 i=1 (Yi Y)(Yi Y)T f = argmin f (Y f(X)

15、2 f(X) = Y|X Y f(X)2= Y Y|X + Y|X f(X)2 AB = AB|X X ( = 0, )ip i=2 X1= p i=2 iXi+ 1,1 = 0,1 Xi(2 i p) X1|X2,., Xp = p i=2 iXi i= w1i w11 i= w1iXi1 = 0 Xi 1(2 i p) Y = 0+ 1X1+ + pXp+ Y = X + X1,., Xp, = 0X =1 X1 Xp ?12 June, 2018 -Y: 响应变量, X: 协变量, ? : 回归系数 -目标: 估计参数? -? 的最小二乘估计: ? -假设?: 则? 定义: 残差: ?,

16、 ? 可以证明: - ? 证明hint: ? where ? is idempotent; SVD: ? ; singular values of idempotent matrix is 0 or 1; sum of eigenvalues of a square matrix ? ?; ? -? 与? 独立 (?) -假设检验: ?, ? 统计量: ? 可以证明在?成立时: ? 多重假设检验(FWER/FDR): ? 似然比检验: -假设: ? 0, ., p = (XTX)1XTY (0,2) = (XTX)1XT (0, 2(XTX)1) = Y1 X1 Yn Xn 2 = 1 n p

17、 1 n i=1 2 i = 2 2 2 n p 1 2(n p 1) = HH := In X(XTX)1XT H = UDUT A i i= tr(A) tr(AB) = tr(BA) cov , = T T= 0 i (i,2wii) H0: i= 0H1: i 0 Ti= | i| wii H0Ti |t(n p 1)| H0i: i= 0(1 i p) H0: s= 0, s 1,2,.,p ?13 June, 2018 - 统计量: ? 条件相关性 - ? -设?, 则? 逻辑回归 - 模型: ? -概率解释: 混合高斯分布 分位数回归 -问题: 给定? , 求? , 使得? -模

18、型(线性假设): ? -损失函数: ? - 优化目标: ? - ? - 中位数回归: ?, 绝对值损失 支持向量机: ? and ? 主成分分析 Tn= max p+1 L(|X,Y) max s=0 L(|X,Y) covX1, X2|X3 = X1X2|X3 X1|X3X2|X3 X (,), 1= wij ppcovXi, Xj|Xki,j = 0 wij= 0 P(Y = 1|X1,., Xp) = 1 1 + exp0+ 1X1+ + pXp yP(Y y|X) = y = 0() + ()TX (x) := ( 1x0) x 0, = argmin 0, 1 n n i=1 (yi 0 Txi) n( , ) (,) d (0,A) = 1 2 min 0, (1 Y(0+ TX)+ ( 0, ) = argmin 0, 1 n n i=1 (1 Y(0+ TX)+ ?14 June, 2018 -主成分等于? 的特征向量, 方差等于? 的特征值 - ? -稀疏主成分分析: 当? 很大时, ? 是奇异的, 不能作出很好的的估计. 实际上并不是每 个位置都要估计, 对于?, 大部分?. ? 优化问题: - 目标: ?, ?是已知的凸的损失函数 -估计方法1: ? where ? 复杂度: ? - 估计方法2(随机梯度下降): ?