第九讲 极大似然估计.pdf

金融计算与编程 2007 年 1 月 上海财经大学金融学院 曹志广 caozhiguang 1 第九讲 极大似然估计 第九讲 极大似然估计 极大似然估计方法在金融领域中的应用十分广泛 该方法利用已知的概率密 度函数形式 构造对数似然函数 然后最大化该似然函数从而求得概率密度函数 中所含的参数估计量 比如 对 GARCH 1 1 模型中的参数估计中 如果均值方 程中的扰动项服从正态分布 则我们可以利用正态分布的概率密度函数对所含参 数进行估计 1 极大似然估计基本原理 1 参数估计 下面以线性回归中系数的极大似然估计为例来说明极大似然估计基本原理 考虑线性回归 YX 2 0 YXN 则对于X和Y的每一对观测值 ii X Y 这里 i X 为行向量 其概率密度函 数形式如下 2 2 11 exp 2 2 ii ii YX f X Y 给定N对相互独立的观测值 ii X Y 1 2 iN 样本中所有观测值的总体概 率密度函数 L 为单个观测值概率密度函数的乘积 即 2 2 1 11 exp 2 2 N ii i YX L 1 极大似然估计要给出参数 的估计量使得 1 式最大 由于 1 式为乘积 的形式 直接对最大化 1 式求解最优解 比较麻烦 因此 采用似然函数的 对数形式 2 2 2 1 11 2 2 N ii i LnLLnYX 然后求解以下最优化问题 2 2 2 1 11 max 2 2 N ii i LnLLnYX 2 最后得到的参数 的估计量与普通最小二乘法得到的结果一样 因此 当普 通最小二乘法回归方程中的残差服从正态分布时 普通最小二乘估计与极大似然 估计的结果是一样的 更一般地 我们用 表示需要估计的参数向量 相应地对数似然函数为 LnL 2 参数估计的标准误差 求解优化问题 2 虽然给出了参数 的估计量 但并没有给出估计的标 金融计算与编程 2007 年 1 月 上海财经大学金融学院 曹志广 caozhiguang 2 准误差 如果对数似然函数 LnL 在其估计量 处的二阶倒数的期望是已知的 则极大似然估计量的渐进协方差矩阵 1 I 满足 2 111 LnLLnLLnL IEE 3 通常情况下 LnL 是一个非常复杂的非线性函数 我们很难得到 3 式中期望 值的解析解形式 因此 根据 3 式来求解极大似然估计量的渐进协方差矩阵 1 I 的解析解形式很困难 其中一个方法就是利用下面的式子 4 来估计 1 I 其中 1 I 为 1 I 的估计 11 1 N ii i Ig g 4 其中 i i Ln f X g i Ln f X 表示在观测值 ii X Y处的对数似然函数 由于 4 式中的 i Ln f X 在通常情况下仍然是一个复杂的非线性函数 求解 ig的解析形式也非常困难 因此 我们通常以数值解形式 5 来近似 ig 2 ii ii Ln f XLn f X gh 5 因此 极大似然估计量的渐进协方差矩阵估计量为 1 1 N ii i hh 2 极大似然估计的 MATLAB 函数 基于以上极大似然估计的原理 我们可以编写以下 MATLAB 函数进行极大似 然估计 function para standard deviation fv my mle fun para0 y estimate parameters and standard errors when using maximum likelihood estimation MLE para0 and y are column vectors fun log probability density function pdf and likelihood function y observed values para0 given initial parameters 金融计算与编程 2007 年 1 月 上海财经大学金融学院 曹志广 caozhiguang 3 example function f mynormpdfsum x num y y 1 sqrt 2 pi x 2 exp y x 1 2 2 x 2 2 if num 1 note it must be set to 1 f log y else f sum log y end y 2 3 randn 5000 1 para standard deviation my mle mynormpdfsum 0 2 y Zhiguang Cao 2006 2 23 caozhiguang para fv fminsearch fun para0 2 y n length para d numericalfirstderivative fun para 1 y standard deviation sqrt diag pinv d d function f numericalfirstderivative fun parameter varargin input fun the name of a function parameter given parameter with respect to which first order derivative is calculated others other needed parameters required by fun output f numerical first order derivative of fun at parameter n length parameter for i 1 n a zeros n 1 a i min parameter i 1e 6 1e 4 y1 i feval fun parameter a varargin y2 i feval fun parameter a varargin f i y1 i y2 i 2 a i end 下面我们给出一个例子 考虑一个随机变量X X以 的概率取 1 X 1 X服 从均值为 1 方差为 2 1 的正态分布 以1 的概率取 2 X 2 X服从均值为 2 方差为 2 2 的正态分布 现假定观测到随机变量X的 2000 个实现值 试估计参数 1212 我们得到单个观测值 i x的概率密度函数为 金融计算与编程 2007 年 1 月 上海财经大学金融学院 曹志广 caozhiguang 4 22 22 12 12 1111 exp 1 exp 22 22 ii i xx f x 我们首先编写以下形式的函数 mle ex 001 function f mle ex 001 parameter num observations alpha parameter 1 mean1 parameter 2 mean2 parameter 3 std1 parameter 4 std2 parameter 5 y alpha 1 sqrt 2 pi std1 exp observations mean1 2 2 std1 2 1 alpha 1 sqrt 2 pi std2 exp observations mean2 2 2 std2 2 if num 1 f log y else f sum log y end 然后在 MATLAB 主窗口下输入 clear n 2000 set number of observations alpha 0 7 mean1 0 mean2 1 std1 1 std2 2 set parameters for i 1 n rv rand 1 generate normally distributed random variable with mean 0 and standard deviation 1 with probability 0 7 if rv 当时 当时 当时 广义双曲线分布可以派生出以下两个分布 逆高斯分布 当5 0 和双 曲线分布 当1 下面以 1990 年 12 月 20 日 2005 年 12 月 31 日的上证综指日对数收益率为 例进行了广义双曲线分布的参数估计 假定我们在 MATLAB 主窗口下已经得到上证综指日对数收益率 y 则在 MATLAB 主窗口下输入 para standard deviation my mle gh log fun 1 25 1 0 0005 0 02 y 得到结果如下 para 0 8206 8 1582 0 7939 0 0001 0 0134 standard deviation 金融计算与编程 2007 年 1 月 上海财经大学金融学院 曹志广 caozhiguang 6 0 0674 2 0768 0 8736 0 0003 0 0008 函数 gh log fun 的具体形式如下 function f gh log fun x num y lambda x 1 alpha x 2 beta x 3 delta x 4 mu x 5 a alpha 2 beta 2 lambda 2 b sqrt 2 pi alpha lambda 0 5 delta lambda c besselk lambda delta sqrt alpha 2 beta 2 g a b c a1 delta 2 y mu 2 lambda 2 0 25 b1 besselk lambda 0 5 alpha sqrt delta 2 y mu 2 c1 exp beta y mu y g a1 b1 c1 if num 1 f log y else f sum log y end 然后在 MATLAB 主窗口下输入 x density empirical density y 200 xx pdf gh pdf para y h figure set h color w 金融计算与编程 2007 年 1 月 上海财经大学金融学院 曹志广 caozhiguang 7 plot xx pdf r hold on plot x density b legend generalized hyperbolic pdf sample pdf 1 结果得到上证综合指数样本概率密度函数与基于广义双曲线分布的概率密度函 数的图形比较 由图可以看出 广义双曲线很好地拟合了样本的经验分布 函数 gh pdf 为广义双曲线分布的概率密度函数 其具体内容如下 function xx pdf gh pdf x y xx sort y lambda x 1 alpha x 2 beta x 3 mu x 4 delta x 5