Poission 回归参数最大似然估计的计算

Poisson 回归参数最大似然估计的计算 1 Possion 回归模型的定义回归模型的定义 假设因变量是一个服从 Poission 分布的随机变量 是影响的个因素 Y 12 q x xx Yk 是协变量向量 是回归参数向量 则关于 12 1 T q Xx xx 01 T q Y 的元 Poission 回归模型定义为xk 1 exp 0 1 2 k X P Yk XXk k 其中 exp 0 T XX 2 参数估计参数估计 我们用最大似然估计方法去求模型的参数 假设从总体中抽取一个容量为的随机样本 Y Xn 1122 nn y XyXyX 其中 则有似然函数为 12 1 1 2 T kkkkq Xxxxkn 2 11 exp exp exp k yT nn T k kkk kk k X LP Yy XX y 两边取对数 整理可得 3 1 ln exp ln n TT kkkk k Ly XXy 为研究方便 以下不妨记 为求式 3 的最大值点 即最大似然估计 可求对 0 1 k x 数似然函数关于的似然方程组为ln L 4 1 ln exp n T kkikik k i L y xxX 0 1 iq 具体形式为 5 1 0 11 1 1 1 ln exp 0 ln exp 0 ln exp 0 n T kk k n T kkkk k n T kkqkqk k k L yX L y xxX L y xxX 式 5 为非线性方程组 一般情况下没有解析解 可以用 Newton Raphson 迭代方法求 其数值解 令 6 1 11 1 1 exp exp exp n T kk k n T kkkk k n T kkqkqk k yX y xxX F y xxX 则关于的 Jacobian 矩阵为 F 7 2 1 ln exp 0 1 0 1 n T kikj k ij L Jx xXiqjq 具体形式为 7 1 111 2 111 111 2 1 111 exp exp exp exp exp exp exp exp exp nnn TTT kkkkqk kkk nnn TTT kkkkkkqk kkk nnn TTT kqkkqkkkqk kkk XxXxX xXxXx xX J xXx xXxX 对应的向量形式为 7 1 exp n TT kkk k JXX X 根据 Newton Raphson 方法的原理 可得参数迭代公式为 8 1 1 0 1 2 mmmm JFm 算法如下 Step 1 给定参数的初值参数和误差容许精度 令 0 0m Step 2 计算 1 1 0 1 2 mmmm JFm Step 3 若 即满足容许的精度 则结束 否则更新参数 m F 1 mm 转至 Step2 1mm function F PoissionRegressopt b Y X n length Y F 0 for k 1 n F F Y k X k b exp X k b factorial Y k end F F function F PoissionF b Y X n length Y F zeros size b for k 1 n F F Y k X k exp X k b X k end function JM PoissionJM b Y X n length Y JM zeros size b 1 for k 1 n JM JM exp X k b X k X k end function bm fv1 fv2 PoissionNR bm0 Y X itermax 30 errstol 1e 4 iters 0 deltabm ones size bm0 bm1 bm0 deltabm while iterserrstol deltabm pinv PoissionJM bm0 Y X PoissionF bm0 Y X bm1 bm0 deltabm bm0 bm1 iters iters 1 end bm bm0 fv1 PoissionF bm Y X fv2 PoissionRegressopt bm Y X 附录1 b glmfit X0 Y poisson log b 1 5