参数模型与贝叶斯方法.ppt

参数模型与贝叶斯方法,1. 极大似然与广义线性模型,2. 非线性回归模型,3. 贝叶斯推断,4. 压缩估计方法和贝叶斯方法在投资中的应用,1. 极大似然与广义线性模型,1.1 计算MLE的数值方法 似然函数对 求最大时，需要限制为半正定，使用Cholesky分解,1.2 广义线性模型,正态分布族 Poisson分布族,logistic模型 probit模型,广义线性模型的似然函数及迭代再加权最小二乘,Newton-Raphson迭代式,2.非线性回归模型,部分线性模型 可转化为线性的模型,2.1 高斯-牛顿算法,计算最小点，选取 作为初值，在第j个迭代步中，得到 用上式来近似 ，最初的非线性模型可以由下面的线性回归模型来近似 上式中的OLS估计值 的显示表示为,矩阵求逆 步长因子 收敛性准则 1参数增量相对与参数值足够小 2 足够小 3 几乎正交于 在 处的切平面 这个准则的要求为 下式足够小 Levenberg-Marquardt修正,2.2 统计推断,令 表示非线性回归模型中 的估计，用 表示 的真值，我们假设X非随机，那么由下式 在假设 下，其中 我们得到,2.3 实现和实例,应用非线性最小二乘估计来估计Hull-White利率模型中收益率的波动率 其中期限为(年)的收益率的方差由下式给出 其中和是模型的参数,3 贝叶斯推断,3.1 先验分布和后验分布,在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设 ： 假设 随机变量X有一个密度函数p(x;)，其中是一个参数，不同的对应不同的密度函数，故从贝叶斯观点看，p(x;)是在给定后的一个条件密度函数，因此记为p(x)更恰当一些。这个条件密度能提供我们的有关的信息就是总体信息。 假设 当给定后，从总体p(x)中随机抽取一个样本X1，Xn，该样本中含有的有关信息。这种信息就是样本信息。 假设 从贝叶斯观点来看，未知参数是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用()表示。,（1） 先验分布 定义1 将总体中的未知参数看成一取值于的随机变量，它有一概率分布，记为()，称为参数的先验分布。 （2） 后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，Xn，和参数的联合密度函数： 在这个联合密度函数中，当样本 给定之后，未知的仅是参数了，我们关心的是样本给定后，的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数： 这就是贝叶斯公式的密度函数形式，其中 称为的后验密度函数，或后验分布。,3.2 贝叶斯方法,贝叶斯方法是在给定数据下最小化基于的后验分布的某个函数。 统计决策问题，必须具备几个要素： 1 参数空间 以及一个分布族 2 从分布 抽取的样本数据 ，其中表示参数真值， 称作“样本空间” 3 决策空间 包含所有可供选择的行为 4 损失函数 表示当真值为参数值，选择行为导致的损失 风险函数 贝叶斯风险 贝叶斯准则，即最小化贝叶斯风险： 那么上式可以写成,3.3 多元正态均值和协方差阵的贝叶斯估计,令 为多维正态分布 的n个独立同分布的观测。用 表示样本均值向量。 已知时的贝叶斯估计 假设的先验分布为 ，后验分布是一个正态分布，均值为 协方差阵为 逆转Wishart分布 进一步有,的贝叶斯估计 使用下面的分布作为 的先验分布： 上式也是一个共轭分布族，因为给定X分量下， 的后验分布为 和的贝叶斯估计，即其后验均值为 和,3.4 高斯回归模型中的贝叶斯估计,令 ，我们可以假设 的先验分布为 那么给定（X，Y）下， 的后验分布也有相同形式： 因此，的贝叶斯估计仍然是