模型推理与平均ppt课件.ppt

第八章模型推理与平均8 ModelInferenceandAverage 8 1概述 模型的拟合 学习 回归 最小化平方和分类 最小化交叉熵实际上 这两种方法都是最大似然方法拟合的实例本章的主要内容 模型的推理最大似然方法 用于推理的贝叶斯方法 自助法以及这三种推理方法的关系模型的平均和提高 improvement Committeemethods bagging stacking andbunping 8 1概述 基本概念 StatisticalInferenceUsingdatatoinferthedistributionthatgeneratedthedataObserveddata Wewanttoinfer orestimateorlearn ForsomefeatureofFsuchasitsmean StatisticalModelAsetofdistributions orasetofdensities ParametricmodelNonparametricmodel 8 1概述 基本概念 ParametricmodelAsetthatcanbeparameterizedbyafinitenumberofparametersE g Assumethedatacomefromanormaldistribution themodelis Aparametricmodeltakestheform Non parametricmodelAsetthatcannotbeparameterizedbyafinitenumberofparametersE g Assumethedatacomesfrom 8 1概述 基本概念 Probabilitydensityfunction PDF f x Cumulativedensityfunction CDF F x 8 1概述 本章主要内容 ModelInferenceMaximumlikelihoodinference 8 2 2 EMAlgorithm 8 5 Bayesianinference 8 3 GibbsSampling 8 6 Bootstrap 8 2 1 8 2 3 8 4 ModelAveragingandimprovementBagging 8 7 Bumping 8 9 ASmoothingExampleTrainingdata Z z1 z2 zn withzi xi yi xiisaone dimensionalinputyiistheoutputN 50pointsWedecidetofitacubicsplinetothedata withthreeknotsplacedatthequartilesoftheXvalues 8 2TheBootstrapandMaximumLikelihoodMethods Theusualestimateof obtainedbyminimizingthesquarederroroverthetrainingset isgivenby Theestimatedcovariancematrixofis Thestandarderrorofapredictionis The95 pointwiseconfidencebandsfor Howwecouldapplythebootstrapinthisexample nonparametricbootstrapWedrawB 200datasetseachofsizeN 50withreplacementfromourtrainingdata Toeachbootstrapdataset wefitacubicspline Wefindthe2 5 200 fifthlargestandsmallestvaluesateachxtoforma95 pointwiseconfidencebandfromthepercentilesateachx Howwecouldapplythebootstrapinthisexample parametricbootstrapWesimulatenewresponsesbyaddingGaussiannoisetothepredictedvalues Theresultingbootstrapdatasetshavetheform Thefunctionhasdistribution Noticethatthemeanofthisdistributionistheleastsquaresestimate andthestandarddeviationisthesameasthestandarderrorofaprediction 8 2 2MaximumLikelihoodInference Supposewehave Butyoudon tknowor MLE Forwhichismostlikely AGeneralMLEstrategy Supposeisavectorofparameters Task FindMLEfor 2 Workoutusinghigh schoolcalculus Write 3 Solvethesetofsimultaneousequations 4 Checkyouareatamaximum PropertiesofMLE Samplingdistributionsofthemaximumlikelihoodestimatorhasalimitingnormaldistribution Fisherinformation istruevalueof Informationmatrix ThesmoothingExample Theparametersare Thelog likelihoodis MLEisobtained Theinformationmatrixforisblock diagonal andtheblockcorrespondingtois BootstrapversusMaximumLikelihood Inessencethebootstrapisacomputerimplementationofnonparametricorparametricmaximumlikelihood Theadvantageofthebootstrapitallowsustocomputemaximumlikelihoodestimatesofstandarderrorsandotherquantitiesinsettingswherenoformulasareavailable 8 3BayesianMethods GivenasamplingmodelPr Z andapriorPr fortheparameters estimatetheposteriorprobabilityDifferencestomerecounting frequentistapproach Prior allowforuncertaintiespresentbeforeseeingthedataPosterior allowforuncertaintiespresentafterseeingthedataTheposteriordistributionaffordsalsoapredictivedistributionofseeingfuturevalues VS Thesmoothingexample ConsideralinearexpansionThepriordistributionof aGaussianpriorcenteredatzero Thedistributioniscalledanoninformativepriorfor TheposteriordistributionforisalsoGaussian withmeanandcovarianceThecorrespondingposteriorvaluesfor RelationshipbetweenBootstrapandBayesianInference Consideraverysimpleexample SingleobservationzdrawnfromanormaldistributionAssumeanormalpriorfor Resultingposteriordistribution Thebootstrapdistributionrepresentsan approximate nonparametric noninformativeposteriordistributionforourparameter ButthisbootstrapdistributionisobtainedpainlesslyWithouthavingtoformallyspecifyapriorWithouthavingtosamplefromtheposteriordistribution Hencewemightthinkofthebootstrapdistributionasa poorman s Bayesposterior 8 5TheEMAlgorithm 概率模型的变量都是观测变量 MLEBayesianInference概率模型的变量既含有观测变量 observablevariable 又含有隐变量或潜在变量 latentvariable EM算法是含有隐变量概率模型的极大似然估计 引例 三硬币模型 如果有3枚硬币 分别记做A B C 这些硬币正面出现的概率分别为 p和q 进行如下的掷硬币实验 先掷硬币A 根据其出现的结果选硬币B或硬币C 正面选硬币B 发面选硬币C 然后掷选出的硬币 掷硬币的结果 出现正面记做1 出现反面记做0 独立的重复n次实验 这里n 10 观测结果如下 1 1 0 1 0 0 1 0 1 1假设只能观测到掷硬币的结果 不能观测掷硬币的过程 问如何估计三硬币正面出现的概率 即三硬币模型的参数 设y 0 1 是观测变量 z是隐变量 表示未观测到掷硬币A的结果 是模型参数 观测数据Y Y1 Y2 Yn 的似然函数 模型参数的极大似然估计 没有解析解 定义 Y表示观测随机变量的数据 Z表示隐随机变量的数据 Y和Z连在一起称为完全数据 complete data 观测数据Y称为不完全数据 incomplete data 完全数据的似然函数为 P Y Z 不完全数据的似然函数为 P Y EM算法通过迭代求L log Y 的极大似然估计 Q函数定义 完全数据的对数似然函数logP Y Z 关于在给定观测数据Y和当前参数下对未观测数据Z的条件概率分布P Z Y 的期望 称为Q函数 EMalgorithm 输入 观测变量数据Y 联合分布P Y Z 条件分布P Z Y 输出模型参数 1 选择参数的初值 开始迭代 2 E步 记为第i次迭代参数的估计值 在第i 1步迭代的E步 计算 3 M步 求使极大化的 确定i 1次迭代参数的估计值 4 重复 2 步和 3 步 直到收敛 EM算法在高斯混合模型学习中的应用 高斯混合模型 高斯混合模型是指具有以下形式的概率分布模型 其中 是系数 是高斯分布密度 称为第k个分模型 假设观测数据y1 y2 yN是由高斯混合模型生成其中 我们需要用EM算法估计高斯混合模型参数 明确隐变量 写出完全数据的对数似然函数 假设观测数据yj j 1 2 N是