模式识别与机器学习 课件 孙仕亮 第8、9讲 主成分分析与相关的谱方法、强化学习

模式识别与机器学习

PatternRecognition&MachineLearning第八讲主成分分析与相关的谱方法本节学习目标能够熟练运用主成分分析理解概率主成分分析的原理理解核主成分分析的原理能够熟练运用线性判别分析和典型相关分析第八讲主成分分析与相关的谱方法第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法最大化方差

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析图11‑1使用PCA将数据投影到一维空间的示例

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法最小化误差

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法

主成分分析

第八讲主成分分析与相关的谱方法主成分分析与K-L变换

主成分分析第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法

概率PCA

第八讲主成分分析与相关的谱方法

概率PCA第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法

核PCA

第八讲主成分分析与相关的谱方法

核PCA

第八讲主成分分析与相关的谱方法

核PCA第八讲主成分分析与相关的谱方法目录主成分分析最大化方差最小化误差主成分分析与K-L变换概率PCA核PCA相关的谱方法线性判定分析典型相关分析第八讲主成分分析与相关的谱方法

第八讲主成分分析与相关的谱方法二类数据的线性判别分析

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法多类数据的线性判别分析

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法典型相关分析（canonicalcorrelationanalysis，CCA）

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法

相关的谱方法

第八讲主成分分析与相关的谱方法HotellingH.AnalysisofaComplexofStatisticalVariablesintoPrincipalComponents[J].JournalofEducationalPsychology,1933,24(6):417-441.TippingME,BishopCM.ProbabilisticPrincipalComponentAnalysis[J].JournaloftheRoyalStatisticalSociety:SeriesB(StatisticalMethodology),1999,61(3):611-622.SchölkopfB,SmolaA,MüllerKR.NonlinearComponentAnalysisasaKernelEigenvalueProblem[J].NeuralComputation,1998,10(5):1299-1319.HaroldH.RelationsbetweenTwoSetsofVariates[J].Biometrika,1936,28(3-4):321-377.LaiPL,FyfeC.KernelandNonlinearCanonicalCorrelationAnalysis[J].InternationalJournalofNeuralSystems,2000,10(5):365-377.参考文献模式识别与机器学习

PatternRecognition&MachineLearning第九讲强化学习本节学习目标明确强化学习与监督学习的区别掌握强化学习的基本概念，理解其理论基础掌握有环境模型的预测与控制方法能够熟练运用至少两种基于值函数的无环境模型控制方法能够熟练运用至少一种基于策略的无环境模型控制方法第九讲强化学习第九讲强化学习目录基本概念与理论基础规划：有环境模型的预测与控制无环境模型的控制：基于值函数无环境模型的控制：基于策略第九讲强化学习第九讲强化学习基本概念与理论基础常用概念

状态-动作-奖励序列：第九讲强化学习基本概念与理论基础

第九讲强化学习

基本概念与理论基础第九讲强化学习

基本概念与理论基础第九讲强化学习目录基本概念与理论基础规划：有环境模型的预测与控制策略迭代值迭代无环境模型的控制：基于值函数无环境模型的控制：基于策略第九讲强化学习第九讲强化学习

规划：有环境模型的预测与控制第九讲强化学习规划：有环境模型的预测与控制第九讲强化学习规划：有环境模型的预测与控制第九讲强化学习值迭代

规划：有环境模型的预测与控制第九讲强化学习规划：有环境模型的预测与控制第九讲强化学习规划：有环境模型的预测与控制问题思想算法预测根据给定策略，由贝尔曼期望方程迭代更新值函数。策略评估控制随机初始化策略，交替根据贝尔曼期望方程更新值函数和根据值函数改进当前策略两个步骤。策略迭代（策略评估+贪婪策略改进）控制使用贝尔曼最优方程更新值函数。值迭代表14-1策略评估、策略迭代、值迭代三种方法的比较第九讲强化学习目录基本概念与理论基础规划：有环境模型的预测与控制无环境模型的控制：基于值函数蒙特卡洛控制时序差分控制：SARSA基于Q学习的异常策略控制基于Q学习的深度Q网络控制无环境模型的控制：基于策略第九讲强化学习第九讲强化学习

无环境模型的控制：基于值函数第九讲强化学习蒙特卡洛控制

无环境模型的控制：基于值函数时序差分控制：SARSA第九讲强化学习

第九讲强化学习目录基本概念与理论基础规划：有环境模型的预测与控制无环境模型的控制：基于值函数无环境模型的控制：基于策略蒙特卡洛策略梯度法和REINFORCE算法行动者-评论者算法第九讲强化学习第九讲强化学习蒙特卡洛策略梯度法和REINFORCE算法

无环境模型的控制：基于策略第九讲强化学习

无环境模型的控制：基于策略第九讲强化学习

无环境模型的控制：基于策略第九讲强化学习无环境模型的控制：基于策略第九讲强化学习行动者-评论者算法

无环境模型的控制：基于策略第九讲强化学习无环境模型的控制：基于策略第九讲强化学习SuttonRS,BartoAG.ReinforcementLearning:AnIntroduction[M].Cambridge,MA:MITPress,2018.SuttonRS.LearningtoPredictbytheMethodsofTemporalDifferences[J].MachineLearning,1988,3(1):9-44.RummeryGA,NiranjanM.On-LineQ-learningUsingConnectionistSystems[R].CambridgeEngland:CambridgeUniversityEngineerDepartment,1994.WatkinsCJ,DayanP.Q-learning[J].MachineLearning,1992,8(3):279–292.WilliamsRJ.SimpleStatisticalGradient-FollowingAlgorithmsforConnectionistReinforc