9.3免模型的强化学习之蒙特卡洛学习和TD学习

Model-free方法主讲人：礼欣自编码蒙特卡洛方法MonteCarlo1蒙特卡洛方法

MonteCarloModel-free方法引言蒙特卡洛方法

MonteCarloModel-free方法有一个半径为R的圆和一把豆子，如何计算圆周率？蒙特卡洛方法

MonteCarloModel-free方法撒点法蒙特卡洛方法

MonteCarloModel-free方法撒点法这也就是蒙特卡洛方法蒙特卡洛方法

MonteCarloModel-free方法为什么要用MonteCarlo方法？许多情况下我们不清楚MDP的真实状态转移概率和/或者即时奖励思想：通常情况下某个状态的价值等于在多个episode中以该状态算得到的所有奖励的平均。蒙特卡洛方法

MonteCarloModel-free方法Episode每条episode就是一条从起始状态到结束状态的经历。蒙特卡洛方法

MonteCarloModel-free方法蒙特卡洛的两种方法First-visitEvery-visit蒙特卡洛方法

MonteCarloModel-free方法

蒙特卡洛方法

MonteCarloModel-free方法

蒙特卡洛方法

MonteCarloModel-free方法

自编码时序差分学习TD-learning2时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新蒙特卡洛需要大量的episode才能得到较为准确的结果时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新蒙特卡洛需要大量的episode才能得到较为准确的结果如何不使用完整episode，实现单步更新？时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新蒙特卡洛需要大量的episode才能得到较为准确的结果如何不使用完整episode，实现单步更新？TD(0)算法时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

蒙特卡洛时序差分学习TD-learningModel-free方法

蒙特卡洛

时序差分

时序差分学习TD-learningModel-free方法

时序差分TDtarget蒙特卡洛MCerrorTDerror

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法蒙特卡洛与时序差分的比较时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法蒙特卡洛与时序差分的比较

Monte-CarloTemporalDifference要等到episode结束才能获得return每一步执行完都能获得一个return只能使用完整的episode可以使用不完整