强化学习-值函数近似

强化学习：值函数近似ReinforcementLearning:ValueFunctionApproximation主讲：尹谦晔计算机与信息技术学院视觉智能实验室（VisInt）BeijingJiaotong

University强化学习相关的一个游戏强化学习相关的一个游戏为什么要有值函数近似实际场景的状态数过多一些基于模型的强化学习方法，都是通过维护一张价值表

V(s)

或行为价值表

Q(s,a)

，用查表(lookuptable)的方式来进行学习。但在强化学习中，可能需要解决非常大型的问题。那么多状态、行为，没有办法通过一张表存储在内存里，学习起来也非常缓慢。为了解决大规模MDP的问题，我们可以用某个近似函数来估计真实的价值函数。宇宙原子数量1080值函数表示形式s：状态（state）a：行为（action）w：函数中的参数V值衡量的是状态节点的价值，而Q值衡量的是动作节点的价值函数近似的方法一般的函数近似有Linearcombinationsoffeatures(可微，参数是特征的权重)Neuralnetwork(可微，参数是每层的连接权重)Decisiontree(参数是叶子节点的取值，和树节点分裂的阈值)NearestneighborFourier/waveletbases一般要求：参数个数要小于状态（或状态-行为）的个数参数更新的方法——梯度下降Q函数的近似函数的表达方式最小化均方差(损失函数)：用梯度下降法寻找局部最优解，需要修正的权重∆w：线性函数作为近似函数如果只考虑线性组合，则（可以用神经网络等模型替代计算q_hat)采样的方式估计价值函数如果假定我们已知真实的Q函数，相当于监督学习，但在强化学习中，没有真实标记，只有奖励，所以在实际中，我们用目标值来代替真实价值函数。方法：-蒙特卡罗法(MonteCarlomethod,MC)-时序差分法(Temporal-Differencemethod,TD)蒙特卡洛和时序差分的区别在于，蒙特卡洛是从完整的从初始状态到终止状态的序列（episode）中学习，利用平均值估计价值值函数。时序差分是从不完整的序列中学习，利用自举（bootstrapping

）来更新价值值函数。蒙特卡罗法从根据策略π得到的完整序列

对完整序列中的某一状态s，计算累积奖励：

对每一个完整序列，有两种方式累积Gt，针对每一个状态只计算第一次出现（First-Visit）时的Gt，或者是累积每一次出现（Every-Visit）时的Gt。然后利用累积的Gt除以次数，也就是经验平均值来更新vπ(st)，是Gt的无偏估计，为了加快计算，利用递增来更新，时序差分法为了加快收敛速度，我们可以在vπ还没有收敛的迭代过程中，就立马改进v，再循环这个过程，称之为时序差分学习。

蒙特卡洛朝着实际能到的累计奖励Gt的方向更新vπ(st)，

时序差分朝着估计得到的累计奖励的方向更新vπ(st)，是TD目标，是TD误差，

Q-LearningQ-learning算法是一种单步迭代算法。它的具体迭代方式是：首先利用某种策略选择系统在当前状态的动作，并得到下一状态；利用下一状态的奖励和最优动作值函数对本动作值函数进行迭代。利用MC和TD计算梯度对于MC对于TD(0)对于TD(λ)前向认识：后向认识：收敛性预测学习近似函数来寻找最优策略有明显的优势，但是相比于传统的(查表)方法是否是一直能收敛的呢，答案是：不一定，下表总结了如下：收敛性控制学习在控制学习的算法中，收敛性如图所示：DeepQ-network（DQN）使用神经网络替代Q表格作为值近似函数DQN:DeepNeuralNetworks+Q-learning1.

经验回放：为了打破数据相关性，在Q-learning的基础上引入了经验回放机制，Agent将与环境交互得到的每一步经验都存储在一个样本集中。算法内部更新时，从存储的样本池中随机抽取数据，从而消除了观测序列中的相关性，并平滑了数据分布中的变化。2.

设置离线和在线两层神经网络：创建一个双层神经网络，一个离线的训练网络Q的参数θ和一个在线的目标网络Q′的参数θ−。算法每一步更新训练网络Q的参数θ，每C步，令θ−=θ把训练网络Q的参数θ直接赋给目标网络Q′的参数θ−。总结为什么要引入值函数近似值函数表现形式和常用的函数近似方法参数更新的方法——梯度下降蒙特卡罗法和时序差分法(例子：Q-Learning）收敛性DeepQ-network参考资料/aistudio/education/group/info/1335/article/69131594084//u013010889/article/details/82259477/p/ef944678be78/yijuncheng/p/9888019.htm