9.5深度强化学习

深度强化学习-DQN主讲人：礼欣自编码从tabular到approximate1从tabular到approximate深度强化学习-DQNTabular

Q-learning从tabular到approximate深度强化学习-DQNTabular

q-learning的缺陷迷宫俄罗斯方块Atari游戏从tabular到approximate深度强化学习-DQN10^110^60迷宫俄罗斯方块10^16992(pixels)Atari游戏Tabular

q-learning的缺陷维度灾难从tabular到approximate深度强化学习-DQN

从tabular到approximate深度强化学习-DQN

从tabular到approximate深度强化学习-DQN从tabular到approximate深度强化学习-DQN

Q值从tabular到approximate深度强化学习-DQN

Q值从tabular到approximate深度强化学习-DQN

Q值

从tabular到approximate深度强化学习-DQN

神经网络

自编码DQN2DQN深度强化学习-DQNDQN深度强化学习-DQN

DQN深度强化学习-DQN

DQN深度强化学习-DQNLossFunctionDQN深度强化学习-DQNLossFunctionQ-learning的更新规则DQN深度强化学习-DQNLossFunctionQ-learning的更新规则因此我们的损失函数为DQN深度强化学习-DQN训练样本DQN深度强化学习-DQN

DQN深度强化学习-DQN

DQN深度强化学习-DQN算法流程（DQNNIPS2013）DQN深度强化学习-DQN一些技巧DQN深度强化学习-DQN一些技巧一般mini-batch设置为32DQN深度强化学习-DQN一些技巧一般mini-batch设置为32Experiencereplay用在新问题上一般为10^6DQN深度强化学习-DQN超参数经验技巧一般mini-batch设置为32Experiencereplay用在新问题上一般为10^6不用现在的参数计算target，而用之前更新的参数计算DQN深度强化学习-DQNTargetnetwork(NatureDQN2015)DQN深度强化学习-DQN

Q网络

Targetnetwork

Target-Q网络

计算

DQN深度强化学习-DQN

Q网络

Targetnetwork

Target-Q网络

计算

copyDQN深度强化学习-DQN

Q网络

Targetnetwork

Target-Q网络

计算

copy传target回去DQN深度强化学习-DQNTargetnetworkAtari游戏图像的相似性sS’DQN深度强化学习-DQNTargetnetworkAtari游戏图像的相似性神经网络本身的问题DQN深度强化学习-DQN一些技巧一般mini-batch设置为32就可以Experiencereplay用在新问题上一般为10^6不用现在的参数计算target，而用之前更新的参数计算一般为10^4-10^5左右，根据实验而定DQN深度强化学习-DQN一些技巧一般mini-batch设置为32就可以Experiencereplay用在新问题上一般为10^6不用现在的参数计算target，而用之前更新的参数计算一般为10^4-10^5左右，根据实验而定在atari游戏中，没有必要进行数据增强（其他游戏不一定）DQN深度强化学习-DQN一些技巧一般mini-batch设置为32就可以Experiencereplay用在新问题上一般为10^6不用现在的参数计算target，而用之前更新的参数计算一般为10^4-10^5左右，根据实验而定在Atari游戏中，没有必要进行数据增强（其他游戏不一定）Atari游戏中的episode一般是一轮游戏开始到用完这条命DQN深度强化学习-DQN一些技巧在DQN中的state一般为连续4帧图像，这样方便知道物体是如何运动的DQN深度强化学习-DQN一些技巧实践中，经常用Huberloss替代均方误差损失函数DQN