强化学习中on-policy 与off-policy有什么区别
发布网友
发布时间：2022-05-30 00:05
共1个回答
热心网友
时间：2023-12-21 09:30
强化学习可以分成off-policy（离线）和on-policy（在线）两种学习方法，按照个人理解，判断一个强化学习是off-policy还是on-policy的依据在于生成样本的policy（value-funciton）和网络参数更新时的policy（value-funciton）是否相同。
Q-learning在计算下一状态的预期收益时使用了max操作，直接选择最优动作，而当前policy并不一定能选择到最优动作，因此这里生成样本的policy和学习时的policy不同，为off-policy算法；
而SARAS则是基于当前的policy直接执行一次动作选择，然后用这个样本更新当前的policy，因此生成样本的policy和学习时的policy相同，算法为on-policy算法。
on-policy 与 off-policy的本质区别在于：更新Q值时所使用的方法是沿用既定的策略（on-policy）还是使用新策略（off-policy）。
个人见解，不足之处还望大神指正
