本文总结了《reinforcement learning：an introduction》第七章内容，聚焦n-step TD预测、SARSA和离策略学习。n-step返回值在更新过程中减少误差，n-step SARSA通过n次备份提升Q-table更新效率。离策略学习虽然引入高方差，但eligibility traces是重点。介绍了forward-和backward-view TD(λ)及其与MC方法的关系。
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。
对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。
因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。
7.1 n-step TD Prediction
The methods that use n-step backups are still TD methods because theystill change an earlier estimate based on how it differs from a later estimate.
n-step return：
If t +n ≥ T(if the n-step return extends to or beyond termination), then a
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
