经验回放

经验回放把交互得到的转移 \((s_t,a_t,r_{t+1},s_{t+1})\) 存入缓冲区，训练时随机抽取小批量样本。

随机采样可以降低连续转移之间的相关性，并提高同一经验的利用率。优先经验回放会让时序差分误差较大的样本以更高概率被抽中。