马尔可夫决策过程¶
马尔可夫过程¶
马尔可夫过程是一类特殊的随机过程。若当前状态 \(S_t\) 所携带的信息已经包含了预测未来所需的全部历史信息，则称之为具有马尔可夫性质： $$ \mathbb{P}(S_{t+1} \mid S_t) = \mathbb{P}(S_{t + 1} \mid S_1, S_2, \cdots, S_t) $$ 状态之间的转移概率可以表示为一个矩阵\(P\)，\(P_{ij}\)表示从 \(i\) 转移到 \(j\) 的概率。每一列的概率之和是 \(1\)，保证每个状态转移的归一化1。
马尔可夫奖励过程¶
马尔可夫奖励过程可以表示为一个四元组 \(\langle S, P, R, \gamma \rangle\): - \(S\) 是有限状态的集合 - \(P\) 是状态转移函数 - \(R\) 是奖励函数 - \(\gamma\) 是折扣因子。\(\gamma\) 越接近 0，远期奖励衰减越快，模型更考虑当下；反之，越接近 \(1\)，远期奖励衰减较慢，模型对远期奖励也会考虑。
MRP 的贝尔曼方程¶
根据回报的定义 $$ G_t = R_{t + 1} + \gamma G_{t+1} $$ 因此，状态价值函数可以分解为两部分，即时奖励和后继状态折扣价值： $$ \begin{align} v(s) &= \mathbb{E}\left[G_t \mid S_t = s \right] = \mathbb{E}\left[ R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t + 3} + \cdots \mid S_t = s \right] \ &= \mathbb{E}\left[R_{t + 1} + \gamma G_{t + 1} \mid S_t = s \right] = \mathbb{E} \left[R_{t + 1} + \gamma v(S_{t+1}) \mid S_t = s \right] \end{align} $$ 因此MRP的贝尔曼方程是： $$ v(s) = R_s + \gamma \sum_{s'\in S} P_{ss'}v(s') $$ 上述方程可以实用向量和矩阵进行简洁的表示，令 \(\mathbf{v}\) 为状态价值函数列向量，\(\mathbf{R}\) 为即时奖励向量，\(\mathbf{P}\) 为状态转移概率矩阵，则贝尔曼方程可以写为： $$ \mathbf{v} = \mathbf{R} + \gamma \mathbf{P} \mathbf{v} $$ 移项整理后： $$ (I - \gamma \mathbf{P})\mathbf{v} = \mathbf{R} $$ 显式解即为： $$ \mathbf{v} = \left(I - \gamma \mathbf{P} \right)^{-1}\mathbf{R} $$
马尔可夫决策过程¶
马尔可夫决策过程可以表示为一个五元组\(\langle S, A, P, R, \gamma \rangle\)： - \(S\)：状态的有限集合 - \(A\)：动作的有限集合 - \(P\)：状态转移函数 - \(R\)：奖励函数 - \(\gamma\)：折扣因子
类似地，我们可以推导出 马尔可夫决策过程 的贝尔曼期望方程： ^1e180f
$$ \begin{align} v_\pi(s) &= \sum_{a \in A} \pi(a \mid s)q_\pi (s, a) \ &= \sum_{a \in A} \pi(a \mid s) \left(R_s^a + \gamma \sum_{s' \in S} P_{ss'}^a v_\pi(s')\right)\
q_\pi(s, a) &= R_s^a + \gamma \sum_{s'\in S}P_{ss }^a v_\pi (s')\ &=R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a \sum_{a' \in A}\pi(a' \mid s') q_\pi(s', a') \end{align} $$ 最优状态价值函数，定义为在所有策略中能获得的最大期望回报的策略下的价值： $$ v_*(s) = \max_{\pi}v_\pi(s) $$
部分可观察马尔可夫决策过程¶
在许多实际问题中，状态不可直接观测，我们引入观察空间与观察函数来扩展马尔可夫决策过程，表示为一个七元组\(\langle S, A, O, P, R, Z, \gamma \rangle\): - \(O\) 是观察的集合 - \(Z\) 是观察函数
-
本节只给出强化学习所需的基本性质；严格定义与遍历性等结论可参考随机过程教材。 ↩