Reinforcement Learning · Unit 03

Bellman 价值递推实验

即时奖励 + 折扣后的未来价值
先预测，再操作，最后解释

未来的收益，怎样一层层传回现在？

即时奖励与折扣未来分开读，不要把未来奖励算两次。

一次 Bellman 备份到底算了什么？

让参数、状态图和公式中的每一项同步变化。

观察：最优动作何时切换
两状态随机 MDP 从起点 S 可以安全结束，或尝试进入 G；尝试可能失败，G 随后获得奖励并终止。 尝试：p=0.80，r=0 失败：p=0.20 安全：r=2.00 r=4.00 S V*=2.88 G V*=4.00 终止 V=0
Q(S, 尝试)=0+0.90×3.20=2.88
Q(S, 安全)：立即结束 2.00 当前较优
Q(S, 尝试)：期望未来 2.88 当前较优

临界 γ=0.625；当前 γ=0.90，所以尝试更优。