Reinforcement Learning · 02–04
小型 MDP：从 Bellman 到 Q-learning
问题：同一个长期决策，已知模型时怎样算价值；不知道模型时，又怎样用经验逐步逼近同一个答案？
一次奖励，怎样变成一段行动的价值？
选试一试，再到终点；观察奖励在哪一步发生。
先体验环境
在起点 S 选择动作。这里的关键不是奖励数字本身，而是“尝试”会让下一次决策面对不同状态 G。
S起点：选择安全或尝试
安全：r = 2 → 终点
尝试：r = 0 → G
G继续：r = 4 → 终点
T终点：不再决策
当前位置：S。请选择一个动作。
把长期回报拆成一步
安全动作立即获得 2；尝试动作先获得 0，再取得下一状态 G 的价值 4。拖动 γ，观察最优动作何时切换。
安全：当前奖励直接结束2.000
尝试：当前奖励 + 折扣后的未来价值3.600
Q(S, 尝试)=0+0.90×4=3.600
γ = 0.90 > 0.50，所以尝试的长期价值 3.60 高于安全的 2.00。
用经验逼近 Bellman 目标
当前演示与手算笔记对齐：假设下一状态的估计 max Q(G,·)=4 已知，只更新 Q(S, 尝试)。
更新次数0
当前 Q(S, 尝试)0.000
Bellman 目标3.600
绝对误差3.600
尚未更新：Q ← Q + α × (目标 − Q)
这一层结论
MDP 先规定“当前状态—动作—奖励—下一状态”。点击动作，观察“尝试”怎样把问题带到状态 G。
模型边界：这是确定性、两状态、有限时域示例。Q-learning 阶段为了与手算严格对齐，固定使用 max Q(G,·)=4；完整学习还需要从终止奖励中学习 G 的 Q 值，并处理探索与随机转移。