Reinforcement Learning · 01
Bandit：探索，还是利用？
问题：多个动作的真实收益未知时，怎样一边学习、一边减少机会损失？改变探索率，观察估计值和累计遗憾如何演化。
暂时领先的选项，就值得一直选吗？
固定随机种子，只利用时也可能被早期样本误导。
轮次0 / 500
平均奖励0.000
累计期望遗憾0.000
最优动作选择率0.0%
累计期望遗憾
越低越好；斜率表示仍在为非最优选择付费
这一层结论
先单步三次。初始化阶段每个动作至少尝试一次，之后才按 ε-greedy 选择。
模型边界：这是平稳 Bernoulli 多臂 Bandit；每轮相互独立，动作不改变未来状态。单条随机轨迹不能证明某个 ε 永远最好，应在相同环境下比较多个种子或重复实验。
一次幸运，还是多次都更好？
每个种子对三种策略复用相同环境与初始化方式；策略的行动不同，随机抽取的使用顺序也会不同。均值 ± 样本标准差描述本实验的波动，不是置信区间；不据此宣称某策略普遍最优。