AWS 发布 SageMaker AI 多轮强化学习实操指南

发生了什么

AWS 官方博客发布了一篇在 Amazon SageMaker AI 上做多轮强化学习（MTRL）的实操指南。文章指出，监督微调只教模型对单个提示给出更好的回答，而智能体任务是一连串相互依赖的动作，往往没有唯一正确的轨迹可以模仿，只能根据整局是否成功来打分。

流程分两半：SageMaker AI 负责训练作业和策略模型；Amazon Bedrock AgentCore 托管智能体、任务环境和奖励函数。每次 rollout 时，训练服务把一行训练数据发给 AgentCore 运行时，运行时中的 Strands 智能体通过 SageMaker Job Runtime 的 OpenAI 兼容端点调用正在训练的策略模型，模型通过 guess_word 工具最多猜六次，环境在每次猜测后返回逐字母反馈，游戏结束时返回一个奖励。GRPO 用同一单词多次 rollout 的奖励差异更新策略模型上的 LoRA 适配器。

示例任务选的是 Wordle：猜一个隐藏的五字母单词，共六次机会，字母按位置正确、存在但位置不对、不存在分别给出绿、黄、灰反馈。作者说明这只是教学示例，前沿模型已能玩得很好，实际用途是让低成本小模型学会某个公开模型没训练过的内部多步流程。

关键细节

• 数据集只有提示字符串，没有目标回答或轨迹标签。示例从词表抽取 640 个训练词和 128 个不重叠的验证词，验证解出率用于衡量泛化。
• 奖励以结果为主：解出得 1.05 至 1.55（越快越高），六次未解出得 -0.5，从未做出有效猜测得 -1.5；另有小幅策略塑形项，解出时权重 0.04、失败时 0.15，并裁剪到 [-1, 1]。
• 支持的基座模型包括 Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B（指令微调版）和 Qwen 3.6 27B，各自限定在部分 AWS 区域。作者选 GPT-OSS-20B 是因为其每 token 价格最低且推理强度可按请求控制。
• 计费按 prefill、sample、train 三类 token 分别计价。100 步训练在 12 小时 40 分钟内跑了 105,486 次 rollout，消耗约 12.9 亿 token，按当时 us-east-1 列表价约 338.50 美元；AgentCore 运行时按 vCPU 和内存另计，约 79 美元。
• 训练中把 sampling_max_tokens 提到服务上限 8192，因为默认 4096 时常在首次工具调用前就把 token 用在推理上。
• 训练期间不能重新部署智能体，否则运行时会重启，进行中的 rollout 收不到采样请求，整个作业失败。

编辑部观察

文章最有价值的部分不是 Wordle 本身，而是作者公开的失败经验。最初的奖励设计把逐次猜测的得分累加成整局奖励，结果出现两处反转：输掉的游戏反而得到正奖励，第一次就猜中得分低于第三次猜中。修正办法是把结果项做成主导项，塑形项只在小范围内区分同结果的对局。作者还记录了并发下 bearer token 失效、rollout 未到达策略模型导致整个作业失败、学习率过高使工具调用退化成纯文本等问题。

另一个值得注意的点是评估口径。训练作业自身的验证曲线在 temperature 0 下最高 48%、结束时 37%，但在实际服务的 medium 推理强度和 temperature 1.0 下，训练后模型解出 84% 的留出词，基座模型为 61%。作者据此建议在最终服务的设置下评估，而不是只看训练曲线。

实践建议

打算把这条流程迁移到自有业务时，可以先做三件事：一是先跑文章第 3 步的冒烟测试，用伪造的作业 ARN 验证解析、鉴权和错误上报链路，再投入训练算力；二是奖励先只写结果项，用真实轨迹检查是否存在“失败得正分”或“更快反而更低分”的反转，再谨慎加入塑形项；三是把评估设置与线上服务设置对齐，并记录推理强度和采样温度。

需要说明的是，文中所有数字来自作者这一次 Wordle 实验，训练成本随轨迹长度增长，train 维度占比最大，换成其他任务时 token 消耗和效果都不能直接套用。文章未给出其他任务的实测结果，也未验证增加训练步数在服务设置下是否继续提升。