奖励全是 0，模型还怎么学？PIVOT：让老师在关键时刻“扶一把“
AI工具
摘要
针对GRPO训练中奖励恒为0的问题，PIVOT提出轨迹级干预与token级监督相结合的方法：教师模型仅在关键节点纠错，使轨迹能够获得奖励，同时让关键片段得到有效学习。在困难逻辑游戏任务上，avg@8从19.5%提升至35.6%。文章还提供了可运行代码及“全灭组监控”技巧。
你的GRPO训练是否也卡在reward恒为0的死局？PIVOT用“轨迹级干预+token级监督”双管齐下：老师只在关键处纠错，既让轨迹够得着奖励，又让关键片段真正学得会。困难逻辑游戏上avg@8从19.5%飙到35.6%，近乎翻倍🚀 文内附可运行代码和今天就能上手的“全灭组监控”技巧，被rew...
转载信息
原文：
奖励全是 0，模型还怎么学？PIVOT：让老师在关键时刻“扶一把“
（2026-11-07 09:01）
作者：
yweng18
分类：
技术
0
0
153
评论 (0)
请 登录 后发表评论
暂无评论，来留下第一条评论吧