每个 Token 都要配一个专属老师？聊聊 Token 级自适应自蒸馏
AI工具
摘要
文章介绍了一种名为MTA-OPSD的方法，指出同一道题中每个token所需的提示力度不同，因此将蒸馏监督从整条回复细化到token级，让每个token自行选择合适的老师。在Qwen3数学推理任务上，该方法平均提升最高达5.9，代码已开源。
同一道题，每个 token 需要的“提示力度”其实不同——MTA-OPSD 正是抓住了这个被忽略的直觉，把蒸馏监督从整条回复细化到 token 级，让每个 token 自己挑老师。在 Qwen3 数学推理任务上平均提升最高 +5.9，代码已开源。
转载信息
原文：
每个 Token 都要配一个专属老师？聊聊 Token 级自适应自蒸馏
（2026-11-07 21:00）
作者：
yweng18
分类：
技术
0
0
161
评论 (0)
请 登录 后发表评论
暂无评论，来留下第一条评论吧