REINFORCE Zero实现零内核失配异步RL

事件综述根据 1 篇报道整理，11月6日更新

NVIDIA Research 与 Inferact 发表论文提出 REINFORCE Zero：把推理引擎与训练器的内核对齐后，用未截断的重要性采样修正权重滞后，异步强化学习在策略滞后 64 下仍能稳定训练。据 vLLM 官方博客介绍，该方法在 16 卡、12K 次更新下训练步吞吐为同步训练的 2.40 倍，并稳定训练 20,000 次更新。 对齐的代价是：在 DeepSeek-V4-Flash 上，vLLM 与训练器对每个采样 token 的 logprob 逐位一致，但 rollout 吞吐下降 8.7%；在 OSWorld 上，REINFORCE Zero 平均每步耗时 944.25 秒，比带序列门控的标准内核重要性采样（884.17 秒）多 6.8%。 上述结果只验证了这些模型上的内核对齐，作者称下一步是在这些模型上做长时间异步训练，性能优化仍在进行。

综述由模型根据报道生成，细节以各篇原文为准。