InfraRSI:用递归自我改进优化 LLM 训练基础设施
InfraRSI 是一套智能体框架,通过五阶段流程把开放式人类指令转化为经过验证的训练优化,覆盖启动参数、算子内核与通信调度。在四类单节点与多节点稠密及 MoE 大模型负载上,它实现最高 2.75 倍加速,平均 MFU 从 17.4% 提升至 30.0%,优于现有调优器和编程智能体,并可跨 GPU 迁移经验。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
435 条收录动态,更新于 00:00
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
InfraRSI 是一套智能体框架,通过五阶段流程把开放式人类指令转化为经过验证的训练优化,覆盖启动参数、算子内核与通信调度。在四类单节点与多节点稠密及 MoE 大模型负载上,它实现最高 2.75 倍加速,平均 MFU 从 17.4% 提升至 30.0%,优于现有调优器和编程智能体,并可跨 GPU 迁移经验。
alphaXiv 介绍了一篇提出 Hinted Scaling Laws 的论文:给小模型不同程度的帮助(如部分解题步骤),观察其准确率如何提升,再用这些规律预测大模型在无提示条件下的表现。在 GSM8K、AIME 和 HLE 上,该方法把预测误差中位数从 21% 降到 4.3%。论文链接:https://www.alphaxiv.org/abs/2611.02270
Zyphra 新论文提出 Zyphra Hierarchical Attention(ZHA),将 KV-cache 组织成压缩摘要树,查询自上而下搜索以缩小需关注的 token 范围。
苹果研究团队在 arXiv 预印本论文《Perceptive Humanoid Motion from Simulation》中披露人形机器人自主控制系统 HALO,并公开数据生成、模型训练与部署代码。
论文提出 Latent Sparse Attention(LSA),将相似 token 聚类并组织成可搜索的层级结构,使查询无需扫描整个上下文即可定位相关信息。在 10M token 上下文下,LSA 单层注意力的 prefill 比 GLM-5.3-Flash 原稀疏注意力快 22.7 倍、解码快 4.6 倍,且准确率相近。
Together Compiler 独家发布于 alphaXiv!
In Together's tradition of advancing open-source research, we are sharing our findings with the AI community. Of course the idea of using agents to optimize inference is around in the ether within high-level blogs and such, but we find that the spark comes from really getting into the tradeoffs and details. This is the first detailed research release on agentic inference optimization for production-scale. Hope you find it interesting: Together Compiler paper: https://www.alphaxiv.org/abs/2611.together-compiler-continual-ai-inference Together Compiler blog: https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference Our research roadmap blog: https://www.together.ai/blog/polymorphic-inference Huge congratulations to @reyna_abhyankar and @dylan__lim on getting this out! 💫 We’ll be sharing more blogs on the Together Compiler journey, results, additional Polymorphic Inference research over the next stretch! Stay tuned!
Base Labs 在 11 月 6 日的研究更新中论证,on-policy 自蒸馏(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者指出,带提示的教师模型已知答案、无需回溯或保留余地,这种稠密监督主要引入偏差,等于用干净但有偏的信号换掉噪声大但方向正确的奖励。
Transluce 训练不同规模的 Qwen3.5 监督模型,在给定微调数据集、提示词和基座模型回答的条件下预测微调后 Qwen3.5-2B 的回答,发现性能随模型与数据规模呈幂律提升。例外是与被监督模型同源的监督模型表现优于更大模型,且性能存在非零损失下限。研究还显示预测性能可泛化到更难的分布外数据集。
vLLM 官方博客介绍 NVIDIA Research 与 Inferact 的论文 REINFORCE Zero:把推理引擎与训练器的内核对齐后,未截断的重要性采样即可修正权重滞后,异步强化学习在策略滞后 64 下仍能稳定训练,16 卡 12K 次更新下训练步吞吐为同步训练的 2.40 倍。
密歇根大学团队发布 MapHub(MIDAS arXiv Preprint Hub),用 Claude Opus 5.5 每天把 arXiv 新投稿与每位参与者的研究画像逐一比对,输出 0 到 100 的相关性分数,并以热图展示每篇论文触及了谁的工作。
Scientist World 提出一套多智能体流水线,把每篇论文复现为可执行、可评分的科研环境,AI科学家在其中按相对论文复现结果的改进幅度(FNI)计分,首批发布1000个经独立验证的环境。
入选理由论文把已发表论文改造成可执行、可评分的科研环境,并公开首批1000个环境与6400小时研究轨迹,研究者可据此判断AI科学家的评测与训练方式。
研究团队提出 Siris,用于测试 LLM 能否区分模拟器局限只是扭曲预测、还是足以推翻其推荐的设计。Siris 通过扰动模拟器构造候选、局限与推荐都相同的工作负载对,但参考模拟器只支持其中一项推荐;在 LLM 服务设计问题上评测 13 个前沿模型,发现识别出局限并不等于能做出正确选择,最强的模型有时也会放弃有效推荐,而增加一轮审查式自我纠正能帮部分模型恢复有效选择,却在另一些模型上引入新错误。
研究者提出 agentic reasoning caching,从大语言模型的推理轨迹中构建可在 CPU 上执行的智能体推理缓存(ARCs),使已推理过的问题在新实例上无需模型重新求解。
一项研究在七个基准和 Qwen3.5-0.8B、Qwen3.5-9B 两个模型规模上,用 16 条编辑轨迹系统考察 Weight-Space Programming(WSP)的能力、跨任务泛化与局限。
研究团队提出 TB-MathModel,一个面向数学建模的智能体可验证基准,覆盖 2023 至 2025 年的 18 道 CUMCM 与 MCM 真题,每道题在容器化终端中提供原始题面、官方附件与图表,智能体需返回单个 JSON 结果。
哈佛大学定量社会科学研究所(IQSS)的 Gary King 与 Steven Worthington 考察了其付费双盲同行评审服务 rapidPeer 收到的稿件评审,用 Anthropic 的 Claude Opus 为 2019 至 2026 年间提交的 124 篇论文生成对应的 AI 评审,共 134 份人类评审参与对比。
论文提出 Adversarial Speculative Reasoning:针对投机解码中验证块内数值噪声约每位置增加 4%、可能影响长程智能体关键决策的问题,刻意训练草稿模型在重要推理决策处与目标模型不一致,触发拒绝并在数值更精确的位置重启验证。
Goodfire Research 发布论文提出 mechanistic shaping 框架,通过惩罚模型对特定内部概念的依赖或表达,在训练中规定模型“如何解题”而非只看是否答对。
FrontierPhysics 是一个端到端物理研究基准,包含 42 位物理学家基于自身研究设计的 56 项任务,覆盖理论、计算与实验物理的九个领域,要求智能体完成文献综述、制定研究计划、开展研究与实验,并产出结构化结果和科学稿件。
一项预印本研究以Schultz等(2025)已发表的“Spanish plume”天气模式综述为基准,用其102篇文献语料分四步测试ChatGPT Deep Research、Gemini Deep Research、Claude网页版、Codex、Claude Code和NotebookLM:检索、逐篇解读、跨文献综合、提出未来方向。
入选理由以102篇已发表综述为基准,分四步实测六款通用AI工具,给出研究者可直接照做的八条使用建议。
PyRUA-DataFarm 提出让编码智能体接手遥操作员的工作:智能体接收数据请求和一段目标场景的标定片段后,在仿真中重建任务,编写场景、专家控制器和成功判定器,再由以真实图像为条件的视频模型渲染出同步的多视角视频,用于训练可直接部署到真机的策略。
一项预印本研究以Schultz等2025年发表的西班牙羽流(Spanish plume)综述为基准,用其102篇文献语料分四步测试AI工具:检索文献、判读每篇、跨文献综合、提出未来方向。
Anthropic 生物学研究团队借助 Claude 解析出原核生物 Vault(穹窿颗粒)的三维结构,其中噬菌体来源的 L05 蛋白由 96 条蛋白链组成,冷冻电镜分辨率达 3.2 埃,结构数据已存入蛋白质数据库。
Anthropic 生物学研究团队借助 Claude 完成了原核细胞中 vault 颗粒的首次三维结构解析,相关预印本已提交 bioRxiv。
入选理由Anthropic 生物实验室用 Claude 完成从序列检索到冷冻电镜建模的全流程,给出原核细胞中首个 vault 颗粒结构,研究者可据此判断 AI 在结构生物学中的分工边界。
SwarmEvolve 提出一种让每轮数百个低成本智能体在潜空间中推理、通过传递 KV cache 共享信息的框架,无需解码成文本,并用新颖性过滤器按隐藏状态向量距离保留差异最大的想法。
研究者提出 FINCOSMOS,一个面向金融工作智能体的开放世界评测范式:模拟用户持有从组合语法采样的隐藏策略,只在被询问时透露,智能体需自行从 Web 获取数据、在数据截止时点下构建回测并交付可验证结果。
研究评估了不更新模型权重、仅靠框架演化实现递归自我改进的智能体,发现十六个演化后的智能体都在获得新任务能力的同时丢失了原有任务。某通用任务案例中可靠性提升 5.2 点,却丢掉十个已覆盖任务,且多数可靠性增益伴随部署成本上升。得分最高的智能体在四个池中均未带来最大平均提升,据此提出的 EvoAudit 将诊断转化为对 select、analyze、mutate、gate 的修订并取得最佳表现。
小鹏集团联合北京大学、香港大学等团队发布具身感知基座模型 GroundingPI,约 40 亿参数,在 34 项公开感知基准的综合评测中位列第一,得分 73.68,对比 GPT-6 Astra 的 71.54。
研究团队提出 VidUEU-Agent,一个从原始视频自动合成多模态理解、编辑与统一任务指令数据的四阶段流水线,并可根据下游训练结果自主迭代数据分布。基于该流水线构建的 VidUEU-100K 包含 100K 训练样本,覆盖多个领域与任务;在多个代表性基准上微调基线模型后取得一致性能提升。