微软研究:重编程休眠神经元可在AI智能体中植入后门
Microsoft Research 新研究显示,重编程 AI 智能体中少量休眠神经元即可植入后门,使智能体平时表现正常、遇到特定触发条件才激活异常行为。微软建议企业核查模型来源并审慎管理权限,Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供来源安全机制。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
53 条收录动态,更新于 07:49
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Microsoft Research 新研究显示,重编程 AI 智能体中少量休眠神经元即可植入后门,使智能体平时表现正常、遇到特定触发条件才激活异常行为。微软建议企业核查模型来源并审慎管理权限,Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供来源安全机制。
阅读这项研究背后的发现过程:https://msft.it/6015ahp65
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,两款模型基于同一底层模型,前者面向普通用户并内置网络安全与生物安全防护,后者面向通过审核的网络安全和生命科学机构开放。
Lilika Makabe 的实习带来了有意义的联系与成长机会;AI 能否为我们带来《星际迷航》中的通用翻译器;解决一个数十年之久的数学难题;更智能的上下文压缩提升编程智能体;以及构建更好的分词器:https://msft.it/6019aCuhH
怎样才能对自己作为研究者的未来更有信心? 对 Tony Chae 而言,在 Microsoft Research 的本科研究实习提供了一个探索新想法、与研究人员合作、并在实验室之外建立联系的机会。 这段经历帮助 Tony 拓展了知识、发展了新视角,并在他为未来的博士学业做准备时建立了信心。
每一次技术革命都重塑了我们的制度——AI又会如何? 在@ScienceMagazine上,微软研究员@glenweyl与合著者@profjamesevans探讨了“逆向对齐”,即用神经网络作为重塑制度的模型,或许能提供一条路径,在管理AI风险的同时 harnessing 其益处。https://msft.it/6015aAHYP
Conductor 宣布加入 Meta,团队称已为“下一个界面”制定了宏大计划,并将在 MSL 与 Nat Friedman、Alexandr Wang 合作推进。推文未披露交易金额、产品后续安排或具体功能细节。
O'Reilly Radar 的 This Week in AI 节目梳理了本周智能体进展:开源渗透测试框架 ARTEX 相关供应链攻击波及超 2,250 个 Microsoft 365 租户,PHP2Shell 两个 CVSS 9.2 漏洞于 10 月 21 日披露后 CISA 敦促尽快修补。
维基媒体基金会(Wikimedia Foundation)就包括《纽约时报》诉 OpenAI 和 Microsoft 在内的一组 AI 版权诉讼提交法庭意见书,对双方均不站队,并警告任何一方获得过于简化的全面胜利都可能损害开放网络。
隆重推出 Microsoft Research Focus,一种了解 Microsoft 各项研究新闻的新方式。 本期内容涵盖 AI 智能体的进展、日常 AI 使用模式揭示了人们的工作方式、BioEmu2 公开预览,以及旨在提前数周改进天气预报的研究。 在此观看完整视频,或在各大播客平台收听。
Microsoft Research Focus 第97期介绍了多项研究进展:自改进智能体框架 ForkPilot 在六个基准和主流 AI 模型上测试,达到现有最佳方法水平,同时将 AI 处理需求降低最多 59%。
觉得只有自己没听懂,别人都懂? Microsoft 合作伙伴研究经理 Jennifer Neville 分享了她如何认识到:好奇心有时需要勇气——而且别人很可能也有和你一样的疑问。 查看完整对话。https://msft.it/6016a0wcC
LangChain 在博客中介绍用开源 wiki 编译器 OpenWiki 作为智能体的持久记忆层,并叠加证据图,让回答可追溯到支撑段落。
微软亚洲研究院东京首位实习生以计算机视觉研究员的身份加入。离开时,她对物理智能有了更广阔的视野,涵盖感知、语言、学习和现实世界中的行动。https://msft.it/6011a0uOb
HuggingFace 发布四场分享、圆桌与问答,延续其免费课 Training Agents,聚焦工业侧 Agent 训练实现。Miles 在 Terminal Bench 2 上用 64×B300 完全异步训练大 MoE,约 100 步后奖励从约 0.44 升至 0.56;OpenEnv Arena 从约 9 万个可找到的 RL 环境中筛出约 800 个较干净环境。
last week we closed the Training Agents series IRL at the GitHub offices in SF 4 talks, a panel and audience Q&A. almost 2h on post-training agents with open models > Learnings from enterprise RL (@t2govind Microsoft) > Environments and benchmarks in industry (@VBarres86633 Mercor) > How to train your agents with Miles (@nblintao RadixArk) > Why we built OpenEnv Arena (@xdotli BenchFlow) full recording + slides https://www.youtube.com/watch?v=CKFUx7COIwQ
微软在 Ignite 提出 Frontier Transformation 一年后,以平台化方式推进:Copilot 作为与 AI 交互的入口,Microsoft IQ 平台放大企业自身智能,Agent 365 提供各层级的信任与可观测性。
一场面向企业高管的演讲以“AI 狂野西部”为喻,梳理生成式 AI 的“好、坏、丑”:坏的一面包括机器人出租车冲击司机就业、AI 克隆演员声音,丑的一面包括聊天机器人互相攻击、数据中心耗水耗电。演讲同时给出个人层面的 AI 治理建议,并援引 MIT 学生用 Claude 和 ChatGPT 设计喷气发动机的 JARVIS 挑战,指出模型仍存在幻觉、迎合与缺乏物理理解的问题。
AI智能体能否更高效地解决复杂问题?此外,还有攻克编程瓶颈;从遥测数据中演进智能体技能;不同行业的AI需求差异;一款为教师节省时间的AI工具;天气预报领域的突破;BioEmu2进入公开预览。https://msft.it/6017aI27v
作者基于 OpenAlex 约 4.58 亿篇文献及 29 亿条引用链接,分析 1995 至 2025 年神经科学与 AI 的互相引用。
微软发布 AI 诊断系统 MAI-DxO(Microsoft AI Diagnostic Orchestrator),通过编排多个 AI 智能体模拟医生联合会诊,协同问诊、开具化验检查并辩论潜在诊断。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的可执行校验直接当作强化学习奖励,用于训练有状态业务工作流中的智能体,代码已在 GitHub 以 MIT 许可开放。
微软 AI 的诊断系统 MAI-DxO 在《Science》发表的模拟研究中,对《新英格兰医学杂志》复杂病例的诊断准确率为 83%,而单独工作的全科医生和普通内科医生为 36%;这些复杂病例通常由专科医生或团队处理,后者未纳入对照。
微软 Health MAI 团队发布 AI 诊断系统 MAI-DxO,并配套提出逐步诊断基准 SDBench,成果发表于 Science。在 304 个 NEJM 复杂病例上,MAI-DxO 诊断准确率为 83%,医生在有外部参考资料时为 36%、无参考资料时为 22%;在 MIMIC-IV-ED 的急诊常见病例上为 80%,医生为 47%。
入选理由微软团队公开了逐步诊断基准与开源代码,研究者可据此复现评测并检验诊断推理系统的成本与准确率权衡。
微软的 Diagnostic Orchestrator 用多个 AI 智能体模拟专家会诊,在取自《新英格兰医学杂志》数百份病例报告的测试中诊断准确率约 83%,使用参考资料的全科医生约 36%,不使用的约 22%。
微软研究院机器学习与优化组的 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明该关系在高维下由固定常数界定、不随维度增长。
入选理由微软研究者用人类主导的智能体搜索证明 KLS 猜想,展示了 AI 在数学证明中承担探索、研究者负责判断的分工。
在我的年度信函中,我分享了我们将如何构建一个前沿生态系统,把技术进步转化为实实在在的成果,并为各地的人们、组织和社区带来经济机遇。https://www.linkedin.com/pulse/my-annual-letter-building-frontier-ecosystem-satya-nadella-iujec/
Microsoft Research 宣布其新研究解决了 KLS 猜想,这一关于高维计算难题的关键问题此前数十年未获证明。该结果移除了理解科学与计算中随机算法效率的一大障碍。原文链接:https://msft.it/6011aar01
当你努力解决的问题让人感到不堪重负时,是什么让你保持希望? 对 Microsoft Research 的 Chris White 来说,是知道自己能有所作为。 收听最新一期 Microsoft Research Podcast。 https://msft.it/6014av214
OpenAI 似乎也在准备发布 GPT-6.1 Terra 模型。 > 该模型引用近日出现在微软的评估配置 PR 中。 > 此前,The Information 报道称该模型也在开发中。
GPT-6.1 Terra is in a Microsoft PR Microsoft updated 18 evaluation configs from GPT-5.6 Terra to GPT-6.1 Terra Wouldn't be surprised if we get this soon