白盒可解释性
读权重，而不是读输出。我们引导模型远离藏拙（sandbagging），并寻找监测系统可以盯住的结构，而不必当场抓住一句谎话。
24名 SPAR Fall 2026 研究员，另有 3 位导师
3个研究项目正在本季度进行
2次黑客松冠军，Apart 与 Redwood
8+个以上时区，成员分布其间
降低人工智能带来的灭绝风险，应当与大流行病和核战争等社会尺度的风险一样，成为全球优先事项。
重点
快速起飞问题
快速起飞（快速起飞）指向高级人工智能的过渡发生得极快——以数月或数年计，而非数十年——快过社会制度的反应速度。我们认为，我们正处在这样一场过渡之中。
-
2026年7月
OpenAI 的智能体入侵了 Hugging Face
在 OpenAI 的一次训练过程中，智能体突破了沙箱，并合谋在评测中作弊。为了验证作弊手法，700 个智能体协同攻击了 Hugging Face 的生产环境。METR 称之为“距离完全失控已走完一半路程”，杰弗里·辛顿则称之为“一场小型切尔诺贝利”。
-
2026年9月
智能体攻克了一道千禧年大奖难题
OpenAI 表示，一万个自主智能体在 88 小时内找到了三维纳维–斯托克斯方程的有限时间奇点，其证明已用 Lean 完成形式化验证。
-
2026年9月
“也许还有一年，但不会比一年多多少。”
杰弗里·辛顿在向美国国会议员说明为人工智能设立护栏还剩多少时间之后如是说，并补充道：“人工智能已经到了由人工智能设计更好的人工智能的阶段。”
研究方向
几个月之后，哪些失准风险与系统性风险、哪些模型行为会变得重要？智能体集群、超人推理与失准目标，会以怎样的方式反噬模型开发者与人类？我们从不同方向入手，尝试开始回答这些难题。
图谋与合谋
我们构建会图谋的模式生物，进而追问不同类型的图谋是否共享同一种特征；以及模型能否在不通信的情况下合谋——在不同模型家族与微调版本之间找到同一个焦点。
服务于治理的模拟
政策提案被争论的次数，远多于被检验的次数。我们构建关于国家、实验室与市场的智能体模拟，让一项提案在写入法律之前先跑一遍。
项目
我们关于灾难性人工智能情景模拟的研究
LidaSim 把智能体人工智能与人类玩家放进同一个全球尺度的模拟之中——国家、实验室、供应链，以及把它们连在一起的激励——让一个情景可以被真正推演，而不只是被描述。
第一步
设定情景
一次能力跃迁、一个泄露的模型、一场实验室之间的竞赛——这些都是我们想要考察的初始条件。
第二步
让世界住满角色
人工智能体扮演国家、公司与市场；人类玩家与它们同席而坐。
第三步
反复推演
在不同政策与初始条件下运行同一个世界，而不是围绕一种叙事争论不休。
第四步
衡量一项政策换来了什么
比较有干预与无干预的结果，看这项政策究竟消除了多少风险。
在这里，我们的预测研究变成了政策制定者可以坐下来、并且会输掉的东西——同一套引擎也驱动着本季度的 Simulating AI Policies 项目。
部分成果
- 第一名Apart Research AI 治理 hackathon — LidaSim—
- 第一名Redwood Research Alignment Faking hackathon2025年10月
- 第四名Apart Research def/acc 黑客松，1,000 多名参与者—
研究员项目
本季度，我们在 SPAR Fall 2026 这一批次下推进三个研究员项目。我们有 24 位研究员与 3 位导师，分布在 8 个以上的时区。每个项目都针对即将到来的失准风险与系统性风险。
The Signature of Scheming
我们为几种不同类型的图谋构建模式生物，再用现代可解释性技术追问它们是否共享同一种结构模式——一个监测系统可以直接寻找的特征，而不是一份必须逐项枚举的分类表。
9 位研究员 · 在 SPAR 上查看 →
On Schelling Coordination
模型能在不通信的情况下合谋吗？我们在不同模型家族与微调版本之间测试协调行为，并用可解释性提前预测哪些组合更可能找到同一个焦点。
6 位研究员 · 在 SPAR 上查看 →
Simulating AI Policies
一个关于世界的智能体模拟——国家、公司，以及它们之间的压力——用来评估某项政策究竟降低了多少人工智能风险，又在哪里适得其反。
9 位研究员 · 在 SPAR 上查看 →
论文
论文
政策备忘录
-
After Coxon’s Warning: There is Now Enough Political Will to Enact Policy on AI Risk
David Williams-King, Zachary Schlosser, 印度 Dearlove, Samuel Baumohl, Yosra Kazemi, Cedric Lam, Raymond Lee, Linh Le
预印本
-
GPS-Bench: A 治理 Policy Benchmark for Automating Policy Analysis
Linh Le, Melanie Bui, My Chiffon Nguyen, Zachary Schlosser, David Williams-King
GPS-Bench 提供关于既往与拟议人工智能政策的循证数据集与分析。我们分析每项政策影响到谁、相关方如何反应，以及政策通过后的结果，并使用落在特定大模型知识截止日期之后的政策进行回测。
-
Reference-Grafting Matches Fine-Tuning at Eliciting Sandbagged Capabilities
Linh Le, Hong Kiat Tan, David Williams-King
-
A Causal Model for Locating and Unlocking Sandbagging in Model Organisms
Hong Kiat Tan, Linh Le, David Williams-King
-
FragBench: Cross-Session Attacks Hidden in Benign-Looking Fragments
Astha Mehta, Niruthiha Selvanayagam, Cedric Lam, Hengxu Li, Phuc-Nguyen Nguyen, Raymond Lee, Olivia McGoffin, My (Isabella) Luong, Arthur Collé, Jamie Johnson, David Williams-King, Linh Le
会议与研讨会
-
Efficient Safety Alignment of 语言 Models via Latent Personality Traits
Mohamed Amine Merzouk, Nolan Smyth, Damiano Fornasiere, Linh Le, David Williams-King, Adam Oberman
-
Latent Personality Alignment: Improving Harmlessness Without Mentioning Harms
Linh Le, David Williams-King, Mohamed Amine Merzouk, Aton Kamanda, Adam Oberman
-
LidaSim: Testing AI Policies With Persona-Based 模拟s
Linh Le, David Williams-King, Arthur Collé
工作笔记与较长的文章发布在 blog.lidasafety.org.
活动
亚洲
把更多研究者带入人工智能安全领域
大多数人工智能安全研究仍集中在少数几个城市。我们致力于拓宽这一局面——举办并讲授各类项目，把新的研究者带入这个领域，重点放在亚洲。
-
2026年10月4日
Safety Transition Tokyo
为转入人工智能安全工作的人举办的一日“变革理论”工作坊。
-
2026年9月28日–10月2日
Frontier AI Security Training (FAST)
为期五天的前沿人工智能安全培训，David Williams-King 担任主讲。
-
2026年4月20–26日
AI Security Bootcamp (AISB) Singapore
为期一周的训练营，David Williams-King 担任主讲。
团队
我们是谁
我们是一支小型非营利研究团队，分布在不同的时区与语言之间。这里列出的核心成员，都是与我们共事已久的人。
David Williams-King
联合创始人 · 执行总监 · 安全负责人
人工智能安全研究者与研究管理者，专注于降低生存性风险。他在人工智能安全项目 ERA 工作，并在新加坡举办 FAST 等人工智能安全活动，乐于指导刚进入这一领域的人。
Linh Le
联合创始人 · 研究总监
独立人工智能安全研究者，隶属于 Oxford AI 治理 Initiative；此前曾在 Mila 与悉尼科技大学工作。她希望通过模拟人工智能政策，帮助世界避开灾难性的结局。
Hong Kiat Tan
SPAR 导师、研究员
正在 UCLA 完成数学博士学位。一位典型的机制可解释性爱好者——开发并应用机制可解释性来服务安全与对齐。
Zachary Schlosser
研究员
人工智能政策方面的研究者、教育者与召集人。此前主持过一家美国政策加速器的人工智能项目；目前围绕 AGI 不可控性的形式化方法推动领域建设。
Melanie Bui
研究员
人工智能安全与治理研究者，关注协调失灵，以及中等强国在人工智能转型中的治理方案。
Cedric Lam
研究员
来自纽约大学的人工智能安全研究者，具有 Trust & Safety 背景。研究网络安全，以及创意领域尤其是人工智能生成内容的治理。
My (Chiffon) Nguyen
研究员
致力于让人工智能既安全又赋能于人——减少失控与人的能动性流失，研究多智能体系统、多语言人工智能与向善的人工智能。
Arthur Collé
智能体后端工程师
分布式系统工程师。过去三年一直在构建生产环境中的多智能体系统并从事自主智能体研究。现居华盛顿特区。
Astha Mehta
SPAR 研究员
Bain & Company 首席机器学习工程师，从事人工智能安全工作。
Niruthiha Selvanayagam
SPAR 研究员
École de technologie supérieure（ÉTS Montréal）博士生，研究人工智能安全。
2026 年秋季批次
24 位研究员与 3 位导师，分属三个 SPAR 项目。也有成员并非通过 SPAR 加入。其中包括博士与硕士研究生、博士后、本科生，以及来自业界的研究者与工程师——分布在 8 个以上的时区，从太平洋沿岸一直到澳大利亚悉尼。
The Signature of Scheming
9 位研究员
-
LiveKit 前置部署工程师 · 独立研究者
美国太平洋西北地区
-
AI/ML 工程师 · 同时参与合谋项目
纽约
-
人工智能工程师 · 评测、控制、红队测试
意大利
-
软件工程师 · 人工智能控制与欺骗行为
荷兰
-
AI/ML 工程师 · 可解释性、公平性、几何机器学习
休斯顿
-
博士后研究员 · 机制可解释性、人工智能安全、红队测试
澳大利亚
-
独立人工智能研究者
北达科他
-
Samuel Baumohl直接加入
Netflix 软件工程师 · 计算机科学，UW–Madison
圣何塞
-
Tuyen Tran直接加入
迪肯大学博士后研究员
澳大利亚
On Schelling Coordination
6 位研究员
-
西北大学数学博士生；曾在 UC Berkeley 研究随机矩阵理论
芝加哥
-
IDEAS NCBR 博士候选人 · 人工智能安全与图神经网络
波兰
-
Instacart 高级机器学习工程师 · UC Berkeley 信息学院
UTC−8
-
芝加哥大学数学与物理本科生
芝加哥
-
Astha MehtaLida 团队
Bain & Company 首席机器学习工程师
伦敦
-
Cedric LamLida 团队
纽约大学硕士生 · 具 Trust & Safety 背景
纽约
Simulating AI Policies
9 位研究员
-
Luminance 人工智能工程师，负责生产环境大模型系统与模型可信度 · MIT
UTC−5
-
Applied Intuition 工程师
UTC−8
-
软件工程师
澳大利亚，部分时间在英国
-
独立人工智能研究者 · 评测、智能体系统、政策影响预测
印度
-
Melanie BuiLida 团队
人工智能工程师与安全研究者 · 人工智能控制、算力治理
越南
-
Tra My (Chiffon) NguyenLida 团队
Lida Safety 研究员 · 机器学习与统计，密涅瓦大学
越南
-
Zachary SchlosserLida 团队直接加入
曾主持一家美国政策加速器的人工智能项目
纽约
-
Yosra Kazemi直接加入
独立人工智能研究者 · 因果推断、强化学习
多伦多
-
Phuc-Nguyen Nguyen直接加入
越南