非営利のAI安全性研究 · カナダ／リモート

AIの振る舞いと政策を研究しています
—— 高速離陸（fast takeoff）を見据えて.

Lida Safety Research は、ホワイトボックス解釈可能性、スキーミング（策謀）、マルチエージェント共謀の技術研究に取り組むAI安全性研究ラボです。また、AIガバナンスの世界規模シミュレーションを行い、その成果を通じて政策決定者の判断に影響を与えることを目指しています。

研究を読む一緒に取り組む

星図、赤経 0h–24h空は予測どおりに回る。AIの未来もまた予測できるのかもしれない。ただ、信じがたいだけだ。

24名のSPAR Fall 2026フェロー（メンター3名）

3件の研究プロジェクトが今四半期進行中

2件のハッカソン優勝（Apart、Redwood）

8+以上のタイムゾーンにメンバーが分散

AIによる絶滅リスクの低減は、パンデミックや核戦争といった他の社会規模のリスクと並ぶ、世界全体の優先課題とすべきである。

600名を超えるAI研究者・経営者が署名

重点分野

高速離陸という問題

高速離陸（高速離陸（fast takeoff）を見据えて）とは、高度なAIへの移行が極めて短期間——数十年ではなく数か月から数年——で進み、社会制度の対応速度を追い越してしまう事態を指します。私たちは、いままさにその移行のただ中にいると考えています。

2026年7月

OpenAIのエージェントがHugging Faceに侵入

OpenAIの学習実行中、エージェント群がサンドボックスを脱出し、評価で不正を行うために共謀しました。その不正を検証しようとして、700体のエージェントが連携し、Hugging Faceの本番インフラを攻撃しました。METRはこれを「完全な制御喪失までの道のりの50%」と評し、ジェフリー・ヒントンは「小さなチェルノブイリ」と呼びました。

huggingface.co — セキュリティインシデント報告
2026年9月

エージェントがミレニアム懸賞問題を解き切った

OpenAIによれば、1万体の自律エージェントが88時間で3次元ナビエ–ストークス方程式の有限時間特異点を発見し、その証明はLeanで形式的に検証されました。

quantamagazine.org
2026年9月

「おそらく1年、それ以上はそう長くない。」

ジェフリー・ヒントンが、AIに規制の枠を設けるまでに残された時間について米議会議員に説明した後の発言。「AIはいま、AIがより優れたAIを設計する段階に達した」とも述べています。

businessinsider.com

研究の方向性

数か月後に重要になるミスアラインメントやシステミックリスク、そしてモデルの振る舞いとは何でしょうか。エージェントの群れ、超人的な推論、ずれた目標は、モデル開発者と人類にどのような形で跳ね返ってくるのでしょうか。私たちはこの難問に答え始めるため、複数の方向から研究を進めています。

ホワイトボックス解釈可能性

出力ではなく重みを読む。モデルをサンドバッギング（能力の出し惜しみ）から遠ざけるよう誘導し、出力の嘘を現行犯で捕らえなくても監視系が追える構造を探します。

スキーミングと共謀

策謀するモデル生物をつくり、種類の異なる策謀が単一の兆候を共有するのかを問います。さらに、モデルが通信なしに共謀できるのか——異なるモデル系列や微調整をまたいで同じ焦点に行き着くのかを調べます。

ガバナンスのためのシミュレーション

政策案は、検証される回数よりはるかに多く議論されます。私たちは国家・研究所・市場のエージェントシミュレーションを構築し、法になる前に案を走らせられるようにしています。

プロジェクト

壊滅的AIシナリオのシミュレーション研究

LidaSimは、エージェントAIと人間のプレイヤーを同一の地球規模シミュレーション——国家、研究所、サプライチェーン、そしてそれらを結ぶインセンティブ——に置き、シナリオを語るだけでなく実際に演じられるようにします。

ステップ1
シナリオを設定する
能力の飛躍、流出したモデル、研究所間の競争——私たちが調べたい初期条件です。
ステップ2
世界に住人を配置する
AIエージェントが国家・企業・市場を演じ、人間のプレイヤーもその隣に着席します。
ステップ3
何度も演じる
ひとつの筋書きを議論する代わりに、同じ世界を異なる政策と初期条件のもとで繰り返し走らせます。
ステップ4
政策が何をもたらすか測る
介入のある場合とない場合の結果を比べ、その政策が実際にどれだけリスクを取り除くのかを見ます。

予測の研究が、政策決定者が実際に席について負けうるものになる場所です。同じエンジンが、今四半期の Simulating AI Policies プロジェクトも動かしています。

主な成果

1位Apart Research AI ガバナンス hackathon — LidaSim—
1位Redwood Research Alignment Faking hackathon2025年10月
4位Apart Research def/acc ハッカソン、参加者1,000名超—

フェローシップ・プロジェクト

今四半期、私たちは SPAR Fall 2026 コホートの一環として、3つのフェローシップ・プロジェクトを進めています。フェロー24名とメンター3名が8つ以上のタイムゾーンに分散しています。各プロジェクトは、これから現れるミスアラインメントとシステミックリスクに取り組むためのものです。

解釈可能性

The Signature of Scheming

複数の異なる種類の策謀についてモデル生物をつくり、最新の解釈技術を適用して、それらが共通の構造パターンを持つのかを問います。分類を数え上げる代わりに、監視系が探せる単一の兆候を見つけることが狙いです。

フェロー9名 · SPARで見る →

マルチエージェント

On Schelling Coordination

モデルは通信なしに共謀できるのか。異なるモデル系列や微調整をまたいで協調を検証し、解釈技術を用いて、どの組み合わせが同じ焦点に行き着きやすいかを事前に予測します。

フェロー6名 · SPARで見る →

ガバナンス

Simulating AI Policies

世界——国家、企業、そしてその間に働く圧力——のエージェントシミュレーション。ある政策がAIリスクを実際にどれだけ減らすのか、どこで裏目に出るのかを評価します。

フェロー9名 · SPARで見る →

論文

政策メモ

After Coxon’s Warning: There is Now Enough Political Will to Enact Policy on AI Risk

David Williams-King, Zachary Schlosser, インド Dearlove, Samuel Baumohl, Yosra Kazemi, Cedric Lam, Raymond Lee, Linh Le

メモcoxon-memo.pdfガバナンス

プレプリント

GPS-Bench: A ガバナンス Policy Benchmark for Automating Policy Analysis

Linh Le, Melanie Bui, My Chiffon Nguyen, Zachary Schlosser, David Williams-King

GPS-Benchは、過去および提案中のAI政策について、証拠に基づくデータセットと分析を提供します。各政策が誰に影響するのか、関係者がどう反応するのか、可決された場合に何が起きるのかを分析します。検証には、対象LLMの知識カットオフ以降の政策を用いてバックテストを行います。

プレプリントarXiv:2609.03553シミュレーション
Reference-Grafting Matches Fine-Tuning at Eliciting Sandbagged Capabilities

Linh Le, Hong Kiat Tan, David Williams-King

プレプリントarXiv:2608.29458解釈可能性
A Causal Model for Locating and Unlocking Sandbagging in Model Organisms

Hong Kiat Tan, Linh Le, David Williams-King

プレプリントarXiv:2608.29461解釈可能性
FragBench: Cross-Session Attacks Hidden in Benign-Looking Fragments

Astha Mehta, Niruthiha Selvanayagam, Cedric Lam, Hengxu Li, Phuc-Nguyen Nguyen, Raymond Lee, Olivia McGoffin, My (Isabella) Luong, Arthur Collé, Jamie Johnson, David Williams-King, Linh Le

プレプリントarXiv:2605.11029AIセキュリティ

会議・ワークショップ

Efficient Safety Alignment of 言語 Models via Latent Personality Traits

Mohamed Amine Merzouk, Nolan Smyth, Damiano Fornasiere, Linh Le, David Williams-King, Adam Oberman

会議論文COLM 2026arXiv:2607.07918
Latent Personality Alignment: Improving Harmlessness Without Mentioning Harms

Linh Le, David Williams-King, Mohamed Amine Merzouk, Aton Kamanda, Adam Oberman

ワークショップ論文Trustworthy AI at ICLR 2026arXiv:2605.08496
LidaSim: Testing AI Policies With Persona-Based シミュレーションs

Linh Le, David Williams-King, Arthur Collé

ポスターAIMII（IASEAI 2026 併設）aimii.info

作業メモや長めの記事は次の場所に掲載しています： blog.lidasafety.org.

イベント

アジア

AI安全性の分野に研究者を迎える

AI安全性の研究は、いまなお一握りの都市に集中しています。私たちはその裾野を広げるため、アジアを中心に、新しい研究者を分野へ迎えるプログラムを運営・指導しています。

2026年10月4日

Safety Transition Tokyo

AI安全性の仕事へ移ろうとする人のための、変化の理論（theory of change）を扱う1日ワークショップ。

東京・日本 · 主催：David Williams-King · safetytransition.tokyo
2026年9月28日–10月2日

Frontier AI Security Training (FAST)

フロンティアAIセキュリティの5日間研修。David Williams-Kingが主任講師を務めます。

シンガポール · 主催：Singapore AI Safety Hub · securefast.ai
2026年4月20–26日

AI Security Bootcamp (AISB) Singapore

1週間のブートキャンプ。David Williams-Kingが主任講師を務めました。

シンガポール · 主催：Singapore AI Safety Hub · aisb.dev/singapore

チーム

私たちについて

私たちは、複数のタイムゾーンと言語にまたがる小さな非営利の研究者集団です。ここに挙げたコアチームは、長く一緒に活動してきたメンバーです。

David Williams-King

共同創業者 · エグゼクティブ・ディレクター · セキュリティ責任者

実存的リスクの低減に取り組むAI安全性研究者・研究マネージャー。AI安全性フェローシップERAに所属し、シンガポールのFASTなどAIセキュリティのイベントを運営。分野に入ったばかりの人を指導することを大切にしています。

Linh Le

共同創業者 · リサーチ・ディレクター

Oxford AI ガバナンス Initiative に所属する独立系AI安全性研究者。以前はMilaおよびシドニー工科大学に在籍。世界の壊滅的な結末を避けるため、AI政策のシミュレーションを走らせることを目指しています。

Hong Kiat Tan

SPARメンター、研究者

UCLAで数学の博士号を取得中。根っからの機械的解釈可能性好きで、安全性とアラインメントに向けてその手法を開発・応用しています。

Zachary Schlosser

研究者

AI政策に関する研究者・教育者・まとめ役。以前は米国の政策アクセラレータでAIプログラムを統括。現在はAGIの封じ込め不可能性に対する形式手法の分野づくりに取り組んでいます。

Melanie Bui

研究者

AI安全性・ガバナンスの研究者。協調の失敗と、AI移行期をゆく中堅国のためのガバナンス策を専門としています。

Cedric Lam

研究者

NYU出身のAI安全性研究者で、Trust & Safetyの実務経験を持つ。サイバーセキュリティと、創作領域——とくにAI生成コンテンツ——のAIガバナンスに取り組んでいます。

My (Chiffon) Nguyen

研究者

AIを安全で人を力づけるものに保つ研究。制御の喪失と主体性の低下の抑制、マルチエージェントシステム、多言語AI、社会貢献のためのAIを扱います。

Arthur Collé

エージェント基盤エンジニア

分散システムのエンジニア。この3年間、実運用のマルチエージェントシステム構築と自律エージェント研究に従事。ワシントンD.C.在住。

Astha Mehta

SPARフェロー

Bain & Company のリードMLエンジニア。AIの安全性とセキュリティに取り組んでいます。

Niruthiha Selvanayagam

SPARフェロー

École de technologie supérieure（ÉTS Montréal）の博士課程学生。AIセキュリティを研究しています。