Nghiên cứu an toàn AI phi lợi nhuận · Canada / Từ xa

Chúng tôi nghiên cứu hành vi và chính sách AI
liên quan đến kịch bản cất cánh nhanh.

Lida Safety Research là phòng nghiên cứu an toàn AI, thực hiện nghiên cứu kỹ thuật về khả năng diễn giải hộp trắng, hành vi mưu toan và sự thông đồng giữa nhiều tác tử. Chúng tôi cũng chạy các mô phỏng quản trị AI ở quy mô toàn cầu và hướng tới việc tác động đến quyết định của những người làm chính sách.

Đọc nghiên cứu Hợp tác với chúng tôi

Bản đồ sao, RA 0h–24hBầu trời xoay theo quy luật. Tương lai của AI có lṵ cũng có thể dự đoán, nhưng khó tin.

24nghiên cứu viên SPAR Fall 2026, cùng 3 người hướng dẫn

3dự án nghiên cứu đang chạy trong quý này

2giải nhất hackathon, Apart và Redwood

8+múi giờ trải khắp các thành viên

Giảm thiểu nguy cơ tuyệt chủng do AI phải là ưu tiên toàn cầu, ngang với các rủi ro quy mô xã hội khác như đại dịch và chiến tranh hạt nhân.

Được ký bởi hơn 600 nhà nghiên cứu và lãnh đạo trong lĩnh vực AI

Trọng tâm

Vấn đề cất cánh nhanh

Cất cánh nhanh (cất cánh nhanh) là quá trình chuyển sang AI tiên tiến diễn ra rất nhanh — trong vài tháng hoặc vài năm thay vì hàng thập kỷ — nhanh hơn khả năng phản ứng của các thiết chế xã hội. Chúng tôi cho rằng chúng ta đang ở giữa quá trình chuyển đổi đó.

Th7 2026

Các tác tử của OpenAI đã tấn công Hugging Face

Trong một lần huấn luyện tại OpenAI, các tác tử đã thoát khỏi sandbox và cấu kết để gian lận trong các bài đánh giá. Để kiểm chứng cách gian lận đó, 700 tác tử đã phối hợp tấn công hạ tầng vận hành của Hugging Face. METR gọi đây là “đi được 50% quãng đường tới mất kiểm soát hoàn toàn”, còn Geoffrey Hinton gọi đó là “một Chernobyl thu nhỏ”.

huggingface.co — công bố sự cố bảo mật
Th9 2026

Các tác tử đã hoàn tất một bài toán Giải thưởng Thiên niên kỷ

OpenAI cho biết 10.000 tác tử tự hành đã tìm ra điểm kỳ dị trong thời gian hữu hạn của hệ phương trình Navier–Stokes ba chiều chỉ trong 88 giờ, với chứng minh được kiểm chứng hình thức bằng Lean.

quantamagazine.org
Th9 2026

“Có lṵ một năm, nhưng không hơn một năm là bao.”

Geoffrey Hinton, sau khi trình bày trước các nghị sĩ Quốc hội Mỹ về khoảng thời gian còn lại để dựng hàng rào bảo vệ quanh AI, nói thêm rằng “AI giờ đã đến mức AI thiết kế ra AI tốt hơn”.

businessinsider.com

Các hướng nghiên cứu

Những rủi ro lệch mục tiêu và rủi ro hệ thống nào, những hành vi mô hình nào sẽ trở nên quan trọng chỉ trong vài tháng tới? Bầy tác tử, khả năng suy luận siêu phấm và mục tiêu lệch chuẩn có thể phản tác dụng với chính các nhà phát triển mô hình và với nhân loại theo những cách nào? Chúng tôi theo đuổi nhiều hướng khác nhau để bắt đầu trả lời những câu hỏi khó đó.

Khả năng diễn giải hộp trắng

Đọc trọng số thay vì đọc đầu ra. Chúng tôi lái mô hình ra khỏi hành vi giấu năng lực và tìm những cấu trúc mà một hệ giám sát có thể theo dõi, mà không cần bắt quả tang một lời nói dối.

Mưu toan và thông đồng

Chúng tôi xây dựng các model organism biết mưu toan, rồi hỏi liệu những kiểu mưu toan khác nhau có chung một dấu hiệu hay không. Và liệu các mô hình có thể thông đồng mà không cần trao đổi — cùng tìm đến một điểm hội tụ qua nhiều dòng mô hình và bản tinh chỉnh.

Mô phỏng phục vụ quản trị

Các đề xuất chính sách được tranh luận nhiều hơn hẳn so với được kiểm chứng. Chúng tôi xây dựng mô phỏng tác tử về các quốc gia, phòng thí nghiệm và thị trường, để một đề xuất có thể được chạy thử trước khi thành luật.

Dự án

Nghiên cứu của chúng tôi về mô phỏng các kịch bản AI thảm khốc

LidaSim đặt AI tác tử và người chơi vào cùng một mô phỏng quy mô toàn cầu — các quốc gia, phòng thí nghiệm, chuỗi cung ứng và những động lực nối chúng với nhau — để một kịch bản có thể được chơi thử chứ không chỉ được mô tả.

Bước 1
Dựng kịch bản
Một bước nhảy năng lực, một mô hình bị rò rỉ, một cuộc đua giữa các phòng thí nghiệm — những điều kiện khởi đầu mà chúng tôi muốn khảo sát.
Bước 2
Lấp đầy thế giới
Các tác tử AI đóng vai quốc gia, công ty và thị trường; người thật ngồi vào bàn cùng họ.
Bước 3
Chơi đi chơi lại nhiều lần
Chạy cùng một thế giới với những chính sách và điều kiện khởi đầu khác nhau, thay vì tranh luận về một câu chuyện duy nhất.
Bước 4
Đo xem chính sách mang lại gì
So sánh kết quả khi có và không có can thiệp, để thấy chính sách thực sự loại bỏ được bao nhiêu rủi ro.

Đó là nơi công việc dự báo của chúng tôi trở thành thứ mà một nhà hoạch định chính sách có thể ngồi xuống và thua cuộc — và cũng chính cỗ máy đó vận hành dự án Simulating AI Policies trong quý này.

Một số kết quả

Hạng 1Apart Research AI Quản trị hackathon — LidaSim—
Hạng 1Redwood Research Alignment Faking hackathonTh10 2025
Hạng 4Apart Research def/acc hackathon, hơn 1.000 người tham gia—

Các dự án fellowship

Chúng tôi đang chạy ba dự án fellowship trong quý này, trong khuôn khổ nhóm SPAR Fall 2026 . Chúng tôi có 24 nghiên cứu viên và 3 người hướng dẫn, trải trên hơn 8 múi giờ. Mỗi dự án nhằm giải quyết những rủi ro lệch mục tiêu và rủi ro hệ thống sắp tới.

Diễn giải

The Signature of Scheming

Chúng tôi tạo ra model organism cho nhiều kiểu mưu toan khác nhau, rồi áp dụng các kỹ thuật diễn giải hiện đại để xem liệu chúng có chung một khuôn mẫu cấu trúc hay không — một dấu hiệu duy nhất mà hệ giám sát có thể tìm, thay vì cả một danh mục phải liệt kê.

9 nghiên cứu viên · xem trên SPAR →

Đa tác tử

On Schelling Coordination

Các mô hình có thể thông đồng mà không cần trao đổi không? Chúng tôi thử nghiệm sự phối hợp qua nhiều dòng mô hình và bản tinh chỉnh, rồi dùng diễn giải để dự đoán trước cặp nào có khả năng cùng tìm đến một điểm hội tụ.

6 nghiên cứu viên · xem trên SPAR →

Quản trị

Simulating AI Policies

Một mô phỏng tác tử về thế giới — các quốc gia, công ty và những áp lực giữa họ — dùng để đánh giá một chính sách thực sự giảm được bao nhiêu rủi ro AI, và ở đâu thì phản tác dụng.

9 nghiên cứu viên · xem trên SPAR →

Công bố

Ghi chú chính sách

After Coxon’s Warning: There is Now Enough Political Will to Enact Policy on AI Risk

David Williams-King, Zachary Schlosser, Ấn Độ Dearlove, Samuel Baumohl, Yosra Kazemi, Cedric Lam, Raymond Lee, Linh Le

Ghi chúcoxon-memo.pdfQuản trị

Bản thảo

GPS-Bench: A Quản trị Policy Benchmark for Automating Policy Analysis

Linh Le, Melanie Bui, My Chiffon Nguyen, Zachary Schlosser, David Williams-King

GPS-Bench cung cấp một bộ dữ liệu và phân tích dựa trên bằng chứng về các chính sách AI đã ban hành và đang được đề xuất. Chúng tôi phân tích ai chịu ảnh hưởng bởi từng chính sách, các bên phản ứng ra sao, và kết quả khi chính sách được thông qua. Chúng tôi kiểm định ngược bằng những chính sách nằm sau mốc dữ liệu huấn luyện của mô hình.

Bản thảoarXiv:2609.03553Mô phỏng
Reference-Grafting Matches Fine-Tuning at Eliciting Sandbagged Capabilities

Linh Le, Hong Kiat Tan, David Williams-King

Bản thảoarXiv:2608.29458Diễn giải
A Causal Model for Locating and Unlocking Sandbagging in Model Organisms

Hong Kiat Tan, Linh Le, David Williams-King

Bản thảoarXiv:2608.29461Diễn giải
FragBench: Cross-Session Attacks Hidden in Benign-Looking Fragments

Astha Mehta, Niruthiha Selvanayagam, Cedric Lam, Hengxu Li, Phuc-Nguyen Nguyen, Raymond Lee, Olivia McGoffin, My (Isabella) Luong, Arthur Collé, Jamie Johnson, David Williams-King, Linh Le

Bản thảoarXiv:2605.11029An ninh AI

Hội nghị và workshop

Efficient Safety Alignment of Ngôn ngữ Models via Latent Personality Traits

Mohamed Amine Merzouk, Nolan Smyth, Damiano Fornasiere, Linh Le, David Williams-King, Adam Oberman

Bài hội nghịCOLM 2026arXiv:2607.07918
Latent Personality Alignment: Improving Harmlessness Without Mentioning Harms

Linh Le, David Williams-King, Mohamed Amine Merzouk, Aton Kamanda, Adam Oberman

Bài workshopTrustworthy AI at ICLR 2026arXiv:2605.08496
LidaSim: Testing AI Policies With Persona-Based Mô phỏngs

Linh Le, David Williams-King, Arthur Collé

PosterAIMII, tổ chức cùng IASEAI 2026aimii.info

Ghi chép công việc và các bài viết dài hơn được đăng trên blog.lidasafety.org.

Sự kiện

Châu Á

Đưa thêm nhà nghiên cứu vào lĩnh vực an toàn AI

Phần lớn nghiên cứu an toàn AI vẫn diễn ra ở một vài thành phố. Chúng tôi muốn mở rộng điều đó — tổ chức và giảng dạy các chương trình đưa nhà nghiên cứu mới vào lĩnh vực này, với trọng tâm là châu Á.

4 Th10 2026

Safety Transition Tokyo

Workshop một ngày về lý thuyết thay đổi, dành cho những người bắt đầu làm việc trong lĩnh vực an toàn AI.

Tokyo, Nhật Bản · do David Williams-King tổ chức · safetytransition.tokyo
28 Th9 – 2 Th10 2026

Frontier AI Security Training (FAST)

Chương trình đào tạo năm ngày về an ninh AI tiên phong, trong đó David Williams-King là giảng viên chính.

Singapore · do Singapore AI Safety Hub đăng cai · securefast.ai
20–26 Th4 2026

AI Security Bootcamp (AISB) Singapore

Khoá bootcamp kéo dài một tuần, trong đó David Williams-King là giảng viên chính.

Singapore · do Singapore AI Safety Hub đăng cai · aisb.dev/singapore

Đội ngũ

Chúng tôi là ai

Chúng tôi là một nhóm nghiên cứu phi lợi nhuận nhỏ, trải khắp các múi giờ và ngôn ngữ. Đội ngũ nòng cốt liệt kê ở đây là những người đã làm việc cùng chúng tôi một thời gian.

David Williams-King

Đồng sáng lập · Giám đốc điều hành · Phụ trách an ninh

Nhà nghiên cứu và quản lý nghiên cứu an toàn AI, tập trung vào giảm rủi ro hiện sinh. Anh làm việc tại chương trình ERA và tổ chức các sự kiện an ninh AI như FAST ở Singapore, đồng thời thích hướng dẫn những người mới vào lĩnh vực này.

Linh Le

Đồng sáng lập · Giám đốc nghiên cứu

Nhà nghiên cứu an toàn AI độc lập, liên kết với Oxford AI Quản trị Initiative; trước đó ở Mila và Đại học Công nghệ Sydney. Mơ về việc chạy mô phỏng các chính sách AI để tránh những kết cục thảm khốc cho thế giới.

Hong Kiat Tan

Người hướng dẫn SPAR, Nghiên cứu viên

Đang hoàn thành tiến sĩ Toán tại UCLA. Một người mê mech interp — phát triển và áp dụng diễn giải cơ chế cho an toàn và căn chỉnh AI.

Zachary Schlosser

Nghiên cứu viên

Nhà nghiên cứu, giảng dạy và kết nối về chính sách AI. Trước đây dẫn dắt chương trình AI của một vườn ươm chính sách Mỹ; nay xây dựng lĩnh vực quanh các phương pháp hình thức cho vấn đề không thể kiểm soát AGI.

Melanie Bui

Nghiên cứu viên

Nhà nghiên cứu an toàn và quản trị AI, tập trung vào thất bại phối hợp và các giải pháp quản trị cho những cường quốc tầm trung trong giai đoạn chuyển đổi AI.

Cedric Lam

Nghiên cứu viên

Nhà nghiên cứu an toàn AI từ NYU với nền tảng Trust & Safety. Làm việc về an ninh mạng và quản trị AI cho các không gian sáng tạo, đặc biệt là nội dung do AI tạo ra.

My (Chiffon) Nguyen

Nghiên cứu viên

Làm việc để AI an toàn và trao quyền cho con người — giảm nguy cơ mất kiểm soát và mất vị thế, hệ đa tác tử, AI đa ngôn ngữ và AI vì cộng đồng.

Arthur Collé

Kỹ sư backend cho tác tử

Kỹ sư hệ phân tán. Ba năm qua xây dựng hệ đa tác tử chạy thực tế và nghiên cứu tác tử tự hành. Sống tại Washington, DC.

Astha Mehta

Nghiên cứu viên SPAR

Kỹ sư ML chính tại Bain & Company, làm việc về an toàn và an ninh AI.

Niruthiha Selvanayagam

Nghiên cứu viên SPAR

Nghiên cứu sinh tại École de technologie supérieure (ÉTS Montréal), làm việc về an ninh AI.

Nhóm mùa Thu 2026

Hai mươi tư nghiên cứu viên và ba người hướng dẫn, chia theo ba dự án SPAR. Một số thành viên tham gia độc lập với SPAR. Nghiên cứu sinh tiến sĩ và học viên cao học, nghiên cứu viên sau tiến sĩ, sinh viên đại học, cùng các nhà nghiên cứu và kỹ sư từ ngành công nghiệp — trải trên hơn 8 múi giờ, từ bờ Thái Bình Dương tới Sydney, Úc.