AI分野の第一人者であるユシュア・ベンジオ氏は、2025年6月3日（現地時間、日本時間6月4日）、AIの安全性確保を目的とした非営利団体「LawZero（ローゼロ）」の設立を発表した。

「LawZero」は約3,000万ドル（約43億円）の初期資金と15名以上の研究者で活動を開始し、AIエージェントの危険な行動や欺瞞行為を検知・抑制する新たなAIシステム「Scientist AI（サイエンティストAI）」の開発に取り組む。

「サイエンティストAI」は、自己目的を持たず、知識の探求と客観的な判断に特化した「非エージェント型」AIとして設計され、AIエージェントの行動が有害となる確率を予測し、危険性が閾値を超えた場合はその行動をブロックする仕組みを持つ。また、同システムは明確な答えを出すのではなく、回答の正しさについて確率を提示し、不確実性を明示する点も特徴である。

「LawZero」は商業的・政治的なバイアスから独立した非営利団体であり、AIのリスク低減と人類の幸福の保護を目的とする。支援者には「Future of Life Institute」やSkype創業エンジニアのヤーン・タリン氏、元Google CEOエリック・シュミット氏が設立した「Schmidt Sciences」などが名を連ねている。

ベンジオ氏は、まずこの手法の有効性を実証し、今後はより大規模な開発や社会実装を目指す方針を示している。今回の取り組みは、AIの暴走や悪用リスクへの社会的懸念の高まりを背景に、AI安全性の国際的な議論や規制動向にも大きな影響を与える可能性がある。

from:Yoshua Bengio launches LawZero to develop honest AI | The Guardian

【編集部解説】

今回「LawZero」が開発を進める「Scientist AI」は、従来の大規模言語モデル（LLM）や生成AIとは根本的に異なる設計思想を持っています。LLMは膨大なテキストデータをもとに人間の言語や思考を模倣し、ユーザーの指示に従って自然な文章や回答を生成することに特化しています。

一方で、「Scientist AI」は「自己目的を持たず、知識の探求と客観的な判断に徹する」ことを目指しており、AIエージェントの行動が有害となる確率を評価し、危険性が高い場合はその行動自体をブロックするという仕組みです。これは、従来のAIが「ユーザーを満足させること」に最適化されるあまり、時に事実を曲げたり、意図しない自己保存行動を取ったりするリスクを根本から制御しようとするものです。

今後、LLMをはじめとするAI技術は、単なるテキスト生成や情報検索の枠を超え、リアルタイムのファクトチェックや外部データとの連携、マルチモーダル（画像・音声・テキスト統合）対応、さらには高度な推論や意思決定支援へと進化していく見込みです。この過程で、AIが自律的にタスクを実行する「エージェント型AI」の普及が進む一方、AIの判断や行動が人間社会に与える影響もより大きくなります。したがって、AIの透明性や説明責任、安全性を担保する技術や仕組みは今後ますます不可欠となるでしょう。

AIを使う側にも新しい倫理観やリテラシーが求められます。AI倫理の基本には、バイアスの排除、プライバシー保護、説明可能性、そして人間による監督責任などが含まれます。特にEUのAI法（AI Act）では、AIを提供・利用する企業や個人に対して「AIリテラシー」（AIの仕組みやリスクを理解し、適切に活用・監督できる能力）の習得が義務付けられつつあります。今後は、AIの出力を「正解」として鵜呑みにせず、その根拠やリスク、不確実性を理解し、最終的な判断は人間が責任を持つという姿勢が不可欠です。

「Scientist AI」のような「ガードレールAI」が普及すれば、AIの暴走や悪用リスクを低減し、社会全体でAIの恩恵を安全に享受できる基盤が整います。その一方で、ガードレールAI自体の性能保証や、どの基準で「危険」と判断するか、国際的な標準化や規制との整合性といった新たな課題も生まれます。AI技術の進化と社会実装が進むほど、AIと人間社会の関係性を問い直す議論がより重要になるでしょう。

今回の「LawZero」の取り組みは、AIが社会インフラとして不可欠になる時代に向けて、「安全で説明可能なAI社会」への道筋を示す重要な一歩です。今後もAIの進化とともに、技術的・倫理的な議論を社会全体で深めていくことが求められます。

　【用語解説】

ユシュア・ベンジオ：
AI分野の世界的権威であり、2018年にチューリング賞を受賞したカナダのコンピュータサイエンティスト。ディープラーニングの基礎理論を築いた一人。

Scientist AI（サイエンティストAI）：
LawZeroが開発する、自己目的を持たず知識の探求と客観的判断に特化したAI。AIエージェントの行動リスクを確率的に評価し、危険性が高い場合はその行動をブロックする。

AIエージェント：
人間の介入なしにタスクを自律的に遂行するAI。近年は大規模言語モデル（LLM）や自律型ロボットなどが該当する。

セーフ・バイ・デザイン：
技術開発の初期段階から安全性を組み込む設計思想。AI分野ではリスクや悪用の芽を根本から排除することを目指す。

確率論的判断：
AIの出力や意思決定を「正解／不正解」ではなく、確率で表現する考え方。判断の不確実性やリスクを可視化できる。

【参考リンク】

LawZero（外部）
AIの安全設計を推進する非営利団体。ユシュア・ベンジオ氏が設立し、AIのリスク低減と人類の幸福の保護を目指す。

Future of Life Institute（外部）
AIやバイオテクノロジーなど先端技術のリスク低減と人類の未来の保護を目指す国際的な非営利団体。

Schmidt Sciences（外部）
元Google CEOエリック・シュミット氏夫妻が設立した科学支援団体。AIや先端科学分野の研究・社会課題解決を支援する。

ヤーン・タリン（Jaan Tallinn）（外部）
SkypeやKazaaの開発者として知られるエストニアのエンジニア。AIリスクや未来技術の倫理的課題に取り組む。

【参考記事】

Most-Cited Computer Expert Wants to Make AI More Trustworthy | TIME
LawZero設立の背景や、Scientist AIの非エージェント型設計の意義、AI社会リスクへの警鐘、規制の必要性などを詳しく解説している。

Yoshua Bengio Launches LawZero: A New Nonprofit Advancing Safe-by-Design AI | LawZero公式
LawZero設立の経緯、非営利組織としての独立性、Scientist AIの技術的特徴や社会的役割、主要支援者についてまとめている。

Introducing LawZero | Yoshua Bengio公式ブログ
ベンジオ氏自身によるLawZero設立の動機や、AIエージェントの危険性、具体的なリスク事例、Scientist AIの設計思想についての詳細な説明がある。

Yoshua Bengio launches LawZero, a nonprofit AI safety lab | TechCrunch
資金調達や支援者、AI安全性に対するベンジオ氏の見解、業界への影響、規制動向について取り上げている。

AI pioneer Bengio launches $30M nonprofit to rethink safety | Axios
LawZeroの設立意義、AIの自己保存リスク、AI規制の必要性、今後の展望について解説している。

【編集部後記】

昨今のAIが人に与える影響はどんどん大きくなっています。検索代わりに使う人もいれば、ビジネスシーンで活用する企業もいる傍ら、いわゆる「ジェイルブレイク」と呼ばれるような手法で、不適切な内容を出力させたり、あるいは不意にそういったものに触れてしまう人もいます。

はたまた、思わず信じてしまいそうなハルシネーションや、根拠のないスピリチュアルな思考や陰謀論をAIが肯定してしまうといった点も世界中で問題視されています。

誰しもが安心してAIを利用できるように、1日でも早く技術的な面でも整備が進むことを望みます。

AI(人工知能)ニュースをinnovaTopiaでもっと読む