数年前まで、AIはコードをまともに書くことすらできませんでした。それが今年、Anthropicの最上位モデルが主要なOSやブラウザのほぼすべてから、深刻な脆弱性を数千件も見つけ出しています。この急カーブを前に、当のAnthropicが「自分たちのような開発者を、政府が法的権限で止められるようにしてほしい」と求める政策提言を公開しました。最も強力なモデルを作る当事者が、なぜ自らを縛る規制を呼びかけるのか。航空機を飛ばす前に検査するように、AIにも出荷前の歯止めを——という発想の中身と、それが私たちの未来に何を意味するのかを読み解きます。
Anthropic は、AIの進展に備える政策提言「Policy on the AI Exponential」を公開した。2つの提言のうち本稿は「Advanced AI Framework」を扱う。
これは最も強力なAIモデルの破滅的リスクへの政府の対処を示し、危険な展開を差し止め・抑止する法的権限の付与を含む。対象は10²⁵回を超える浮動小数点演算（FLOPs）で訓練され、AI関連売上が$500Mを超えるか、AI研究開発に$1 billionを超える支出を行う企業のモデルに限る。生物学的リスク、サイバーリスク、制御喪失、自動化された研究開発の4種に対処する。2026年、Claude Mythos Preview は主要OS・ブラウザを含む深刻度の高い脆弱性を数千件発見した。提言は透明性、独立した評価、セキュリティ、執行権限を求め、カリフォルニア州法とニューヨーク州法に言及する。
From: Policy on the AI Exponential｜Anthropic
【編集部解説】
今回の提言でまず押さえておきたいのは、これがAnthropic CEO のダリオ・アモデイ氏が2026年6月10日に公開した論考「Policy on the AI Exponential」に付随する政策文書だ、という構図です。世界で最も強力なモデルを作っている当事者が、「自分たちのような開発者を、政府が法的権限で止められるようにしてほしい」と求めている。この自己言及的なねじれこそ、このニュースの核にあります。
なぜ自社を縛りにいくのか。鍵は「透明性だけでは、もはや足りない」という一文です。Anthropic はこれまで、カリフォルニア州のSB 53やニューヨーク州のRAISE法といった「情報開示を求める法律」を支持してきました。開示は、リスクの形がまだ見えない段階では有効です。しかし能力の伸びが速すぎると、開示が追いついた頃にはリスクが現実化している。だから今回は、開示の次の段階、すなわち「危険な展開を政府が差し止められる」拘束力のある規制へ踏み込んだわけです。
アモデイ氏自身は、この規制像を自動車・航空機・医薬品になぞらえ、米連邦航空局（FAA）型のモデルを提唱しています。便利だが設計や運用を誤れば多数の命を奪いうる技術には、出荷前の検査と当局の権限がある——という発想です。AIにも同じ枠組みを当てはめよう、という主張だと理解すると分かりやすいでしょう。
技術的に重要なのが、適用対象を「10²⁵回を超える浮動小数点演算で訓練されたモデル」かつ「AI関連売上$500M超、もしくはAI研究開発に$1 billion超を投じる企業」に限った点です。FLOPsとは訓練に費やした計算量の総和で、ここでは規模の代理指標として使われています。要するに、規制の網を最先端を走るごく一部の巨大ラボに絞り、スタートアップや研究者のイノベーションは巻き込まない設計になっています。
「何ができるようになるのか」という問いには、両義性があります。本文が挙げる生物学・サイバーの能力は、創薬の加速や重要インフラの防御という恩恵そのものです。一方で、同じ能力が生物兵器の開発コストを下げ、病院や送電網の脆弱性を大規模に突く道具にもなりうる。実際、本文はClaude Mythos Preview が主要OS・ブラウザを含む深刻度の高い脆弱性を数千件発見したと述べており、これは仮想の話ではありません。便益とリスクが同じコインの裏表である、という現実が出発点になっています。
長期的に効いてくるのは、制御喪失と「自動化された研究開発」の組み合わせです。AIがAI自身の開発を担い始めると、能力向上のループが回り、人間が検証する速度を超えていく可能性があります。Anthropic はこの領域の対策が「まだ発展途上だ」と率直に認めており、検知や緊急停止のインフラづくりを今後の宿題として挙げています。答えが用意されていないことを明示している点は、むしろ誠実さの表れと言えます。
規制論としての注目点は、連邦が州法を上書きする「プリエンプション」への慎重姿勢です。Anthropic は、自社が今回提案した枠組みと同等以上に強力な連邦法ができない限り、州の規制権限を奪うべきではないと述べています。児童の安全や消費者保護といった領域は州に残すべきだ、という線引きで、規制の空白を作らないことを優先しています。
最後に、私たち読者の立ち位置です。この提言はあくまで米国政府を念頭に置いたものですが、Anthropic は原則は国際的に通用するとし、G7やジュネーブのAIサミットでの議論を望んでいます。どのモデルが社会に届くかを左右しうるルールづくりが、いま動き始めた。その最前線を知っておくことは、未来に「触れたい・関わりたい」読者にとって、確かな足場になるはずです。
【用語解説】
FLOPs（浮動小数点演算）
小数を含む計算を1回行う操作を指し、その総回数はAIモデルの訓練にかけた計算量の代理指標として使われる。今回の枠組みは「10²⁵回超」を規制対象の入口に設定している。
破滅的リスク（catastrophic risk）
社会全体に回復困難な被害をもたらしうる重大リスクの総称である。本提言では生物学・サイバー・制御喪失・自動化された研究開発の4種を指す。
制御喪失（loss of control）
AIが開発者の意図や制御の外で動き、止めたり元に戻したりすることが難しくなる事態を指す。高性能化が進むほど深刻化するとされる。
自動化された研究開発（Automated R&D）／再帰的自己改善
AIがAI自身の研究開発を担い、より高性能なモデルを自律的に作り出していく現象を指す。能力向上のループが加速し、他の3リスクを増幅しうる点が懸念される。
プリエンプション（preemption）
連邦法が州法を上書きし、無効化する仕組みを指す。Anthropic は、提案と同等以上に強い連邦法がない限り州の規制権限を残すべきだと主張している。
SB 53・RAISE法
AI開発者に安全対策の情報開示を求める州法である。SB 53はカリフォルニア州、RAISE法はニューヨーク州のもので、Anthropic は2025年にこれらを支持してきた。
【参考リンク】
Anthropic｜Policy on the AI Exponential（外部）
Advanced AI FrameworkとEconomic Policy Framework両提言の概要とPDF全文を載せる公式一次情報ページ。
Anthropic（公式サイト）（外部）
Claudeを開発する米国のAI企業の公式サイト。研究・製品・政策提言などの一次的な発信元となっている。
Claude（外部）
Anthropicが提供する対話型AIアシスタントの公式サービス。本件で言及されたモデル群が属する製品系列。
Claude Mythos（外部）
本文で脆弱性発見の事例として挙げられた、最上位クラスのモデル系列Claude Mythosの公式ページ。
米連邦航空局（FAA）（外部）
アモデイ氏が規制の比喩に用いた米国の航空当局。検査と展開差し止め権限を持つ規制の参照点である。
【参考記事】
Anthropic proposes AI safety framework with government veto power（Investing.com）（外部）
政府に危険なAI展開の差し止め権限と売上連動の制裁金を求める提言と報道。対象は10^25 FLOPs超と明記する。
Anthropic urges government power to block risky AI models（Let’s Data Science）（外部）
6月10日公開の2部構成として整理し、しきい値10^25 FLOPs・$500M・$1Bと4リスク区分を引用付きで解説する。
Anthropic CEO calls for FAA-style regulation of powerful AI models（VentureBeat）（外部）
FAA型規制に着目し2提言と$350Mの新規資金を紹介。差し止めに備えマルチモデル構成を企業に助言する。
Policy on the AI Exponential（Dario Amodei 本人サイト）（外部）
提言の土台となる本人論考。透明性では不十分とし5領域を論じ、SB 53やRAISE法への支持にも触れる。
Anthropic CEO Warns AI Is Getting Too Powerful—While Releasing Powerful AI（Decrypt）（外部）
強力なAIを出荷する当事者が拘束力ある規制を求める構図を軸に、FAA比喩や大統領令への言及を伝える。
【関連記事】
Anthropic CEO警告：米国AI規制モラトリアム10年は「鈍器的手段」- 州の権限剥奪に業界も反発（内部） 州規制を奪うモラトリアムをアモデイ氏が批判し透明性基準を説いた回。今回の提言はその次の段階にあたる。
米カリフォルニア州、フロンティアAI透明性法 SB53を成立 ─ OpenAI内部告発問題の延長線上で実現した包括的規制（内部） 本提言が出発点とするSB 53の成立解説。破滅的リスクの定義（50人死亡・10億ドル損害）も確認できる。
Anthropicが警告、AIが自らを作る「再帰的自己改善」—Claudeが社内コードの80%超を執筆（内部） 今回の「自動化された研究開発」リスクの技術的裏づけ。社内コードの8割超をClaudeが書く現状を示す。
【編集部後記】
今回の提言は、まだ誰も正解を知らない問いを、世界で最も能力の高いモデルを作る当事者が公に投げかけた、という点に意味があると私たちは受け止めています。
規制は技術の足かせにも、信頼の土台にもなりえます。innovaTopia は、その分かれ道を読者のみなさんと一緒に見つめ続けていきます。
