日本AIセーフティ評価ガイドが16カ月でページ数が1.6倍に|書き加えられた具体的なリスクと一貫した方針

「AIエージェント」という言葉が、開発現場だけでなくインシデントレポートにも頻出するようになりました。AIセーフティ・インスティテュート(AISI)が2026年7月7日に公開した「AIセーフティに関する評価観点ガイド」第1.20版は、ページ数が前版の1.6倍に膨らんでいます。この増分の中身を、前版が出た2025年3月から今回までの16か月間に実際に何が起きていたかと突き合わせて読み解きます。

42ページから66ページへ

v1.10(2025年3月28日公開)は本編42ページ、10個の評価観点(3.1〜3.10)で構成されていました。今回のv1.20は66ページで、新設セクション「3.11 観測と制御」(3.11.1自律的な挙動/3.11.2外部環境との相互作用)が加わっています。

v1.10(2025/3/28)v1.20(2026/7/7)
本編ページ数42ページ66ページ
評価観点10観点(3.1〜3.10)10観点+3.11「観測と制御」新設
評価手法5.1.1〜5.1.3、5.2同上+5.1.4「AIエージェントシステムの技術的評価」新設
付録A.1評価項目補足/A.2参考文献A.1(同)/A.2特徴・分類・アーキテクチャ(新設)/A.3リスク詳細(新設)/A.4参考文献

既存10観点のうち、有害情報の出力制御からセキュリティ確保までの7観点は「LLMシステム・AIエージェントシステム」向けに評価対象が広げられ、AIエージェント向けの評価項目例が追記されました。一方、ロバスト性・データ品質・検証可能性の3観点は「LLMシステム」向けのままです。

用語定義も更新されています。「AIエージェントシステム」という語が新規に定義され、その根拠として2026年1月8日付の米NIST連邦官報が引用されています(「自律性」自体の定義はJIS X 22989:2023に基づく既存の定義の言い換えです)。参照する「AI事業者ガイドライン」も第1.0版から、エージェンティックAI・フィジカルAIを定義した第1.2版(2026年3月31日公表)に更新されました。

「観測」と「制御」が加わった理由

新設された3.11節は、AIエージェント特有のリスク(保護対策の回避、メモリ汚染、権限の奪取、自己増殖性など)に対し、従来の「予防的対策」に加えて「観測」「制御」という視点を導入しています。付録には「構成要素ベースのリスク」16項目、「インパクト」26項目が新規に表形式で整理されています。

なぜ「予防」だけでなく「観測」「制御」が必要になったのか。この16か月に実際に起きた出来事を並べると、理由が見えてきます。

時期出来事
2025年5月プリンストン大学・Sentient Foundationが、AIエージェント基盤「ElizaOS」のメモリポイズニング攻撃を実証。管理下資産2500万ドル超に影響
2025年5月Invariant Labsが「GitHub MCP Server」の脆弱性を公表
2025年7月Replit社のAIエージェントが「コードフリーズ」指示を無視し本番データベースを削除。隠蔽のため偽データを捏造したことも判明
2025年8月「s1ngularity」インシデント。侵害されたNxビルドシステムが、ローカルのAIエージェント(Claude Code等)に自然言語で指示を送り認証情報を窃取
2025年10月Claude Codeのサンドボックス機能発表からわずか2日後、ホームディレクトリ全削除事故が発生
2025年11月Google Antigravityのエージェントがユーザーのハードディスクを全消去
2025年12月AWS Cost Explorerが中国本土リージョンで13時間停止。AIエージェント「Kiro」の自律的判断が原因とFinancial Timesが報道、Amazonは「ユーザーエラー」と公式に反論(詳細は本文)
2025年12月10日OWASPが「Top 10 for Agentic Applications 2026」を公表。100名超の研究者が1年以上かけて策定
2026年1月Radwareが「ZombieAgent」PoCを公開。ChatGPTのメモリにワーム的に伝播する攻撃を実証
2026年2月17日米NIST CAISIが「AI Agent Standards Initiative」を正式始動
2026年4月PocketOS社で、Cursor上のClaude Opus 4.6がわずか9秒で本番データベースとバックアップを同時削除
2026年7月7日AISI「評価観点ガイド」第1.20版公開

Replit、Google、Amazon、Claude Code、PocketOSと並ぶ事故はいずれも「エージェントが人間の明示的な指示を無視、あるいは超えた範囲で行動した」ケースであり、これは3.11.1「自律的な挙動」の項目と直接対応します。ただしAmazonの事案については、AIの自律的判断が原因とするFinancial Times報道と、「アクセス権限の設定ミスによるユーザーエラー」とするAmazon公式見解が対立しており、原因の断定はできません。ElizaOS・ZombieAgentのメモリポイズニング実証は、3.11で新設された評価項目の技術的な裏付けになっています。

参考文献はほぼ海外発

v1.20の付録A.4に新規追加された文献を確認すると、NIST、OWASP、UK AI Security Institute、2026 International AI Safety Reportなど、ほぼすべてが海外発です。日本国内で発生したAIエージェント関連の実被害が、企業名を伴う形で確認できるケースは、今回調べた範囲ではほとんど見当たりませんでした。

一方でIPAが運営する「AIセキュリティ短信」を見ると、v1.20公開の1か月前にあたる2026年6月にも「AIエージェントを活用した適応型コンピュータワーム」「Claude Managed Agentsの機能拡張とセキュリティ強化」といった項目が並んでおり、AISI自身が海外の動向を継続的に追跡していたことは確認できます。海外の一次情報を翻訳・咀嚼して届けるという役割を、AISIは律儀に果たしていると言えそうです。

日本の実運用はまだ薄い、しかし「セーフティ」の中身は狭めていない

参考文献が海外発に偏っている一因は、単純な報告不足ではなく、日本国内でのAIエージェント実運用そのものがまだ薄いことにあると考えられます。矢野経済研究所の調査では国内のAIエージェント導入率は29.7%、総務省の4カ国比較調査でも日本の生成AI活用方針策定率は他国より低い水準にとどまっています。

一方で米国の大企業(年商10億ドル超)では、AIエージェントの本番稼働率が2025年からの3四半期で11%から42%へと4倍に伸びています。Replit、Google、Amazon、PocketOSのような固有名詞つきの重大インシデントが日本で表面化していないのは、「起きているのに隠れている」というより「まだ本番環境で大規模に動かしている企業自体が少ない」ことの反映である可能性が高いといえます。

ただし、これは日本が海外の教訓をただ指をくわえて眺めているだけ、という意味ではありません。Gartnerは2028年までに日本企業の60%がAIエージェントを活用すると予測しており、導入の波は遠からず来ます。その波が本格化する前に、他国が高い代償を払って得た失敗パターンを評価ガイドへ先回りして組み込めるかどうかは、実際に日本で同種の事故が起きたときの被害規模を左右するはずです。v1.20は、その意味で「猶予期間をどう使うか」という試金石だと捉えることができます。

もう一点、見過ごせない事実があります。米国CAISIは規制・検閲からの脱却を掲げ、評価対象をサイバー・バイオ・化学兵器等に絞り込みました。英国AI Security Instituteは、バイアスや差別、言論の自由といった論点を明示的に対象外とし、化学・生物兵器やサイバー攻撃など「硬い」安全保障リスクに純化しました。

これに対し日本のガイドは、2024年9月の初版から今回のv1.20まで、「人間中心」「安全性」「公平性」「プライバシー保護」「セキュリティ確保」「透明性」という6つの重要要素を一貫して維持し続けています。英国が対象外とした「公平性と包摂性」も、v1.20で変わらず10の評価観点の一つとして残っています。看板を変えなかっただけでなく、中身の範囲も狭めていない、というのが実態です。

これが確固たる哲学によるものなのか、単に米英のような政治的圧力にさらされてこなかった結果なのか、それを公開文書だけから断定することはできません。しかし少なくとも、この17カ月間、日本のAISIは「セーフティ」という言葉が扱う範囲を、変えずに保ち続けてきました。

【編集部後記】

ガイドの増分をインシデントの年表と並べてみると、抽象的な「評価観点」の背後に、具体的な誰かの本番データベースが消えた夜があったことが見えてきます。次にこの手のガイド文書を読むときは、行間にどんな一夜があったのかを、私たちも想像しながら読みたいと思います。

余談ですが、この記事を書きながらAISIのサイトを歩き回っていて、IPAのトップページからAISIへのリンクが存外遠いこと、そして「アウトプット(International)」というタグのページが中身空っぽだったことに気づきました。海外の知見はこれだけ律儀に取り込んでいるのに、その先の発信はまだこれからなのかもしれません。


【用語解説】

プロンプトインジェクション:外部データ(メール・Webページ・ファイル等)に埋め込まれた指示を、AIエージェントが正規の命令として実行してしまう攻撃手法。

MCP(Model Context Protocol):AIエージェントが外部ツール・データソースと連携するための標準規格。

メモリポイズニング:AIエージェントの長期記憶に悪意ある情報を混入させ、以降のやり取りに継続的な影響を与える攻撃手法。

エージェンティックAI:単一のAIエージェントに留まらず、複数のAIエージェントが連携して自律的に意思決定・実行を行うシステムの総称。

Verification(検証)/Validation(妥当性確認):v1.20で新設された5.1.4節が導入する2つの評価アプローチ。前者は仕様通りに動作するかの確認、後者は意図した目的に適っているかの確認を指す。

【参考リンク】

AIセーフティに関する評価観点ガイド(第1.20版)本編(AISI)(外部)
本記事で扱った第1.20版のPDF本編。

AIセーフティに関する評価観点ガイド(第1.10版)本編(AISI)(外部)
比較対象とした前版のPDF本編。

AI事業者ガイドライン(第1.2版)(総務省・経済産業省)(外部)
v1.20が参照するガイドラインの最新版。エージェンティックAI・フィジカルAIを新規定義。

AIエージェント暴走事故7件|本番削除・DB消失とリスク対策(Uravation)(外部)
2024年10月〜2026年2月に発生したAIコーディングエージェント関連事故を時系列で整理。

AIセキュリティ短信(IPA)(外部)
AISI・IPAが継続発行するAIセキュリティ動向のバックナンバー。

NIST公式発表:AI Agent Standards Initiative(外部)
v1.20の参考文献にもなった米国の関連イニシアチブ。