AIエージェントが起こした事故に罰則はあるか|日本のAISIだけが持たない「抑止力」の設計

AIエージェントが本番環境を数秒で破壊する事故が、この1年で複数の国で起きています。こうした事態が起きたとき、事業者に金銭的な帰結を科す仕組みを、各国はどこまで用意しているのでしょうか。米・英・中・韓と日本を比べると、罰則の「桁」そのものに大きな違いがあり、そして日本には、AI固有の罰則が今のところどこにもありません。

罰則の「桁」を比べる

根拠法・規格罰則の有無罰則の水準
EUAI Act(2024年成立、段階施行中)あり最大3,500万ユーロ(約56億円)または全世界年間売上高の7%
韓国AI基本法(2026年1月施行)あり最大3,000万ウォン(約300万円)の過料。表示義務違反・国内代理人不指定・是正命令違反の3類型に適用
中国生成式人工智能服務管理暫行辦法+TC260技術規格の「法律+規格」二輪駆動間接的にありTC260の技術規格自体に罰則はないが、これを満たさない場合、備案(登録)拒否やサービス停止などの行政措置に接続する
米国連邦レベルの統一罰則法なし。カリフォルニア州等の個別州法が存在州により異なるカリフォルニアAI透明化法など、開示義務違反への行政措置はあるが、EUのような巨額制裁金の枠組みはない
日本日本AI事業者ガイドライン、AISIの評価観点ガイド(いずれもソフトロー)。2025年に成立したAI推進法も罰則規定を持たないなしAI固有の罰則規定は存在しない

韓国のAI基本法は、世界で2番目の包括的AI法という触れ込みですが、実際の罰則は最大300万円程度にとどまります。ある実務家の解説は、これを「抑止」ではなく「行動誘導」の罰則設計だと評しています。しかし韓国の罰則も、EUと比べれば十分に軽いものです。

それでも、日本にはその「軽い罰則」すらない

EU、韓国、そして間接的には中国も、違反時に何らかの金銭的・行政的な帰結につながる制度を持っています。日本のAI事業者ガイドラインとAISIの評価観点ガイドは、そのどちらでもありません。参照すべき考え方を示す文書であり、これに従わなかった場合の罰則はおろか、行政指導の根拠すら明文化されていません。

実際にAIエージェント事故を防いでいるのは、企業内部のアクセス権限や承認フロー、個人情報保護法などの既存法、契約上の責任といった仕組みです。日本のAI安全ガイドが特化して欠いているのは、これらに加えて「AI安全性を怠ったこと自体」への金銭的な帰結を科す設計です。この一点に限れば、日本が他の主要国と比べて手薄であることは、公開情報からかなりはっきり言えます。

AISI自体は、規模は小さくとも実務を積み重ねている

AISIは、AIセーフティ評価環境というオープンソースの評価ツール(自動レッドチーミング機能付き)を2025年9月にApache 2.0ライセンスで公開し、レッドチーミング手法ガイドでは実際のRAGシステムに対する攻撃演習の記録を成果物として公表しています。2025年度にはヘルスケア領域で退院時サマリ作成支援・個人向けチャットボット・医療LLMという3つの具体的なユースケースに対する実証実験を行い、「医療特化型基盤モデル単体の制御限界と多層防御の重要性」といった技術的な知見も得ています。国際ネットワークでも、日本はNII・NICTのデータセットを多言語・多文化対応の共同テストに提供する提案を行い、議論を主導した記録があります。

規模は小さいながら、実務的な技術検証を積み重ねている組織だと言えます。その実務の成果を事業者に守らせるための金銭的・行政的な裏付けが、比較した4か国・地域の中で唯一存在しない、という点が、日本の設計の弱さです。

抑止力の設計として

EUの制裁金や韓国の過料は、金額の桁こそ大きく違いますが、いずれも「守らなければ帰結がある」という設計です。日本にはその設計自体がありません。AIエージェントによる事故がすでに複数の国で現実化している以上、この「帰結の設計」の不在は、日本のAI安全ガバナンスにおける具体的な弱点です。

ソフトローとしての柔軟性——規制対象が急速に変化するAIエージェント分野で、法改正を待たずに機動的に指針を更新できるという利点——は確かにあります。しかしそれは、「守らなくても帰結がない」ことの代償の上に成り立っている柔軟性でもあります。

【編集部後記】

罰則の金額まで比べてみると、日本の立ち位置がここまでくっきり浮かび上がるとは思っていませんでした。制度の柔らかさは長所にも短所にもなり得ますが、少なくとも今の日本には、AIエージェントの安全対策を怠ったときに何が起きるのか、という問いへの答えが用意されていません。


【用語解説】

過料:行政上の義務違反に対して科される金銭的な制裁。刑事罰である罰金とは異なり、前科にはならない。韓国AI基本法の罰則はこの類型。

行政措置:法令違反に対して行政機関が行う、登録拒否・サービス停止・是正命令などの措置。金銭的制裁を伴わない場合もある。中国の生成式AI規制における主な執行手段。

ソフトロー:法的な強制力を持たないが、事業者の自主的な遵守を期待する指針・ガイドライン。日本のAI事業者ガイドラインやAISIの評価観点ガイドはこれにあたる。

【参考リンク】

Key Issue 1: Fines/Penalties(EU AI Act公式解説サイト)(外部)
EU AI Actの罰則構造を一次情報に近い形で整理している。

「AI基本法」の成立により表示義務等を導入へ(金・張法律事務所)(外部)
韓国AI基本法第43条の過料規定を条文レベルで解説。

韓国AI基本法2026年1月施行を読み解く(TIMEWELL)(外部)
罰則が「抑止」ではなく「行動誘導」設計である点を実務家の視点で分析。

发展与安全的双轮驱动:中国人工智能立法演进与治理前瞻(中倫律師事務所)(外部)
中国の「法律+規格」二輪駆動モデルについて解説。

AIセーフティ評価のための評価ツールをOSSとして公開(Japan AISI)(外部)
AISIの技術的な実務実績の一次情報。

2025年度AISI事業実証WG報告会においてAIセーフティ評価の実証活動を報告(IPA)(外部)
ヘルスケア領域の実証実験結果の一次情報。

Googleで優先するソースとして追加するボタン
投稿者アバター
りょうとく
趣味でデジタルイラスト、Live2Dモデル、3Dモデル、動画編集などの経験があります。最近は文章生成AIからインスピレーションを得るために毎日のようにネタを投げかけたり、画像生成AIをお絵描きに都合よく利用できないかを模索中。AIがどれだけ人の生活を豊かにするかに期待しながら、その未来のために人が守らなけらばならない法律や倫理、AI時代の創作の在り方に注目しています。