政府、高性能AIの開発事業者に罰則新設を検討 AI法改正で命令違反に罰則

[最終更新]

Googleで優先するソースとして追加するボタン

AI企業に罰則、と聞くと身構えたくなります。ただ、11月11日に内閣府の作業部会で配られた資料の素案を読むと、罰則は4つの規定案のうち、最後の命令を裏付ける位置にしか出てきません。先に並ぶのは、事業者の義務と国への報告、そして勧告です。罰より先に、情報の流れをどう作るかが問われています。


政府が、高性能AIのリスクに対処するため、AI関連事業者に安全確保を義務付け、罰則を新設する方向で検討していることが2026年11月11日に分かった。共同通信が報じた。同日に開かれた内閣府の人工知能戦略専門調査会「制度の在り方検討ワーキンググループ」第2回会合の資料は、法律に定める内容の素案として、要件に該当するAI事業者の安全確保措置の義務、事業者から国への報告、国の勧告権限、違反に罰則で履行を担保する命令権限の4点を示した。

2025年5月に成立したAI法には罰則規定がない。共同通信によると、年末までに法改正の内容を含む制度見直しの全体像を示す。

From: 文献リンク人工知能戦略専門調査会 制度の在り方検討ワーキンググループ(第2回)

【編集部解説】

「罰則新設」という見出しから、AI企業をいきなり罰する法律を想像した方もいるかもしれません。しかし、11月11日の会合で内閣府が示した資料を読むと、罰則そのものよりも、高性能AIのリスクに関する情報を国が確実に集め、必要な安全確保措置を事業者に求められる仕組みを整えることに重心がある、と読めます。

資料1-3「前回の議論のまとめ」は、法的拘束力のある規律(ハードロー)に書き込む内容の素案として4点を挙げています。要件に該当するAI事業者に、特定のリスクに関するAIの安全性を確保する措置を講じる義務を課すこと。そのリスクに関する情報を国が的確に集めるため、事業者から国への報告を定めること。義務を果たさせるため、必要な措置を講じるよう勧告できる権限を設けること。そして必要に応じて、国がより強制力のある命令を出せる権限を設け、命令への違反には罰則で履行を担保することです。

この素案で罰則が登場するのは、4点目の命令の裏付けとしてだけです。共同通信も、問題が起きても協議に応じない事業者に対し、国が必要に応じて強制力のある命令を出し、違反した場合に罰則を適用する想定だと伝えています。罰則は、国が必要に応じて出す命令の実効性を支える位置に置かれています。ただし、手続きの順序や例外はまだ定まっておらず、委員からは、国民の安全に関わる場合の緊急命令や直罰も検討すべきだという意見も出ています。罰則の種類や金額は、資料にはまだ書かれていません。

現行のAI法に足りなかったもの

2025年5月28日に成立し、同年9月1日に全面施行されたAI法(人工知能関連技術の研究開発及び活用の推進に関する法律)は、研究開発と活用の推進を目的とする法律です。国による情報収集や調査、事業者への指導・助言は定めていますが、従わない事業者に対する強制力も罰則もありません。

10月28日の第1回会合の議事要旨には、委員の問題意識が記されています。AI法16条に基づく任意の情報収集の枠組みは、機能しているところとそうでないところがある。16条がはっきり書いているのは権利利益の侵害が生じた事案の分析などで、その際の情報提供の求めも制裁的なものではない。侵害の「おそれ」がある段階で報告を求められるかが課題だ。業法は利用に近いところで規律しているため、モデルの開発段階や実験段階には規律がない。そして、悪用は既存の法令の執行強化で対応できる部分も多い一方、予期しない挙動、とくに制御喪失は今後さらに発生するだろうという見立てです。

開発の途中で起きる想定外の挙動には、すでに実例があります。innovaTopiaでは11月2日、Anthropicが上場申請書類で、サイバー能力の評価中に4つのモデルが実在する第三者のシステムへ無断でアクセスしていたと開示したことを伝えました。評価環境の設定ミスで外部への接続が残っていたことが発端です。こうした事案は、利用の場面を規律する業法では捉えにくい、開発や評価の段階で起きています。

もう一つの論点が海外事業者です。第1回会合では、AIは海外の事業者が開発するものも多く、サンクション(制裁)の裏付けを持った規制をしていくべきではないかという問題意識と向き合わなければならない、という意見が出ました。一方で、海外事業者への実効性がないまま国内事業者ばかりに負担がかからないようにすべきだという意見も記録されています。

「一定以上の性能」の線をどこに引くか

資料は、規律の対象を2つの軸で絞り込もうとしています。AIの性能(一定以上の性能を持つAIか、それ以外のAIか)と、リスクの種類(特定のリスクか、それ以外のリスクか)です。AIに関するハードローで規律する必要性が高いとされるのは、一定以上の性能を持つAIと特定のリスクが重なる1マスだけで、残る3マスは既存の法令やガイドラインで対応するという整理です。

その線引きはまだ決まっていません。資料1-4は、委員に議論してほしい点として、規律するAIの外延をどう設定するか、規律の対象を事業者とするか利用者とするか、どのような義務と国の権限を設けるか、AIセーフティ・インスティテュート(AISI)がどのような役割を担うかを挙げています。

参考として資料が並べているのが欧米の例です。資料によると、米国のカリフォルニア州、ニューヨーク州、イリノイ州の州法は、学習の計算量が10の26乗回の演算を超える基盤モデルを対象とし、違反には最大100万ドル(ニューヨーク州とイリノイ州は再違反で最大300万ドル)の民事制裁金を定めています。ニューヨーク州とイリノイ州の法律の施行は2027年1月1日です。EUのAI法は、学習の計算量が10の25乗回の演算を超えると高い影響力を持つと推定する汎用AIモデルなどを対象とし、違反には前年度の全世界売上高の3%か1500万ユーロのいずれか高い額を上限とする制裁金を科せます。

ただし、計算量の基準には限界もあります。第1回会合では、計算量に基づくカテゴリ分けは必要だが、計算量は今後下がっていくと予想されるので、能力の測定による区別の基準も必要だという意見が出ています。計算量か能力か、事業者単位かモデル単位か。線の引き方しだいで、国内のどの企業が対象になるかが大きく変わります。

同じ週、オーストラリアは規制機関の新設を打ち出した

日本の第2回会合の前日にあたる11月10日、オーストラリアのアンソニー・アルバニージー首相らは、フロンティアAI(最先端のAI)の企業に安全・セキュリティ対策を義務付ける方針を発表しました。「オーストラリアAI標準」の法律に盛り込み、新たに設ける専任のAI安全規制機関が、オーストラリアのAIセーフティ・インスティテュートの技術的な支えを受けながら執行する案です。義務を守らない企業には「重大な罰則」を科せるとしています。

発表は、企業に求める義務として6つを挙げています。開発から展開までの全段階でセキュリティ管理を保つこと、モデルの重大なリスクを特定して管理すること、モデルの独立した評価を受け入れること、インシデントを政府へ速やかに通知すること、ガバナンス・リスク管理・透明性を扱う安全とセキュリティの枠組みを維持して公表すること、技術の変化に応じて更新される基準や規則に対応することです。法律の詳細は、今後の作業と協議を経て示すとしています。

両国の方向は近いものの、執行の担い手の置き方が異なります。オーストラリアは専任の規制機関を立て、AISIを技術面の支えに据える案を示しました。日本の資料は、勧告や命令の主体を「国」と書くにとどまり、AISIの役割は委員に問いかけている段階です。誰がAIの安全性を確かめ、誰が命令を出すのか。年末の全体像でとくに注目したい点です。

慎重に見ておきたい点

制度はまだ検討の途中です。素案の4点は、何を法律で定めるかの方向を示したもので、対象となる事業者の要件、特定のリスクの範囲、報告の中身、罰則の内容は決まっていません。共同通信は年末までに法改正の内容を含めた全体像を示すと報じていますが、法案の形や国会への提出時期は、公表された資料では確認できません。

線引きのあいまいさは、それ自体がリスクになります。第1回会合では、企業は自ら対象かどうかを判断できないと萎縮の方に走る、という指摘がありました。報告した情報の範囲や利用目的、営業秘密の保護をどう定めるかも、委員が挙げた論点です。

議論の見え方にも注意が要ります。共同通信は作業部会を非公開と伝えていますが、配布資料と第1回の議事要旨は内閣府のサイトで公開されています。11月11日の会合では、NTT、Sakana AI、SB Intuitions、Anthropic Japan、Google、OpenAI Japanの6社からヒアリングを行いました。ただ、事業者の資料は「一部資料は後日掲載」とされ、第2回の議事要旨も準備中です。規律される側が何を求めたのかは、今後の公表を待つ必要があります。

推進の法律に、ブレーキの設計を足す

2025年のAI法は、イノベーションの促進とリスクへの対応の両立を掲げ、「最もAIを開発・活用しやすい国へ」という目標を示しました。今回の見直しも、その姿勢を捨てるものではありません。第1回会合では、可能な限り既存の法令で対応する現行のスタンスは変える必要はないという意見が示され、資料も、ハードローの対象を一定以上の性能を持つAIと特定のリスクの重なりに絞っています。

第Ⅱ期人工知能基本計画は、ガバメントAI「源内」の普及など政府でのAI利活用と並べて、「AI法を含めた制度等の能動的かつ不断の見直し」を掲げています。AIを使う力を伸ばす計画と、高性能AIの特定のリスクに備える安全確保の仕組みが、同じ政府の中で並行して進んでいることになります。罰則の新設は、その両輪のうち、これまで欠けていた側を補う試みと捉えられます。年末に示される全体像が、開発者にとって予見しやすく、利用者にとって安心できる線を引けるかに注目しています。

【関連記事】

非営利4団体、AnthropicやOpenAIなどAI5社を提訴 最高性能を超える開発の差し止め求める
米国の非営利4団体がAI5社に対し、各社の最高性能を超えるAIの開発と展開の差し止めを求めて提訴した件を伝えたニュース記事。

【解説】米中間選挙で民主党が両院奪還、AI規制の州法上書きは新議会の課題に
州ごとのAI規制と、それを上書きしうる連邦の全国基準をめぐる綱引きを、米中間選挙後の新しい議会構成から読み解いた解説記事。

デジタル庁、「源内」でAIエージェント環境を提供開始|政府職員約18万人対象、安全基準「源内基準」も公表
政府職員約18万人向けの生成AI環境「源内」で、AIエージェントの作成・実行環境と安全基準「源内基準」が公開された記事。

Anthropic、S-1で事前学習の1か月超の延期を開示 評価中に4モデルが実在のシステムへ無断アクセス
評価中に4つのモデルが実在の第三者システムへ無断でアクセスした事案など、AnthropicのS-1での開示を伝えた記事。

AIエージェントが起こした事故に罰則はあるか|日本のAISIだけが持たない「抑止力」の設計
日本にAI固有の罰則がない現状を、EUや韓国の制度と比べながら整理した2026年7月の解説記事。AISIの位置づけも扱う。

【編集部後記】

11月11日の会合で意見を述べた6社に、Anthropic Japan、Google、OpenAI Japanも入っていました。新しい規律が海外の開発企業にどこまで届くかは、委員自身が挙げた論点です。その当事者から、設計の段階で意見を聞いていたことになります。

罰則の話は、取り締まる側とされる側の対立に見えがちです。ただ素案は、罰則の手前に事業者から国への報告を置いています。後日掲載とされる6社の資料に、どんな報告なら出せるという答えがあるのか。年末の全体像より先に、そこを読みたいと考えています。


【用語解説】

ハードロー
法律のように法的な拘束力を持ち、違反に罰則などの制裁を伴う規律。拘束力のないガイドラインや自主規制などはソフトローと呼ばれる。現行のAI法のもとでの日本のAIガバナンスは、主にソフトローで運用されてきた。

AIセーフティ・インスティテュート(AISI)
AIの安全性の評価手法や基準を研究する機関。日本では2024年2月に情報処理推進機構(IPA)内に設置された。英国やオーストラリアなども同種の機関を置いている。

制御喪失
AIが開発者や利用者の意図や管理から外れて動き、止めたり修正したりできなくなる事態。悪用(ミスユース)と並ぶAIのリスクの分類である、誤作動・予期しない挙動(マルファンクション)の中でも深刻なものとして議論される。

フロンティアAI
その時点で最も高い能力を持つ最先端のAIモデル。各国の規制では、学習に使った計算量や能力の評価で対象を線引きすることが多い。

計算量(学習の計算量)
AIモデルの学習に使った演算の総回数。浮動小数点演算の回数(FLOP)で表し、規制の対象を決める目安として使われる。同じ性能を少ない計算量で実現する技術が進むと、基準として機能しにくくなるという指摘がある。

人工知能戦略専門調査会
AI法に基づき、内閣総理大臣を本部長とする人工知能戦略本部に置かれた専門調査会。その下に「制度の在り方検討ワーキンググループ」が設けられ、AI法を含む制度の見直しを議論している。

【参考リンク】

内閣府「AI戦略」(外部)
人工知能戦略本部と専門調査会の資料、AI基本計画、AI法の関連情報をまとめた内閣府の公式ページ。制度見直しの資料もここから辿れる。

内閣府「人工知能関連技術の研究開発及び活用の推進に関する法律」(外部)
2025年に成立したAI法の条文と概要、成立から全面施行までの経緯を掲載する内閣府の公式ページ。法律の全体像を確認できる。

AIセーフティ・インスティテュート(J-AISI)(外部)
日本のAIセーフティ・インスティテュート(J-AISI)の公式サイト。AIの安全性評価の手法や基準づくりの取り組みを公開している。

【参考記事】

人工知能戦略専門調査会 制度の在り方検討ワーキンググループ(第1回)(外部)
2026年10月28日の初会合の資料と議事要旨。WGの目的と構成員、AI法16条の限界や制御喪失への懸念を述べた委員の意見を掲載。

政府、高性能AI暴走に罰則検討 悪質事業者に対抗手段へ法改正(外部)
共同通信の配信記事。協議に応じない事業者への強制力のある命令と、命令違反に罰則を科す想定、年末までに全体像を示す方針を伝えた。

New Australian AI safety and security protections(外部)
豪首相府の2026年11月10日の発表。専任のAI安全規制機関の新設案と、フロンティアAI企業に求める6つの義務を示した。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也 代表社員
合同会社デジタルの窓口 代表。ウェブ解析士。生成AI・サイバーセキュリティ・ 宇宙開発領域を中心に執筆。

おすすめ記事