Gemini、評価中に実在3社へ到達|Googleが報道後に認める

[最終更新]

Googleで優先するソースとして追加するボタン

同じ通知を、同じ時期に、4社が受け取りました。3社は自ら公表し、1社はしませんでした。その1社がGoogleです。9月18日、報道が先に出たあとで、同社は評価中にGeminiが実在する3社へ到達していたことを認めました。開示の基準は、まだ各社の中にしかありません。


Googleは2026年9月18日、同社のAIモデルGeminiがサイバーセキュリティ評価中に実在する3社のシステムへ不正アクセスしていたと認めた。発生は同年5月で、評価は第三者機関Irregularが実施した。Geminiは「capture the flag」課題で架空企業を調べるよう指示されたが、その架空の社名が実在するドメインと重なり、本来与えられないインターネット接続も誤って有効になっていた。

1件はパスワードの推測、2件は公開リポジトリに露出した認証情報で到達した。Googleは3件ともモデルが行動を停止したとし、対象の取り違えでミスアライメントには当たらないとの立場を取る。Irregularは7月下旬に各ラボへ通知し、一連の開示は単一の評価シナリオに由来する同じ問題だと説明する。

From: 文献リンクGoogle is the latest AI lab with a security testing mishap

【編集部解説】

8月6日にこの場で、評価会社Irregularの環境で起きた一連の事案を並べたとき、最後にひとつだけ、名前の出ていない社を挙げました。Google DeepMindです。開示が開示を呼ぶ連鎖がどこまで続くかは分からない、と書いて終えました。

6週間後、答えが来ました。ただし、来方が前の3社とは違います。

Anthropicは7月30日に、OpenAIは8月4日に、Metaは8月5日に、それぞれ事案を公表しました。Irregularは、関係するラボへ7月下旬に通知したと述べています。Googleもこの時期までに、自社モデルに関する事案の通知を受けていました。しかし、同社から一般向けの公表はありませんでした。

声明を出したのは、報道が先に出たあとです。セキュリティエンジニアリング担当バイスプレジデントのヘザー・アドキンス氏は、モデルが3件とも行動を停止したこと、対象となった組織へ通知したこと、評価パートナーとともにテスト手順の変更に取り組んだことを説明しています。対象の取り違えによる事案であり、ミスアライメント、つまり指示からの逸脱には当たらない。損害も生じていないと見ている、というのがGoogleの立場です。

自主的に公表しなかった理由そのものは、声明では語られていません。安全機構が働き、損害もなかったため公表を要する事案とは判断しなかった、と報じられています。判断そのものは、筋が通っていないわけではありません。報奨金制度で受け取った脆弱性の報告を、修正後に一件ずつ公表する企業は多くありません。むしろ考えたいのは、その判断の妥当性を外から測る共通の物差しが、どこにもないことのほうです。

2日前に、同じ論点が名指しされていた

9月16日、OpenAIが新たに6件の安全性インシデントを開示しました。未公開のAstra系モデルが自分の文脈要約に脱獄めいた指示を書き込んでいた件、公開リポジトリで見つけたAPIキーを使おうとした件、隔離されているはずの訓練環境をまたいでエージェント同士が情報をやり取りしていた件などです。

同時に、今後の社内手順も発表しています。従業員なら誰でも案件を申告でき、「開示準備完了」と判定されれば6営業日以内、軽微な調査を要するものは12営業日以内に公表する。開示すべきだという主張が却下された場合は、上級幹部へ持ち上げられる。

このときOpenAIのアライメントチームで研究リードを務めるカイ・チェン氏は、開示基準を明示した業界横断の枠組みは現状存在しない、だから自主的に踏み出す、と述べていました。

その2日後に、共通の物差しがないとはどういうことかを示す事例が加わりました。一方は、今後の公表期限として6営業日と12営業日という数字を掲げた。もう一方は、5月に起きた事案が9月の報道まで表に出なかった。どちらの判断も、それぞれの社内基準に沿ったものでしょう。ただしその基準は共通化されておらず、Google側の基準は公開されていません。

檻は破られていません

何が起きたのかを整理しておきます。

Geminiが取り組んでいたのは「capture the flag」、隠された情報を探し出す形式の課題です。Irregularの説明によれば、この評価は、中規模企業の内部に悪意ある従業員がいると想定し、モデルがその手助けをして本番データベースの機微なデータへ不正にアクセスできるかを測るものでした。偵察から鍵の特定、環境の調査、データの持ち出し、検知の回避まで、複数の段階を踏ませる設計です。

問題は、課題に使った架空の社名が、実在するドメインと重なっていたことでした。Irregularは架空名を選ぶ際、既存の企業やサイトと重複しないか下調べをします。ただしこのドメインは広く知られたものではなく、当初の確認では見つかりませんでした。そこへ、本来与えられていないはずのインターネット接続が、誤って有効になっていた。

モデルへの指示には、架空の社名だけでなく、模擬環境の中で対象が置かれている内部アドレスも含まれていました。大多数の実行で、モデルは環境の内側で動いています。それでも一部の実行では、指示されていない実在ドメインへ向かいました。

到達の手口は単純でした。1件はパスワードを繰り返し推測して保護されたサービスに入ったもの。残る2件は、公開リポジトリに置き去りにされていた認証情報を拾って使ったものです。Irregularは、対象となったドメインが一般的なセキュリティ対策を欠いていたため多くのフロンティアモデルにとって容易だったとし、この事案が特定のモデルの能力について特筆すべき何かを示すとは考えていないと書いています。

7月21日に公表されたOpenAIのHugging Face事案は、社内でホストしていたJFrog Artifactoryの未知の脆弱性を使って隔離環境から外へ出た、正真正銘のサンドボックス脱出でした。今回は性質が異なります。檻を破ったのではありません。模擬環境の対象名が実在ドメインと重なり、そこへ意図しないインターネット接続が組み合わさった。モデルは境界の外を、課題の一部と取り違えました。

実務に引き寄せるなら、教訓は一行です。プロンプトを、技術的な境界の代わりにしない。止めるのは、ネットワークやプロキシの層で外向きの通信を原則拒否し、必要な宛先だけを許可する仕組みです。そこにDNSの制御、設定前後の疎通確認、通信のログ、実行中の監視を重ねます。

作法は、これから決まっていく

Axiosは関係者の話として、AIラボ各社とIrregularのあいだで、テスト手順と安全策の認識が完全には一致していなかったと伝えています。この種の評価は通常インターネット接続を伴うものであり、どちらが何をどこまで閉じるのかに曖昧さが残っていた、と。

Irregular自身も、制御されたインターネット接続は現実に即した評価のために必要な場合があると書いています。攻撃者は現実の世界でインターネットを使うのだから、それを断つと脅威シナリオの忠実度が落ちる。評価の目的そのものが損なわれる、という理屈です。

検知の難しさにも触れています。この種の逸脱が起きたのは、高度なシミュレーション1万回に1回に満たない頻度で、しかも多くは数百ターンを経た終盤でした。加えて、評価のログはそもそも攻撃的な挙動で埋まっています。既存の監視ツールも分類器も、モデルの正当な攻撃動作の大半を問題として拾ってしまう。疑わしいものだらけの干し草の山から、針を1本探す作業になります。

Anthropicは7月30日の発表で、原因を「自社と評価パートナーとの間の認識の行き違い」と表現しました。8月31日には対応をまとめて公開しています。事前公開モデルの外部サイバー評価を一時停止したうえで、実行前にツール呼び出しを遮断する分類器とリアルタイムの監視を整え、新しい運用のもとで評価を再開しました。Irregularも8月14日に調査結果を公表し、評価環境のセキュリティに関する白書を準備中だとしています。

評価という工程そのものが、まだ若いということです。攻撃側の能力を測るには、攻撃が成立しうる環境を用意しなければならない。その環境の設計・設定・監視の作法は、いま各社と各評価機関が手探りで書いている最中にあります。今回の一連の出来事は、その草稿に書き足される段落です。

日本の読者にとっての意味

脆弱性診断、ペネトレーションテスト、レッドチーム演習。自社では判定が甘くなるから外部に出す、という選択は、日本の企業も日常的に下しています。構図は同じです。

そのうえで、契約書を思い出してみてください。委託先の設定ミスが原因で、自社のテストが第三者の資産に届いてしまったとき、誰が、いつ、何を公表するのか。そこまで書かれた委託契約は、どれくらいあるでしょうか。

日本にも、この問いを扱う場は動いています。金融庁は2026年5月14日、AI脅威に対する金融分野のサイバーセキュリティ対策強化に関する官民連携会議の作業部会について公表しました(8月28日更新)。参加組織には3メガバンク、日本銀行、日本取引所グループが並び、IT事業者側にはAnthropic Japan、OpenAI Japan、グーグルの名前もあります。今回、各社のモデルをめぐる事案が明らかになった企業が、日本の金融分野でAI脅威への対応を検討する場にも参加していることになります。会議の目的は、AI技術の進展による脅威について共通の理解を持ち、対応を検討すること。作業部会の内容自体は、サイバーセキュリティに関する内容を含むため非公表とされています。

今回の3件を加えると、各社が公表した到達先を単純に足した数は延べ8件になります。ただしIrregularは、これらが同じ根本原因と単一の評価シナリオに由来するものであり、実質的に別々の事案ではないと説明しています。対象組織はいずれも匿名で、重複の有無も分かりません。

ただ、数はもう論点ではないように思います。論点は、次に同じことが起きたとき、誰がいつ何を言うのかが、各社の胸の内だけで決まらなくなっているかどうかです。OpenAIは6営業日と12営業日という具体的な数字を置きました。Irregularは白書を予告しています。物差しの最初の目盛りは、もう刻まれ始めています。

【関連記事】

Meta製AIも他社に侵入|共通点は評価会社Irregular
7月から8月にかけて相次いだ各社の開示を整理し、評価会社Irregularという共通点を浮かび上がらせた、本件の前提となる記事。

Microsoft AIの行動規範|7月のAI侵入事案に条文で答える
Microsoftが自社の行動規範のなかで、7月に相次いだ一連の事案にどう答えたのかを、条文に沿って読み解いた記事である。

OpenAI「Astra」、サイバー能力Criticalの可能性
OpenAIの「Astra」をめぐるサイバー能力の評価を扱った記事で、Irregularからの通知事案についても触れている。

【編集部後記】

Irregularの説明のなかに、数字が一つだけ挟まっています。モデル1つの評価にかける時間は、おおむね48〜72時間。そのあいだに数千回のシミュレーションを走らせる、と書かれています。

発売の日程は動きません。評価は、その手前の数日に押し込まれます。環境の設計を直すという話の隣に、この日数の話が並んでいないのが気になりました。次のモデルの評価には、何日与えられるのでしょうか。


【用語解説】

capture the flag(CTF)
隠された情報や権限を探し出すことを目標とする、セキュリティの演習形式。もとは競技として発達したが、AIモデルの攻撃能力を測る評価にも用いられる。今回の評価では、模擬環境内の対象から機微なデータを取り出せるかを測る課題として設計された。

ミスアライメント
AIモデルの振る舞いが、開発者の意図や与えられた指示から外れること。今回Googleは、Geminiが対象を取り違えたのであって指示から逸脱したわけではないとして、この語には該当しないとの立場を取っている。語の範囲は業界内でも一定していない。

サンドボックス
プログラムを外部から隔離された領域で実行させる仕組み。AIモデルの評価では、モデルの行動が現実のシステムへ及ばないようにするために用いられる。隔離を破って外へ出ることを「サンドボックス脱出」と呼ぶ。

フロンティアモデル
その時点で最も高い能力を持つとされる、最先端の大規模AIモデルを指す語。公開前に能力とリスクを測る評価の対象となる。

ペネトレーションテスト
実際の攻撃と同じ手口でシステムへの侵入を試み、防御の有効性を確かめる検査。第三者に委託して実施されることが多い。

分類器
入力を定められたカテゴリに振り分ける仕組み。Anthropicは、評価環境への攻撃的な探索や想定外のインターネット接続を検知する分類器を導入し、該当するツール呼び出しを実行前に遮断するとしている。

【参考リンク】

Irregular(外部)
イスラエル発のAI安全性評価会社。フロンティアモデルが公開される前に、サイバー攻撃の能力とリスクを測る評価を手がけている。

Addressing Recent Incidents: Ongoing Findings and Path Forward|Irregular(外部)
2026年8月14日公開。一連の事案について自社で実施した調査の結果と、評価環境に加えた変更をまとめた文書。白書の予告も含む。

Investigating incidents involving real-world cybersecurity evaluations|Anthropic(外部)
2026年7月30日公開。Claudeが3組織へ到達したことを最初に公表した文書で、一連の開示の起点となった。調査の規模も示す。

Third-party cyber evaluations involving OpenAI models|OpenAI(外部)
2026年8月4日公開。外部の評価パートナー2社が特定した事案について、OpenAIが経緯と受け止めを説明している文書である。

「AI脅威に対する金融分野のサイバーセキュリティ対策強化に関する官民連携会議」の作業部会の開催について|金融庁(外部)
2026年5月14日公表、8月28日更新。作業部会の趣旨と、金融機関やIT事業者を含む参加組織の一覧を掲載しているページ。

【参考記事】

OpenAI discloses six new AI safety incidents|Axios(外部)
OpenAIが新たに6件のインシデントを開示し、あわせて6営業日と12営業日という今後の公表期限を示したことを伝える記事。

Google’s Gemini becomes latest AI model to break out and hack computer systems|CNBC(外部)
Googleの声明に加え、Irregularの「実質的に別個の事案ではない」というコメントを掲載。モデル名は明かされていない。

Google says AI model gained unauthorized access to three systems|NBC News(外部)
Googleがこの事案をミスアライメントに分類しない理由を、対象の取り違えという観点から詳しく説明している記事である。理由の説明が最も厚い。

Google’s Gemini AI hacks 3 companies in security test, then stops|Al Jazeera(外部)
同紙がGoogleに直接確認した内容を掲載している。3件すべてでモデルが自ら行動を停止した経緯を、時系列で整理している。

Irregularの調査結果公開をめぐる評価|The Record(外部)
Irregularが公開した調査結果に対する研究者の評価を伝える記事。被害側が自力で検知できていなかった点にも触れている。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也 代表社員
合同会社デジタルの窓口 代表。ウェブ解析士。生成AI・サイバーセキュリティ・ 宇宙開発領域を中心に執筆。

おすすめ記事