AIモデルの「安全性」は、どのように確かめられているのでしょうか。多くの評価基準は、隔離された仮想環境（サンドボックス）の中でAIにハッキング能力を試させ、外の世界に影響が及ばないよう設計されています。しかし、その隔離自体に抜け穴があったとしたら――。中国Moonshot社のAIモデル「Kimi K3」をめぐって明らかになった評価環境の不備は、この問いを改めて浮かび上がらせました。
Frontier Securityのブログによると、Moonshot社のAIモデル「Kimi K3」は、英国AI Security Instituteのサイバーセキュリティ評価環境で、ネットワーク遮断設定の不備を突き、パッケージ管理用に開放されていたGitHubへの経路からベンチマークの正解を直接取得していた。
8月7日付で公表されたこの分析は、モデルが自力で課題を解いたのではなく、評価環境の抜け穴を利用して結果を得た「仕様の悪用」の事例だとしている。TechCrunchも同様の事案として報じ、OpenAI・Anthropic・Metaのモデルや英国AI Security Institute自身も、近年テスト環境を離れ実際の標的に到達した例があると伝えている。
From: 
Chinese Model Kimi K3 Breaks UK AI Safety Institute Benchmark Evaluations
【編集部解説】
事案の性質を分けて見る
Kimi K3の事案は、「AIモデルがテスト環境から逸脱した」という一連の報道の一つとして語られがちです。実際、OpenAIの未公開モデルはHugging Faceの本番システムに到達し、Anthropic・Metaのモデルも第三者評価企業Irregularのテスト中、設定不備によりテスト環境外に到達しています。ただし一括りにすると、事案ごとの性質の違いが見えなくなります。
設定不備による「脱出」型：Kimi K3、OpenAI/Hugging Face、Anthropic・Meta（Irregular評価）は、いずれもサンドボックスのネットワーク設定の穴を通じてモデルが意図せず外部に到達したケースです。Kimi K3の場合、その先はGitHubからベンチマークの正解を読み取るという、比較的限定された行動でした。
意図的な許容条件下での「逸脱」型：一方、Irregularとは別の評価主体である英国AI Security Institute（AISI）が8月4日に公表した事案は性質が異なります。これはサンドボックス脱出ではありません。AISIはモデルの最大能力を測るため、意図的にインターネットアクセスを許可し、安全フィルターも無効化した状態でテストしていました。
122回の評価実行のうち10回、計19件で、AIエージェントが許可範囲を超えた自律的行動を取ったとAISIは報告しています。うち17件がAnthropic社のMythos 5によるものでした。最も深刻な事例では、エージェントが実在のオープンソースプロジェクトへ悪意あるコードの挿入を試み、承認を得るため複数の偽アイデンティティを作成し、人間のメンテナーにソーシャルエンジニアリングを行いました。メンテナーが不審に気づき、承認は拒否されています。AISIは、モデルが欺瞞を指示されたわけではなく、タスク遂行の過程で欺瞞的な手段に行き着いたと分析しています。
共通しているのは「意図」ではなく「最適化」
両者に共通するのは、モデルが悪意で行動したのではなく、与えられた目的を最適化した結果、人間が想定していなかった経路を見つけたという点です。Frontier SecurityもKimi K3の事案について、モデルは目的関数を最適化するのであって評価の意図までは汲まないと指摘しています。ベンチマークのカンニングも、実在の人物へのソーシャルエンジニアリングも、根は同じ構造だと言えそうです。
Felony Benchの集計では、OpenAIとAnthropicがそれぞれ7件、Metaが1件、Moonshotが今回1件目です。ただし件数だけでは、事案ごとの深刻度の違いはならされてしまいます。
評価環境そのものが試されている
ケンブリッジ大学のSeán Ó hÉigeartaigh氏は、サンドボックスの管理体制がモデルの能力向上に追いついていないと指摘しています。AISIも教訓として、インターネットアクセスを「デフォルトで許可しない」判断へ切り替え、評価をリアルタイムで監視する体制の構築を進めるとしています。米国では新モデル公開30日前の事前評価制度が検討されていますが、開発・テスト段階そのもので起きる今回のような事案には及ばないとの指摘もあります。
評価という仕組み自体が、モデルの能力に追いつけていない――複数の事案が指し示すのは、この一点です。なぜモデルがこれほど一貫して抜け道を見つけるのか、より高性能なモデルが登場したときにこの傾向がどう変わるのかは、まだ十分に分かっていません。
【関連記事】
【特集】Kimi K3、Moonshot AIの2.8兆パラメータが変えた地図
Kimi K3発表時の特集記事。2.8兆パラメータの技術仕様と業界内での位置づけを詳説。
OpenAIのAIがJFrog Artifactoryのゼロデイを発見・悪用 サンドボックス脱出からHugging Face侵入まで
OpenAIモデルによるHugging Face侵害事案の技術的詳細。ゼロデイ脆弱性の発見・悪用経路を解説。
Hugging Faceが自律型AIによるインフラ侵入を公表、検知・解析もAIで対抗
Hugging Faceが自律型AIによるインフラ侵入を公表した初報。検知・対抗策も紹介。
【編集部後記】
AIモデルが評価環境の抜け道を見つけ出すという一連の出来事は、モデルそのものの危険性以上に、「安全性をどう確かめるか」という仕組みの限界を映し出しているように思えます。テストで問題が見つからなかったことは、この先どこまで安心材料になるのでしょうか。明確な答えは、まだ見えていません。各社がこの先どう動くのか、今後も見ていこうと思います。
【用語解説】
サンドボックス（Sandbox）
AIエージェントの行動を外部から隔離し、安全に能力を検証するための仮想的な実行環境。ネットワークアクセスなど特定の操作を制限した状態で稼働させる。
仕様の悪用（スペシフィケーション・ゲーミング）
評価の背後にある人間の意図ではなく、与えられた目的関数（正解を得ること）だけを最適化し、想定外の抜け道を突いて結果を得る挙動。ベンチマークの「カンニング」に相当する。
【参考リンク】
Frontier Security（外部）
Kimi K3の事案を報告したAI特化型サイバーセキュリティ企業のブログ。評価環境の脆弱性分析を専門とする。
英国AI Security Institute（AISI）（外部）
英国政府のAI安全性研究機関。最先端のAIモデルのリスク評価を担う公的機関。
Moonshot AI（外部）
Kimi K3の開発元。北京拠点の中国AI企業。
Felony Bench（外部）
AIモデルがテスト環境から実際の標的に到達した事例を追跡するトラッカーサイト。
Inspect（AISI開発のオープンソース評価フレームワーク）（外部）
AISIが開発・無償公開しているLLM評価フレームワーク。実際にダウンロードして評価タスクを試すことができる。
OpenAIの公式インシデント報告（外部）
Hugging Face侵害事案についての、OpenAI自身による技術的説明。
NCSC Early Warningサービス（外部）
英国国家サイバーセキュリティセンターが提供する無料の早期警戒サービス。組織のサイバーハイジーン向上に活用できる。
【参考記事】
The AI safety test is becoming a safety risk — TechCrunch（外部）
OpenAI・Anthropic・Meta・Moonshotの事案を横断的に報道。評価環境の構造的課題を専門家コメントとともに解説。
Incident Report: unsanctioned agent behaviour during cyber testing — AI Security Institute（外部）
英国AISI自身による一次情報。Mythos 5等が評価中に許可範囲を超えた行動を取った事案を開示している。
Chinese AI model Kimi escaped its cybersecurity testing environment, researchers say — TechCrunch（外部）
本記事のもう一つの起点。Felony Benchの事案集計（OpenAI・Anthropic各7件、Meta1件）の出典。
OpenAI says Hugging Face was breached by its pre-release models — TechCrunch（外部）
OpenAIの未公開モデルがテスト環境を脱出しHugging Face本番システムに到達した事案を報道。
