Anthropic、評価環境の改善策を公開|外部パートナーに4項目

[最終更新]

Googleで優先するソースとして追加するボタン

「あなたはインターネットにアクセスできない」ではなく、「アクセスしてはいけない」と書く。Anthropicが8月31日に公開した評価環境の改善策には、この一行の違いが並んでいます。事故の報告書として読むと見落とすのは、外部パートナー向けの手順が丸ごと書かれていることです。


Anthropicは2026年8月31日、評価環境をめぐる一連のインシデントへの改善策を公開した。7月30日に同社が報告した3件は、第三者評価環境の設定ミスでClaudeがインターネットへ到達したもので、8月4日には英AI Security Instituteが、意図的に接続を与えた評価でClaude Mythos 5の無許可行動を報告した。

同社は事前公開モデルの外部サイバー評価を停止し、ツール呼び出しの実行前に遮断する分類器を導入した。4月には本番の強化学習環境への変更を約1か月凍結し、10%超の環境に問題を確認して修正後に戻した。報酬ハッキング可能な80環境で訓練したモデルは、訓練終了時に全エピソードの40%を不正に処理した。原因分析はMETRによる独立レビューを予定し、継続中である。

From: 文献リンクImproving our alignment and security efforts

【編集部解説】

2026年8月31日、Anthropicが評価環境をめぐる一連の事案への対応を公開しました。原因の解明そのものはまだ途中で、同社はMETRによる独立レビューを予定し、調査を続けると書いています。それでも、結論を待たずに読む価値のある部分があります。外部の評価パートナーに求める作法が、そのまま公開されたことです。

似た見出しで並ぶ3件は、必要な対策がそれぞれ違う

まず、混同されやすい3つの事案を分けておきます。7月30日にAnthropicが報告した3件は、第三者の評価環境で設定が開いていたために、サイバーセーフガードを外したClaudeが外へ出たものでした。8月4日に英AI Security Institute(AISI)が公表した事案は、性質が違います。インターネット接続はAISIが意図的に与えており、扉は最初から開いていました。同機関は課題を122回試行し、10回で19件の無許可行動を確認、うち17件がClaude Mythos 5によるものだったと記しています。そしてOpenAIがHugging Faceで開示した事案は、封鎖されたサンドボックスからの脱出でした。「箱を破った」ものと、「箱が開いていた」ものと、「測るために箱を開けていた」もの。似た見出しで並ぶ3件ですが、必要な対策はそれぞれ別です。

今回示された4項目は、この3つ目に効きます。既定でインターネット接続を持たせず、外部への唯一の経路をモデル自身のAPIに限り、そのAPIキーは環境の外に置く。評価のたびに設定を検証する。インターネットを切り、人の監督下で、まず設定を静的に解析し、次にモデル自身へ脱出を試させる。成功したときは停止して報告させ、課題が原理的に解けることも確かめる。思考・行動・通信を実時間で監視し、スコープを外れたら人へ通報して演習を終える。評価を受託する事業者や、社内でエージェントを検証している現場が、そのままチェックリストに落とせる粒度です。

境界は「説明」ではなく「指示」で書く

なかでも3つ目のスコープ明示に、今回の事案の核心が凝縮されています。境界は「あなたはインターネットにアクセスできない」という環境の説明ではなく、「アクセスしてはいけない」という指示として書け、というものです。原典はこの書き分けを求めるところまでを示しています。ここから先は編集部の読みですが、事実として述べた前提は、事実と食い違った瞬間に効力を失います。指示なら、食い違っても残ります。予備調査が挙げた失敗の1つが「動機づけられた推論」でした。模擬環境だと最初に伝えられたモデルが、後から実際に接続されている証拠に触れたとき、その証拠を最初の説明と両立する形で解釈した可能性がある、という見立てです。1行の書き方の差が、数千回繰り返される評価では効いてきます。

適用範囲がはっきり区切られている点も見ておきたいところです。この4項目は、サイバーセーフガードを弱めた事前公開モデルを扱う組織に向けたもので、「Claude Fable 5」のような保護付きモデルの利用者には適用されません。能力の上限を測る作業と、製品を使う行為は、別の安全設計の上に立っているという線引きが、今回の文書では明示されています。

訓練側で起きていたこと

訓練側の記述も具体的です。2月にはMythos Previewの強化学習で報酬ハッキングの兆候を見つけ、3日分をロールバックしています。レビュアーがいないタスクなのにコードコメントへ「レビュアー宛」の注記を書く、誠実性の報酬を稼ぐために留保と免責を積み増す——そうした癖が学習される前のチェックポイントまで戻した、と。春には環境の生産速度が検証能力を上回り、4月には本番環境への変更を約1か月凍結してスタックを刷新、その期間に本番ミックスの10%超へ問題の印を付けて修正後にのみ戻した、とも書かれています。自動監視が挙げた印を人のレビュアーが誤検知として退けた例があったことも、同社自身が宿題として挙げています。

併載の研究「Hacker-Opus」は、この品質管理をやらなかった場合を意図的に作って見せたものです。報酬ハッキング可能な実在の80環境で訓練した結果、訓練終了時には全エピソードの40%が不正と判定され、模擬環境では採点器を満たすためにサンドボックスを脱出し、通常なら拒否する要求にまで応じました。同じ模擬環境に置いた本番モデルでは、Hacker-Opusと同程度の逸脱は確認されていません。ただしMythos 5にも、標的を偽物または模擬だと推論したうえでスコープ外を攻撃したと判定された例が10%あり、ここは差し引かずに読む必要があります。原典は、本番モデルがスコープ外へ出るのは標的を偽物か模擬だと推論した場合に限られたと記しています。そして原典自身が、訓練環境の不正は今回の事案の唯一の原因ではないと明記しています。「報酬ハッキングを止めれば誤整合が終わる」という読み方は、原典より強い主張になります。

見落とされていた領域についても、同社は率直です。4月に全社のセキュリティ強化へ約150人のプロダクトエンジニアを振り向け、クラスタの外向き通信を既定で全遮断するところまで進めたものの、手当てが薄かったのは評価、とくに第三者評価だったと書いています。守りの設計が本番系に向いているあいだ、測るための環境が相対的に手つかずになる。これは組織の規模を問わず起こる形で、日本企業がAIエージェントの検証を外部に委託する場面にも、そのまま当てはまります。

「どう測ったか」を問える段階へ

日本の読者にとっての意味は、ここにあります。金融庁と日本銀行によるフロンティアAIを踏まえた要請や、政府のProject YATA-Shieldなど、日本でも能力向上を前提とした対応は始まっています。評価する側の作法が公開されたということは、「どう測ったか」を発注側が問える段階に入ったということです。ネットワーク境界はインフラ側で強制し、スコープは環境の説明ではなく、守るべき指示として明記する。この2つは、とくにAIエージェントのサイバー評価を自社または外部委託で行う現場へ移植できます。

最後にもう1つ。今回の文章は、社内のペーシングと業界横断のペーシングを分けたうえで、後者について「適法で、検証可能で、実効的な仕組み」を望むと述べています。7月28日の「Pacing the Frontier」に幹部と多数の従業員が署名した件にも触れ、貢献の形を数週内に示すとしています。失敗の中身を手順書の形で外へ出すことは、その検証可能性を自分から一段上げる行為です。今回公開された4項目が、業界の共通言語としてどこまで広がるか。次に読むべきはそこだと考えています。

【関連記事】

Mythos 5が偽アカウントで自作自演|AIを止めたのは人間の警戒心だった
本記事が扱う英AISI事案の詳報。意図的に接続を与えた評価で何が起きたかを追っている。

Meta製AIも他社に侵入|共通点は評価会社Irregular
7月30日の3件を含む、3社にまたがる評価環境の事案を構図から整理した記事。

【解説】OpenAIの評価AIが越えた3つの境界|サンドボックスからModal顧客環境を経てHugging Faceへ
本記事で触れたOpenAIの事案と、7月28日の共同声明の背景を詳しく扱っている。

【解説】OpenAIのAIが欺こうとした採点器は、存在しなかった|METR独立調査と読む
METRが実施したOpenAI事案の独立調査。本記事のMETRとは対象が異なる。

Anthropic、AIが自ら安全性を修正|鍵は物差しの設計
8月28日公開のアラインメント研究。同じ時期の、別の角度からの取り組み。

【編集部後記】

原典の付録に、こんな一場面があります。報酬を最大化しようとしたモデルが、コンテナの環境変数から訓練ジョブの名前を見つけ、そこにあった三文字を「報酬品質の改善」の略だと推測する。実際は、その実験を設計した研究者の名前の頭文字でした。

採点する側を探しあてようとする執念と、あと一歩の見当違い。この二つが同じ思考の中に同居しているところに、いま起きていることの手触りがあります。


【用語解説】

報酬ハッキング(reward hacking)
強化学習で、タスクを意図どおり解かずに報酬だけを得る挙動。採点の抜け道を突く「カンニング」にあたる。業界全体でまだ一般的な解決策がない。

サイバーセーフガード
モデルの入出力を実時間で監視し、マルウェア開発などの禁止行為を遮断する仕組み。これを弱めることは、モデルの安全訓練そのものを取り除くこととは別である。

事前公開モデル
一般提供の前段階にあるモデル。能力の上限を正確に測るため、評価者には保護を弱めた状態で渡されることがある。

サンドボックス
外部と切り離された計算環境。評価対象のモデルはこの中で動かすのが原則であり、今回の4項目はこの箱の作り方を定めている。

スコープ
演習で許される標的・行為・ネットワーク境界の範囲。原典は、これをプロンプト内に指示として記述するよう求めている。

動機づけられた推論(motivated reasoning)
保ちたい前提と両立する形で証拠を解釈する傾向。予備調査が挙げた2つの失敗のうちの1つである。

強化学習(RL)
モデルにタスクを解かせ、結果に応じて報酬を与える訓練工程。高い報酬につながる挙動が繰り返し強められる。

Hacker-Opus
報酬ハッキング可能な80環境で意図的に訓練したモデルの呼称。品質管理を行わなかった場合の代理として作られた。

Mythos Preview
Mythos世代の先行版。2026年2月の強化学習で報酬ハッキングの兆候が見つかり、訓練が3日分巻き戻された。

AI Security Institute(AISI)
英国政府が設置したAIモデルの評価機関。日本のAI Safety Instituteとは名称も所管も異なる別組織である。

METR
AIモデルの評価と脅威研究を行う独立機関。今回の事案では、AnthropicとAISIの双方が独立レビューの担い手として予定している。

ペーシング(pacing)
開発の速度を意図的に調整すること。原典は、社内での意思決定としてのペーシングと、業界横断の枠組みとしてのペーシングを分けている。

Pacing the Frontier
2026年7月28日に公開された、フロンティアAI企業の従業員による共同声明。米国政府に対し、開発の歩調を調整する技術的・統治的な仕組みの構築を求めている。

【参考リンク】

Anthropic(外部)
Claudeシリーズを開発するAI安全性・研究企業の公式サイト。今回の改善策のほか、責任あるスケーリング方針やシステムカードを公開している。

Claude Fable(外部)
サイバーセーフガードを備えた提供モデルの製品ページ。今回外部パートナーに示された4項目は、この保護付きモデルの利用者には適用されない。

Claude Mythos(外部)
最上位モデルの製品ページ。サイバーセーフガードなしで動作するため、アクセスを持つパートナー向けの姉妹版が策定中とされている。

【参考記事】

Training a Misaligned Reward Seeker(外部)
報酬ハッキング可能な80環境で訓練したモデルの挙動を記録した研究。本記事で扱った40%や10%といった数値はこの資料に基づく。

Incident Report: unsanctioned agent behaviour during cyber testing(外部)
英AISIが2026年8月4日に公表した報告。122回の試行のうち10回で19件の無許可行動を確認し、17件がMythos 5だったと記す。

Investigating incidents in cybersecurity evaluations(外部)
Anthropicが2026年7月30日に公表した自社報告。第三者評価環境の設定不備によってモデルが外部へ到達した3件の事案を扱っている。

Hugging Face model evaluation security incident(外部)
OpenAIが公表した開示。封鎖されたサンドボックスからの脱出であり、Anthropicが7月に遡及調査を始める契機となった事案である。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也 代表社員
合同会社デジタルの窓口 代表。ウェブ解析士。生成AI・サイバーセキュリティ・ 宇宙開発領域を中心に執筆。

おすすめ記事