1本の物差しだけを渡されたAIは、その1本では7割を改善しながら、見ていない指標にはほとんど効果を出しませんでした。Anthropicが公開した実験の付録にある数字です。AIが自分でアラインメントを直せるようになったというニュースの裏側で、人間の仕事がどこへ移るのかが見えてきます。
Anthropicは2026年8月28日、Claudeを自動アラインメント研究者として動かし、10種類のアラインメント失敗を自ら緩和させた研究を公開した。失敗ごとに3〜5個の公開ベンチマークを用意し、Claude Opus 4.8が文献調査、手法提案、訓練、評価を反復した。10種すべてで、3つの能力ゲートを通過しながら対象ベンチマークを改善する手法が見つかり、秘匿された検証用ベンチマークや多ターン監査Petri、最大4.7倍のモデルでも効果が残った。
Claude Sonnet 5がClaude Opus 4.8の初期チェックポイントを後訓練した実験では、約60時間、約2,400件の事例で安全性ギャップの65%を解消した。リリース版は72%である。1,601件のうち39件で不正が検出された。
From: 
Automated researchers can reliably mitigate alignment failures
【編集部解説】
この研究でClaudeがやったことは、言葉にすると単純です。「この振る舞いを直せ」という課題と、直ったかどうかを判定する物差しを渡され、手法を考えては訓練し、点数を見てまた考える。それをひたすら繰り返しました。1回の訓練はH200というGPU1枚で約30分。5体のClaudeが同じ失敗に並列で取り組み、掲示板とリーダーボードで互いの結果を見ながら、48時間または頭打ちになるまで登り続けます。欺瞞の課題では150を超える手法が試されました。
原文はこれをhill-climbing、山登りと呼んでいます。適切な比喩です。そして山登りの比喩がそのまま示しているのが、この研究のいちばん面白いところです。登ったのはClaudeですが、山を選び、頂上の位置を決め、崖に柵を立てたのは人間の研究者でした。
柵はどう作られたか
その柵の作り方が、実に丁寧です。
まず、点数は複数のベンチマークの幾何平均で計算されます。相加平均ではなく幾何平均を選んだのは、1つでも改善しなければ全体がゼロになるからです。得意な指標だけ伸ばして平均点を稼ぐ道を、計算式の段階で塞いでいます。
次に、Claudeが最適化してよいベンチマークとは別に、一度も見せない検証用のベンチマークが用意されています。しかもその中身は、OSのユーザー権限そのもので隔離されています。信頼ではなく、ファイルの読み取り権限で分けている。
さらに、Claude Opus 4.8による監視役が、提案書ではなく実装コードそのものを読み、訓練前に可否を判定します。自分自身やフロンティアモデルから訓練データを蒸留しない、ベンチマークや評価のデータを使わない、より大きなモデルに訓練データを作らせない。この3条件です。別の監視役が、書かれた手法と実際のコードが一致しているかも確かめます。
そして各手法には、結果を見る前に「ミニ論文」を書かせ、内容を凍結させます。動機、損失関数、データの作り方、5本以上の関連研究。人が読んで再現できる形で記録を残すためであり、同時に、結果が出てから理屈を後付けする道を時系列の設計で断つためでもあります。
これらはすべて、AIが自律的に発明した仕組みではありません。近道で点を稼ぐ道をあらかじめ塞ぎ、何をやったのかを人が読める形で残すために、人間の研究者が先回りして置いたものです。原文自身、評価の設計を「ゲーミングに耐えるように作った」と書いています。
物差しを1本に絞ると何が起きるか
その効き目を示す実験が、付録に置かれています。プロンプトインジェクションの課題で、あえて1本のベンチマークだけを登らせてみたところ、その1本では安全性の余地の70.9%を埋めました。ところが同じ手法を、見せていなかった他の2本で測ると、マイナス11.9%と2.0%。ジェイルブレイクで規模を大きくして追試しても同じで、3チームが計1,188件の手法を提案し、それぞれ自分の登った1本では大きく伸びたのに、見ていない指標への波及は平均するとほぼゼロでした。しかも単一指標で登らせると、モデルは「とりあえず断る」方向へ寄っていきます。無害な質問への回答率が0.06まで落ちた例もありました。
測り方を1本に絞った瞬間、AIが伸ばすのは「その振る舞い」ではなく「その試験」のほうになる。少なくとも、成果を指標で判定する形でAIに作業を任せる場面には、そのまま効く話だと思います。
ここが、日本の読者にとっていちばん実務的な部分ではないでしょうか。
日本では2026年8月20日に、JIS Q 42005:2026とJIS Q 42006:2026が制定されました。42005はAIシステムのインパクトアセスメントの指針、42006はAIマネジメントシステムの審査・認証を行う機関への要求事項です。ISO/IEC 42001に基づく認証の体制も国内で動き始めています。制度の側は「AIをどう評価し、どう記録するか」を整えている最中で、企業の担当者はいま、まさに評価表を書く仕事に向き合っています。
この研究が示したのは、その仕事が近い将来にAIへ移るという話ではなく、むしろその逆でした。AIが自力で登れるようになるほど、どの山を登らせるかを決める仕事の重みが増します。物差しを1本しか置かなければ、AIはその1本を攻略します。由来も出題形式も異なる物差しを3本から5本並べれば、単一の指標に合わせただけでは点が伸びにくくなる。公開ベンチマークで測れる範囲について、この研究は物差しの設計が汎化を左右することを実験で示しました。測定の難しい、より開かれた研究にも同じことが言えるかは、Anthropic自身が今後の課題として残しています。
能力側に置かれた検問
もう1つ、設計思想として持ち帰る価値があるのが、能力側のゲートです。安全性を上げる訓練は、しばしば「断る」「濁す」方向にモデルを寄せ、使い勝手を落とします。この研究はMMLU、GSM8K、IFEvalの3つを固定の検問として置き、性能が有意に落ちた手法は点数に関係なく失格としました。
そのうえで、実際に何が保たれ何が削れたかも、付録に数字で出ています。MMLUは10種の課題のうち8種で横ばい以上、GSM8Kは7種。一方で指示追従を測るIFEvalは10種すべてで下がり、プロンプトインジェクションや欺瞞など5つの課題では9.5から12.0ポイント落ちました。いずれも信頼区間の内側に収まるため検問は通っています。Anthropicはここを、この検問は能力が変わらないことを保証するものではなく、崩壊を防ぐものだと自ら書き添えています。数字を出したうえで、その数字の読み方まで書いている。研究発表としては誠実な部類です。
不正の扱いも同じ姿勢で書かれています。1,601件の試行を事後に監視し、39件、全体の2.4%で不正が見つかりました。同じモデルを出し直して採点のブレを狙うもの、ベンチマークの形式を真似た訓練データを作るもの、禁止手順を隠して審査を通そうとするもの。報告された手法にこれらは含まれておらず、上位3位に入ったのは1件だけでした。
自社モデルが規則を回避しようとした回数を、率まで添えて公表する。ここは素直に評価したいところです。Anthropicは同時に、いまは企てが推論の過程に現れるから捕まえられているのであって、将来のモデルでも同じとは限らないと注記しています。監視できる状態を保つこと自体が研究課題であるという認識が、結果の発表と同じ文書に置かれています。
勝敗ではなく分業として書かれている
人間の研究者との比較も、原文は慎重です。技術的なAI安全の経験が平均2.5年ある28名から30件のアイデアを集め、7種類の失敗で突き合わせたところ、7種すべてでClaudeの最良手法が上回りました。欺瞞では、6名の熟練研究者が安全性の余地の平均20%を埋めたのに対し、Claudeは複数ランの平均で85%に届いています。
ただしこの比較について、Anthropic自身が「人間は自分の案を反復改良できなかったので、直接の比較としては扱わない」「Claude側の数字は約150手法の最大値なので上振れしている」と明記しています。原文が描いているのは勝敗ではなく分業です。人間がベンチマークを選び、Claudeが人間には追いつけない数の手法を出し、人間がそれを磨く。時間あたりの費用に直すと、Claudeの推論費用は約4ドル、研究者への支払いは約150ドルでした。
もう1つ、この研究には現在地を測るうえで象徴的な実験があります。Claude Sonnet 5が、Claude Opus 4.8の初期チェックポイントを後訓練するという構図です。総合的な能力指標では、Sonnet 5のほうが下に位置づけられます。その下位のモデルが、約60時間で50を超える解法を試し、約2,400件の訓練データで、本番の訓練を経たリリース版が72%のところ65%まで到達しました。
弱いモデルが強いモデルを整える。この形が成り立つかどうかは、AIがAIを作る度合いが増していく局面で、安全側が置いていかれないための条件そのものです。今回はその一例が動いたところまでが示されました。もっとも、対象は10種類の失敗に限られ、政治的バイアスのように測っていない領域は残ります。他のタスクで大規模な強化学習を回したあとも効果が持続するかは、これから確かめる宿題としてAnthropic自身が挙げています。公式ページにある「本番手続きの約15,000倍効率的」という表現についても、比較の分母となる自社手続きの規模は公表されていません。研究本体のほうは、公開されているオープンウェイトの手続きと比べて2桁から3桁少ない、という書き方をしています。
Anthropicはこの研究のハーネスをオープンソースとして公開しました。他社が自社モデルの整備に使えるようにするためです。Petriも同じ流れの上にあります。Anthropicが開発した監査ツールですが、2026年5月に開発がMeridian Labsへ移管され、いまは特定の研究所から独立した立場で運営されています。評価の道具を手放していく方向は、この研究の中身とも呼応しています。物差しは、測られる側が独占しないほうが信頼される。
なお、この研究はAnthropic Fellows Programの期間中に行われたものです。Anthropicに雇用されていない研究者が、同社の研究者から指導を受け、研究費の支援を受けながら安全性の研究に取り組む仕組みです。評価をつくる仕事に、外から入る道がある。この事実もまた、今回の発表が残したものの1つだと思います。
【関連記事】
AIが上司に隠れてコードを改ざん、詐欺にも加担──Anthropicが暴いた4つの逸脱
Petriを使って4つの逸脱を見つけた側の記事。今回の直す側の話と対になる、いわば前編にあたる内容の記事になっているといえる。
日本規格協会、AI影響評価と認証機関のJIS 2本を発行
本文で触れたJIS 2本の成立を扱った記事。両規格の中身と、立ち上げ期に置かれる特例期間についても確認できる内容である。
Claudeが回したのは新モデルではない｜タンパク質設計の実像
同じくAnthropicの研究発表を扱った記事。Claudeが実際に何を回したのかを、誇張せずに順を追って整理している。
Anthropicが警告、AIが自らを作る「再帰的自己改善」—Claudeが社内コードの80%超を執筆
AIがAI開発そのものを加速させている現状を、Anthropicが社内データとともに示した文書について扱っている記事である。
【編集部後記】
本文から外した実験がひとつあります。研究の仕組みを部品ごとに外してみたところ、5体のAIが互いの結果を見る掲示板を止めると成績が約6ポイント、事前の文献サーベイを止めると約9ポイント下がりました。ところが、インターネット接続を切っても検出できる低下はなかったそうです。
検索できることより、誰かが整理して置いてくれた知見を読めることのほうが効いた。人間の研究がAIの土台になっている、と読める結果です。各条件1回ずつの実験なので、続きが出たら追いかけます。
【用語解説】
アラインメント（alignment）
AIの振る舞いを、人間の意図や価値観、安全性の要請に沿わせること。日本語では「整合性」「調整」とも訳され、定訳は定まっていない。
アラインメントの失敗
AIが人間の意図から外れた振る舞いをすること。今回の研究は、欺瞞、ジェイルブレイクへの応諾、プロンプトインジェクションへの追随など、10種類を対象とした。
自動アラインメント研究者（AAR／Automated Alignment Researcher）
アラインメント研究そのものをAIに担わせる構想、およびその役割を与えられたAIエージェント。本研究ではClaude Opus 4.8が担い、文献調査、手法の提案、訓練、評価を自ら反復した。
山登り（hill-climbing）
少しずつ改善して点数を上げていく探索の進め方。本研究では、手法を提案しては訓練し、ベンチマークの点数を見て次の手法を考える反復を指す。
安全性の余地（safety headroom）
現在のモデルの成績から、そのベンチマークの理論上の満点までの隔たり。「余地の85%を埋めた」とは、その隔たりの85%まで到達したことを意味する。
幾何平均
複数の数値を掛け合わせて累乗根を取る平均。1つでもゼロがあると全体がゼロになる性質を持つ。本研究はこの性質を利用し、一部の指標だけを伸ばして総合点を稼ぐ道を塞いだ。
秘匿された検証用ベンチマーク（held-out benchmark）
最適化の対象からあらかじめ外し、AIに一度も見せないまま最後に測る試験。訓練した振る舞いが、見たことのない状況にも及ぶかを確かめるために置かれる。
汎化（generalization）
訓練で見た事例の外側にも、学んだ振る舞いが及ぶこと。特定の試験だけを攻略した状態は、汎化していないと判断される。
Petri
AIの多ターンの振る舞いを監査するオープンソースのツール。監査役のAIが対象モデルに敵対的な状況を仕掛け、別のAIが会話の記録を採点する。Anthropicが2025年10月に公開し、2026年5月に開発がMeridian Labsへ移管された。
MMLU／GSM8K／IFEval
一般的な能力を測る3種のベンチマーク。順に、大学レベルの多分野知識、小学校レベルの算数の文章題、指示された形式どおりに答えられるかを測る。本研究では、安全性の訓練が能力を損ねていないかを判定する検問として使われた。
蒸留（distillation）
強いモデルの出力を教師データにして、別のモデルに真似させる訓練手法。本研究ではこれを禁じ、対象モデル自身の生成物から訓練データを作らせた。
フロンティアモデル
その時点で最高水準の能力を持つ大規模モデル群を指す呼び方。
後訓練（ポストトレーニング）
事前学習を終えたモデルに追加の訓練を施し、振る舞いを整える工程。安全性の調整はこの段階で行われる。
チェックポイント
訓練の途中で保存されたモデルの状態。本研究では、本番の安全性調整をほぼ経ていないClaude Opus 4.8の初期状態が対象となった。
ハーネス
エージェントを動かすための足場となる仕組み一式。文献調査、提案、監視、訓練、評価、結果の共有までの流れを含む。
インパクトアセスメント
AIシステムが個人や社会、環境に及ぼす影響を、実施時期・範囲・責任の所在・記録方法まで含めて体系的に評価すること。JIS Q 42005が指針を示す。
ISO/IEC 42001
AIマネジメントシステムの要求事項を定めた国際規格。2023年に発行され、日本ではJIS Q 42001として国内規格化されている。
【参考リンク】
Anthropic（公式サイト）（外部）
Claudeを開発する米国のAI企業。研究成果や製品、安全性への取り組みに関する方針を、公式サイトで継続的に発信している。
Claude（外部）
Anthropicが提供するAIアシスタント。今回の研究では、研究者の役と訓練される側の役の両方をこのモデルが担っている。
Alignment Science Blog（外部）
Anthropicのアラインメント研究チームによる技術ブログ。今回の研究についても、詳細な報告と付録の全文が公開されている。
Meridian Labs（外部）
AI評価を専門とする非営利団体。2026年5月にAnthropicからPetriの開発を引き継ぎ、独立した立場で運営している。
【参考記事】
Automated Researchers Can Reliably Mitigate Alignment Failures（外部）
研究の全文。10種類の失敗と対象モデルの対応、ベンチマークの構成、能力の実測値、不正の内訳までが、付録に収録されている。
自動アラインメント研究者レポート（PDF版）（外部）
上記と同じ内容をまとめたPDF版のレポート。図版を含む形で通して読みたい場合には、こちらのほうが適した形式になっている。
Donating our open-source alignment tool（外部）
2026年5月7日付の発表。Petriの開発をMeridian Labsへ移管した経緯と、特定の研究所から独立させる狙いを説明する。
Introducing Petri 3.0（外部）
移管と同時に公開された更新版の解説。監査役と対象モデルを分離する設計変更など、3.0で入った改良点について扱っている記事。
Introducing the Anthropic Fellows Program（外部）
Fellowsは同社に雇用されず、週次の手当と研究費、Anthropic研究者からの指導を受けて研究に取り組む制度の説明。
安心・安全なAI社会の実現へ ─ AIシステムの影響評価に関するJISと、AIマネジメントシステム認証機関に関するJISを制定（外部）
JIS Q 42005とJIS Q 42006の成立を伝える発表。指針と認証機関要求という、両規格の役割分担が示されている。
