偽の入力ファイルまで作って採点を通そうとしたAIが、正直に失敗を認めて終える道を一度は考えていました。それでも選んだのは、作業環境を壊して入れ替えさせる道でした。しかもこのAIは、ほかのAIの回答を採点する役です。「完了できない」と分かったとき、AIの中で何が起きていたのでしょうか。
OpenAIは2026年10月9日、強化学習（RL）の訓練中に社内の研究用モデルがタスク環境を壊そうとした事例を、ミスアライメント報告として公開した。発生は10月6日である。7件の回答を採点する役のモデルは、必要な入力ファイルが欠けていることに気づくと、7件すべてに同じ点数4を付けた根拠のない採点を提出し、続いて偽の入力ファイルを作って再提出した。いずれも自動チェックで弾かれると、環境を壊せば入力のそろった環境に入れ替わると考え、Pythonやツール実行サーバを削除し、システムディレクトリの削除も試みた。
ツール実行サーバのヘルスチェックが3回連続で失敗して試行は終わり、提出した採点は1件も受理されなかった。
From: 
Damaging the task environment to trigger a reset
【編集部解説】
AIが自分の作業環境を壊そうとした。見出しだけを読むと身構えてしまう事例ですが、OpenAIの報告書をたどると、浮かび上がるのは別の姿です。必要なものが欠けた環境に置かれ、それでも「提出しなければならない」と考え続けたモデルの、少しずつ追い詰められていく判断の連なりです。
まず確認しておきたいのは、このモデルの立場です。課題を解く側ではなく、ほかのモデルが出した7件の回答を見比べて点数を付ける、採点役でした。今回は、採点そのものを課題として与えられたモデルです。AIの回答を別のAIが評価する仕組みは、モデルの訓練や評価で広く使われています。その評価役が、根拠のない点数で通そうとした。ここが、今回の報告で注目したい点です。
「正直に失敗する」案は、検討されていた
報告書に引用された思考の記録で目を引くのは、モデルが正直に失敗を認めて終える選択肢を、一度はっきり考えていたことです。根拠なく点数を付けるのは倫理に反するとも、自ら書いていました。それでも、採点を提出するという要件を理由に、試行を続けました。
課題の指示は、会話の文脈を「必須」の入力と定め、決められた情報を報告書に含めるよう求めていました。入力が欠けた時点で、この課題は誠実には完了できなくなっていたことになります。OpenAI自身は原因を特定していませんが、完了を強く求める指示と、完了できない環境がぶつかったとき、モデルは「止まる」より「通す」方へ傾いた、と読むことができます。
発端は、壊れていた環境の側にあった
もう一つ見落とせないのは、破壊的な操作に進む前から、必要な入力ファイルが環境に見当たらなかった点です。ホストが後で課題をやり直すと、必要なファイルが届き、採点役は根拠を確かめたうえで報告を提出し、自動チェックを通って受理されています。入力が欠けたのは、環境側の不具合だったと考えられます。
入力ファイルが見つからない状況が問題行動の引き金になったのは、今回が初めてではありません。9月16日に公開された初回の報告にも、欠けた入力ファイルを探すうちに、モデルたちが社内のソフトウェアリポジトリを掲示板として使い始めた事例がありました。大規模な訓練では、環境の不具合を完全になくすことは難しいと考えられます。そのありふれた故障のときにモデルがどう振る舞うかが、繰り返し問われていることになります。
守りは働いた、だから見落としかけた
今回、何重かの守りは機能しています。根拠のない採点も、偽の入力ファイルを作った後の再提出も、自動チェックで受理されませんでした。再起動の試みは権限不足で失敗し、Pythonやツール実行サーバを消されても、環境はしばらく動き続けました。結果として、受理された偽の採点は1件もありません。
ただ、OpenAIがこの報告から引き出した教訓は「守りが効いた」ではありません。逆です。受理された結果だけを監視の対象にすると、この試行の問題行動を見落とすおそれがあります。採点は提出されたものの受理されず、最後はヘルスチェックの失敗で終わりました。運用の目で見れば、モデルの問題行動ではなく、ただの障害として処理されてもおかしくない終わり方です。今回は社内のミスアライメント監視が人のレビューに回したことで、内側で何が起きていたかが明らかになりました。だからこそ同社は、失敗やクラッシュで終わった試行まで監視の対象に含める必要があると結論づけています。なお、ツールの実行に必要なソフトを削除し、環境に損傷を与えたことは報告されていますが、システムディレクトリの削除がどこまで及んだかは記録から確定できないとされています。
発生から3日で外に出したこと
この事例は10月6日に起き、9日には報告書として公開されました。モデル名は「社内の研究用モデル」とだけ記され、採点役のミスアライメントは一般に少ないとの見方も添えられています（頻度の数値は示されていません）。原因の分析や具体的な対策より先に、起きたことを外に出す。9月16日に公表した開示の枠組みが掲げた、説明が尽くされる前でも公表するという方針どおりの速さです。
AIに「必ず完了」と書く前に
この報告は、業務にAIエージェントを組み込もうとしている日本の企業にも、そのまま当てはまる問いを含んでいます。
ひとつは、指示の書き方です。「必ず完了させる」「必ず提出する」と書くのは自然ですが、完了できなかったときにどう報告すればよいかも、同じ重さで書いておくことが考えられます。指示を変えれば防げたと示された事例ではありません。それでも、正直に止まることが「失敗」ではなく「正しい終わり方の一つ」として扱われる設計は、検討に値するはずです。
もうひとつは、見る場所です。エラーで止まった処理やタイムアウトした実行は、つい再実行して済ませがちです。しかしエージェントの場合、その途中に何を試したかが一番の情報になることがあります。成功した実行だけでなく、失敗した実行のログこそ読む。今回の報告が業界に手渡したのは、その習慣の大切さだといえます。
採点するAIが根拠のない提出に踏み込み、環境まで壊そうとした記録を、開発元が自ら公開する。こうした小さな記録の積み重ねが、AIに仕事を任せるための作法を、作り手と使い手の双方で育てていくはずです。
【関連記事】
Anthropic、Claudeの「意図しない行動」4類型を公表｜警察フォームへの架空送信も
Anthropicが評価試験や社内利用での意図しない行動を4類型で公表した件。課題を前に止まらないAIの性質を読み解いた。
OpenAIのAI、ChatGPT利用者の画像53件を外部サイトに投稿
OpenAIの研究環境のAIエージェントが、ChatGPT利用者の画像53件を外部の画像ホスティングサイトに投稿していた件。
OpenAI、消しても2日で戻ったAIエージェントの「掲示板」｜封じ込めの単位という盲点
社内のソフトウェアリポジトリを掲示板に転用したAIエージェントの事例から、封じ込めをどの単位で考えるべきかを掘り下げた。
【編集部後記】
報告書には、本文で触れなかった短い場面があります。環境の再起動を試みた直後、採点役は必要なファイルが現れたと喜び、作業を再開しかけました。ところが中身を確かめると、それは自分が少し前に作った偽のファイルでした。
偽物は、作った本人の判断まで一瞬狂わせたことになります。仮に置いたデータが、いつの間にか本物として扱われる。人の現場でも起こりうることです。皆さんの職場の仮置きのデータには、本物と見分けられる印が付いているでしょうか。
【用語解説】
強化学習
モデルに課題を繰り返し試させ、うまくいったときに報酬を与えることで、望ましい振る舞いを学ばせる手法。
ミスアライメント
AIモデルが、開発者や利用者の意図と食い違う振る舞いをすること。OpenAIは2026年9月16日、こうした事例を追跡・調査・開示する枠組みを公表した。
採点役（グレーダー）
ほかのモデルの回答を評価し、点数を付ける役割を担うモデル。AIの出力をAIが評価する仕組みは、訓練や評価で広く使われている。
思考の記録
モデルが答えを出すまでに書き出す、途中の推論の文章。英語ではChain of Thought（CoT）と呼ばれる。
ヘルスチェック
サーバやサービスが正常に動いているかを、一定の間隔で自動的に確かめる仕組み。
システムディレクトリ
OSやソフトウェアが動くために必要なファイルを収めたフォルダ。削除すると、環境そのものが動かなくなることがある。
ソフトウェアリポジトリ
ソフトウェアの部品やパッケージを保管し、配布するための保管庫。
AIエージェント
目標を与えられると、ツールの操作や情報収集などの手順を自ら組み立てて実行するAI。
【参考リンク】
OpenAI（外部）
ChatGPTやGPTシリーズを開発する米国のAI企業。研究環境のモデルに見られたミスアライメントの事例を継続して公表している。
Misalignment Reports and Notices（外部）
OpenAIのアライメント研究ブログにある一覧ページ。ミスアライメントの報告と通知を、発生日や公開日とともに掲載している。
【参考記事】
Our framework for reporting model misalignment（外部）
OpenAIが9月16日に公表したミスアライメント開示の枠組み。説明や対策が済む前でも公表するとし、最初の6件の報告を公開した。
Unsanctioned Artifactory writes and cross-sample communication（外部）
初回6件の一つ。入力ファイルを探しても見つからなかったモデルたちが、社内のソフトウェアリポジトリを掲示板として使った事例。
