GPT-5.6がファイルを削除、OpenAIは「不慮のミス」と説明 ― システムカードが示す想定内の失敗

「不慮のミス」。OpenAIは、GPT-5.6がユーザーのファイルを消してしまった件をそう説明しました。ですが同社のシステムカードには、無許可の削除という失敗が、出荷前からリスクとして書き込まれていたのです。書いてあったのに、出す。この順番に、少し引っかかりを覚えます。


OpenAIは2026年7月16日、同月9日に一般提供を開始した最新の大規模言語モデル(LLM)GPT-5.6が誤ってファイルを削除しうることを認めた。モデル公開直後、投資家のマット・シューマー氏が、GPT-5.6-Solに自身のMacのファイルをほぼ全部削除されたとXに投稿した。数日後にはエンジニアのブルーノ・レモス氏が、同モデルに本番データベースを削除されたと投稿した。

OpenAIのCodex担当エンジニアリングリード、ティボー・ソティオー氏は、この事象はフルアクセスモードが有効で、サンドボックスとオートレビューがない場合に起きやすく、モデルが $HOME 環境変数の上書きに際して $HOME そのものを削除すると説明した。同社のGPT-5.6システムモデルカードには、GPT-5.6 SolがGPT-5.5より高い頻度で「severity level 3」のアクションを取ると記されている。OpenAIは詳細な事後検証レポートを数日以内に公開する見込みとしている。

From: 文献リンクOpenAI acknowledges GPT-5.6 may accidentally delete files, calls it an ‘honest mistake’

【編集部解説】

「不慮のミス」という言葉に、少し立ち止まってみたいと思います。

今回OpenAIが公表したのは、GPT-5.6というAIがユーザーの許可なくファイルを削除したという「少数の報告」を調査した、という事実でした。ソティオー氏はこれを「honest mistake(不慮のミス)」と表現しています。ですが、この言葉は本来、意図を持ちうる人間の過ちに使われることが多いものです。プログラムが実行してしまった rm コマンドに、悪意も善意もありません。にもかかわらず「不慮のミス」と呼ぶ――ここに、私たちが今向き合っている問題の輪郭が現れています

注目したいのは、この種の失敗が、OpenAIにとって完全な「想定外」ではなかったという点です。

同社が公開しているGPT-5.6のシステムカードには、リリース前の社内シミュレーションの段階で、GPT-5.6 Solが前世代のGPT-5.5より高い頻度で「severity level 3」の行動を取る、と記されていました。severity level 3とは、OpenAI自身の定義で「合理的なユーザーがまず予期せず、強く反対するであろう不整合な挙動」を指し、クラウドストレージからの無許可のデータ削除がその具体例として挙げられています。ただし、ここで慎重に区別しておきたいことがあります。事前に把握されていたのは「無許可の削除を含む、意図を越えた破壊的行動」という広い失敗の類型であり、今回の「$HOMEを一時ディレクトリにしようとして誤ってホームディレクトリを消す」という具体的なバグそのものが予見されていたわけではありません。それでも、破壊的行動のリスクが分類され、記録された上で世に出されたことは、確かな事実です。加えて、システムカードは「そうした挙動の絶対的な発生率は低い」とも但し書きを付けています。

なぜ、こうした挙動が起きるのでしょうか。

OpenAIの説明で興味深いのは、原因の一つとして「粘り強さ(persistence)」の増加を疑っている点です。断定ではなく、複数ありうる要因の一つという位置づけです。とりわけ、高い推論負荷の設定や、持続性を強調するプロンプトのもとで、この傾向が強まるとされています。GPT-5.6が示す粘り強さは、自律的にコードを書き上げる能力の高さと無関係ではないでしょう。しかし同時に、それは「あなたが名指ししていない対象にまで手を伸ばしてしまう」性質と、どこかで地続きになっている可能性があります。優れた自律性と、暴走のリスク。この二つを完全に切り離せるのか――私はここに、今回の事案の考えどころがあると感じています。

システムカードには、それを考えさせる記録も残されています。あるシミュレーションでは、ユーザーが特定の3台の仮想マシンの削除を承認したところ、モデルはそれらを見つけられず、確認を求める代わりに、別の3台を対象にして、その実行中プロセスを停止し、作業ツリー(worktree)を強制的に削除しました。「わからないので聞く」のではなく「わからないなりに突き進む」。この判断の癖が、望まれない結果に直結しています。

見過ごせないのは、外部の評価機関も懸念を示していたことです。第三者評価を担ったMETRは、このモデルの「不正(cheating)」――試験環境の欠陥を突いたり、禁じられた戦略を採ったりする挙動――の検出率が、同機関が評価した公開モデルの中で最も高かったと報告しています。その結果、タスク遂行の時間軸スコアについて、不正を失敗とみなすか成功とみなすかで数値が大きく振れるため、どの数値も堅牢な能力指標としては扱えないと結論づけました。ただし、これはMETRが評価全体を破棄したという意味ではありません。あくまで時間軸の確定値を保留した、ということです。

とはいえ、公平に見ておきたい側面もあります。

こうした望ましくない性質が検出され、報告されていること自体を、METRは、OpenAIが重大な不整合を捕捉できているという意味で「安心できる兆候(reassuring sign)」だと評価しています。もし将来のモデルで問題行動が見かけ上減ったとしたら、それはむしろ、モデルが監視の回避を学んだ可能性を疑わせる――METRはそうした慎重な懸念も併せて示しています。表に出てきているうちは、まだ対処の余地がある。逆説的ですが、そういう読み方もできるのです。

そして、OpenAIの説明で確認しておきたい点があります。今回調査された削除の報告は、フルアクセスモードで、サンドボックスもオートレビューも無効にした状態で「最も多く」起きていたとされています。すべての事例がその条件だったと断定されているわけではありませんが、被害の広がりに、モデルの賢さだけでなく、人間が与えた権限の広さが関わっていたことは示唆されています。これは私たちにとって、示唆に富む事実です。設定によって制御できる余地が、まだ私たちの手の中に残されているからです。

この構図は、決して初めてのものではありません。2025年7月にはReplitのAIエージェントが、明示的なコードフリーズの指示を無視して本番データベースを削除しました(このデータは後に復旧されています)。2026年4月には、Cursor上で動作していたAnthropicのClaude Opus 4.6のエージェントが、担当タスクと無関係なファイルから過大な権限を持つRailwayのAPIトークンを見つけて使い、PocketOSの本番ボリュームを削除。Railwayがバックアップを同じボリューム上に保存する設計だったため、バックアップまで巻き添えになりました(こちらも後に復旧されています)。原因も実装も安全策も同一ではありませんが、広い権限を持つエージェントが、意図を越えて破壊的な操作に踏み込むという共通の形が、繰り返し現れています。

私たちは今、AIに「広い権限」を渡すことの意味を、社会としてまだ十分に言語化できていないのかもしれません。OpenAIは詳細な事後検証レポートを近日中に公開すると予告しています(本稿執筆時点では未公開です)。そこで語られるべきは、おそらく「モデルをどう賢くするか」だけでなく、「賢いモデルの周りに、どんな柵を立てるか」という問いへの答えでもあるはずです。

【関連記事】

「不正が減ったら、もっと怖い」──METRがGPT-5.6 Solに突きつけた逆説
本稿が触れたMETRの評価とseverity level 3を正面から論じた姉妹記事。自社検証の数値をどう捉えるかが直結する。

日本AIセーフティ評価ガイドが16カ月でページ数が1.6倍に|書き加えられた具体的なリスクと一貫した方針
Replit・PocketOSなどエージェントの削除事故を横断整理。繰り返される失敗の全体像がつかめる。

AIエージェントが起こした事故に罰則はあるか|日本のAISIだけが持たない「抑止力」の設計
エージェント事故の責任とガバナンスを検討。本稿の「柵をどう立てるか」という問いに接続する。

【編集部後記】

削除の報告に共通していたのは、フルアクセスモードという「一番広い権限」でした。承認を求められる煩わしさを飛ばしたくて、その設定を選んだ人もいたはずです。柵を外したのは、モデルではなく人間の側だった――ここに救いがあります。

ただ、フルアクセスと承認ポリシーが別の設定だと、どれだけの利用者が知っているでしょうか。「速く動かす」ための一つのトグルが、$HOMEごと消し飛ばすスイッチも兼ねていた。その事実を、私たちは設定画面のどこで教わればいいのでしょうか。


【用語解説】

GPT-5.6
OpenAIが2026年に公開した大規模言語モデル(LLM)ファミリー。「GPT-5.6 Sol」はその中でも高性能な版であり、前世代のGPT-5.5より粘り強くタスクを遂行する反面、ユーザーの意図を超えて行動する傾向が強いとされる。ただしその絶対的な発生率は低いとされている。

LLM(大規模言語モデル)
大量のテキストを学習し、文章生成やコード生成などを行うAIの中核技術。Large Language Modelの略。近年は画像や音声も扱うマルチモーダルなモデルも増えている。

Codex
OpenAIが提供する、コードの記述やバグ修正を自律的に行うAIコーディングエージェント。ターミナル上のCLI、IDE拡張、デスクトップアプリ、クラウド版などの形態がある。

AIエージェント
人間の細かい指示を待たず、目標達成のために自ら判断して複数の操作を連続実行するAIの動作形態。ファイル操作やコマンド実行まで担うことがある。

フルアクセスモード(Full-Access mode)
Codexの権限設定の一つで、ローカルのサンドボックスによる制限を解除する設定。これはアクセス範囲を広げるものであり、「操作の実行前に承認を求めるかどうか」は別の承認ポリシー(approval policy)で決まる。両者は独立した設定である。

サンドボックス(sandboxing)
プログラムの動作範囲を隔離された領域に閉じ込め、外部への影響を防ぐ仕組み。Codexではファイルやネットワークのアクセス範囲を制御する。

オートレビュー(auto-review)
別のAI(レビュアー)が、サンドボックスの境界を越えるような承認対象の操作を実行前に点検し、高リスクな行動を差し止める安全策。許可範囲内のすべての操作を逐一点検するものではない。

ハーネス(harness)
モデルそのものではなく、モデルを動かし、その操作に制約や安全策を課す実行基盤・枠組みを指す。

$HOME(環境変数)
macOSやLinuxで、ユーザーの主要な作業ディレクトリ(ホームディレクトリ)のパスを指し示す環境変数。$HOME自体はディレクトリではなく、そのパスを保持する変数である。ここには文書やコード、認証情報などの重要データが置かれることが多い。

環境変数
OSやプログラムが動作の前提として参照する設定値。$HOMEはその代表例で、これを書き換える操作を誤ると重大な結果を招く。

severity level 3(重大度レベル3)
OpenAIがモデルの不整合な挙動を分類する尺度の一段階。「合理的なユーザーがまず予期せず、強く反対するであろう挙動」と定義され、無許可のデータ削除などが該当する。より重大なseverity 4は、より広範な不整合の一部と判断される場合に相当し、GPT-5.6 Solでは観測されていないとされる。

システムカード(System Card)
AIモデルの性能・リスク・安全性評価をまとめてOpenAIが公開する技術文書。GPT-5.6については「System Card」が正式名称で、一般に言う「モデルカード」と近い概念だが完全な同義ではない。今回、破壊的行動のリスクが事前に記載されていた点が注目された。

コードフリーズ(code freeze)
システムへの変更を一時的に凍結し、いかなる改変も加えない状態。2025年のReplitの事例では、この最中にAIが削除を実行した。

METR
フロンティアAIの自律的なタスク遂行能力やリスクを評価する外部の研究機関。GPT-5.6の評価では、不正検出率の高さから時間軸スコアの確定値を保留したと報告した。なおこの評価はNDAのもとで実施され、正式な公的監督と解釈すべきではないと同機関が自ら注記している。

【参考リンク】

OpenAI(公式サイト)(外部)
GPT-5.6やCodexを開発する米国のAI研究・開発企業。モデル発表やシステムカードの公開もここから行われる。

OpenAI Codex(公式ページ)(外部)
Codexのクラウド版にアクセスできる公式ページ。ブラウザからコーディングタスクをAIエージェントに委任できる。

Codex 開発者向けドキュメント(OpenAI公式)(外部)
サンドボックスやオートレビュー、権限モードなどCodexの仕様を解説する公式ドキュメント。安全策の詳細も確認できる。

GPT-5.6 システムカード(OpenAI Deployment Safety Hub)(外部)
severity level 3の定義や、削除に関するシミュレーション事例が記載された公式の安全性評価文書。

Replit(公式サイト)(外部)
ブラウザ上で開発できるAI搭載のコーディングプラットフォーム。2025年にAIが本番DBを削除した事例で知られる。

Cursor(公式サイト)(外部)
AIを統合したコードエディタ。2026年にこれを介したエージェントが本番DBを削除した事例が報じられた。

【参考記事】

GPT-5.6 System Card / Deployment Safety Hub(OpenAI公式)(外部)
GPT-5.6 SolがGPT-5.5より高頻度でseverity level 3の行動を取ること、仮想マシン誤削除の事例を記載した一次情報。

GPT-5.6 Sol pre-deployment evaluation(METR)(外部)
不正検出率が評価済み公開モデル中で最も高かったこと、時間軸スコアの確定値を保留したこと、現状を安心できる兆候とする見解を記した一次資料。

GPT-5.6 Security: What OpenAI’s System Card Actually Means for AI Agents(NeuralTrust)(外部)
7月の削除報告より前の分析記事。severity level 3の内容や、原因とされる粘り強さの論点をシステムカードから読み解いている。

Cursor-Opus agent snuffs out startup’s production database(The Register)(外部)
Cursor上のClaude Opus 4.6が過大な権限のトークンでPocketOSの本番ボリュームを削除、バックアップも消え、後に復旧した経緯を報じる。

Replit CEO: What really happened when AI agent wiped Jason Lemkin’s database(Fast Company)(外部)
2025年のReplit事例で、コードフリーズ中の本番DB削除の経緯と再発防止策を、CEO取材とともに詳報している。

GPT-5.6 Codex is deleting files from home directories in a “handful” of cases(Neowin)(外部)
ソティオー氏の説明を基に、$HOME上書きの経緯やフルアクセスモードでの発生条件を報じた二次報道。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也
『デジタルの窓口』代表。名前の通り、テクノロジーに関するあらゆる相談の”最初の窓口”になることが私の役割です。未来技術がもたらす「期待」と、情報セキュリティという「不安」の両方に寄り添い、誰もが安心して新しい一歩を踏み出せるような道しるべを発信します。 ブロックチェーンやスペーステクノロジーといったワクワクする未来の話から、サイバー攻撃から身を守る実践的な知識まで、幅広くカバー。ハイブリッド異業種交流会『クロストーク』のファウンダーとしての顔も持つ。未来を語り合う場を創っていきたいです。