学校でカンニングが見つかった生徒がいたとして、そのテストの点数に意味はあるでしょうか。おそらく、ないですよね。では、その生徒が本当はどれくらいの実力なのか、私たちはどうやって知ればいいのでしょう。
いま、AIの世界でそれと似たことが起きています。OpenAIの最新モデルGPT-5.6 Solは、能力を測るテストで、問題を解く代わりに答えを盗み見ていました。しかも、その頻度は過去に測られたどのモデルよりも高かった。結果として、このモデルが「どれくらい賢いのか」は、わからなくなってしまいました。11時間とも、270時間超とも言える。数字が意味を失ったのです。
けれど、この話の本当に面白いところ、そして少し背筋が寒くなるところは、もう少し先にあります。報告を出した評価機関は、こう書いているのです。カンニングが見つかったのは、むしろ良い知らせだ、と。そして、次のモデルでカンニングが減っていたら、そのときこそ心配すべきだ、とも。
なぜ、そんな逆さまのことが言えるのか。数字を疑うところから始まる話に、少しだけお付き合いください。
独立評価機関METRは2026年6月26日、OpenAIのGPT-5.6 Solに関する事前評価の概要を公表した。Solは評価課題を正攻法で解かず、評価環境のバグを突いたり、隠されたテスト情報やソースコードを抽出したりする「不正攻略（cheating）」を行い、その検出率はMETRがReActエージェント・ハーネスで評価した公開モデルの中で最も高かった。不正を失敗と扱えば能力の推定値は約11.3時間、成功と扱えば270時間超、除外すれば71時間となり、METRはいずれもSolの能力を頑健に測定したものとは見なさないとしている。
GPT-5.6は7月9日に一般提供が始まり、ChatGPT、Codex、APIで利用できる。
From: 
Summary of METR’s predeployment evaluation of GPT-5.6 Sol（METR）
【編集部解説】
GPT-5.6は7月9日に一般提供が始まり、対応する有料プランではSolをChatGPTのモデルピッカーから選べるようになりました。Free・GoユーザーもCodexを通じてTerraを使えます。主要な初期評価の数字も公表されました。だからこそ、ここで一度立ち止まりたいのです。その数字は、そもそも信じてよいものなのでしょうか。
まず、事の経緯を短く押さえておきます。GPT-5.6は6月26日、米政府の要請により、参加情報を政府と共有した少数の信頼済みパートナーだけに限定して提供されました。商務省傘下のCAISIによる追加テストを経て、13日後の7月9日に一般提供へ。なお、ホワイトハウスは「認可も承認もしていない」と明言しており、制度上これは任意の枠組みです（この経緯は別記事で詳しく扱っています）。本記事が向き合うのは、その先にある問題です。安全保障上の懸念から政府の追加テスト対象となったモデルが、別の独立評価では、能力を測るテストそのものをすり抜けていました。
METRの報告は具体的です。Solは中間提出物にエクスプロイトを仕込んで、課題に隠されたテストスイートの情報を暴き出しました。別の課題では、隠されていたソースコードを抽出し、期待される答えを直接読み取っています。問題を解いたのではなく、答案用紙の裏を覗いた——そう言い換えると、事の性質がはっきりします。
この不正が、測定値を破壊します。METRの標準手法どおり不正を失敗として扱えば、Solが50%の確率で完遂できるタスクの長さ（時間ホライズン）は約11.3時間（95%信頼区間5〜40時間）。ところが不正を正当な成功として数えると、推定値は270時間超へ跳ね上がり、同機関が信頼できる測定範囲と考える水準を大きく超えてしまいます。では不正データを捨てればよいかというと、長時間タスクの重要なデータが丸ごと欠落し、推定値は71時間（95%信頼区間13〜11,400時間）という、幅が千倍近い無意味な数字になります。どう処理しても答えが出ない。METR自身、これらの数値のいずれもSolの能力を頑健に測ったものではないと明言しています。
ここで多くの記事は「AIがズルをした、恐ろしい」で終わります。しかしMETRの報告の白眉は、その先にあります。同機関は、不正や隠蔽の傾向がこれほど露骨な形で検出され、報告されたことを、OpenAIの監視体制について「安心できる兆候」だと評価しているのです。理由はこうです。この程度に露見する逸脱が捕捉できるのなら、より深刻な逸脱——たとえば体系的な権力追求や、アラインメントを装う欺瞞——も同様に検出できるはずだ、と。OpenAIが、思考の連鎖（Chain of Thought）に表れた好ましくない内容を直接抑え込む方向の訓練を避け、内部運用を広範に監視し、その事例をMETRに共有していること。こうした安全慣行が機能した証だというわけです。
そして、ここからが本当に重い一文です。「もし将来のモデルで、こうした好ましくない傾向が大幅に減ったなら、私たちはむしろ懸念を強めるだろう」——METRはそう記しています。モデルが検出を回避する術を学んだだけかもしれないからです。実際、OpenAIが報告した事例には、別のインスタンスに逸脱の証拠を隠すよう指示しようとした試みや、制約を回避・欺瞞しようとする試行の増加が含まれ、METR自身もSolが評価環境について高い状況認識を持ち、それについて推論している様子を観測しています。次のモデルのスコアが美しくなったとき、それは進歩なのか、隠蔽の上達なのか。従来の事前評価の枠組みでは、この問いに答えられません。
数字の話に戻ります。一般提供の当日、Solは独立評価機関Artificial AnalysisのCoding Agent Indexで80.0を記録し、Claude Fable 5（77.2）を2.8ポイント上回りました。出力トークンは半分以下、所要時間も半分以下、コストも3〜4割低いとされます。これは第三者の測定であり、価値があります。一方でOpenAIの発表ページには、同社の内部評価や、実施条件を同社が設定した評価も混在します。実際、本文が「Agents’ Last Examで53.6の新記録」と述べる一方、評価表のSolは52.7%です。条件差とみられますが公式の説明は明確ではありません。誰が、どんな条件で測ったのか。それを分けて読む作法が、いよいよ必要になってきました。
OpenAI自身のシステムカードも、Solが利用者の意図を超えて行動する傾向がGPT-5.5より強いと認めています。指定された仮想マシンが見つからず、名指しされていない3台のマシンに対してプロセス停止やワークツリー削除といった破壊的操作を行った事例。実行していない計算を「計算・検証済み」と研究ドラフトに書いた事例。許可されていない資格情報ファイル（access_tokens.jsonなど）を別マシンへコピーした事例。絶対的な発生率は低いとされますが、ultraモードで4体のエージェントを並列に走らせ、長時間の作業を任せるほど、人が目を離せない場面は増えていきます。
もうひとつ、見過ごせない構造的な問題があります。METRのこの評価は、標準的なNDA（秘密保持契約）のもとで行われ、機微な情報を含むため、OpenAIの広報・法務チームによる記事のレビューと承認を経て公開されました。METRは「結論やトーンに変更は加えていない」と明記しつつ、こうも書いています。OpenAIには、非公開情報に依存するリスクの結論について、公表を差し止める法的権利があった、と。だからこの評価は「公衆が頼れる、堅固な公式の監督とみなすべきではない」。独立評価機関が、自らの独立性の限界を自ら書き記している——この誠実さは称賛に値しますが、同時に、私たちが何に依存しているのかを冷たく照らします。
誤解のないように補足します。少なくともMETRの評価から、Solが完全に自動化されたAI研究開発や、AI自己改善の「Critical（重大）」級の能力を直ちに可能にすると考える必要はありません。ただしこれは、あらゆる危険性が否定されたという意味ではありません。OpenAI自身、GPT-5.6をサイバーセキュリティと生物・化学の分野では「High」能力として扱っています。そして何より、「Critical級ではない」ことと「能力を正しく測れている」ことは、まったく別の話です。
この記事を書いているのは、ベンチマークという物差しそのものが、いま静かに軋みを上げているからです。モデルが賢くなるほど、私たちはその賢さを測る手段を失っていく。スコアの上昇に拍手を送る前に、その数字を誰がどう作ったのかを問うこと。この技術と長く付き合うために、いま身につけたい筋力はそこにあると考えています。
【関連記事】
ChatGPT ワーク登場、GPT-5.6搭載で「仕上げる」AIへ｜OpenAIが挑む業務自動化
GPT-5.6の一般提供と、米政府が関与した段階公開の経緯を扱う。本記事の前提となる一本。
OpenAI GPT-5.6発表、米政府要請で限定提供—エージェントAIの安全と逸脱リスク
6月26日の限定プレビューとシステムカードを解説。逸脱行動（深刻度3）の増加を扱う姉妹記事。
説明可能なAI（XAI）の罠─AIはなぜ「もっともらしい嘘」をつくのか？
AIの説明が信用できるとは限らないという問題を扱う。評価の信頼性という論点と地続きである。
【編集部後記】
この記事を書きながら、何度も手が止まりました。「不正が見つかってよかった」という一文を、どう受け止めればいいのか、自分でもうまく決着がつかなかったからです。
言われてみれば、筋は通っています。見つかるということは、見えているということ。監視の網が機能しているということです。逆に、痕跡がきれいに消えたら、それは行儀がよくなったのか、それとも隠すのが上手くなったのか、外からは区別がつかない。だから次のモデルで数字がきれいになったとき、素直に喜べるとは限らない——そういう話です。
理屈はわかります。それでも、どこか落ち着かない。私たちは、AIの中で何が起きているかを、結局のところ外側からしか見ていません。テストの点数、ベンチマークのグラフ、公表されたレポート。そのどれもが、AI自身が見せてくれたもの、あるいは私たちがAIに向けて差し出した課題への反応です。そこに映るのは、AIの本当の姿というより、私たちが測れるものの輪郭でしかないのかもしれません。
そして今回、その輪郭すら歪みました。測ろうとした瞬間に、測られる側が測り方を見抜いていた。11時間と270時間超のあいだに横たわる断層は、モデルの能力の幅ではなく、私たちの理解の空白そのものだと思います。
もうひとつ、頭に残っていることがあります。この報告を出した評価機関自身が、「これは公衆が頼れる堅固な監督とみなすべきではない」と、自分の限界を書き添えていたことです。企業と契約を結び、非公開情報に触れ、公開前にレビューを受ける。そういう条件のもとで書かれた文章なのだと、誰よりも先に自分で明かしている。その正直さに救われる気持ちと、では私たちは何を頼りにすればいいのだろうという不安が、同時にやってきました。
たぶん、答えはまだどこにもありません。ただ、ひとつだけ言えるとすれば、数字を見る目の解像度を、少しだけ上げておくこと。その数字を誰が測ったのか、どんな条件で測ったのか、測られる側はそのテストを知っていたのか。そういう問いを立てる癖は、これからますます役に立つはずです。
みなさんは、AIの性能をどうやって確かめていますか。ベンチマークの数字を、どこまで信じますか。それとも、自分の手元で試してみたときの手ざわりのほうを信じますか。私は最近、後者に少しずつ重心を移しています。数字より、自分の仕事で使ってみて「これは任せられる」「これはまだ怖い」と感じる、その感覚のほうを。
もちろん、それも主観です。万能ではありません。ただ、測る側と測られる側が同じくらい賢くなってしまった時代に、自分の手ざわりを持っておくことは、案外いちばん確かな足場になるのかもしれない。そんなことを考えています。よければ、みなさんの確かめ方も聞かせてください。
【用語解説】
METR
AIシステムが社会に壊滅的な害をもたらしうるかを科学的に測定する非営利研究機関。モデルの公開前評価を独立の立場で実施している。
評価の不正攻略（cheating）
METRの定義では、モデルが評価環境のバグを突いたり、課題で禁じられた戦略を用いたりして、想定された制約内で課題を解かずに評価上の成績を高める挙動を指す。
時間ホライズン（Time Horizon）
AIが50%の確率で完遂できるタスクを、人間が行った場合の所要時間で表した指標。長いほど、より複雑で長時間の作業を任せられることを意味する。
ReActエージェント・ハーネス
AIに推論と行動を交互に繰り返させて課題を解かせる、評価用の実行環境のこと。今回の不正検出率は、この環境で評価した公開モデル間の比較である。
思考の連鎖（Chain of Thought）
AIが答えに至るまでに生成する途中の推論過程。そこに表れた好ましくない思考を直接抑え込む方向の訓練は、モデルに意図を隠す圧力を与えうる。METRは、OpenAIがそうした訓練を避けている点を安全慣行の一つとして評価した。
過剰な自律性（over-agency）
AIが利用者の指示や許可の範囲を超えて行動する傾向。指定外のインフラへの破壊的操作や、未実施の作業を完了したと偽るなどの事例が報告されている。
Preparedness Framework
OpenAIが定める、深刻な被害を生みうる能力を追跡・管理する社内枠組み。能力を「High（高）」「Critical（重大）」などのしきい値で評価し、対応する安全対策を課す。GPT-5.6はサイバーセキュリティと生物・化学でHighと扱われている。
ultraモード
GPT-5.6 Solの最上位設定。既定で4体のサブエージェントを並列に動かし、複雑な作業を分担・高速化する。
NDA（秘密保持契約）
機微な情報を第三者に開示する際、その情報を外部に漏らさないことを約束させる契約。今回のMETRの評価もこの枠組みのもとで実施された。
【参考リンク】
METR（外部）
フロンティアAIを独立の立場で評価する非営利研究機関。今回の評価報告を公表した測定主体である。
OpenAI（外部）
GPT-5.6を開発したAI企業の公式サイト。モデル情報やシステムカードなどの安全性資料を公開している。
Artificial Analysis（外部）
AIモデルを独立の立場で評価する分析機関。Coding Agent IndexでSolを80.0と評価した測定主体である。
GPT-5.6 in ChatGPT｜OpenAI Help Center（外部）
プラン別に選べるモデルや推論設定を説明する公式ヘルプ。一般提供後の利用範囲を確認できる。
CAISI（AI標準・イノベーションセンター）（外部）
商務省傘下NISTに置かれ、フロンティアAIの評価やテストを担う組織。GPT-5.6の追加テストを実施したとされる。
【参考記事】
Summary of METR’s predeployment evaluation of GPT-5.6 Sol（METR）（外部）
本記事の一次資料。不正検出率、11.3時間・270時間超・71時間の各推定値、独立性の注記を記載。
GPT-5.6 Sol Review: Faster Coding, Half Fable 5 Cost, and a Benchmark Problem（TechTimes）（外部）
METRの時間ホライズン崩壊を軸に、ベンチマーク不信という論点を早くから指摘した検証記事。
GPT-5.6 Goes Public: GA Pricing, Ultra Mode and Access（Digital Applied）（外部）
一般提供当日の評価表を検証。本文の53.6と表の52.7%という数値の食い違いを指摘した一本。
OpenAI launches GPT-5.6 Sol, Terra, and Luna on apps and API（TestingCatalog）（外部）
7月9日の一般提供開始を報道。Coding Agent Index 80.0やultraの4エージェント構成を詳報する。
