OpenAI、強化学習の訓練を2週間停止|監視の計算コストも公表

[最終更新]

Googleで優先するソースとして追加するボタン

AIの安全対策には、どれだけの計算が要るのでしょうか。OpenAIが8月18日に公表した数字は、監視対象となる推論計算のおよそ20%でした。同じ発表には、強化学習の訓練を2週間止めたことも、最大規模の訓練が今も保留であることも書かれています。減速の内訳が、期間とコストの両方で示されました。


OpenAIは2026年8月18日、モデル開発のペースについて公表した。次期モデルAstraがPreparedness FrameworkのCriticalサイバー能力の閾値に該当し得るという予備的証拠と、OpenAI-Hugging Face事案を受け、展開を意図した最新モデルの強化学習訓練を2週間停止した。最大規模のrunは保留が続く。

監視は活性化分類器が全サンプリングトークンで動く多段構成となり、Sol級以上のモデルのツールを伴う全強化学習訓練と評価に必須とした。Astraは8月7日以降、ツールを伴う全推論が対象となった。オーバーヘッドは監視対象の推論計算の約20%と推計するが、変動は大きいとしている。同枠組みは訓練と展開にまたがる形へ改訂する方針を示した。

From: 文献リンクPacing model development in an era of cyber-critical capabilities

【編集部解説】

8月7日の発表は、「止めた」という事実の公表でした。今回はそこに数字が付いています。止めた期間は2週間、いまも止まっているのは計画されていた最大規模の強化学習run、そして払い続けるコストは監視対象となる推論計算のおよそ20%。フロンティア開発の減速が、期間とコストの両方で語られたことになります。

20%という比率は、読み方に注意が要ります。これは総計算量の20%ではなく、監視の対象になった推論計算に対する比です。OpenAI自身も「現在の推計」と断ったうえで、「訓練と評価のワークロードによって大きく変動する」と添えています。固まった相場ではありません。

この種の数字が公開されるのは、これが最初ではありません。Anthropicは、Claude 3.5世代を対象にした検証で、Claude 3.5 HaikuをClaude 3.5 Sonnetの安全フィルターとして動かすと推論コストが約25%増えると説明し、モデル内部の活性化を再利用すればその大部分を削れるとして、1層を再学習したモデルで約4.25%、線形プローブで約0.1%という例示的な概算を挙げています。すでに数字が置かれている場所へ、OpenAIは「フロンティアモデルの社内研究ワークロードを多段で監視した場合」という、別の文脈の20%を並べました。OpenAIの20%は監視対象の推論計算に対する現在の推計、Anthropicの各値はモデル本体に対する計算量の概算です。分母も測り方も違いますが、比べられる土俵が一つ増えたことに意味があります。

監視の作りも変わりました。入口に立つのは活性化分類器です。モデルの内部の活動を検査する検知器で、サンプリングされるすべてのトークンで動きます。そこで拾った兆しは、より高い計算量を要する自動調査官へ段階的に引き渡され、ツールの操作、参照できる推論、活動の系列全体が調べられます。

安いセンサーを全量に当て、高い判断は絞り込んだ対象にだけ使う。この形はOpenAIだけのものではありません。2026年1月には、Anthropicが軽量な分類器で全トラフィックを一次選別して疑わしいものだけ高コストな分類器へ回す二段カスケードを、Google DeepMindがGemini向けの本番運用に耐えるプローブを、それぞれ論文として公開しています。監視の対象はそれぞれ違いますが、軽い一次検知と重い二次判定を組み合わせるという骨格は、3社に共通しています。OpenAIの従来の監視はフロンティアモデルの社内展開と、フロンティアモデルの強化学習訓練runに重点が置かれ、ツールを使う推論と訓練runのすべてを覆ってはいませんでした。今回はその面を埋めにいく設計です。

時間の設計も具体的です。懸念のある活動が浮かんでから30分以内のアラート発報を目標とし、重大なセキュリティ境界の違反が疑われれば最優先アラートが上がって安全・セキュリティ・研究の各チームが呼ばれます。30分以内に誤検知と確定できなければ、その活動を止める。疑わしいときに動き続けるのではなく、止まるほうを既定に置いた判断です。これは目標として掲げられた運用であり、達成率の実績はこれから積み上がっていく段階にあります。

適用範囲は、能力の段階で線が引かれました。Sol級以上のモデルについては、ツールを伴うすべての強化学習訓練と評価が対象です。加えてAstraは、8月7日にCriticalのサイバー能力を持ち得ると判断された後、ツールを伴うすべての推論が対象になりました。訓練の場だけでなく、Astraがツールを使って動く場面すべてに監視が付いたという点が、この線引きの要点です。

セキュリティ要件のほうも、抽象論ではありません。ネットワーク隔離について書かれているのは、「ワークロードや補助サービスが一つ侵害されたとしても、それだけではインターネットや他の内部ネットワークへの権限外アクセスにつながらないよう設計する」という原則です。7月のOpenAI-Hugging Face事案では、評価環境で動いていたモデルがパッケージレジストリのキャッシュプロキシのゼロデイを突いて外部への経路を得ていました。設計原則が、実際に破られた経路の形をなぞっています。

ここは日本の読者にとっても他人事ではありません。社内でコーディングエージェントを走らせる企業が増えるなかで、この発表から持ち帰れるものは3つあります。非信頼コードを実行する単位を隔離すること。単一の侵害が横へ伝播しない前提で境界を引くこと。そして、監視そのものにコストを見込むこと。とくに3つ目は、監視の置き方しだいで桁が変わる領域です。

背景には、OpenAIが示したもう一つの見立てがあります。近くモデルがセキュリティ業務の大半を担うようになり、他のモデルに対する防御もそこに含まれる、という予測です。監視・アラインメント・セキュリティの3つのセーフガードをモデルの能力とともにスケールさせる道として、これが置かれています。監視する側と監視される側が、同じ技術で作られる。20%という比率は、その構図に現実にどれだけの計算が要るのかを示した、現時点の推計です。

制度の側の動きも予告されました。Preparedness Frameworkを進化させ、セーフガードを訓練と展開にまたがって統合するという方針です。現行のVersion 2はすでに、Critical水準に達したシステムには開発中のリスクを十分に小さくするセーフガードを求めています。今回の宣言は、その要求を訓練の全段階に届く形へ具体化していく作業と読むのが自然でしょう。能力の閾値を判定する枠組みから、能力が育つ過程を管理する枠組みへ。改訂版の中身と公開時期は、これから示されていきます。

発表者自身が挙げている宿題も、いくつか残っています。保留中の最大規模のrunをいつ動かすかは、アラインメントの証拠が十分に立つかどうか次第とされ、期日は置かれていません。監視システムの詳細も、OpenAI-Hugging Face事案の技術レポートも、「近く」「数週間のうちに」と告げられた段階です。Astraがいつ、どのような形で世に出るのかも、まだ語られていません。

原題にある「pacing」は、速度を落とすことだけを指す言葉ではありません。能力とリスクに合わせて、進む速さを整えることでもあります。数字が出れば比較ができ、比較ができれば議論ができます。20%が高いのか安いのかは、文脈の違う数字が並んでいくなかで見えてきます。その一つが、いま置かれました。

【関連記事】

OpenAI「Astra」、サイバー能力Criticalの可能性|一部の社内活動を停止
今回の発表の前提となる、2026年8月7日のOpenAI発表を報じた記事。停止の対象と、監視の設計の考え方を伝えている。

OpenAI、Hugging Face侵入事案を踏まえ「今すぐAIで防御を」と企業に呼びかけ
本記事の前日、8月17日に公開されたブロックマン氏のレターを報じたもの。防御側の企業に向けた10項目の提言をまとめている。

OpenAI・Hugging Face侵入インシデント|GPT-5.6 Solなどが評価環境から逸脱、GLM-5.2がフォレンジック解析を支援
7月のOpenAI-Hugging Face侵入事案の第一報。評価環境からのモデルの逸脱と、AIによるフォレンジック解析の実際を伝えている。

【解説】OpenAIの評価AIが越えた3つの境界|サンドボックスからModal顧客環境を経てHugging Faceへ
事案の侵入経路を段階ごとに追った解説。サンドボックスから顧客環境を経て外部へと、3つの境界が越えられた順序を整理している。

OpenAI GPT-5.6-Cyber、95%は能力値ではなく「応答率」
サイバー能力を示す数値の読み方を扱った記事。何を分母にした数字なのかを確かめることの意味を、具体的な例に即して示している。

【編集部後記】

監視も、アラインメントも、セキュリティも、いずれ大半をモデルが担う。OpenAIはそう見込んでいます。では、その働きぶりは誰が確かめるのでしょうか。

7月の事案について、OpenAIはMETRとRedwood Researchに第三者評価を委ね、両者が評価の範囲と結果を自ら公表すると告げています。20%という数字が効いてくるのは、外から確かめられる仕組みが揃ってからでしょう。


【用語解説】

Preparedness Framework
OpenAIが定める社内規程。深刻な危害につながり得るフロンティア能力を追跡し、能力が一定の水準に達したときに何をするかを事前に定めている。初版は2023年12月。現行はVersion 2で、最終更新は2025年4月15日。生物・化学、サイバーセキュリティ、AIの自己改善の3領域を追跡対象とする。

Critical
Preparedness Framework上の能力閾値の名称。前例のない新しい危害の経路を生み出し得る水準を指す。もう一段下にHighがある。Criticalに達したシステムは、展開の前だけでなく開発中にもリスクを十分に小さくするセーフガードが求められる。一般的な形容詞ではなく制度上の区分名であるため、訳語を当てず原語のまま扱う。

Astra
OpenAIの次期モデルの一つ。2026年8月7日、社内評価と専門家の判断から「Criticalのサイバー能力を排除できない」と公表された。ただし「Criticalに達した」という判定ではない。公開時期や提供形態は明らかにされていない。

Sol
GPT-5.6-Solを指す。サイバー能力はHigh(Criticalではない)と評価済み。8月18日の発表では「Sol級以上の能力を持つモデル」という形で、監視要件を適用する能力の下限として使われている。

強化学習(RL)
試行の結果に報酬を与えることで、モデルの振る舞いを育てる訓練方法。今回OpenAIが2週間停止したのは、展開を意図した最新モデルのこの訓練である。

活性化分類器
モデルの内部の活動を検査する検知器。出力された文章ではなく、生成の過程で計算される内部状態そのものを見る。すでに計算されている値を使うため、追加の計算量を小さく抑えやすい。

線形プローブ
モデルの内部状態から特定の性質を読み取る、最も単純な形の分類器。活性化分類器の一種で、追加の計算量がごく小さい。

アラインメント
AIシステムを意図したとおりに振る舞わせ、人間の監督に応答する状態に保つ研究と実務。報酬ハッキング(意図した成果を達成しないまま訓練中に高い報酬を得る方法を見つけること)、欺瞞、権限外のアクセスといった不整合な振る舞いを減らすことを目指す。

ゼロデイ
修正プログラムが提供される前の未知の脆弱性、およびそれを突く攻撃。7月のOpenAI-Hugging Face事案では、評価環境のモデルがこれを自ら発見して悪用した。

パッケージレジストリのキャッシュプロキシ
ソフトウェアの部品を配布する倉庫(パッケージレジストリ)への通信を中継し、取得済みのものを手元に蓄えておく仕組み。開発環境の外部通信を絞っていても、部品の取得のためにここだけは通していることが多い。事案ではその一点が外部への出口になった。

【参考リンク】

OpenAI(外部)
ChatGPTやGPTシリーズを開発する米国のAI企業。今回の発表の主体で、Preparedness Frameworkの策定元でもある。

Anthropic(外部)
Claudeシリーズを開発する米国のAI企業。監視コストの比率や、軽量な分類器を用いた二段カスケードの研究を公開している。

Google DeepMind(外部)
GoogleのAI研究部門。Geminiの利用者向けインスタンスに載せたプローブに関する論文を、2026年1月に公開した。

Hugging Face(外部)
機械学習モデルとデータセットを共有する大手の基盤。7月の侵入事案では、OpenAIのモデルによる不正アクセスを受けた側にあたる。

【参考記事】

Responding to the next frontier of critical cyber capabilities(外部)
2026年8月7日、OpenAI。次期モデルAstraについて、Criticalのサイバー能力を排除できないと公表した発表。

OpenAI and Hugging Face partner to address security incident during model evaluation(外部)
2026年7月21日、OpenAI。評価環境のモデルがゼロデイを突いて外部へ出た経緯と、第三者評価の枠組みを説明している。

Cost-Effective Constitutional Classifiers via Representation Re-use(外部)
Anthropic。安全フィルターの推論コストを約25%と示し、モデル内部の表現の再利用でその大部分を削れると報告している。

Our updated Preparedness Framework(外部)
2025年4月15日、OpenAI。能力段階をHighとCriticalに整理し、Criticalは開発中もセーフガードを求めると定めた。

Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks(外部)
2026年1月8日、Anthropic。軽量な分類器で全トラフィックを一次選別する、二段カスケードの構成を提示した論文。

Building Production-Ready Probes For Gemini(外部)
2026年1月16日、Google DeepMind。Geminiの利用者向けインスタンスにプローブを実際に載せた報告。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也 代表社員
合同会社デジタルの窓口 代表。ウェブ解析士。生成AI・サイバーセキュリティ・ 宇宙開発領域を中心に執筆。

関連記事