2024年9月19日、Google DeepMindの研究チームが大規模言語モデル（LLM）の自己修正能力を向上させる新しい技術「SCoRe（Self-Correction via Reinforcement Learning）」を発表した。この技術は、外部のフィードバックや複数のモデルを必要とせず、モデル自身が生成したデータのみを使用して自己修正能力を向上させる。
SCoReは、Gemini 1.0 ProとGemini 1.5 Flashモデルに適用され、数学と coding のベンチマークテストで顕著な改善を示した。具体的には、MATHベンチマークで15.6%、HumanEvalベンチマークで9.1%の絶対的な自己修正能力の向上を達成した。
この技術は2段階の訓練プロセスを採用し、強化学習を使用してモデルの自己修正能力を最適化する。SCoReは、モデルが最初の回答を生成し、その後自己修正を行うという過程を学習することで、複雑な問題解決能力を向上させる。
研究チームは、SCoReが数学や coding 以外の分野でも応用可能であり、LLMの安全性向上にも貢献する可能性があると述べている。この研究は、LLMの訓練において、単に入力を出力にマッピングするだけでなく、推論と自己修正の方法を教えることの重要性を強調している。
from:DeepMind’s SCoRe shows LLMs can use their internal knowledge to correct their mistakes
【編集部解説】
Google DeepMindが発表したSCoRe（Self-Correction via Reinforcement Learning）技術は、大規模言語モデル（LLM）の自己修正能力を飛躍的に向上させる画期的な手法です。この技術の登場は、AI分野に大きな進展をもたらす可能性を秘めています。
SCoReの特筆すべき点は、外部からの介入なしに、モデル自身が生成したデータのみを使用して自己修正能力を向上させることです。これは、従来の手法とは一線を画す革新的なアプローチです。
この技術の核心は、2段階の訓練プロセスにあります。第1段階では、モデルの初期化を最適化し、2回目の試行で修正を生成しつつ、ベースモデルの初期応答との類似性を維持します。第2段階では、多段階強化学習を適用し、モデルが最初の回答と2回目の回答の両方を改善する方法を学習します。
SCoReの効果は、数学的推論や coding タスクにおいて顕著に表れています。例えば、MATHベンチマークでは15.6%、HumanEvalベンチマークでは9.1%の絶対的な自己修正能力の向上が確認されました。これは、AIの問題解決能力が大幅に向上したことを示しています。
この技術がもたらす影響は広範囲に及ぶ可能性があります。例えば、ソフトウェア開発の分野では、コードの自動生成と修正がより正確になり、開発者の生産性向上につながるかもしれません。また、研究分野では、複雑な数学的問題の解決や仮説の検証において、AIがより信頼性の高いアシスタントとして機能する可能性があります。
さらに、SCoReは安全性の向上にも貢献する可能性があります。AIが自身の出力を見直し、潜在的に問題のある内容を自動的に修正できるようになれば、より安全で信頼性の高いAIシステムの実現につながるでしょう。
一方で、この技術にはいくつかの課題も存在します。現在のSCoReは1回の自己修正訓練しか行っていないため、複数回の修正ステップを探求する余地があります。また、数学や coding 以外の分野での有効性についても、さらなる検証が必要です。
長期的な視点では、SCoReのような技術が進化することで、AIがより自律的に学習し、成長する能力を獲得する可能性があります。これは、人間の介入をさらに減らしつつ、AIの能力を向上させるという、AIの発展における重要なステップとなるかもしれません。
しかし、AIの自己修正能力の向上は、倫理的な問題も提起します。例えば、AIが自身の判断を修正する過程で、人間の意図や価値観をどのように反映させるべきか、という問題が生じる可能性があります。
結論として、SCoReは大規模言語モデルの能力を大きく向上させる可能性を秘めた革新的な技術です。この技術の発展を注視しつつ、その応用と影響について慎重に検討していく必要があるでしょう。
