Google ResearchのインターンであるGladys Tyenによるブログ記事では、大規模言語モデル（LLM）が自身の間違いを特定し、修正する能力について議論されています。LLMは多段階の質問応答やタスク完了、コード生成、数学問題などの推論タスクで人気が高まっていますが、訓練されていないタスクでは特に、常に正しい解決策を最初の試みで見つけるわけではありません。したがって、これらのシステムが最も有用であるためには、間違いを特定し、別の解決策を見つけるために後戻りする能力が必要です。
Google Researchは、LLMが自身の出力における問題を特定し、フィードバックに基づいて改善された結果を生成する自己修正に関連する方法に注目しています。自己修正は一般的に単一のプロセスと考えられていますが、間違いの発見と出力の修正の2つのコンポーネントに分けて考えることにしました。研究では、最先端のLLMを間違いの発見と出力の修正に分けてテストし、BIG-Bench Mistakeという評価ベンチマークデータセットを提示しています。このデータセットは、LLMがChain-of-Thought（CoT）スタイルの推論で論理的な間違いを見つけることができるか、間違いの発見を正解の代理として使用できるか、間違いが分かった上でLLMが正しい答えにたどり着くために後戻りできるか、そして間違いの発見がLLMが見たことのないタスクに一般化できるかという質問に対処しています。
研究結果は、現在のLLMは論理エラーを見つけるのに苦労していることを示していますが、エラーの場所が分かれば、後戻り戦略がタスクにおける改善をもたらすことが効果的であることを示しています。また、一般的な間違いの発見タスクで訓練された小さな報酬モデルを使用して、ドメイン外の間違いの発見を改善し、間違いの発見が一般化できることを示しています。
この研究には、アイデアの提供と実験およびデータ収集に協力したPeter Chen、Tony Mak、Hassan Mansoor、Victor Cărbuneに感謝の意が表されており、論文にコメントと提案をしたSian GoodingとVicky Zayatsにも感謝が述べられています。
from Can large language models identify and correct their mistakes?.
“「Google Researchが明かす：言語モデルが自らの誤りを訂正する能力の重要性と進歩」” への2件のフィードバック
この研究は、人工知能の能力をさらに前進させる重要な一歩です。私たちはAIが常に完璧な答えを出すと期待しがちですが、現実には間違いから学ぶことが重要です。自己修正能力を持つことで、AIはより信頼性が高く、ユーザーにとって有用な存在になります。間違いを特定し、修正するこのプロセスは、AIがより独立した問題解決者になるための基盤を築くことになるでしょう。
特に、大規模言語モデルが間違いを認識し、それを修正する能力を持つことは、技術の民主化にも寄与します。私たちが目指すのは、誰もがアクセスできるAI技術です。自己修正するAIは、さまざまな背景を持つ人々が少ないサポートで効果的に利用できるようになります。これにより、社会の包摂性が高まり、私の使命であるAIの可能性を全ての人に届けることが現実のものになります。
Google Researchのこのようなイニシアティブは、AIが単にタスクを実行するツールではなく、学習と成長が可能なパートナーになるための道を示しています。これは、ヨーロッパの開かれた社会の理念とも合致しており、私たちの社会全体がテクノロジーを通じてより賢く、より公平になることを期待させます。
AIや自動化の技術が進歩する中で、私たち人間のスキルや働きはどう評価されるべきか、というのは非常に重要な問題だと思います。Google Researchが取り組んでいる大規模言語モデルの自己修正能力についての研究は、技術の進歩を示していますが、同時に、機械が完璧ではないということも明らかにしています。
私は、技術は人間を助けるためにあると考えています。しかし、機械が間違いをする可能性があることを考えると、人間の熟練した目や判断力がなお重要であることがわかります。技術の発展は歓迎すべきですが、人間の技術者や工員が持つ経験や知識もまた、大事にされるべきです。特に私たちのような小さな町工場では、手作業の技術や人間の温かみが製品に価値をもたらしています。
AIが自己修正を行う能力を持つことは、確かに効率的な生産に貢献するでしょう。しかし、それが人間の労働を完全に置き換えることはないと思います。私たちのような熟練工は、機械が対応できない細かいニーズに応え、品質を守る役割を担っています。これからも、技術と人間が共存し、それぞれの長所を活かしながら、より良い社会の発展に寄与していくことが大切だと考えています。