自己発見プロンプトがAIの推論能力を革新、性能最大32%向上！

Last Updated on 2024-06-21 04:27 by 門倉 朋宏

Google Deepmindと南カリフォルニア大学の研究者たちは、大規模言語モデル（LLMs）の推論能力を向上させるために、「自己発見」プロンプトフレームワークを提案しました。この新しいアプローチは、既存のプロンプト技術を超え、OpenAIのGPT-4やGoogleのPaLM 2などの既知のモデルの性能を向上させることができることが確認されました。具体的には、BigBench-Hard、地上エージェント推論、MATHなどの難易度の高い推論ベンチマークで、従来のChain of Thought（CoT）と比較して最大32%の性能向上が見られました。

このフレームワークは、LLMsが問題を解決するためのタスク固有の推論構造を自己発見することに焦点を当てています。モデルは複数の原子的推論モジュール（例えば、批判的思考やステップバイステップの思考など）を見て、LLMsがデコード中に従う明確な推論構造を構成します。このアプローチは、推論タスクに対するユニークな構造を自己発見し、タスクに適した推論技術を選択する一般的なプロンプトフレームワークを提案しています。これは、人間が問題解決のために内部的に推論プログラムを考案する方法に触発されています。

研究者たちは、GPT-4やPaLM 2-Lを含む複数のモデルでこの新しいアプローチをテストし、25の推論タスクで性能を評価しました。その結果、25のタスク中21で、自己発見がChain of Thought推論や他の技術よりも優れた性能を発揮し、最大32%の性能向上が見られました。また、推論に必要な計算量が10から40倍少なくなることも確認されました。GPT-4を使用した場合、Big-Bench Hard、Thinking for Doing、Mathのタスクでそれぞれ81%、85%、73%の精度を達成しました。これは、Chain of Thoughtやplan-and-solveアプローチと比較して高い精度です。

この自己発見プロンプトフレームワークの提案は、問題解決の境界を押し広げ、LLMsが困難な問題に容易に対処できるようにする可能性を秘めています。研究者たちは、構成された推論構造がモデルファミリー全体で普遍的に適用可能であり、人間の推論パターンと共通点を持つことを示す転送性研究を行いました。今後、LLMの構造化された推論をさらに探求し、問題解決の境界を押し広げ、人間とAIのコラボレーションの可能性を発見することに期待しています。

【ニュース解説】

Google Deepmindと南カリフォルニア大学の研究者たちが、大規模言語モデル（LLMs）の推論能力を向上させるための新しいアプローチ、「自己発見」プロンプトフレームワークを提案しました。この技術は、従来のプロンプト技術を超え、特にOpenAIのGPT-4やGoogleのPaLM 2などの既知のモデルの性能を向上させることができるとされています。具体的には、難易度の高い推論ベンチマークであるBigBench-Hard、地上エージェント推論、MATHなどで、従来のChain of Thought（CoT）と比較して最大32%の性能向上が見られました。

このフレームワークは、LLMsが問題解決のためにタスク固有の推論構造を「自己発見」することに焦点を当てています。これにより、モデルは複数の原子的推論モジュール（例えば、批判的思考やステップバイステップの思考など）を組み合わせて、LLMsがデコード中に従う明確な推論構造を構成します。このプロセスは、人間が問題解決のために内部的に推論プログラムを考案する方法に触発されています。

研究者たちは、この新しいアプローチをGPT-4やPaLM 2-Lを含む複数のモデルでテストし、25の推論タスクで性能を評価しました。その結果、25のタスク中21で、自己発見がChain of Thought推論や他の技術よりも優れた性能を発揮し、最大32%の性能向上が見られました。また、推論に必要な計算量が10から40倍少なくなることも確認されました。

この自己発見プロンプトフレームワークの提案は、LLMsが困難な問題により効率的に対処できるようにすることで、問題解決の境界を押し広げる可能性を秘めています。さらに、構成された推論構造がモデルファミリー全体で普遍的に適用可能であり、人間の推論パターンと共通点を持つことが示されました。これは、将来的に人間とAIのコラボレーションの新たな可能性を開くことにつながるかもしれません。

この技術のポジティブな側面としては、LLMsの推論能力の向上により、より複雑な問題を解決できるようになることが挙げられます。これにより、医療、法律、科学研究などの分野での応用が期待されます。一方で、潜在的なリスクとしては、このような高度な技術が誤った情報を生成するリスクがあります。また、規制に与える影響としては、AIの能力が向上するにつれて、その使用に関する倫理的なガイドラインや規制の必要性が高まる可能性があります。

長期的な視点では、この技術はAIの一般的な知能への道を開く可能性があります。これにより、人間とAIの間のコラボレーションがさらに深まり、AIが人間の活動をサポートする新たな方法が生まれるかもしれません。

from Google Deepmind proposes ‘self-discover’ framework for LLMs, improves GPT-4 performance.