Last Updated on 2024-10-12 10:55 by admin
2022年のNeurIPS会議で発表されたWeiらの論文で、CoTプロンプティングが紹介された。この手法は、LLMに問題解決の過程を段階的に示すよう指示することで、特に数学や推論タスクでの性能を大幅に向上させる。
CoTプロンプティングは、OpenAIとKhan Academyが共同開発した個別指導AIツール「Khanmigo」にも応用されている。
Weiらの研究では、PaLM 540Bモデルを使用したGSM8K数学ワードプロブレムの解決率が18%から57%に向上した。また、SVAMP、ASDiv、AQuA、MAWPSなどのデータセットでも大幅な改善が見られた。
2022年にKojimaらが発表した論文では、「Let’s think step-by-step」(LTSBS)というシンプルなプロンプト追加でも同様の効果が得られることが示された。
記事の著者は、Google Gemmaの7Bパラメータモデルを使用した実験を行い、CoTとLTSBSを組み合わせた手法が81.0%の解決率を達成し、最も効果的であることを示した。
CoTプロンプティングは、GoogleのGeminiやGemmaなどの最新のLLMファミリーの能力向上に大きく貢献している。
from:Chain of Thought Prompting for LLMs
【編集部解説】
Chain of Thought(CoT)プロンプティングは、大規模言語モデル(LLM)の問題解決能力を飛躍的に向上させる手法として注目を集めています。この技術は、LLMに「考える過程」を示すよう促すことで、より複雑な推論や計算を可能にします。
CoTの効果は、特に数学や論理的推論を要する問題で顕著です。例えば、Google社のPaLM 540Bモデルでは、数学の文章題の正解率が18%から57%に向上しました。これは、人間の思考プロセスをAIに模倣させることで、より深い理解と正確な解答を導き出せるようになったことを示しています。
しかし、CoTの効果には限界もあることが最近の研究で明らかになっています。アリゾナ州立大学の研究によると、問題の複雑さが増すにつれてCoTの効果が低下することや、プロンプトの一般性が高まると性能が低下する傾向があることがわかりました。これは、LLMがまだ人間のような柔軟な推論能力を完全には獲得していないことを示唆しています。
CoTの応用範囲は教育分野にも及んでいます。Khan AcademyとOpenAIが共同開発した「Khanmigo」は、CoTを活用した個別指導AIツールです。これにより、高品質な個別指導を大規模に提供できる可能性が開かれました。
一方で、AIの推論能力の向上は、倫理的な懸念も引き起こしています。より高度な推論が可能になることで、AIが人間の意思決定プロセスにさらに深く関与する可能性があります。これは、AIの判断の透明性や説明可能性の重要性をさらに高めることになるでしょう。
長期的には、CoTのような技術がAIの能力をさらに拡張し、人間の知的活動を補完・拡張する可能性があります。しかし、同時にAIへの依存度が高まることで、人間自身の思考力や問題解決能力が衰える懸念もあります。
今後は、CoTの限界を克服し、より汎用的な推論能力を持つAIの開発が進むと予想されます。同時に、AIと人間の協調的な問題解決方法の研究や、AIの能力を適切に活用するための教育も重要になってくるでしょう。