Last Updated on 2024-06-25 14:54 by 荒木 啓介
GradientとCrusoeは共同で、Llama-3モデルのコンテキストウィンドウを100万トークンに拡張しました。この取り組みは、大手テック企業とAI研究所が競っているLLMのコンテキストウィンドウ拡張の一環であり、長いコンテキストウィンドウを持つLLMのオープンソースモデルの開発がLLM市場の再編成と新たなアプリケーションの可能性を目指しています。
Gradientは、企業がワークフローにLLMを統合するために努力しており、プログラミングタスクを支援する言語モデルが多くの企業で重要な開発ツールとなっています。しかし、プライベートモデルの制約により、多くの企業はオープンソースの長いコンテキストウィンドウLLMを使用することができず、Gradientチームは独自の100万トークンのオープンモデルを作成しました。
大規模な言語モデルの商業化により、AI研究所は研究結果や詳細を共有するインセンティブが減少しています。Gradientは、世界中の大学や研究所の論文やオープンリサーチに依存しており、コンピューティングリソースはLLMの研究の主な課題です。この課題に対処するため、GradientはCrusoeと協力し、コンピューティングコストを削減するためにL40Sクラスターをカスタマイズしました。
長いコンテキストウィンドウのLLMは、”needle in a haystack”テストでの評価や、エンタープライズアプリケーションの開発を容易にします。これにより、より複雑なデータ処理パイプラインを必要とせずにスタイルの変換などのタスクを実行でき、プロトタイプや概念の証明、製品チームの理解を容易にします。
【編集部追記】
Gradient オフィシャルサイト
Crusoe オフィシャルサイト
【ニュース解説】
AIスタートアップのGradientとクラウドコンピュートプラットフォームのCrusoeが共同で、Llama-3モデルのコンテキストウィンドウを100万トークンに拡張するという取り組みを行いました。この技術的進歩は、大規模言語モデル（LLM）の能力を大幅に向上させ、新たなアプリケーションの開発を可能にします。コンテキストウィンドウとは、LLMが処理できる入力と出力のトークン数を指します。これまでのモデルは数千トークンのサポートが一般的でしたが、この取り組みにより、その限界を大きく超えることができるようになりました。
この技術の進化は、特にプログラミングタスクを支援する言語モデルにとって重要です。従来のモデルでは小さなコード片の生成しかできませんでしたが、100万トークンのコンテキストウィンドウを持つモデルでは、全体のコードベースや複数のGitHubリポジトリを参照することが可能になります。これにより、より正確で効率的なコード生成が可能になり、開発プロセスが大幅に改善されます。
しかし、このような大規模なモデルの開発と運用には膨大なコンピューティングリソースが必要です。GradientとCrusoeの協力により、特にコンピューティングコストの削減が実現されました。Crusoeは、NvidiaのL40Sクラスターをカスタマイズすることで、大規模なトレーニングと推論を効率的に行うことができるようになりました。
この技術的進歩は、オープンソースのLLMの開発においても重要な意味を持ちます。多くの企業や開発者が、プライベートモデルに代わるオプションとして、オープンソースのモデルを求めています。オープンソースのモデルは、研究成果や技術の共有を促進し、より多くのイノベーションを生み出す可能性があります。
長いコンテキストウィンドウを持つLLMは、エンタープライズアプリケーションの開発においても大きな可能性を秘めています。例えば、スタイル転送や複数のタスクを一度に処理する能力が向上し、より複雑な問題解決が可能になります。また、プロトタイプの開発や製品チームの理解を深めるためのツールとしても有効です。
しかし、このような技術の進歩には、データのプライバシーやセキュリティ、コンピューティングリソースの利用に関する課題も伴います。オープンソースモデルの開発と普及には、これらの課題に対する継続的な注意と解決策の開発が求められます。また、長期的には、この技術が社会や産業に与える影響を考慮し、適切な規制やガイドラインの策定が必要になるかもしれません。
GradientとCrusoeの取り組みは、LLMの可能性を大きく広げる一歩となります。この技術がもたらすポジティブな影響を最大限に活用し、潜在的なリスクを管理するためには、オープンなコミュニケーションと協力が不可欠です。
from How Gradient created an open LLM with a million-token context window.
