Last Updated on 2023-12-27 06:19 by admin
from 2023 was a great year for open-source LLMs.
2023年はオープンソースの大規模言語モデル（LLM）にとって素晴らしい年でした。ChatGPTの登場により、AI企業やテクノロジー大手がLLMアプリケーション市場での支配を目指して競争を繰り広げました。多くの企業が独自の言語モデルをAPIアクセスとして提供し、モデルの重みやトレーニングデータセット、手法の詳細を公開しない傾向にありました。しかし、2023年にはオープンソースLLMエコシステムが急成長し、特定のアプリケーションにカスタマイズ可能なモデルがリリースされました。
以前はLLMの性能向上にはモデルサイズの拡大が必要とされていましたが、2023年2月にMetaがLlamaを発表し、小さなモデルでも大きなモデルに匹敵する性能を持つことを示しました。Llamaは1.4兆トークンの大規模なデータセットでトレーニングされ、これが効果的であることが証明されました。Llamaのリリースは、Cerebras-GPT、Pythia、MPT、X-GEN、Falconなどの新しいオープンソースLLMの登場を促しました。Metaは7月にLlama 2をリリースし、これが多くの派生モデルの基盤となりました。特にMixtralはその能力とコスト効率で高く評価されています。
オープンソースモデルは新しいモデルの作成を容易にし、実用的なアプリケーションでのLLMの多様性と有用性を高めるためにさまざまな構成で組み合わせることができます。オープンソースコミュニティは今後も重要な競争者として残り、MicrosoftやAmazonなどのテクノロジー大手もオープンソースモデルを製品に統合しています。
企業はデータのプライバシーとセキュリティを重視する中で、外部APIへの依存は持続可能な戦略ではありません。オープンソースエコシステムは、プライバシー、セキュリティ、コンプライアンスを要求する顧客情報と規制を管理するために、社内でAIを作成する必要があるとBoudierは述べています。過去が示すように、それはオープンソースを意味します。
