from 2023 was a great year for open-source LLMs}.
2023年はオープンソースの大規模言語モデル（LLM）にとって素晴らしい年でした。ChatGPTの登場により、AI企業やテクノロジー大手がLLMアプリケーション市場での支配を目指して競争を繰り広げました。多くの企業が独自の言語モデルをAPIアクセスとして提供し、モデルの重みやトレーニングデータセット、手法の詳細を公開しない傾向にありました。しかし、2023年にはオープンソースLLMエコシステムが急成長し、特定のアプリケーションにカスタマイズ可能なモデルがリリースされました。
以前はLLMの性能向上にはモデルサイズの拡大が必要とされていましたが、2023年2月にMetaがLlamaを発表し、7億から65億パラメータのモデルサイズで、より小さなモデルでも大規模なLLMに匹敵する性能を示しました。Llamaは大量のデータセットでトレーニングされ、オープンソースとしてリリースされたことで、研究コミュニティが迅速に成果を築き上げることができました。
Llamaのリリースは、Cerebras-GPT、Pythia、MPT、X-GEN、FalconなどのオープンソースLLMの登場を促しました。Metaは7月にLlama 2をリリースし、これが多くの派生モデルの基盤となりました。特にMistralとMixtralのリリースは大きな影響を与え、Mixtralはコスト効率の良さで評価されました。オープンソースモデルは新しいモデルの作成を容易にし、実用的なアプリケーションでのLLMの多様性と有用性を高めています。
オープンソースコミュニティは今後も重要な競争者として残り、大手企業もオープンソースモデルを製品に統合しています。MicrosoftはOrcaとPhi-2をリリースし、AmazonはBedrockを導入しました。企業はデータのプライバシーとセキュリティを重視する中で、オープンソースエコシステムが独自のAIを統合するための独特の提案を提示しています。
