Last Updated on 2024-07-18 18:24 by admin
SambaNova Systemsは、Llama 3 8Bパラメータ指示モデルを使用して、1秒あたり1,000トークンの処理速度を達成し、これまでのGroqによる800トークン/秒の最速記録を更新した。この成果は、テスト会社Artificial Analysisによって独立して検証された。この高速化により、企業は迅速な応答時間、より良いハードウェア利用、コスト削減などのビジネス上の利点を享受できる可能性がある。
SambaNovaは、企業向けの一般AIベンダーであり、ハードウェアとソフトウェアの両方を提供している。同社は、再構成可能なデータフローユニット（RDU）と呼ばれるAIチップを開発しており、トレーニングと推論の両方に使用できる。最新のチップは、2023年9月に発表されたSN40Lである。また、SambaNovaは独自のソフトウェアスタックを構築しており、その中には2023年2月28日に初めてリリースされた1兆パラメータモデルのSamba-1が含まれる。このモデルは、複数のモデルを組み合わせて使用することができ、企業データに基づいて微調整およびトレーニングが可能である。
1000トークン/秒の速度は、テスト用に公開されたAPIバージョンであるSamba-1 Turboモデルを使用して達成された。SambaNovaは、この速度の更新を今後数週間で企業向けのメインラインモデルに組み込む予定である。再構成可能なデータフローアーキテクチャを活用することで、個々のニューラルネットワーク層とカーネルのリソース割り当てを最適化し、効率と性能の大幅な向上を実現している。
【ニュース解説】
SambaNova Systemsが、Llama 3 8Bパラメータ指示モデルを用いて、1秒あたり1,000トークンの処理速度を達成し、これまでの最速記録を更新したことは、AI技術の進化における重要なマイルストーンです。この成果は、テスト会社Artificial Analysisによって独立して検証され、企業が迅速な応答時間、より良いハードウェア利用、コスト削減などのビジネス上の利点を享受できる可能性を示しています。
SambaNovaは、企業向けの一般AIベンダーとして、再構成可能なデータフローユニット（RDU）というAIチップを開発しています。このチップは、トレーニングと推論の両方に使用可能であり、最新のチップはSN40Lとして2023年9月に発表されました。また、SambaNovaは独自のソフトウェアスタックを構築しており、その中には1兆パラメータモデルのSamba-1が含まれています。このモデルは、複数のモデルを組み合わせて使用することができ、企業データに基づいて微調整およびトレーニングが可能です。
この技術の進化は、AIの応用範囲を大きく広げる可能性を秘めています。例えば、AIエージェントベースのワークフローでは、一つのモデルから次のモデルへとデータが流れるため、処理速度が重要になります。また、高速化はハードウェアの利用効率を高め、コスト削減にもつながります。しかし、このような高速化には、データのプライバシーやセキュリティ、AIの倫理的な使用といった観点からの慎重な検討も必要です。
再構成可能なデータフローアーキテクチャを活用することで、SambaNovaはニューラルネットワークの各層とカーネルのリソース割り当てを最適化し、効率と性能を大幅に向上させることができます。このアーキテクチャは、ソフトウェアの改善に伴って性能を継続的に向上させることが可能であり、企業が自社のAIモデルの微調整を最適化する上で大きな利点を提供します。
この技術の進展は、AIの将来におけるさらなる可能性を示唆しています。AIの処理速度が向上することで、リアルタイムでのデータ分析や意思決定支援、高度な自動化といった用途が現実のものとなります。しかし、これらの進歩は、AIの倫理的な使用、データのプライバシー保護、セキュリティ対策といった課題に対する継続的な注意と対応を要求します。また、AI技術の急速な進化は、規制や法律の枠組みにも新たな挑戦をもたらすことでしょう。
from SambaNova breaks Llama 3 speed record with 1,000 tokens per second.