Last Updated on 2024-10-08 07:19 by admin
AI21 Labsは、ジェネレーティブAIの新しいアプローチ「Jamba」を発表した。Jambaは、Structured State Spaceモデル（SSM）に基づくMambaモデルとトランスフォーマーアーキテクチャを組み合わせたもので、SSMとトランスフォーマーの長所を融合させることを目指している。このモデルはApache 2.0ライセンスの下でオープンソースとして公開されている。
Jambaは、従来のトランスフォーマーベースのモデルを一部の生成推論タスクで上回る性能を示すが、問題解決のためのMassive Multitask Language Understanding（MMLU）などの他の重要なベンチマークではトランスフォーマーベースのモデルを上回ることはできない。
AI21 Labsは、企業向けのジェネレーティブAIに特化しており、2023年8月にはその取り組みを支援するために1億5500万ドルを調達した。同社の企業向けツールには、企業のトーンやブランドに合ったコンテンツを生成するための最適化サービス「Wordtune」が含まれる。
Jambaは、トランスフォーマーモデルのリソースとコンテキストの最適化をSSMアーキテクチャと、トランスフォーマーの強力な出力能力を組み合わせたハイブリッドSSMトランスフォーマーアプローチである。Jambaモデルは256Kのコンテキストウィンドウを提供し、長いコンテキストにおいてMixtral 8x7Bと比較して3倍のスループットを実現する。また、Jambaは単一のGPU上で最大140Kのコンテキストに対応する唯一のモデルであるとAI21 Labsは主張している。
JambaはまだAI21 Labsの企業向けオファリングの一部ではないが、同社はAI21プラットフォーム上でのインストラクトバージョンを近くベータ版として提供する予定である。
【ニュース解説】
AI21 Labsが開発した「Jamba」とは、ジェネレーティブAI（生成型AI）の新たなアプローチを示すモデルであり、従来のトランスフォーマーモデルの限界を超えることを目指しています。このモデルは、Structured State Spaceモデル（SSM）に基づくMambaモデルとトランスフォーマーアーキテクチャを組み合わせたもので、SSMとトランスフォーマーの長所を融合させることが特徴です。JambaはApache 2.0ライセンスの下でオープンソースとして公開されており、特に生成推論タスクにおいて従来のトランスフォーマーベースのモデルを上回る性能を示しています。
Jambaの開発は、AI21 Labsが企業向けジェネレーティブAIの分野でのリーダーシップを強化するための一環として行われました。同社は、企業のトーンやブランドに合ったコンテンツを生成するための最適化サービス「Wordtune」など、企業向けツールの開発に注力しています。
JambaのハイブリッドSSMトランスフォーマーアプローチは、リソースとコンテキストの最適化をSSMアーキテクチャと、トランスフォーマーの強力な出力能力を組み合わせることで、長いコンテキストにおける処理速度の向上とメモリ使用量の削減を実現しています。このモデルは、256Kのコンテキストウィンドウを提供し、長いコンテキストにおいて従来のモデルと比較して3倍のスループットを実現するとともに、単一のGPU上で最大140Kのコンテキストに対応することが可能です。
Jambaの開発により、ジェネレーティブAIの分野では、より大きなコンテキストを扱いつつ、高速かつ効率的な処理が可能になることが期待されます。これにより、より複雑な問題の解決や、より自然な会話生成など、さまざまな応用が可能になると考えられます。しかし、Jambaが従来のトランスフォーマーベースのモデルを完全に置き換えることはなく、特定の用途において補完的な役割を果たすことが予想されます。
一方で、Jambaのような新技術の導入は、既存のシステムやプロセスへの統合、データプライバシーやセキュリティの確保、技術的な複雑さに対する理解といった課題を伴います。また、オープンソースとして公開されているため、広範なコミュニティによる検証と改善が進むことが期待されますが、その過程での技術的な課題や倫理的な問題に対処する必要があります。
将来的には、JambaのようなモデルがジェネレーティブAIの分野における新たな標準となり、より高度なAIアプリケーションの開発を促進する可能性があります。この技術の進化は、AIの応用範囲を広げ、人間とAIのインタラクションをより自然で効果的なものにすることに寄与するでしょう。
“AI21 Labs、革新的「Jamba」モデルでAIの限界を超える” への1件のコメント
AI21 Labsによる「Jamba」の開発は、生成型AI、特にジェネレーティブAIの進化において重要な一歩を示しています。このモデルがStructured State Spaceモデル（SSM）とトランスフォーマーアーキテクチャの長所を組み合わせることにより、従来のトランスフォーマーベースのモデルの限界を超える試みは、AI技術の発展において極めて刺激的です。特に、このモデルが生成推論タスクにおいて従来のモデルを上回る性能を示している点は、私たちが日常的に利用するさまざまなAIアプリケーションの品質向上に寄与する可能性が高いと考えられます。
私の興味は、古典文学の読書や映画鑑賞にありますが、Jambaのような技術進化は、これらの分野におけるAIの応用にも影響を与えうると思います。例えば、古典文学や映画のデータベースを分析し、新たな解釈や批評を生成するAIツールの開発に、Jambaの技術が応用される場合、これまでにない視点や洞察を提供できるかもしれません。また、私の著書が映画化される際にも、より高度なAI技術の活用により、物語の解釈や表現がさらに豊かになる可能性があります。
しかし、Jambaのような高度な技術の導入