MITのスピンオフ企業Liquid AIは、2024年10月23日にマサチューセッツ工科大学のKresge Auditoriumで、新しい生成AIモデル「Liquid Foundation Models(LFM)」の発表イベントを開催する。
LFMは以下の3つのモデルをリリースする:
- LFM-1B:13億パラメータの小規模モデル
- LFM-3B:31億パラメータのエッジデバイス向けモデル
- LFM-40B:403億パラメータのクラウドサーバー向けモデル
このモデルは、従来のTransformerベースのモデルとは異なり、動的システム、数値線形代数、信号処理の原理に基づいて設計されている。特筆すべき特徴として、最大100万トークンの長文脈処理が可能で、同等サイズのLlama 3.2-3Bモデルと比較して約3分の1のメモリ使用量で動作する。
from:Liquid AI Is Redesigning the Neural Network
【編集部解説】
Liquid AIが発表したLiquid Foundation Models(LFM)は、AIの歴史において重要な転換点となる可能性を秘めています。従来のTransformerベースのモデルとは一線を画す、まったく新しいアプローチを採用しているためです。
特に注目すべきは、このモデルが動的システム、数値線形代数、信号処理という古典的な理論を基盤としている点です[3]。これは、最近のAIモデルが単にTransformerアーキテクチャを大規模化する方向に進んでいたのとは対照的です。
LFMの革新性は、メモリ効率の劇的な改善にあります。同じパラメータ数のモデルと比較して3分の1のメモリ使用量で動作することは、AI開発における「より大きいモデル=より良い性能」という従来の常識を覆すものです。
エッジコンピューティングへの影響も見逃せません。すでにITOCHUテクノ・ソリューションズがLiquid AIと提携し、エッジAIソリューションの開発を開始しています。これは、ドローンや自動運転車両などの自律システムに革新をもたらす可能性があります。
しかし、このテクノロジーにも課題はあります。新しいアーキテクチャであるため、長期的な安定性や信頼性の検証にはまだ時間が必要です。また、既存のAIフレームワークやツールとの互換性も課題となるでしょう。
将来的な展望として、LFMは特に以下の分野で大きな変革をもたらす可能性があります:
- エッジデバイスでのAI実装の普及加速
- リアルタイムデータ処理を要する産業分野での活用
- 省電力・低コストなAIシステムの実現
また、このテクノロジーは日本企業にとっても重要な意味を持ちます。すでに国内大手企業との提携も始まっており、製造業やロボット工学分野での活用が期待されます。
規制の観点からも、LFMは興味深い示唆を提供します。モデルの説明可能性が高いという特徴は、AI規制が強化される現代において大きなアドバンテージとなる可能性があります。
長期的には、このテクノロジーがAI開発の新しいパラダイムを確立し、より効率的で持続可能なAIの実現に貢献する可能性を秘めています。しかし、その実現には産学連携や継続的な技術検証が不可欠でしょう。