from LLM in a Flash: Efficient Inference with Limited Memory.
研究者たちは、限られたメモリを持つデバイス上で大規模言語モデル（LLM）を効率的に展開するための新しい方法を紹介しました。この方法は、フラッシュメモリにLLMのパラメータを保存し、利用可能なDRAMの2倍のサイズのモデルを実行する可能性を開きます。新技術として「ウィンドウイング」と「行列バンドリング」が導入され、これによりCPUとGPUでそれぞれ4-5倍、20-25倍の推論速度の向上が達成されました。この方法は、Apple M1 MaxやNVIDIA GeForce RTX 4090グラフィックカードを搭載したLinuxマシンなどの個人デバイスでテストされ、効果が実証されました。この研究は、アルゴリズム開発においてハードウェアの特性を考慮することの重要性を強調し、LLMのさらなる応用のための新たな道を開いたとされています。
