Last Updated on 2024-07-17 04:20 by 門倉 朋宏
研究者たちは、大規模言語モデル（LLM）のトランスフォーマーアーキテクチャにおける注意計算のボトルネックを解消するために、FlashAttention-3という新技術を導入した。これは、Nvidia Hopper GPU（H100およびH800）上での注意計算を大幅に高速化するものである。FlashAttention-3は、以前のFlashAttentionとFlashAttention-2の作業を基に、Nvidia Hopper GPU上でのリソース使用をさらに最適化し、LLMのトレーニングと推論のためのパフォーマンスと効率を最大化する。
FlashAttentionは、GPUの高帯域幅メモリ（HBM）とGPUのオンチップ静的ランダムアクセスメモリ（SRAM）間のメモリ読み書きを減らすことで、注意計算の課題に対処した。FlashAttention-3は、Nvidia Hopper GPUの新機能を活用して、行列乗算操作のスループットを高め、異なるメモリセグメント間のデータ転送を高速化し、低精度操作の効率を向上させる。これにより、H100 GPUの最大能力の75%を使用し、以前のバージョンと比較して1.5～2倍の速度向上を実現した。
FlashAttention-3の高速な注意計算は、LLMのトレーニング時間を大幅に短縮し、より長いシーケンスを効率的に処理することで、LLMのコンテキストウィンドウを拡張することが可能になる。これにより、長文書理解や多数のインコンテキスト学習など、新たなLLMの応用が可能となる。また、GPU容量の高い割合を使用することで、LLMを実行するために必要なアクセラレータの数を減らし、本番環境でのモデル実行コストを削減する。研究者たちは、FlashAttention-3をオープンソース化し、PyTorchやHugging Face Transformersなどの人気のある深層学習ライブラリに統合する計画である。
【ニュース解説】
大規模言語モデル（LLM）は、人工知能がテキストを理解し、生成するために使用される技術で、近年、その応用範囲が広がっています。しかし、これらのモデルを訓練し、実行する過程で、特に「注意計算」と呼ばれるプロセスが大きな計算資源を必要とする問題がありました。注意計算は、モデルがテキスト内の異なる部分の関連性を評価するために不可欠ですが、入力シーケンスの長さが増すにつれて、その計算コストは指数関数的に増加します。
この問題に対処するため、FlashAttention-3という新技術が開発されました。この技術は、Nvidiaの最新GPUであるHopper H100を活用し、注意計算の効率を大幅に向上させることで、LLMのトレーニングと推論の速度を1.5～2倍に高速化します。FlashAttention-3は、GPU内のデータ転送を最適化し、行列乗算とsoftmax操作（注意重みを正規化するために使用される関数）を効率的に組み合わせることで、計算のボトルネックを解消します。
この技術の導入により、LLMの開発者はより大きなモデルやデータセットを用いた実験が可能になり、長いテキストを扱う新たな応用が開拓されます。例えば、長文のドキュメント理解や、複数の例を用いた学習が挙げられます。また、GPUの使用効率が向上することで、必要な計算資源の量が減少し、コスト削減にもつながります。
しかし、この技術の進展は、LLMのさらなる大規模化を促進する可能性があり、それに伴うエネルギー消費や環境への影響、倫理的な問題など、新たな課題を生じさせる可能性もあります。また、高度な技術を要するため、LLMの開発が特定の企業や研究機関に集中することで、技術の民主化が阻害されるリスクも考えられます。
FlashAttention-3がオープンソース化され、広く利用可能になることで、これらの技術的進歩がより多くの研究者や開発者によって活用され、LLMの応用範囲がさらに広がることが期待されます。同時に、この技術の普及に伴い、計算資源の効率的な使用、環境への配慮、技術の公平なアクセスに関する議論が、今後ますます重要になってくるでしょう。
from FlashAttention-3 unleashes the power of H100 GPUs for LLMs.
