生成AIの未来を塗り替える、MLPerf 4.0ベンチマークの衝撃発表！

MLCommonsは、ソフトウェアとハードウェアの改善が続く中、生成AIの発展と採用が進むにつれ、ベンダーニュートラルなパフォーマンスベンチマークのセットであるMLPerfのベンチマーク4.0を発表した。この新しいMLPerf 4.0推論結果は、MLPerf 3.1の結果が2023年9月にリリースされて以来の最初の更新である。

MLPerf 4.0の推論結果は、NvidiaとIntelの技術における顕著な改善を示している。MLPerf 3.1ベンチマークでは、GPT-J 6B（60億）パラメーターモデルを使用してテキスト要約を行う大規模言語モデル（LLM）が含まれていたが、MLPerf 4.0ベンチマークでは、質問応答（Q&A）のためのLlama 2 70億パラメーターのオープンモデルがベンチマークされている。また、MLPerf 4は初めて、Stable Diffusionを使用した生成AI画像生成のベンチマークを含む。

Nvidiaは、既存のハードウェアからより良いパフォーマンスを得ることができることを再び証明し、NvidiaのTensorRT-LLMオープンソース推論技術を使用して、H100 Hopper GPU上でのGPT-J LLMによるテキスト要約の推論パフォーマンスをほぼ3倍に向上させた。さらに、H200 GPUの結果は、Llama 2を使用した推論でH100より最大45%速くなった。

Intelもまた、Habana AIアクセラレータとXeon CPU技術を使用してMLPerf 4.0ベンチマークに積極的に参加している。Gaudiでは、Intelの実際のパフォーマンス結果はNvidia H100に後れを取るが、価格性能比では優れていると主張している。特に注目すべきは、推論のための第5世代Intel Xeonプロセッサからの印象的な利得である。第5世代Xeonは、MLPerfのカテゴリー全体で前世代の第4世代Xeonよりも1.42倍高速であり、GPT-J LLMテキスト要約のユースケースでは最大1.9倍高速であった。

【ニュース解説】

AI技術の進化に伴い、その性能を正確に測定し、比較することが極めて重要になっています。この背景のもと、MLCommonsは、生成AIの発展と採用が進む中で、ベンダーニュートラルなパフォーマンスベンチマークセットであるMLPerfの最新版、4.0を発表しました。この新しいベンチマークは、AIの推論性能を測定するためのもので、特に大規模言語モデル（LLM）や生成AI画像生成などの分野に焦点を当てています。

このベンチマークの結果から、NvidiaとIntelの技術が顕著な改善を遂げていることが明らかになりました。Nvidiaは、既存のH100 Hopper GPUを使用して、テキスト要約のためのGPT-J LLMの推論パフォーマンスをほぼ3倍に向上させることに成功しました。また、新しいH200 GPUは、Llama 2を使用した推論でH100より最大45%速くなるという結果を示しています。

一方、IntelもHabana AIアクセラレータと第5世代Xeon CPU技術を用いてMLPerf 4.0ベンチマークに参加し、特に第5世代Xeonは、前世代の第4世代Xeonよりも推論性能が1.42倍から1.9倍高速であることが示されました。

これらの結果は、AI技術の推論性能が急速に向上していることを示しており、特にNvidiaとIntelのような大手ハードウェアメーカーが、既存のハードウェアからさらに性能を引き出すための技術開発に力を入れていることがわかります。このような性能の向上は、AIモデルの応答時間の短縮や、より複雑な問題の解決能力の向上に直結し、結果としてAI技術のさらなる発展と応用範囲の拡大を促進することが期待されます。

しかし、このような急速な技術進化は、AIの倫理的な使用やプライバシー保護、セキュリティ対策など、新たな課題をもたらす可能性もあります。また、性能向上に伴うエネルギー消費の増加や、特定のハードウェアに依存した開発の促進が、技術的な多様性の低下や市場の独占化を引き起こすリスクも考慮する必要があります。

長期的には、このようなベンチマーク結果を通じて、AI技術の性能基準が明確になり、より効率的で持続可能なAIシステムの開発が促進されることが期待されます。また、企業や研究機関が、自身のニーズに最適なAIシステムを選択し、導入するための重要な指標となるでしょう。

from Nvidia triples and Intel doubles generative AI inference performance on new MLPerf benchmark.