AI2、4050億パラメータのオープンソースAIモデル『Tülu 3 405B』を公開:GPT-4oに匹敵する性能を実現

Tülu 3 405B:AI2が完全オープンソースの大規模言語モデルを公開、GPT-4oに迫る性能を実現 - innovaTopia - (イノベトピア)

Allen Institute for AI(AI2)は2025年1月30日、新しい大規模言語モデル「Tülu 3 405B」を発表した。

モデルの仕様

  • パラメータ数:4,050億(405B)
  • 開発元:Allen Institute for AI(シアトルに本社を置く非営利AI研究機関)
  • 公開形態:完全オープンソース

性能比較

ベンチマーク評価において

  • DeepSeek v3(平均スコア75.9)を上回る
  • GPT-4o(平均スコア81.6)に迫る平均スコア80.7を達成
  • Meta社のLlama 3.1も性能面で上回る

技術的特徴

  • RLVRと呼ばれる新しい強化学習手法を採用
  • 256個のGPUを使用した並列処理を実現
  • 32ノードにわたる分散計算システムを実装
  • 16方向のテンソル並列処理を採用

開発の経緯

  • 2024年11月:8B版と70B版をリリース
  • 2024年9月:Molmoモデルを発表
  • 2025年1月30日:405B版を発表

公開情報

  • モデル、トレーニングコード、データセットを全て公開
  • AI2のTülu 3ページでダウンロード可能
  • Playgroundデモスペースでテスト利用が可能

from:Ai2 releases Tülu 3, a fully open source model that bests DeepSeek v3, GPT-4o with novel post-training approach

【編集部解説】

AIの世界で大きな注目を集めているオープンソースモデルの競争において、新たな転換点が訪れています。AI2が発表したTülu 3 405Bは、単なるモデルの大規模化ではなく、革新的な後処理手法によって新たな可能性を示しました。

特に注目すべきは、RLVRと呼ばれる検証可能な報酬による強化学習の手法です。これは数学的問題の解決や指示の遵守など、結果が明確に検証できるタスクにおいて特に効果を発揮します。

実用的な意義

従来のAIモデルでは、出力の正確性を評価することが困難でした。しかし、RLVRアプローチにより、特定のタスクにおいて明確な評価基準を設けることが可能になりました。これは企業での実務利用において重要な進展といえます。

オープンソースの重要性

Tülu 3 405Bの特筆すべき点は、完全なオープンソース化を実現していることです。モデル、トレーニングコード、データセットのすべてが公開されており、これは研究者やデベロッパーが自由にカスタマイズできることを意味します。

技術的な課題

256個のGPUを必要とする大規模な計算リソースの要件は、一般企業での導入における課題となる可能性があります。しかし、AI2はvLLMを活用した効率的な展開方法を示しており、これは今後の大規模モデルの実用化に向けた重要な知見となるでしょう。

将来への影響

このモデルの登場は、AIの民主化に向けた重要な一歩となります。完全なオープンソース化により、より多くの組織が高性能なAIモデルを活用できるようになり、イノベーションの加速が期待されます。

潜在的なリスク

大規模なAIモデルの普及に伴い、計算資源の消費や環境負荷の増大が懸念されます。また、オープンソース化によるモデルの悪用リスクにも注意が必要です。

規制への影響

完全なオープンソース化は、AIの透明性と説明責任の向上に貢献する一方で、新たな規制の枠組みが必要となる可能性も示唆しています。

産業界への示唆

特に注目すべきは、このモデルが示した効率的な学習手法です。これにより、より少ない計算資源でも高性能なAIモデルの開発が可能となり、中小企業でもAI開発に参入しやすくなることが期待されます。

【用語解説】

  • Allen Institute for AI (AI2)
    シアトルに本社を置く非営利のAI研究機関。2014年にMicrosoftの共同創設者ポール・アレン氏によって設立されました。
  • RLVR (Reinforcement Learning with Verifiable Rewards)
    検証可能な報酬による強化学習の意味です。数学問題の正解のように、明確に正誤が判定できるタスクを用いてAIの性能を向上させる手法です。
  • vLLM
    UC Berkeleyで開発された高速なAIモデル推論・提供ライブラリ。GPUメモリを効率的に使用し、高速な応答を実現します。
  • パラメータ数
    機械学習モデルの複雑さや能力を示す指標で、モデル内の調整可能な要素の数を指します。
  • ベンチマーク評価
    特定の基準やテストを用いて、モデルの性能を他のモデルと比較・評価すること。

【参考リンク】

  • AI2公式サイト(外部)
    AIの研究開発を通じて人類に貢献することを目指す非営利研究機関のウェブサイト。
  • Tülu 3プロジェクトページ(外部)
    AI2が開発したオープンソースAIモデルTülu 3の公式ページ。

【関連記事】

AI(人工知能)ニュースをinnovaTopiaでもっと読む

ホーム » AI(人工知能) » AI(人工知能)ニュース » AI2、4050億パラメータのオープンソースAIモデル『Tülu 3 405B』を公開:GPT-4oに匹敵する性能を実現