Last Updated on 2024-07-17 07:21 by TaTsu
Hugging Faceは、クラウドを必要としない新しいコンパクトな言語モデルのファミリーであるSmolLMを発表した。
このモデルは、Microsoft、Meta、AlibabaのQwenの類似製品を性能で上回り、個人のデバイスに高度なAI機能を提供する。
SmolLMには、135百万、360百万、1.7十億のパラメータを持つ3つのサイズがあり、さまざまな計算リソースに対応している。これらのモデルは、常識推論と世界知識をテストするベンチマークで優れた結果を示している。
SmolLMの最小モデルであるSmolLM-135Mは、より少ないトークンでトレーニングされながらMetaのMobileLM-125Mを上回る性能を持つ。
SmolLM-360Mは、MetaとQwenの500百万パラメータ以下のすべてのモデルを上回り、フラグシップのSmolLM-1.7Bモデルは、MicrosoftのPhi-1.5、MetaのMobileLM-1.5B、Qwen2-1.5Bを複数のベンチマークで上回る。
Hugging Faceは、データキュレーションからトレーニングステップまでの開発プロセス全体をオープンソース化することで、他と差別化を図っている。
SmolLMの成功は、厳密にキュレーションされたトレーニングデータに起因している。Cosmo-Corpusに基づいて構築され、Cosmopedia v2（合成の教科書と物語）、Python-Edu（教育的なPythonサンプル）、FineWeb-Edu（キュレーションされた教育的なウェブコンテンツ）を含む。
SmolLMのリリースは、AIのアクセシビリティとプライバシーに大きな影響を与える可能性がある。これらのモデルは、電話やラップトップなどの個人のデバイスで実行でき、クラウドコンピューティングの必要性を排除し、コストとプライバシーの懸念を軽減する。
開発者とエンドユーザーに新たな可能性を開くこれらのコンパクトモデルは、高価なGPUやクラウドインフラストラクチャを必要とせずにカスタムAIアプリケーションを可能にする。AIのアクセシビリティとプライバシーを向上させることで、Hugging FaceはAIの環境への影響とデータプライバシーに関する懸念に対処している。
【編集者追記】用語解説
- パラメータ：
AIモデルにおけるパラメータとは、モデルが学習過程で調整する内部の変数のことです。これらは、モデルが入力データから出力を生成する際の「設定値」のようなものです。パラメータの数が多いほど、モデルはより複雑な関係性を学習できますが、同時に計算負荷も大きくなります。 - Hugging Face：
Hugging Faceは、機械学習モデルやツールを開発・共有するためのプラットフォームを提供する企業です。特に自然言語処理（NLP）の分野で有名で、多くの研究者や開発者がこのプラットフォームを利用しています。 - トランスフォーマー：
自然言語処理タスクで高い性能を発揮する神経回路網（ニューラルネットワーク）の一種です。文脈を理解する能力に優れており、多くの最新の言語モデルの基礎となっています。 - オープンソース：
ソフトウェアの設計図（ソースコード）を公開し、誰でも自由に使用、修正、再配布できるようにする開発モデルのことです。SmolLMもオープンソースで開発されているため、多くの人々が改良や拡張に貢献できます。
【参考リンク】
Hugging Faceオフィシャルサイト（外部）
SmolLMモデルコレクション（外部）
※Hugging Face上でSmolLMモデルを探索・利用できるコレクションページ。
「SmolLM – blazingly fast and remarkably powerful」（Hugging Face公式ブログ）（外部）
※SmolLMの詳細な技術解説と性能評価が掲載されています。AIに興味のある方には必読の記事です。
【関連記事】
AI（人工知能）ニュースをinnovaTopiaでもっと読む
【ニュース解説】
Hugging Faceが新たに発表したSmolLMは、クラウドを必要とせずに高度なAI機能を個人のデバイスで利用できるようにするコンパクトな言語モデルのファミリーです。このモデルは、Microsoft、Meta、AlibabaのQwenが提供する類似の製品よりも優れた性能を持ち、135百万、360百万、1.7十億のパラメータを持つ3つの異なるサイズがあります。これにより、さまざまな計算リソースを持つデバイスでの使用が可能になります。SmolLMは、常識推論や世界知識のテストで顕著な結果を示しており、特に小さいながらもその性能は大きなモデルを凌駕しています。
SmolLMの開発において、Hugging Faceはオープンソースの原則に従い、データキュレーションからトレーニングステップまでのプロセスを公開しています。この透明性は、再現可能な研究とオープンソースの価値へのコミットメントを示しています。SmolLMの成功の鍵は、Cosmo-Corpusに基づく厳密にキュレーションされた高品質なトレーニングデータにあります。このデータセットは、合成の教科書や物語、教育的なPythonサンプル、キュレーションされた教育的なウェブコンテンツなどを含んでおり、これにより高い性能を実現しています。
SmolLMのリリースは、AIのアクセシビリティとプライバシーに関して大きな影響を与える可能性があります。これらのモデルは、電話やラップトップなどの個人のデバイスで直接実行することができるため、クラウドコンピューティングへの依存を減らし、コストとプライバシーの懸念を軽減します。また、開発者とエンドユーザーにとって、高価なGPUやクラウドインフラストラクチャを必要とせずにカスタムAIアプリケーションを実現する新たな可能性を開きます。
この技術のポジティブな側面は、AIのデモクラティゼーションとプライバシーの保護にあります。個人のデバイスで直接AIモデルを実行することで、ユーザーは自分のデータを自分の手元で管理し続けることができ、データのプライバシーが向上します。さらに、クラウドサーバーへのデータ送信が不要になるため、データ漏洩のリスクが減少します。しかし、これらのコンパクトモデルが広く普及するにつれて、不正使用やセキュリティの脆弱性などの潜在的なリスクに対する規制やガイドラインの整備が求められる可能性があります。
将来的には、SmolLMのようなモデルがさらに進化し、より多くのアプリケーションでの使用が期待されます。例えば、個人化されたオートコンプリート機能や複雑なユーザーリクエストの解析など、ユーザーの日常生活をより便利にする機能が実現可能になるでしょう。また、教育や医療などの分野でのカスタマイズされたAIアプリケーションの開発も加速されるかもしれません。Hugging Faceがこの技術をオープンソースで提供することで、グローバルなAIコミュニティがこの革新的なアプローチをさらに発展させ、改善することが期待されます。
from Hugging Face’s SmolLM models bring powerful AI to your phone, no cloud required.
