Metaは2025年11月19日、Segment Anythingコレクションの最新版としてSAM 3とSAM 3Dを発表した。
SAM 3は、テキストと視覚的なプロンプトを使用して画像や動画内の物体を検出・追跡する機能を持つ。従来のSAM 1と2が視覚的プロンプトを中心に対応していたのに対し、SAM 3は「赤い野球帽」のような詳細なテキストプロンプトでのセグメント化を可能にした。SAM 3Dは2つのオープンソースモデルで構成され、SAM 3D Objectsが物体とシーンの再構築を、SAM 3D Bodyが人体と形状の推定を担う。
両モデルはSegment Anything Playgroundで体験できる。MetaはSAM 3をInstagramの動画編集機能「Edits」や、Meta AIアプリの動画フィード「Vibes」、meta.aiに導入する予定だ。また、SAM 3DはFacebook Marketplaceの「View in Room」機能の基盤技術として活用される。開発者向けにはRoboflowと提携し、SAM 3を特定のユースケース向けに微調整（ファインチューニング）できる環境も提供される。
From: 
New Segment Anything Models Make it Easier to Detect Objects and Create 3D Reconstructions
【編集部解説】
今回のSAM 3とSAM 3Dのリリースは、AI画像認識の分野における大きな転換点となります。特に注目すべきは、SAM 3が実現した「オープンボキャブラリーセグメンテーション」の能力です。従来のセグメンテーションモデルは、事前に定義されたラベルセットの中でしか物体を識別できませんでした。例えば「車」という概念は認識できても、「黄色いスクールバス」のような詳細な記述には対応できなかったのです。SAM 3はこの制約を打ち破り、自然言語による柔軟な指示を理解できるようになりました。
MetaはSA-Coという新しいベンチマークデータセットを構築しており、これは21.4万個の独自概念、12.4万枚の画像、1,700本の動画を含んでいます。このデータセットの概念カバレッジは既存ベンチマークの50倍以上に達しており、モデルの汎用性を大幅に向上させています。
実用面での影響も見逃せません。SAM 3Dを活用したFacebook MarketplaceのView in Room機能は、家具や家庭用品を購入前に自宅で視覚化できる体験を提供します。これはPinterestが提供している同様の機能と競合するもので、ECにおけるAR体験が一般化していく流れを加速させるでしょう。
技術的には、SAM 3は検出と認識を分離する「プレゼンスヘッド」という新しいアーキテクチャを採用しています。これにより「何があるか」と「どこにあるか」を別々に処理することで、より正確な物体検出が可能になりました。
ロボティクスや科学研究の分野でも、SAM 3Dは重要な役割を果たすと期待されています。単一の2D画像から正確な3D再構築を行う能力は、ロボットの物体認識、スポーツ医学における姿勢分析、AR/VRコンテンツ制作など、多岐にわたる応用が考えられます。
オープンソースとして公開されている点も重要です。Roboflowとの提携により、ユーザーは自身のニーズに合わせてSAM 3をファインチューニングできる環境が整っています。これにより、特定の産業分野や研究用途に最適化されたモデルの開発が加速するでしょう。潜在的な課題としては、高精度な3D再構築には依然として10〜20%の精度ギャップが存在することが研究で指摘されています。また、テキストプロンプトによる物体認識は、言語の曖昧性や文化的文脈の違いによって意図しない結果を生む可能性もあります。
【用語解説】
セグメンテーション（画像セグメンテーション）
デジタル画像をピクセル単位で複数の領域や区画に分割するコンピュータビジョンの基礎技術。物体形状を輪郭で捉えられる点が特徴。
オープンボキャブラリーセグメンテーション
事前に定義されたラベルでなく、自然言語による任意の記述で物体やシーンを識別できる最新のセグメンテーション手法。
プロンプト
AIモデルに対する命令文や入力。SAM 3では視覚的プロンプト（クリックやマスク）とテキストプロンプト（自然言語記述）に両対応。
SA-Coデータセット
21.4万概念・12.4万画像・1,700動画からなる最新の評価ベンチマーク。既存ベンチマークの50倍以上の概念をカバー。
【参考リンク】
Segment Anything Playground（外部）
Metaが提供するユーザー体験型プラットフォーム。最先端セグメンテーションを誰でも画像/動画で試せる。
Meta AI Research – Segment Anything（外部）
Segment Anythingプロジェクトの公式技術情報・論文・モデル配布元。技術詳細を知りたい方に。
Roboflow – SAM 3統合プラットフォーム（外部）
SAM 3のアノテーション・APIサービスを提供。ローコードで独自ビジョンAI開発も。
【参考動画】
【参考記事】
What is Segment Anything 3 (SAM 3)? Segment … – Roboflow Blog（外部）
SAM 3の詳細解説記事。プロンプタブルコンセプトとビジュアルセグメンテーションの両モードを紹介。
Meta’s “Segment Everything” model has been upgraded! It can …（外部）
新SA-Coデータセットの規模・カバレッジなど、SAM 3の技術的進化を定量的に説明。
SAM 3: Segment Anything with Concepts – Ultralytics YOLO Docs（外部）
プレゼンスヘッドを含むモデル構造やアーキテクチャの技術解説を記載。
Meta Tests Virtual Try On for Furniture on Marketplace（外部）
SAM 3DによるFacebook MarketplaceのView in Room実装詳細。Pinterestとの比較もあり。
Image Segmentation: Definition, Types & Applications（外部）
AI画像セグメンテーションの基礎と応用を論じる技術記事。初心者にも推奨。
【編集部後記】
Segment Anything Playgroundは誰でも無料で試せる環境です。テキストで指示するだけで、思い通りの編集ができる体験は、想像以上に直感的で楽しいものです。
動画編集やデザイン制作をされている方なら、作業効率がどれほど変わるか実感できるでしょう。また、3D再構築の機能は、ECサイトやインテリア配置のシミュレーションなど、日常的な買い物の場面でも活用が広がりそうです。皆さんなら、このツールをどんな場面で使ってみたいと思いますか。新しい技術に触れることで、私たち自身の創造性や発想も広がっていくのではないでしょうか。
