Meta、Quest開発者に待望のカメラAPIを解放 – AIと融合する次世代MR体験の扉が開く

2025年3月19日19:07

VR/ARニュース

Last Updated on 2025-03-19 19:07 by admin

ついに来た。VRヘッドセットが真に現実世界を”見る”時代が。Metaが長らく慎重に管理していたQuestのカメラ機能が、ついに開発者コミュニティに解放された。3月14日に静かにリリースされたSDKアップデートにより、Quest 3の前面カメラが開発者の創造性に委ねられることになる。これからは空間内の物体認識、リアルタイムの環境分析、AIとの高度な連携など、かつては技術的に困難だった機能が実現可能に。

Metaは2025年3月14日、長年待望されていたQuestのパススルーカメラAPIを「公開実験API」としてリリースした。Meta XR Core SDK v74の一部として提供されるこの機能により、開発者はQuest 3とQuest 3Sの前面RGBカメラに直接アクセスできるようになる。

主な特徴と可能性

このAPIの公開により、以下のことが可能になる：

ミックスドリアリティアプリの照明やエフェクトの大幅な改善
機械学習やコンピュータビジョンを適用した詳細な物体認識
現実環境と仮想要素のシームレスな統合
AIアプリケーションとの連携による新しい体験の創出

元MetaのVR/AR担当VP Mark Rabkinは、このAPIが「あらゆる種類の最先端MR体験」を可能にすると述べており、追跡された物体、高度なオーバーレイ、シーン理解などの機能が実現できるようになる。

現在の状況と今後の展開

Niantic Labs、Creature、Resolution Gamesなど選ばれたパートナーには既に早期ビルドが提供されている
これらのパートナーは2025年3月19日のGDC 2025でMetaのトーク「現実を融合し、驚きを増幅する：ミックスドリアリティ開発に関する専門家のガイダンス」で成果を発表
現時点では実験的機能のため、このAPIを使用したアプリのMeta Horizon Storeでの公開はまだ不可
SideQuestなどの非公式プラットフォームでのAPK配布は可能

その他の新機能

v74リリースには、パススルーカメラAPI以外にも以下の新機能が含まれている：

親指ベースのマイクロジェスチャー（親指タップ、スワイプなど）
ヘッドセット内でシーン階層を直接表示・検査できるイマーシブデバッガー
フレンドマッチメイキングやローカルマッチメイキングなどの新しいビルディングブロック

このAPIの登場により、VR/MR開発の可能性が大きく広がり、より自然で直感的なミックスドリアリティ体験の創出が期待される。

from Meta Releases Quest Camera Access for Developers, Promising Even More Immersive MR Games

【編集部解説】

Metaによる今回のパススルーカメラAPIの公開は、VR/MR開発の世界に大きな変革をもたらす可能性を秘めています。このAPIは2025年3月14日に公開実験APIとしてリリースされ、Quest 3およびQuest 3Sの前面RGBカメラへのアクセスを開発者に提供しています。

これまでQuestのカメラ機能はMetaが厳しく管理しており、開発者ができることは限られていました。しかし今回のリリースにより、開発者はWebCamTextureやAndroid Camera2 APIを使用してカメラ映像を取得し、自由に活用できるようになりました。

特に注目すべき点は、このAPIが単なる視覚効果の向上だけでなく、機械学習やコンピュータビジョンと組み合わせることで、ユーザーの現実環境をより深く理解し、インタラクションできる可能性を開くことです。例えば、部屋の中の特定の物体を認識し、それに合わせたコンテンツを表示したり、現実世界の物体と仮想オブジェクトの自然な相互作用を実現したりすることが可能になります。

イタリアのVR開発者は、このカメラアクセス機能を「ミックスドリアリティと人工知能を橋渡しするもの」と評しており、カメラから取得した画像にAI/MLアルゴリズムを適用して、Pictionary（お絵かき伝言ゲーム）のようなアプリケーションを開発した例も紹介しています。

現在は実験的な段階であるため、開発者はこのAPIを使用して構築されたアプリをMeta Horizon Storeで公開することはまだできません。しかし、SideQuestのようなプラットフォームでのAPK配布は可能です。Metaは過去にも新しいAPIに対してこのようなアプローチを取っており、通常は数ヶ月以内にストアアプリでの使用が可能になるとされています。

プライバシーの観点からも重要な進展があります。このAPIを使用するためには、ユーザーからの明示的な許可が必要です。Androidのカメラアクセスのようにユーザーのプライバシーを尊重する仕組みが組み込まれており、ユーザーが信頼しない限りカメラフレームにアクセスできない設計になっています。

技術的には、このアプローチはAndroidスマートフォンで使用されているものと同じであり、Googleが将来のAndroid XRでも同様のアプローチを取る予定であることから、クロスプラットフォームアプリケーションの開発が容易になる可能性があります。

Metaの最高技術責任者であるAndrew Bosworthは、このAPIが「ミックスドリアリティにおいて多くの可能性を解き放つ」と述べており、同社の発表が競合他社にも同様の機能の再評価を促したことを示唆しています。

一方で、このAPIの公開範囲については依然として不明確な点もあります。Metaはプライバシーに関する懸念から保守的な立場を取っていた経緯があり、Appleが Vision Proのパススルーカメラへのアクセスを非公開の内部アプリケーションのみに限定していることと比較すると、今後の展開が注目されます。

開発者向けのサンプルプロジェクトも公開されており、WebCamTextureManagerやPassthroughCameraUtilsといったヘルパークラスや、基本的なカメラフィード、明るさ推定、Unity Sentisを使用したオブジェクト検出、シェーダーベースのエフェクトなど、5つのサンプル実装が提供されています。

このAPIの登場により、VR/MRの世界はより現実世界と融合し、新たな可能性が広がることでしょう。開発者の創造性が解放され、ユーザーにとってより自然で直感的な体験が実現することが期待されます。

【用語解説】

パススルーカメラ：VRヘッドセットに搭載されたカメラを使って、ヘッドセットを装着したまま現実世界を見ることができる機能です。Quest 3では高解像度のカラーカメラが搭載され、より自然な「現実の見え方」を実現しています。

ミックスドリアリティ（MR）：現実世界と仮想世界を融合させる技術で、ARとVRの特性を併せ持ちます。例えば、現実の部屋の中に仮想のキャラクターや物体を配置し、それらが実際の環境を認識して相互作用するような体験が可能になります。スマートフォンのARが「現実の上に情報を重ねる」のに対し、MRは「現実と仮想が相互に影響し合う」点が特徴です。

GDC（Game Developers Conference）：ゲーム開発者向けの世界最大級のカンファレンスで、毎年サンフランシスコで開催されています。2025年のGDCでは、VR/MR開発が主要なテーマの一つとなっています。

SideQuest：Meta公式ストア以外でQuest向けアプリを配布できる非公式プラットフォームです。実験的な機能を使ったアプリなど、公式ストアの審査基準を満たさないアプリの配布に利用されています。