Last Updated on 2024-06-12 07:37 by admin
AppleはvisionOS 2を通じて、Apple Vision Proの機能を拡張し、特定の3Dオブジェクトの追跡が可能になった。この新機能は、アプリ開発者が事前に指定した3Dオブジェクトを追跡できるようにするもので、手の追跡機能の向上やシーン理解の強化も含まれる。
これらの改善点はWWDC24の基調講演では発表されなかったが、オンラインで公開された開発者向けセッションでAppleのエンジニアによって詳細が説明された。
開発者は、アプリのコンパイル前に追跡する3DオブジェクトをUSDZ 3DモデルとしてMac上のCreate MLツールに提供する必要がある。Create MLは各オブジェクトに対してニューラルネットワークを訓練し、その結果はアプリに組み込まれる。
このシステムでは、ユーザーが任意の3Dオブジェクトを提供することはできず、新しいオブジェクトの追跡を可能にするにはアプリのアップデートが必要となる。しかし、ビジネスや教育の用途、またはiPhoneのような一般的なオブジェクトの追跡には非常に有用な機能である。
開発者は、追跡されたオブジェクトにアンカーとして仮想オブジェクトを配置したり、3Dエフェクトで拡張したりするために、システムが提供するバウンディングボックスのスケールと方向を使用できる。visionOS 2の最初のベータ版は既にインストール可能であり、安定版のリリースは今年の秋に予定されている。
【編集者追記】用語解説
- Apple Vision Pro：
Apple Vision Proは、Appleが開発した革新的な空間コンピューティングデバイスです。現実世界にデジタルコンテンツを重ね合わせ、目、手、声を使ってナビゲーションできます。没入感の高いVR/AR体験を提供し、仕事からエンターテインメントまで幅広い用途に活用できます。最新のvisionOS 2では3Dオブジェクト追跡機能が強化され、現実世界との融合がさらに進んでいます。 - USDZ 3Dモデル：
USDZは、AppleとPixarが共同開発した3Dファイルフォーマットです。Universal Scene Description (USD)フレームワークをベースに、3Dオブジェクト、シーン、アニメーションをコンパクトに圧縮・パッケージ化できます。PBRマテリアルやテクスチャもサポートし、高品質な3Dコンテンツを作成できます。Apple製品との親和性が高く、AR Quick Lookなどで手軽に3D体験を共有できるのが特徴です。 - Create ML：
Create MLは、Appleが提供する機械学習モデルのトレーニングツールです。MacOS上で動作し、画像認識、オブジェクト検出、音声認識など様々なタスクに特化したモデルを、プログラミングの知識がなくても直感的に作成できます。最新のTransformerベースのテキスト埋め込みなども活用可能。トレーニング済みモデルはCore ML形式で出力され、iOSアプリなどに組み込んで利用できます。機械学習の民主化に貢献するツールと言えるでしょう。
【参考リンク】
visionOS 2 プレビュー – オフィシャルページ（外部）
【関連記事】
【ニュース解説】
AppleがvisionOS 2を通じてApple Vision Proの機能を拡張し、特定の3Dオブジェクトの追跡が可能になりました。この新機能は、アプリ開発者が事前に指定した3Dオブジェクトを追跡できるようにするもので、手の追跡機能の向上やシーン理解の強化も含まれます。これらの改善点は、WWDC24の基調講演では発表されなかったものの、オンラインで公開された開発者向けセッションでAppleのエンジニアによって詳細が説明されました。
開発者は、アプリのコンパイル前に追跡する3DオブジェクトをUSDZ 3DモデルとしてMac上のCreate MLツールに提供する必要があります。Create MLは各オブジェクトに対してニューラルネットワークを訓練し、その結果はアプリに組み込まれます。このシステムでは、ユーザーが任意の3Dオブジェクトを提供することはできず、新しいオブジェクトの追跡を可能にするにはアプリのアップデートが必要となります。しかし、ビジネスや教育の用途、またはiPhoneのような一般的なオブジェクトの追跡には非常に有用な機能です。
開発者は、追跡されたオブジェクトにアンカーとして仮想オブジェクトを配置したり、3Dエフェクトで拡張したりするために、システムが提供するバウンディングボックスのスケールと方向を使用できます。この技術により、現実世界のオブジェクトとデジタルコンテンツの融合がさらに進み、例えば教育分野では実物の教材に対して直接的なデジタル情報の重ね合わせが可能になり、学習体験を豊かにします。ビジネス用途では、製品のデモンストレーションやトレーニングにおいて、実際の製品に関連する情報や操作方法を直感的に理解できるようになるでしょう。
一方で、この技術の導入には、プライバシーやセキュリティに関する潜在的なリスクも伴います。特に、現実世界のオブジェクトをデジタルで追跡することにより、個人のプライバシーに関わる情報が収集される可能性があります。そのため、適切な規制やガイドラインの整備が求められます。
将来的には、この技術の進化により、より多くのオブジェクトをリアルタイムで追跡できるようになり、ユーザーが提供する3Dオブジェクトの追跡も可能になるかもしれません。これにより、現実世界とデジタル世界の境界がさらに曖昧になり、新たなユーザーエクスペリエンスが生まれることが期待されます。visionOS 2の導入は、拡張現実技術の発展において重要な一歩となり、長期的には教育、ビジネス、エンターテイメントなど多岐にわたる分野での応用が見込まれます。
from With visionOS 2, Apple Vision Pro Can Track Prespecified 3D Objects.