Hybrid Hands Interactionsは、ミックスドリアリティ環境で実際の物体と対話できるようにするオープンソースのプラグインです。このプラグインを利用することで、ユーザーは物体と相互作用することにより、魔法のような体験を創出できます。しかし、現在のSDKでは物体との真の相互作用はサポートされていません。

プラグインは「Placement」と「Interaction」の2つの操作をサポートしており、物理的なオブジェクトの位置をシステムに登録し、ユーザーが実際に物体と対話できるようにします。Unity、XR Interaction Toolkit、AR Foundationで作成されており、理論上すべてのヘッドセットと互換性があります。

現在、Hybrid Hands Interactionsは完璧ではなく、ハンドトラッキングの品質の低下や物体の仮想対応物の揺れが問題となっています。それでも、特殊効果を使用したインストレーションや研究開発など、いくつかの用途で利用されています。作者はこのプラグインを改善し、ハンドと物体の相互作用の基盤となることを目指しており、コミュニティからのフィードバックやサポートを求めています。

【編集者追記】用語解説
Presence Platform:Metaが開発したVR/AR技術の基盤となるプラットフォーム。「Hybrid Hands Interactions」はこのプラットフォームの一部。

【参考リンク】
Presence Platform（外部）

【関連記事】
VR/ARニュースの記事をinnovaTopiaでもっと読む

【ニュース解説】

ミックスドリアリティ（MR）環境で実際の物体と対話することを可能にする新しいオープンソースのプラグイン「Hybrid Hands Interactions」が発表されました。この技術は、物理的なオブジェクトと仮想オブジェクトの間の相互作用を実現し、ユーザーに魔法のような体験を提供します。例えば、実際のボトルを持ち上げた際に、それが仮想のスプレー缶として表示されるなど、現実と仮想の境界を曖昧にします。

このプラグインは、物理的なオブジェクトの位置を登録し、その後の相互作用を可能にする「Placement」と「Interaction」の二つの主要な機能を提供します。これにより、ユーザーは物理的なオブジェクトを直接操作することで、仮想世界内での相互作用を実現できます。Unity、XR Interaction Toolkit、AR Foundationを基盤としており、幅広いヘッドセットとの互換性があります。

しかし、このシステムはまだ完璧ではありません。特に、物体を手で持った際のハンドトラッキングの品質の低下や、物体の仮想対応物の揺れなどの問題が挙げられます。これらの問題にもかかわらず、特殊効果を使用したインストレーションや研究開発の分野での利用が期待されています。

この技術のポジティブな側面としては、ユーザーがより没入感のある体験を得られることが挙げられます。実際の物体を使用して仮想世界と対話することで、現実世界と仮想世界の境界が曖昧になり、新たな体験の創出が可能になります。一方で、潜在的なリスクとしては、技術の不完全さによるユーザー体験の低下や、プライバシーへの懸念があります。特に、実際の物体との相互作用を追跡するためには、ユーザーの環境に関する詳細な情報が必要になるため、これらのデータの取り扱いには注意が必要です。

将来的には、このプラグインの改善と発展により、MR技術の応用範囲が拡大し、教育、トレーニング、エンターテイメントなど、さまざまな分野での利用が期待されます。また、コミュニティからのフィードバックやサポートを通じて、より信頼性の高いシステムの構築が進むことで、MR技術の普及と発展に貢献することができるでしょう。

from An opensource plugin lets you interact with real objects in mixed reality.