Last Updated on 2024-01-25 09:25 by
【ダイジェスト】
メタ社が、リアルな「コーデックアバター」をクエストヘッドセットに近々導入する可能性が高まっています。このコーデックアバターは、メタが長期にわたって研究開発を進めているプロジェクトで、リアルタイムで動作する写実的なアバターを実現することを目指しています。この技術は、顔のトラッキングセンサーを搭載したヘッドセットや将来的にはメガネによって駆動されることを想定しています。2019年にプロジェクトの存在が明らかにされて以来、複数回にわたるアップデートが公開され、全身バージョンも披露されました。
最近のファームウェアの解析から、メタがクエストヘッドセットにこの機能を統合しようとしていることが示唆されています。VR愛好家のルナ氏が、公開テストチャンネルでテスターに提供されているメタクエストのファームウェアバージョン62を逆コンパイルすることで、コーデックアバターに関する言及を発見しました。過去にも同様の方法で新機能が発見されていますが、この機能がいつ実際に提供されるか、または実際に提供されるかどうかはまだ不明です。
メタのCTOであるアンドリュー・ボズワース氏は昨年3月、コーデックアバターの提供に向けて「進展している」と述べましたが、「まだ数年はかかる」とも警告しています。また、この機能が既存のクエストヘッドセット向けに開発されているのか、それとも将来のクエストプロ2向けなのかも不明です。
2021年には、メタの研究者たちがコーデックアバターのデコード方法を大幅に効率化するデモンストレーションを行いました。クエスト2では、新しい方法を用いて空のシーンで1つのコーデックアバターをフル72FPSで、3つのアバターを約63FPSで、5つを約43FPSでレンダリングすることが可能でした。しかし、クエスト2やクエスト3は顔や目のトラッキング機能を搭載していないため、これらのアバターをどのように動かすかは課題です。メタの研究者たちは、顔のトラッキングを必要としないバージョンのコーデックアバターをデモンストレーションし、最近ではトラッキングを一切必要としないバージョンも披露しています。このバージョンでは、マイクからのオーディオをニューラルネットワークに供給し、現在の発話パターンに最も適した顔のポーズを推定します。
それでも、メタはコーデックアバターを、Horizon Workroomsのミーティングで実際の顔のトラッキングをサポートし、十分なパワーを持つ将来のクエストプロ2に専用する可能性があります。最高品質のコーデックアバターには特殊なキャプチャリグが使用されていますが、メタの研究者たちは、実際に大規模にコーデックアバターを提供するために、このプロセスをスマートフォンスキャンで置き換える作業を進めています。これにより品質は低下しますが、クエストプロ2にはApple Vision ProがPersonaのセットアップに使用するようなフロントディスプレイや深度センサーが含まれるかもしれませんが、専用キャプチャリグには及ばないでしょう。
とはいえ、コーデックアバターのいかなるバージョンも、メタの現在の基本的なカートゥーンスタイルのアバターよりは大幅な改善となるはずです。これから数ヶ月にわたって、コーデックアバターが製品化への道を歩んでいるかどうか、メタからのさらなるヒントに注目していきます。
【ニュース解説】
メタ社が、そのクエストVRヘッドセットに向けて、リアルタイムで動作する写実的なアバター「コーデックアバター」を導入する可能性が高まっていることが示唆されています。このプロジェクトは、遠隔地にいる人々がまるで同じ空間にいるかのようなコミュニケーションを実現することを目的としており、2019年に初めて公開されて以来、技術の進化が続けられています。
最新の報告では、VR愛好家がメタクエストのファームウェアを逆コンパイルし、コーデックアバターに関する言及を発見したことから、メタがこの機能をクエストヘッドセットに統合しようとしていることが明らかになりました。ただし、この機能がいつ利用可能になるか、また実際にリリースされるかどうかは不確かです。
コーデックアバターは、顔や目のトラッキングセンサーを利用して動作することが想定されていますが、現在のクエスト2やクエスト3にはこれらの機能が搭載されていません。それに対応するため、メタの研究者たちはトラッキングを必要としないバージョンのコーデックアバターを開発しており、マイクからの音声データを基にニューラルネットワークが顔の表情を推定する技術を示しています。
この技術が実現すれば、VR空間でのコミュニケーションは大きく変わる可能性があります。現実に近い表情や動きを持つアバターによって、遠隔地にいる人々との交流がより自然でリアルなものになるでしょう。しかし、最高品質のアバターを生成するためには、100台以上のカメラを使用した特殊なキャプチャリグが必要であり、これを一般ユーザーが利用できる形にするにはまだ課題が残っています。
メタが提供するコーデックアバターの品質は、デモで見せたものと同じではないかもしれませんが、現在のカートゥーンスタイルのアバターよりは大幅にリアルなものになると期待されています。この技術の進展により、VRが持つポテンシャルがさらに広がることになるでしょう。一方で、プライバシーやセキュリティの問題、リアルなアバターによる人間関係への影響など、新たな課題も生じる可能性があります。メタは今後もこの技術の開発を進め、将来的にはより多くのユーザーに受け入れられる形での製品化を目指していくと考えられます。
from Is Meta Getting Close To Bringing Its Photorealistic 'Codec Avatars' To Quest?.
