Last Updated on 2024-07-20 15:31 by admin
最近Xのタイムラインでお口をむにゅむにゅしている美女が多いなぁ、と気になっていた。
どうやらLive Portraitというものを使うとおじさんでも美女の中の人になって顔を動かせるらしい。（←表現正しい？）
まずはLive Portraitが何かということをざっくりとperplexityに調べてもらった。
Live Portraitとは？
Live Portraitは、静止画像に命を吹き込む革新的なAI技術です。1枚の写真からリアルな動きのある映像を生成することができ、顔の表情や頭の動きを別の動画や音声、さらには文字情報から取り込むことができます。この技術は、写真を使ったコミュニケーションを強化したいユーザーに最適なツールとして注目を集めています。
特徴
- 暗黙的キーポイント技術: Live Portraitは「暗黙的キーポイント」という独自の手法を採用しています。これにより、顔の特徴点を効率的に扱い、処理速度と細かな制御のバランスを取ることができます。
- 多様なスタイル対応: リアルな写真だけでなく、様々なスタイルの画像にも対応しています。
- 高速処理: 画像の複雑さと選択したビデオテンプレートによって異なりますが、通常30秒から2分程度で処理が完了します。
- 自然な動き: 不気味の谷効果を回避し、滑らかで自然な見た目のリアルな動画を生成します。
- プライバシー重視: アップロードされた画像は安全に処理され、動画生成後はサーバーに保存されません。
- 多様な応用: 個人化されたビデオメッセージ、挨拶、発表など、様々な用途に活用できます。
Live Portraitは、写真スタジオ、イベント業界、広告・マーケティング、オンラインショップなど、様々なビジネス分野での活用が期待されています。この技術は、静止画に新たな命を吹き込み、コミュニケーションや表現の可能性を大きく広げる革新的なツールとして注目を集めています
Hugging Face Spacesでやってみる
Live PortraitはHugging Face Spacesで公開されています。
左側に動かしたい画像、右側に動かしたい動作のもとになる動画を配置して【Animate】を押すと動画が生成されます。
画像はMidjourneyでサクッと生成してみます。
右上の女性に着ぐるみになってもらうことにしました。
※Live Portraitを試したいけど画像の準備がたいへん、という方は上の画像を使ってみてください。
右側の動画ですが、サンプルから選んでも良いのですが、せっかく（？）なのでPCカメラのアイコンを選択して、自分の動画を撮影してみます。
録画ができたら【Animate】で動画を生成します。
どうでしょう？なんて言っているかわかります？
答えを言う前に、同じ動画で元画像を変えたものをご覧ください。
「こ」「ん」「に」「ち」「は」「こんにちは」って言ってます（錦鯉さんをイメージ）。伝わりましたでしょうか？
楽しいLive Portraitですが、単純化したアイコンとかイラストだと顔として認識されず、エラーになってしまいます。
私の記者としてのアイコンも認識されませんでした。残念。
動物もチャレンジしたのですが失敗。顔を認識できないというエラー。
絵画調のものも顔がしっかりと認識できるものはOKで、微妙なものはエラーになった。
いろいろと遊べるので、皆さんもぜひ一度やってみてください。