Googleの「Lumiere」、ビデオ生成AIの新境地を開く

【ダイジェスト】

Googleは新しいビデオ生成AIモデル「Lumiere」を発表しました。このモデルは、Space-Time-U-Net（STUNet）と呼ばれる新しい拡散モデルを使用しており、ビデオ内の物体がどこにあるか（空間）と、それらがどのように動き変化するか（時間）を同時に把握します。Lumiereはプロンプトから基本フレームを作成し、STUNetフレームワークを使用してそのフレーム内の物体がどこに移動するかを推測し、互いに流れるようなフレームを作成して、シームレスな動きの外観を作り出します。Lumiereは80フレームを生成し、これはStable Video Diffusionが生成する25フレームと比較して多いです。

Googleは、AIビデオ生成と編集ツールが数年で不気味の谷からほぼリアルなレベルに進化したことを示すプレビュー動画と科学論文のプレプリントを公開しました。また、Googleはテキストからビデオへのカテゴリーで大きなプレイヤーではありませんでしたが、より高度なAIモデルを徐々にリリースし、より多様なモードに焦点を当てています。そのGemini大言語モデルは最終的にBardに画像生成をもたらす予定です。Lumiereはまだテスト用には公開されていませんが、RunwayやPikaなどの一般に利用可能なAIビデオジェネレーターと比較して、GoogleがAIビデオプラットフォームを開発する能力を示しています。

Lumiereはテキストからビデオへの生成だけでなく、画像からビデオへの生成、特定のスタイルでビデオを作成するスタイライズド生成、ビデオの一部のみをアニメーション化するシネマグラフ、ビデオの領域をマスクアウトして色やパターンを変更するインペインティングも可能にします。しかし、GoogleのLumiereに関する論文では、この技術を使用して偽物や有害なコンテンツを作成する悪用のリスクがあること、そしてバイアスや悪意のある使用ケースを検出するツールを開発し適用することが安全で公正な使用を保証するために重要であると指摘しています。

【ニュース解説】

Googleが新しいビデオ生成AIモデル「Lumiere」を発表しました。この技術は、ビデオ内の物体の位置（空間）と、それらがどのように動き変化するか（時間）を理解する新しい拡散モデルであるSpace-Time-U-Net（STUNet）を使用しています。Lumiereは、プロンプトから基本フレームを作成し、その後STUNetフレームワークを用いて物体がどこに移動するかを推測し、シームレスな動きを持つビデオフレームを生成します。これにより、従来のAIビデオ生成ツールよりもリアルな動きを持つビデオを作成することが可能になります。

この技術の進化は、AIビデオ生成と編集ツールが数年で不気味の谷を超え、ほぼリアルなレベルに達したことを示しています。Lumiereは、テキストからビデオへの生成だけでなく、画像からビデオへの生成、特定のスタイルでビデオを作成するスタイライズド生成、ビデオの一部だけをアニメーション化するシネマグラフ、ビデオの特定の領域をマスクアウトして色やパターンを変更するインペインティングなど、多様な機能を提供します。

しかし、この技術の発展には潜在的なリスクも伴います。特に、偽物や有害なコンテンツの生成への悪用が懸念されます。このため、GoogleのLumiereに関する論文では、バイアスや悪意のある使用ケースを検出するツールの開発と適用が、安全で公正な使用を保証するために重要であると指摘しています。

この技術の進歩は、映像制作の分野に革命をもたらす可能性があります。例えば、映画やゲームのCG制作において、よりリアルで効率的な制作が可能になることが期待されます。また、教育やトレーニングビデオの制作においても、リアルなシミュレーションやデモンストレーションが容易になるでしょう。しかし、同時に、偽ニュースの生成やプライバシーの侵害など、社会的な課題への対応も求められます。

規制やガイドラインの整備、技術の透明性の確保、利用者教育など、この技術の健全な発展と利用を支えるための取り組みが重要になります。将来的には、AIによるビデオ生成技術がさらに進化し、現実と区別がつかないレベルの映像が生成される時代が来るかもしれません。その際には、技術の進歩と社会的な責任のバランスをどのように取るかが、大きな課題となるでしょう。

from Google’s Lumiere brings AI video closer to real than unreal.