Last Updated on 2024-07-02 10:43 by admin
RunwayMLは、AIによるビデオ生成を目指す初期のスタートアップの一つであり、最新のフロンティアモデルであるGen-3 Alphaを一般公開しました。このモデルは、テキスト、画像、またはビデオのプロンプトから超現実的なAIビデオを生成することができます。Gen-3 Alphaは、RunwayMLプラットフォームに登録している全ユーザーが利用可能になり、広告などのさまざまなクリエイティブな用途に活用できます。ただし、Gen-3 Alphaを使用するには、月額12ドルから始まる有料プランへのアップグレードが必要です。これは、以前のGen-1およびGen-2モデルとは異なります。
Gen-3 Alphaは、ビデオと画像を高度に記述的なキャプションで注釈付けしてトレーニングされ、想像力豊かなトランジション、要素の正確なキーフレーミング、さまざまなアクション、ジェスチャー、感情を示す表現豊かな人間キャラクターを特徴とする超現実的なビデオクリップの生成を可能にします。Runwayは、研究科学者、エンジニア、アーティストの「横断的なチーム」と協力してこれらの機能を開発しましたが、トレーニングデータの正確な出所については詳細を共有していません。
今後、RunwayはGen-3 Alphaをテキストからビデオへのモードで初めて提供し、自然言語のプロンプトでユーザーのアイデアを実現します。また、画像からビデオへ、ビデオからビデオへのモードへの展開も予定しています。このモデルは、RunwayプラットフォームのMotion Brush、Advanced Camera Controls、Director Modeなどの制御機能とも連携します。生成される各ビデオは最大10秒で、生成速度はビデオの長さによって異なります。これは、ほとんどのAIビデオモデルよりも優れていますが、OpenAIのSoraで約束された1分間の生成よりは短いです。
RunwayはGen-3 Alphaを「大規模なマルチモーダルトレーニング用に構築された新しいインフラストラクチャ上でトレーニングされた、今後登場する一連のモデルの最初」と説明しており、実世界で遭遇するさまざまな状況や相互作用を「表現し、シミュレートすることができる一般的な世界モデル」を構築する方向への一歩と位置づけています。
【ニュース解説】
RunwayMLは、AIによるビデオ生成の分野で先駆けとなるスタートアップの一つであり、その最新モデルであるGen-3 Alphaを一般に公開しました。このモデルは、テキスト、画像、またはビデオのプロンプトから超現実的なAIビデオを生成する能力を持ち、広告などのクリエイティブな用途に利用できるようになります。しかし、このサービスを利用するには、月額12ドルから始まる有料プランへのアップグレードが必要という条件があります。
Gen-3 Alphaの開発には、研究科学者、エンジニア、アーティストからなる横断的なチームが関わっており、ビデオと画像を高度に記述的なキャプションで注釈付けしてトレーニングされています。このモデルは、想像力豊かなトランジション、要素の正確なキーフレーミング、さまざまなアクション、ジェスチャー、感情を示す表現豊かな人間キャラクターを特徴とする超現実的なビデオクリップの生成を可能にします。しかし、トレーニングデータの具体的な出所については明らかにされていません。
この技術の導入により、ユーザーは自分のアイデアを自然言語のプロンプトを使ってビデオとして実現することができます。今後は、画像からビデオへ、ビデオからビデオへという形での利用も予定されており、RunwayプラットフォームのMotion Brush、Advanced Camera Controls、Director Modeなどの制御機能との連携も特徴です。生成されるビデオは最大10秒とされており、これは多くのAIビデオモデルよりも優れていますが、OpenAIのSoraが約束する1分間の生成には及びません。
Runwayは、Gen-3 Alphaを大規模なマルチモーダルトレーニング用に構築された新しいインフラストラクチャ上でトレーニングされたモデルの最初と位置づけています。これは、実世界で遭遇するさまざまな状況や相互作用を表現し、シミュレートすることができる「一般的な世界モデル」を構築する方向への一歩とされています。
この技術のポジティブな側面としては、広告、映画制作、ゲーム開発など、さまざまなクリエイティブな分野での新たな表現方法の提供が挙げられます。一方で、超現実的なビデオ生成能力は、虚偽の情報や偽ニュースの拡散、著作権やプライバシーの問題を引き起こす潜在的なリスクもはらんでいます。また、このような技術の進化は、規制や法律の枠組みにも新たな課題を投げかけることになるでしょう。
将来的には、Gen-3 Alphaのようなモデルがさらに進化し、より長いビデオの生成や、より複雑なシナリオのシミュレーションが可能になることが期待されます。これにより、教育、トレーニング、エンターテインメントなど、さらに多くの分野での応用が広がる可能性があります。しかし、その一方で、技術の進化に伴う倫理的、法的な問題に対する議論と解決策の模索も、ますます重要になってくるでしょう。
from Runway’s Gen-3 Alpha AI video model now available – but there’s a catch.
