Pikaは、ウェブプラットフォームpika.artで作成されたAIビデオに自動的にサウンドエフェクトを生成する新機能を追加した。この機能により、これまで無音であったAI生成ビデオに新たな次元が加わり、ユーザーは他の編集ソフトウェアを通じて自分でサウンドファイルを追加する必要がなくなった。この新機能は、リップシンク機能の導入から2週間未満で発表され、AI生成コンテンツを個人クリエイターや企業のユースケースに適したものにする。Pikaは、AIを使用してサウンドエフェクト、ボイスオーバー、ビジュアルを一箇所で行える主要な「オールインワン」AIビデオ作成プラットフォームの一つを作成した。

Pikaは、映画製作者にとって魅力的な提案であり、特定のプロジェクトにおいては、別々の撮影監督、ビデオグラファー、サウンドデザイナー、さらには俳優や単独の映画製作者がすべてのコンテンツを自分で調達する責任を排除する可能性がある。Pikaは、ユーザーが入力してすべてをより速く、より直接的に生成できるようにする。しかし、現在、この機能はスーパーコラボレータープログラムの一部であるか、月額58ドルのProサブスクリプションを支払っているユーザーにのみ提供されている。将来的には、ベータステージから移行し、Pikaプラットフォームのすべてのユーザーに利用可能にする計画である。

Pikaは、サウンドエフェクトを2つの方法でユーザーに提供する。一つはコンテキスト生成で、プラットフォームの下にあるAIモデルが、テキストプロンプトから生成されたクリップに最適なオーディオを決定する。もう一つはフォローアップアプローチで、ユーザーがオーディオレスクリップをプラットフォームに生成またはアップロードした後、特定のAI生成サウンドを追加できる。この機能の導入により、AIビデオクリエイターは、以前は他のソースからオーディオを使用する必要があり、プロセスに摩擦を生じさせ、時間がかかっていたが、これにより改善される。Pikaは、ビデオ出力の一部として生成されたオーディオを含むAIビデオスペースで最初の企業であると主張している。Pikaは、2023年12月にウェブプラットフォームを立ち上げて以来、特にまだ発売されていないOpenAIのSoraに対抗して、その提供を強化するために全力を尽くしている。最近では、ElevenLabsとのパートナーシップでリップシンクを導入し、AIボイスをビデオに追加すると同時に、話しているキャラクターの口がダイアログと同時に動くようにマッチングアニメーションを追加した。Pikaは、これらのリップシンクされたビデオもサウンドエフェクトで強化でき、より完全で没入感のあるシーンを作成できると述べている。

【ニュース解説】

Pikaは、AIを活用してビデオに自動的にサウンドエフェクトを生成する新機能を追加しました。これにより、従来無音だったAI生成ビデオに新たな次元が加わり、ユーザーは他の編集ソフトウェアを介さずに直接アプリ内でサウンドファイルを作成できるようになりました。この機能は、リップシンク機能の導入からわずか2週間未満で発表され、AI生成コンテンツを個人クリエイターや企業のユースケースに適したものへと進化させました。Pikaは、サウンドエフェクト、ボイスオーバー、ビジュアルをAIアルゴリズムを用いて一箇所で行える「オールインワン」AIビデオ作成プラットフォームの一つを構築しました。

この新機能により、映画製作者は、撮影監督、ビデオグラファー、サウンドデザイナー、俳優など、複数の役割を担う必要がなくなる可能性があります。Pikaを使用することで、ユーザーは自分の想像力から直接、迅速にコンテンツを生成できるようになります。ただし、現在この機能はスーパーコラボレータープログラムの参加者や月額58ドルのProサブスクリプションを支払っているユーザーに限定されていますが、将来的にはすべてのユーザーに提供される予定です。

サウンドエフェクトは、コンテキスト生成とフォローアップアプローチの2つの方法で提供されます。コンテキスト生成では、AIモデルがテキストプロンプトから生成されたクリップに最適なオーディオを自動的に決定します。フォローアップアプローチでは、ユーザーが特定のサウンドをテキストで記述し、そのプロンプトに基づいてAIが複数のサウンドオプションを生成します。これにより、ユーザーは以前よりも簡単に、よりクリエイティブなビデオを作成できるようになります。

Pikaのこの取り組みは、AIビデオクリエイターにとって大きな進歩を意味します。以前は、他のソースからオーディオを取り込む必要があり、プロセスに摩擦が生じ、時間がかかっていました。Pikaは、ビデオ出力の一部として生成されたオーディオを含むAIビデオスペースで最初の企業であると主張しています。このような機能は、クリエイティブなコンテンツの作成をより手軽でアクセスしやすいものにし、個人クリエイターや企業が新たな表現方法を探求する機会を提供します。

しかし、この技術の進化には、クリエイティブな作業の自動化が人間のクリエイターの役割をどのように変えるか、また、著作権やプライバシーに関する潜在的な課題にどのように対応するかといった、考慮すべき潜在的なリスクも伴います。また、このような技術の普及は、クリエイティブ産業における規制やガイドラインの更新を促す可能性があります。長期的には、AIによるコンテンツ生成がクリエイティブ産業の構造をどのように変えるか、そしてそれが社会にどのような影響を与えるかが注目されます。

from Pika adds generative AI sound effects to its video maker.