Last Updated on 2024-06-19 15:08 by 荒木 啓介
AIボイススタートアップのElevenLabsが、ビデオにサウンドエフェクトを追加できる新しいオープンソースツールを発表しました。このアプリケーションは約15秒でクリエイターがビデオのサウンドエフェクトサンプルを生成できるようにし、インポートされたクリップを分析して複数のオプションを提供します。開発者はGitHub上でアプリのコードにアクセスでき、ElevenLabsは公開用のウェブサイトを通じてSound Effects APIを試すことができます。
このビデオからサウンドエフェクトへのアプリは、クライアント側で1秒間隔で4つのフレームを抽出し、それらのフレームとプロンプトをOpenAIのGPT-4oに送信してカスタムのテキストからサウンドエフェクトのプロンプトを作成します。その後、ElevenLabsのSound Effects APIを使用してサウンドエフェクトが生成され、ビデオとオーディオがクライアント側で単一のファイルに組み合わされ、ダウンロードの準備が整います。このファイルは最大22秒間の長さになることができます。
ElevenLabsのデザインリードであるAmmaar Reshiは、このAPIを使用して人々が構築できるさまざまなダイナミックな体験について興奮しており、プレイヤーの相互作用に基づいて生成されるサウンドを特徴とする没入型ビデオゲームなどの例を挙げています。また、このAPIを使用して開発者が短い説明を使用して完全にカスタムされたAIサウンドエフェクトを構築できるようになります。ElevenLabsは生成あたり100文字、または設定された期間につき秒あたり25文字を請求します。
【ニュース解説】
AIボイススタートアップのElevenLabsが、ビデオにサウンドエフェクトを追加することができる新しいオープンソースツールを発表しました。このツールは、わずか15秒でビデオクリップを分析し、複数のサウンドエフェクトサンプルを生成することが可能です。開発者はGitHubでこのアプリのコードにアクセスでき、一般の人々はElevenLabsが提供するウェブサイトを通じて、このSound Effects APIを試すことができます。
この技術は、ビデオから1秒ごとに4つのフレームを抽出し、それらのフレームとプロンプトをOpenAIのGPT-4oに送信して、カスタムのテキストからサウンドエフェクトのプロンプトを作成します。そのプロンプトは、ElevenLabsのSound Effects APIを通じてサウンドエフェクトを生成し、最終的にビデオとオーディオが組み合わされて、最大22秒の長さのファイルとしてダウンロードできるようになります。
この技術の応用例としては、没入型ビデオゲームが挙げられます。プレイヤーの行動に基づいてリアルタイムでサウンドエフェクトを生成することで、ゲーム体験をよりリアルで没入感のあるものにすることが可能になります。また、映画やビデオ制作においても、編集プロセスを効率化し、よりリアルなサウンドエフェクトを簡単に追加することができるため、クリエイターにとって大きなメリットがあります。
しかし、この技術の導入にはいくつかの潜在的なリスクも伴います。例えば、AIによって生成されたサウンドエフェクトが実際の環境音と区別がつかなくなることで、誤解を招く可能性があります。また、著作権やプライバシーの問題も考慮する必要があります。AIが既存のサウンドエフェクトを模倣する場合、著作権侵害のリスクが生じる可能性があります。
長期的な視点では、この技術はビデオとオーディオの編集プロセスを根本的に変える可能性を秘めています。AIが提供するサウンドエフェクトの精度が向上すれば、よりリアルで高品質なオーディオ体験を提供することが可能になります。また、この技術の発展は、AIのクリエイティブな使用方法をさらに広げることにも繋がります。ただし、その過程で生じる倫理的、法的な課題に対処するための規制やガイドラインの整備も重要になってくるでしょう。
from ElevenLabs unveils open-source creator tool for adding sound effects to videos.
