【ダイジェスト】

先週、ニューハンプシャー州の一部の有旹者が、ジョー・バイデン大統領を模倣したAI生成のロボコールを受け取りました。このロボコールは、州の予備選挙に投票しないようにと伝える内容でした。誰がこのロボコールを行ったのかは明らかではありませんが、オーディオ専門家の2つのチームがWIREDに対し、このロボコールはシリコンバレーの声のクローニングスタートアップであるElevenLabsの技術を使用して作成された可能性が高いと述べています。

ElevenLabsは、オーディオブックやビデオゲームなどの用途でAIツールを市場に提供しており、最近ではAndreessen Horowitzが共同主導する新たな資金調達ラウンドで8000万ドルを調達し、11億ドルの評価額で「ユニコーン」ステータスを達成しました。同社の有料サービスには誰でも登録でき、音声サンプルから声をクローンすることができます。同社の安全ポリシーでは、声をクローンする前にその人の許可を得ることが最善だとしていますが、商業目的でないさまざまな用途、例えば「公共の議論に貢献する政治的発言」などでは許可なしのクローニングも許容されるとしています。ElevenLabsはコメントの複数の要請に応じていません。

セキュリティ企業Pindropは、合成音声を識別するツールを開発しており、木曜日のブログ投稿で、ロボコールの音声分析から、ElevenLabsの技術または「類似のコンポーネントを使用するシステム」を指摘しています。Pindropの研究チームは、120種類以上の声合成エンジンを調べて一致を探しましたが、AI生成の音声の出所を特定することは困難であるため、一致を見つけることは期待していませんでした。しかし、結果は明確で、「ElevenLabsである可能性が99％以上」とPindropのCEOであるVijay Balasubramaniyanは述べています。

カリフォルニア大学バークレー校の情報学部でデジタルフォレンジックス専門家であるHany Faridは、当初、バイデンのロボコールがElevenLabsから来たという主張に懐疑的でした。しかし、彼のチームがPindropが入手した音声サンプルの独立した分析を行った結果、同じ結論に達しました。「私たちのモデルは、それがAI生成であり、ElevenLabsである可能性が高いと高い確信を持っています」と彼は主張しています。

これは、ElevenLabsのツールが政治的プロパガンダに使用された疑いが持たれた初めてのケースではありません。昨年9月、オンラインの誤情報を追跡するNewsGuardは、AI生成の声を使用して陰謀論を共有するTikTokアカウントがElevenLabsの技術を使用していると主張しました。当時、ElevenLabsはニューヨークタイムズへの電子メールでの声明で、「プラットフォーム上の99％以上のユーザーが興味深く、革新的で、有用なコンテンツを作成していますが、悪用の事例があることを認識しており、それらを抑制するためのセーフガードを継続的に開発し、リリースしています」と述べています。

Pindropとバークレーの分析が正しい場合、ディープフェイクのバイデンロボコールは、技術業界で最も著名で資金力のあるAIボイススタートアップの一つであるElevenLabsの技術を使用して作成されたことになります。Faridによると、ElevenLabsは市場で最高品質の合成音声オファリングを提供していると見なされています。

同社のCEOは最近のBloombergの記事で、ElevenLabsは投資家によって11億ドル以上の価値があると評価されていると述べています。その投資家には、Githubの元CEOであるNat Friedmanや、Alphabetの一部であるAIラボDeepMindの共同創設者であるMustafa Suleyman、Sequoia CapitalやSV Angelなどの企業が含まれています。

豊富な資金提供を受けて、ElevenLabsは他のAIスタートアップよりも悪意のある行為に対する効果的なセーフガードを作成するためのリソースを投入する立場にあります。これは、アメリカ合衆国の次期大統領選挙を控え、緊急性を増しています。Balasubramaniyanは、「適切なセーフガードを持つことが重要です。そうでなければ、誰でも任意の人物の類似物を作成することができます。選挙サイクルに近づくにつれて、状況はさらに狂気じみてくるでしょう」と述べています。

ElevenLabsの愛好者向けのDiscordサーバーでは、人々がバイデンの声をクローンする方法について議論し、バイデンやドナルド・トランプ、バラク・オバマの声のAI生成の偽物を特集したビデオやソーシャルメディアの投稿へのリンクを共有しています。

ElevenLabsはAIボイスクローニングの市場リーダーですが、この技術はわずか数年で企業や個人が実験できるように広く利用可能になりました。これにより、オーディオブックをより安価に作成するなどの新しいビジネス機会が生まれましたが、同時に技術の悪用の可能性も高まっています。非営利団体WitnessのプログラムディレクターであるSam Gregoryは、「これらの非常に広く利用可能なツールがあると、警察をかけるのがかなり難しい」と述べています。

Pindropとバークレーの分析は、AI生成のロボコールの出所を暴くことが可能であることを示唆していますが、この事件はまた、2024年の選挙シーズンが加速する中で、当局、技術業界、そして一般市民がどれほど準備不足であるかを浮き彫りにしています。専門的な知識がない人々にとっては、音声クリップの出所を確認したり、それがAI生成かどうかをチェックすることは困難です。そして、より洗練された分析は、AI生成のプロパガンダによって引き起こされる損害を相殺するのに十分迅速に完了するかもしれません。

「ジャーナリストや選挙関係者、その他の人々は、選挙に影響を与える可能性のある音声がリークされたり共有されたりしたときに、これを迅速かつ迅速に行うための信頼できるツールにアクセスしていません」とGregoryは述べています。「これが選挙日に関連する何かであった場合、それは遅すぎるでしょう。」

【ニュース解説】

先週、ニューハンプシャー州の有権者の一部が、AIによって生成されたジョー・バイデン大統領の声を模倣したロボコールを受け取りました。このロボコールは、予備選挙に投票しないようにという内容でしたが、誰がこの行為を行ったのかは不明です。オーディオ専門家のチームがWIREDに対して、このロボコールは、声のクローニングを専門とするスタートアップ企業、ElevenLabsの技術を使って作成された可能性が高いと述べています。

ElevenLabsは、オーディオブックやビデオゲームなどの用途にAIツールを提供しており、最近では大手ベンチャー企業Andreessen Horowitzが主導する資金調達ラウンドで11億ドルの評価額を得て「ユニコーン」企業となりました。同社のサービスでは、音声サンプルから声をクローンすることができ、その際には本人の許可を得ることが推奨されていますが、許可なしでも政治的発言など非商業目的であれば許容されるとしています。ただし、ElevenLabsはこの件に関するコメントを控えています。

セキュリティ企業Pindropは、ロボコールの音声分析から、ElevenLabsの技術、または類似のコンポーネントを使用したシステムが関与していると主張しています。PindropのCEOは、分析結果がElevenLabsの技術を使用した可能性が99%以上であると述べています。また、カリフォルニア大学バークレー校の専門家も独立した分析を行い、同様の結論に至りました。

ElevenLabsの技術が政治的プロパガンダに使用された疑いはこれが初めてではなく、過去にもオンラインでの陰謀論の拡散に関与しているとの指摘がありました。同社は、悪用を防ぐためのセーフガードを開発し続けていると述べています。

この技術の普及により、オーディオブックの安価な制作など新しいビジネスチャンスが生まれていますが、同時に技術の悪用リスクも高まっています。特に選挙期間中には、AIによるプロパガンダが選挙結果に影響を与える可能性があるため、セーフガードの重要性が増しています。しかし、一般の人々や専門家でない関係者がAI生成の音声を迅速に識別することは困難であり、選挙に影響を与えるような情報が流れた場合、対応が遅れるリスクがあります。

このニュースは、AI技術の進歩がもたらすポジティブな側面とともに、潜在的なリスクや社会への影響を考慮する必要があることを示しています。AIによる声のクローニング技術が進化するにつれて、個人のプライバシーや選挙の公正性を守るための規制やセーフガードの整備が急務となっています。また、将来的には、より高度なAI検出ツールの開発や、一般市民への教育が必要になるでしょう。

from Researchers Say the Deepfake Biden Robocall Was Likely Made With Tools From AI Startup ElevenLabs.