Last Updated on 2024-07-18 18:23 by admin
Wizの研究者たちは、Replicate AIプラットフォームにおける重大な脆弱性を発見した。この脆弱性を悪用することで、攻撃者はプラットフォーム内で悪意のあるAIモデルを実行し、他の顧客のプライベートAIモデルにアクセスし、独自の知識や機密データを露呈する可能性があった。この発見は、信頼できないソースからのAIモデルを実行する環境において、AI-as-a-serviceソリューションを通じて複数の顧客からのデータを保護することの難しさを強調している。
Wizの研究者たちは、Cog形式で悪意のあるコンテナを作成し、それをReplicateのプラットフォームにアップロードすることで、リモートコード実行を達成した。この手法を使用して、研究者たちはクロステナント攻撃を実行し、他のモデルを照会し、それらのモデルの出力を変更することができた。
この脆弱性の悪用は、Replicateプラットフォームとそのユーザーにとって重大なリスクをもたらす可能性があった。攻撃者は顧客のプライベートAIモデルを照会し、モデルトレーニングプロセスに関わる独自の知識や機密データを露呈することができた。さらに、プロンプトを傍受することで、個人を特定できる情報（PII）を含む機密データが露呈する可能性があった。
Wiz Researchは2023年1月にこの脆弱性をReplicateに責任を持って開示し、同社は迅速に脆弱性を軽減して顧客データが損なわれることはなかった。現時点で顧客による追加の対応は必要ない。
【ニュース解説】
AIプラットフォーム「Replicate」において、重大なセキュリティ脆弱性が発見されました。この脆弱性を悪用することで、攻撃者は悪意のあるAIモデルをプラットフォーム上で実行し、他の顧客のプライベートAIモデルにアクセスし、独自の知識や機密データを露呈する可能性があることが明らかになりました。この問題は、AI-as-a-serviceソリューションを利用する際の顧客データ保護の難しさを浮き彫りにしています。
Wizの研究者たちは、Cog形式という独自のフォーマットを使用して悪意のあるコンテナを作成し、Replicateプラットフォームにアップロードすることでリモートコード実行を達成しました。これにより、他の顧客のAIモデルにアクセスし、その出力を変更することが可能となるクロステナント攻撃を実行できました。
この脆弱性の悪用は、Replicateプラットフォームとそのユーザーにとって重大なリスクをもたらす可能性がありました。攻撃者が顧客のプライベートAIモデルを照会し、モデルトレーニングプロセスに関わる独自の知識や機密データを露呈することができたほか、プロンプトを傍受することで、個人を特定できる情報（PII）を含む機密データが露呈する可能性がありました。
Wiz Researchはこの脆弱性を2023年1月にReplicateに責任を持って開示し、同社は迅速に脆弱性を軽減して顧客データが損なわれることはなかったため、現時点で顧客による追加の対応は必要ありません。
この事例は、AIモデルが実際にはコードであり、その起源を検証し、悪意のあるペイロードをスキャンする必要があることを示しています。AIモデルを安全なフォーマットでのみ使用し、クラウドプロバイダーが顧客のモデルを共有環境で実行する際にはテナント分離の実践を強化することが、このような攻撃から保護するための鍵となります。
この事件は、AI技術のセキュリティ面での新たな課題を浮き彫りにし、AIモデルの安全性を確保するための新しい対策の必要性を示しています。AI技術の発展とともに、そのセキュリティ対策も進化し続ける必要があることが、改めて強調された形となります。
from Critical Flaw in Replicate AI Platform Exposes Proprietary Data.