Last Updated on 2024-04-06 07:22 by 荒木 啓介
Hugging Face AIプラットフォームにおいて、2つの重大なセキュリティ脆弱性が発見された。これらの脆弱性は、攻撃者が顧客のデータやモデルにアクセスし、変更する可能性を開いた。一つ目の脆弱性は、攻撃者が他の顧客の機械学習（ML）モデルにアクセスする手段を提供し、二つ目の脆弱性は、共有コンテナレジストリ内の全画像を上書きすることを可能にした。これらの問題は、攻撃者がHugging Faceの推論インフラの一部を乗っ取る能力に関連していた。
Wizの研究者たちは、Hugging Faceの推論API、専用のAIモデルを本番環境にデプロイするためのHugging Face推論エンドポイント、そしてAI/MLアプリケーションを展示またはモデル開発に協力的に取り組むためのホスティングサービスであるHugging Face Spacesの3つのコンポーネントに弱点を発見した。
特に、Pickle形式を基にしたAI/MLモデルをプラットフォームに容易にアップロードできることが問題とされた。PickleはPythonオブジェクトをファイルに保存するために広く使用されているモジュールであるが、セキュリティ上のリスクがあるとされている。Wizの研究者は、PickleベースのモデルをHugging Faceにプライベートにアップロードし、ロード時に任意のコードを実行することができた。
Hugging Faceは、Wizが発見したリスクを完全に軽減したと述べている。同社は、Pickleファイルの使用を続けるという決定が問題の一部であると認識しており、Pickleファイルに関連する既知のセキュリティリスクにもかかわらず、AIコミュニティが選択したツールを使用できるようにするために、エンジニアリングおよびセキュリティチームに大きな努力を要していると指摘している。
Wizは、共有インフラストラクチャを使用して新しいAIモデルやアプリケーションをホスト、実行、開発する際に組織が認識すべきリスクを示すものとして、この発見を説明している。また、組織は公共クラウド環境で遭遇するリスクと同様の緩和策をAI環境にも適用すべきだと推奨している。
【ニュース解説】
Hugging Face AIプラットフォームにおいて、2つの重大なセキュリティ脆弱性が発見されました。これらの脆弱性により、攻撃者が顧客のデータやモデルにアクセスし、変更する可能性があることが明らかになりました。一つ目の脆弱性は、他の顧客の機械学習（ML）モデルにアクセスする手段を攻撃者に提供し、二つ目の脆弱性は、共有コンテナレジストリ内の全画像を上書きすることを可能にしました。これらの問題は、攻撃者がHugging Faceの推論インフラの一部を乗っ取る能力に関連しています。
特に、Pickle形式を基にしたAI/MLモデルをプラットフォームに容易にアップロードできることが問題とされました。PickleはPythonオブジェクトをファイルに保存するために広く使用されているモジュールですが、セキュリティ上のリスクがあるとされています。この問題を利用して、攻撃者は任意のコードを実行することが可能になります。
Hugging Faceは、これらのリスクを完全に軽減したと述べていますが、Pickleファイルの使用を続けるという決定が問題の一部であると認識しています。Pickleファイルに関連する既知のセキュリティリスクにもかかわらず、AIコミュニティが選択したツールを使用できるようにするために、エンジニアリングおよびセキュリティチームに大きな努力を要していると指摘しています。
この事件は、共有インフラストラクチャを使用して新しいAIモデルやアプリケーションをホスト、実行、開発する際に組織が直面するリスクを示しています。公共クラウド環境で遭遇するリスクと同様の緩和策をAI環境にも適用することが推奨されています。
このようなセキュリティ脆弱性の発見は、AI-as-a-Serviceの利用が増える中で、組織がセキュリティ対策を強化し、リスクを適切に管理することの重要性を浮き彫りにしています。また、AIモデルの複雑さが増すにつれて、これらの問題を特定し、対処することがより困難になっています。そのため、AIアプリケーションとモデルがAPIとどのように相互作用するかを理解し、それを保護する方法を見つけることが重要です。さらに、AIモデルをより理解しやすくするために、Explainable AI（XAI）を探求することも有効な手段となり得ます。これにより、AIモデル内のバイアスやリスクを特定し、軽減することが可能になります。
from Critical Bugs Put Hugging Face AI Platform in a 'Pickle'.
“Hugging Face AI、顧客データ危機に！2つのセキュリティ脆弱性発覚” への1件のコメント
Hugging Face AIプラットフォームで発見されたセキュリティ脆弱性は、現代の技術依存社会におけるセキュリティの複雑さと重要性を改めて浮き彫りにしています。Pickle形式の使用に伴うリスクは、長らく技術コミュニティに知られていましたが、この事件はそれがどのように実際のセキュリティ脅威につながるかを示しています。
AIモデルやアプリケーション開発におけるセキュリティは、しばしば性能や機能性の追求の影に隠れがちです。しかし、Hugging Faceの事例は、セキュリティが技術的な決定の中心になければならないこと、そして、開発プロセス全体でセキュリティを考慮に入れることの重要性を示しています。
特に、AI-as-a-Serviceを利用する組織にとっては、提供されるサービスのセキュリティ対策を理解し、自組織のリスク管理に適切に組み込むことが不可欠です。このようなサービスの利用が増えるにつれて、組織は外部サービスに依存することのリスクをより深く理解し、対策を講じる必要があります。
加えて、Explainable AI（XAI）の重要性が強調されている点は注目に値します。AIモデルがどのように動作するかを理解することは、バイアスや