Google DeepMind、OpenAI、ETH Zurich、McGill University、およびワシントン大学の研究チームが、ChatGPTやGoogle PaLM-2などのプロプライエタリ大規模言語モデル（LLM）から重要なアーキテクチャ情報を抽出する新しい攻撃手法を開発した。この研究は、広く使用されている生成AIツールの懸念すべき弱点を浮き彫りにする作業の最新例である。

研究者たちは、LLMが有効なチャットボットから仮に隠されているデータを抽出し、その機能を複製または完全に盗むことができることを示した。この攻撃は、AIツールの製造者が技術の採用が急増する中で、依然として対処する必要がある弱点を強調している。

APIを介してAIモデルにクエリを実行することにより、研究者たちはAIモデルからどのような情報を抽出できるかを調査した。この攻撃では、ニューラルネットワークアーキテクチャの最後の層、つまり入力データに基づいて出力予測を生成する責任を持つ層に対して、ターゲットされたクエリを実行することで、何を抽出できるかを見ることを目的としていた。

成功した攻撃は、モデルが入力データをどのように処理し、それを変換して複雑な一連のプロセスを通じて応答を生成するかについての重要な手がかりを含む情報を明らかにすることができる。攻撃者は、このいわゆる「埋め込み投影層」から情報を抽出することにより、モデルの内部動作について貴重な洞察を得て、より効果的な攻撃を作成したり、モデルをリバースエンジニアリングしたり、その振る舞いを損なうことを試みることができる。

研究者たちは、多くの大規模LLMの最後の層を攻撃することで、モデルに関する大量のプロプライエタリ情報を抽出することに成功した。20USD未満で、OpenAIのadaおよびbabbage言語モデルの全投影行列を抽出し、gpt-3.5-turboモデルの正確な隠された次元サイズを回復し、全投影行列を回復するために2,000USD未満のクエリがかかると推定した。

【ニュース解説】

Google DeepMind、OpenAI、ETH Zurich、McGill University、およびワシントン大学の研究チームが、ChatGPTやGoogle PaLM-2などの大規模言語モデル（LLM）から重要なアーキテクチャ情報を抽出する新しい攻撃手法を開発しました。この研究は、生成AIツールに存在する懸念すべき弱点を浮き彫りにするものです。

この攻撃は、APIを介してLLMにクエリを実行し、モデルの最終層から情報を抽出することにより、モデルの機能を複製または盗むことが可能であることを示しています。この最終層は、入力データに基づいて出力予測を生成する責任を持ち、モデルがどのようにデータを処理し、変換して応答を生成するかについての重要な手がかりを含んでいます。

この攻撃により、研究者たちはOpenAIのadaおよびbabbage言語モデルの全投影行列を抽出することに成功しました。また、gpt-3.5-turboモデルの隠された次元サイズを特定し、全投影行列を抽出するために必要なコストを推定しました。

この研究は、AIモデルのセキュリティに関する重要な問題を提起しています。モデルの内部動作に関する情報が外部に漏れることは、そのモデルを使用している企業や組織にとって重大なリスクをもたらす可能性があります。例えば、競合他社がこの情報を利用して同様の機能を持つモデルを開発したり、悪意のある攻撃者がモデルの振る舞いを損なうためにこの情報を使用する可能性があります。

一方で、この研究はAI技術の透明性とセキュリティのバランスを取ることの重要性を浮き彫りにしています。AIモデルの内部動作が完全にブラックボックス化されていると、そのモデルがどのように決定を下しているのかを理解することが難しくなります。これは、AIの倫理的な使用や説明責任に関する議論にも影響を与えます。

将来的には、AIモデルのセキュリティを強化しつつ、適切な透明性を確保するための新しいアプローチが求められるでしょう。また、AI技術の発展に伴い、これらのモデルを保護するための規制やガイドラインの整備も重要な課題となります。

from ChatGPT Spills Secrets in Novel PoC Attack.