研究者たちは、世界規模のプロンプトハッキングコンペティションを実施し、その結果を文書化した。この文書では、効果的なプロンプト注入戦略の分類を試み、多くの具体例を提供している。最も一般的な成功戦略は「複合指示攻撃」であることが明らかになった。

大規模言語モデル（LLM）は、チャットボットやライティングアシスタントなど、直接ユーザーが関与するインタラクティブなコンテキストで展開されている。これらの展開は、モデルが元の指示を無視して潜在的に悪意のある指示に従うよう操作される、プロンプト注入やジェイルブレイキング（総称してプロンプトハッキング）によって脆弱である。プロンプトハッキングは重大なセキュリティ脅威と広く認識されているが、プロンプトハッキングに関する大規模なリソースや定量的研究は不足している。このギャップに対処するため、自由形式の人間の入力攻撃を可能にする世界規模のプロンプトハッキングコンペティションを開始した。3つの最先端LLMに対して60万以上の敵対的プロンプトを引き出し、現在のLLMが実際にプロンプトハッキングを通じて操作可能であることを実証するデータセットを記述している。また、敵対的プロンプトの種類に関する包括的な分類学的オントロジーを提示している。

【ニュース解説】

大規模言語モデル（LLM）は、人工知能の一種で、チャットボットやライティングアシスタントなど、人間と直接対話するアプリケーションに広く利用されています。これらのモデルは、ユーザーからの指示（プロンプト）に基づいて応答を生成しますが、最近の研究により、これらの指示を悪用することで、モデルが本来の機能を逸脱した行動を取らせることが可能であることが明らかになりました。このような攻撃を「プロンプト注入攻撃」と呼びます。

この問題に対処するため、研究者たちは世界規模のプロンプトハッキングコンペティションを開催し、その結果を基に、プロンプト注入攻撃の具体例とその分類を試みた研究を発表しました。この研究では、60万以上の敵対的プロンプトを用いて3つの最先端LLMをテストし、これらのモデルがプロンプトハッキングによって操作可能であることを実証しました。特に、「複合指示攻撃」と呼ばれる手法が最も一般的な成功戦略であることが明らかにされました。

プロンプト注入攻撃の存在は、LLMを利用するアプリケーションのセキュリティにとって重大な脅威を示しています。この攻撃により、悪意のあるユーザーは、モデルに不適切な内容を生成させたり、プライバシーに関する情報を漏洩させたりする可能性があります。また、この攻撃は、モデルの信頼性やユーザーの安全を損なうことにもつながります。

しかし、この研究は、プロンプト注入攻撃に対する理解を深め、より効果的な防御策を開発するための重要な一歩となります。研究者たちが提案する攻撃の分類学は、LLMの設計者や開発者がセキュリティ対策を考案する際の指針となるでしょう。また、この問題への広範な認識と理解が、将来的により安全なLLMの開発につながることが期待されます。

長期的には、この研究が示すようなセキュリティ上の脆弱性に対処することで、LLMのポテンシャルを最大限に活用しつつ、ユーザーの安全とプライバシーを保護するための新たな規制や基準が設けられる可能性があります。これにより、人工知能技術の健全な発展と社会への積極的な貢献が促進されることでしょう。

from A Taxonomy of Prompt Injection Attacks.