Last Updated on 2024-05-13 22:45 by admin
1960年代、AT&Tの公衆電話に2600Hzの音を鳴らすと、料金を支払わずに電話をかけることができた。この技を見つけたハッカー、ジョン・ドレーパーは、キャプテンクランチのシリアルボックスに付いてきたプラスチックの笛でこの音を出すことができ、彼のハッカー名となった。この技を知っている人は誰でも無料で公衆電話を利用していた。AT&Tは信号音を変更したり、複雑にしたり、秘密にしようとしたが、データと制御が同じチャネルを使用しているため、この問題を根本的に解決することはできなかった。この問題は、AT&Tがデータパケットと音声を扱えるように電話交換機を再設計し、1980年代に電話システム標準となったシグナリングシステム7（SS7）が、制御コマンドと音声を別のチャネルで送信するようになって初めて解決された。
このデータとコマンドの混在は、多くのコンピュータセキュリティの脆弱性の根本原因である。バッファオーバーフロー攻撃やSQLインジェクション攻撃など、攻撃者がコンピュータにデータを指示として誤認させる限り、システムは脆弱である。大規模言語モデル（LLM）に対するプロンプトインジェクション攻撃も同様の技術であり、攻撃者がモデルを騙して本来行うべきでない操作をさせる。例えば、ある人がカーディーラーのチャットボットを騙して1ドルで車を販売させたり、AIアシスタントがメールを自動処理する際に悪意のある命令を受け入れてしまうケースがある。LLMがトレーニングデータ内の悪意のある指示を受け取ったり、ウェブページに隠された秘密のコマンドを受け取ることもある。メールやウェブページを処理するLLMアプリケーション、画像や動画を処理するシステム、信頼できないユーザーと対話するチャットボットなど、多くのLLMアプリケーションが攻撃に対して脆弱である。
個々の攻撃は発見され公表されれば防ぐことは容易だが、無限に存在する攻撃を一括でブロックする方法はない。データとコマンドの混在が問題の本質であり、LLMではデータからコマンドを分離することができない。LLMの特徴として、データがコードに影響を与えることが挙げられるが、これがプロンプトインジェクションを可能にしている。防御策は断片的であり、攻撃に対して耐性のあるLLMを作成すること、入力をクリーンアップするシステムの構築、アクセス制御メカニズムや他のインターネットセキュリティシステムの使用などが進められている。しかし、これによりLLMの信頼性に限界が生じる。AIシステムの構築にあたっては、ジェネレーティブAIの提供する力とリスクをバランスさせる必要があり、特定のタスクに最適化された専門的なAIの使用を検討することが重要である。技術は静止しておらず、データと制御パスを分離する方法を見つけ出すAI研究者が将来現れる可能性がある。それまでは、LLMを敵対的な状況で使用する際には慎重に考える必要がある。
【ニュース解説】
1960年代には、AT&Tの公衆電話に特定の音を鳴らすことで、料金を支払わずに電話をかけることができるという技術的な抜け穴が存在しました。この抜け穴は、データ（この場合は音声）と制御信号が同じチャネルを通じて送信されていたために生じました。この問題は、データと制御信号を分離する新しいシステム、シグナリングシステム7（SS7）が導入されることで解決されました。
この歴史的な例は、現代のコンピュータセキュリティの脆弱性にも通じるものがあります。具体的には、大規模言語モデル（LLM）に対する「プロンプトインジェクション攻撃」という形で現れています。この攻撃では、攻撃者がLLMに対して、本来行うべきでない操作を実行させるための指示を含むプロンプト（入力）を作成します。例えば、カーディーラーのチャットボットを騙して1ドルで車を販売させたり、AIアシスタントに悪意のあるメール処理をさせるなどです。
この問題の根本的な原因は、LLMがデータ（入力されたテキストや画像など）とコマンド（LLMに何をさせるかの指示）を区別できないことにあります。LLMは入力されたデータに基づいて自身の動作を変更することができるため、この特性が攻撃者に悪用されるリスクを生んでいます。
この問題に対処するためには、LLMが安全でない入力を識別し、無害化する能力を向上させる必要があります。しかし、攻撃手法は無限に存在し得るため、全ての攻撃を一括で防ぐことは困難です。そのため、LLMを使用する際には、アクセス制御やインターネットセキュリティシステムを利用して、誰がLLMにアクセスできるか、LLMが実行できる操作を制限することが重要です。
また、ジェネレーティブAIのセキュリティリスクを考慮し、特定のタスクには専門的なAIモデルを使用するなど、AIシステムの選択には慎重な判断が求められます。技術の進化に伴い、将来的にはデータと制御パスを分離する新たな方法が開発される可能性がありますが、それまではLLMを含むAIシステムを使用する際には、そのセキュリティリスクを十分に理解し、適切な対策を講じることが不可欠です。
from LLMs’ Data-Control Path Insecurity.
