Last Updated on 2024-10-08 08:27 by admin

大規模言語モデル（LLMs）によるセキュアなソフトウェア開発ライフサイクルの強化が期待されているが、CISOはRSACでのラウンドテーブルディスカッションで、意図しないリスクもあると警告した。特に、プロンプトインジェクションエンジニアリングの増加が組織にとって重大なリスクとなる可能性がある。ArmorCodeのCISOであるKarthik Swarnamは、コード内のプロンプトインジェクションによるインシデントは避けられないと述べている。

LLMsは、悪意のあるプロンプトで訓練されると、社会工学的メッセージを含む連続テキストアラートを引き起こすコードをトリガーする可能性がある。これにより、ユーザーが警告に無意識に応答すると、不正なデータ共有などの悪意のある行動を引き起こす可能性がある。

Swarnamは、企業がプロンプトエンジニアリングについてより深く考え、投資を始めるべきだと指摘している。多くの大企業は、顧客サービスやマーケティングなどの運用にAIを積極的に取り入れているが、AIの使用を禁止しているか、使用していないと主張している企業も、実際には「シャドウAI」として知られる形でAIを使用している可能性がある。

また、多くの企業がインシデント対応や脅威分析にAIを採用しており、セキュリティ情報およびイベント管理がこの技術の使用によって変革されている。Swarnamは、アプリケーション開発ツールにAIを使用する際には、CISOやCIOが自組織の能力やリスク許容度に基づいて実用的なコーディング支援のタイプを確立するべきだと警告している。

【ニュース解説】

大規模言語モデル（LLMs）は、ソフトウェア開発のライフサイクルをセキュアにするための強力なツールとして期待されていますが、その一方で、プロンプトインジェクションエンジニアリングという新たなリスクが浮上しています。この問題は、最近のRSACでのCISOラウンドテーブルディスカッションで取り上げられ、特に注目を集めました。

プロンプトインジェクションとは、LLMsに悪意のあるプロンプトを注入し、それによって不正なコードを実行させる技術です。この技術を悪用することで、ユーザーに社会工学的メッセージを含むテキストアラートを送信し、それに応答させることで、不正なデータ共有などの悪意のある行動を引き起こす可能性があります。

この問題に対処するために、企業はプロンプトエンジニアリングについての理解を深め、適切な対策を講じる必要があります。また、AIの使用に関しては、多くの企業が顧客サービスやマーケティングなどの分野で積極的に取り入れていますが、その使用を公には認めていない「シャドウAI」の存在も指摘されています。

さらに、インシデント対応や脅威分析においてもAIの採用が進んでおり、セキュリティ情報およびイベント管理の分野では、AIによる変革が進んでいます。しかし、アプリケーション開発ツールにAIを導入する際には、その組織の能力やリスク許容度に応じた適切なコーディング支援の形態を確立することが重要です。

このような背景から、LLMsとプロンプトインジェクションエンジニアリングに関連するリスクは、今後もセキュリティ業界で重要な議論の対象となるでしょう。企業は、これらの技術のポジティブな側面を活用しつつ、潜在的なリスクに対しても適切な対策を講じることが求められます。

from LLMs & Malicious Code Injections: 'We Have to Assume It's Coming'.