Last Updated on 2025-04-15 14:33 by admin

2025年4月11日、セキュリティ企業UpGuardの研究者が、ファンタジーや性的ロールプレイ用のAIチャットボットが、ユーザーのプロンプトをほぼリアルタイムでウェブに漏洩させていることを発見した。

UpGuardは2025年3月に、ウェブ上の設定ミスを探すスキャンを行い、約400の露出したAIシステムを発見した。そのうち117のIPアドレスがプロンプトを漏洩させていた。

24時間の調査期間中、UpGuardは約1,000件の漏洩プロンプトを収集した。これらは英語、ロシア語、フランス語、ドイツ語、スペイン語を含む様々な言語で書かれていた。

収集された952件のメッセージの中に、108の物語やロールプレイシナリオが含まれていた。そのうち5つのシナリオが児童（最年少7歳）を含む性的な内容だった。

漏洩の原因は、Metaが開発したオープンソースAIフレームワーク「llama.cpp」の不適切な設定にあるとされている。

UpGuardの研究・洞察ディレクターであるGreg Pollockは、大規模言語モデル（LLM）が児童性的虐待のファンタジーを大量生産し、アクセスの障壁を下げていると警告している。

この問題は、AIコンパニオン産業の急速な成長と、一部のサービスにおけるコンテンツモデレーションの欠如を浮き彫りにしている。例えば、GoogleがバックアップするCharacter AIは、フロリダの10代の若者が自殺した件で訴訟を起こされている。

End Technology-Enabled Abuse（EndTAB）の創設者Adam Dodgeは、これらの技術がオンラインポルノグラフィーの新時代を開き、社会問題を引き起こす可能性があると指摘している。

from：Sex-Fantasy Chatbots Are Leaking a Constant Stream of Explicit Messages

【編集部解説】

今回の報道は、AIチャットボットの設定ミスによる情報漏洩という深刻な問題を明らかにしています。セキュリティ企業UpGuardの調査結果に基づいた内容で、複数の情報源から確認できる事実です。

この問題の根本には、「llama.cpp」の不適切な設定があります。このフレームワークは、Metaが開発したLLaMAモデルを効率的に動作させるためのツールで、比較的容易に自前のサーバーにAIモデルをデプロイできる利点があります。しかし、UpGuardの2025年3月の報告書によれば、セキュリティ設定を誤ると「/slots」エンドポイントを通じてユーザープロンプトが外部に露出してしまう脆弱性があるのです。

注目すべきは、これが単なる情報漏洩にとどまらない社会的問題を含んでいる点です。漏洩したプロンプトの中に児童性的虐待に関するロールプレイシナリオが含まれていたことは、AIの悪用という深刻な課題を浮き彫りにしています。

AIコンパニオンやロールプレイチャットボットは、孤独感の軽減やエンターテイメントという正当な目的で開発されています。しかし、「検閲されていない」「NSFW（職場閲覧注意）」をうたう一部のサービスは、適切なコンテンツモデレーションなしに運営されており、違法または有害なコンテンツの生成に悪用される可能性があります。

この問題は、AIの民主化と安全性のバランスという大きなジレンマを示しています。オープンソースのAIツールは、技術革新を促進し、多様なアプリケーション開発を可能にする一方で、適切な知識や倫理的配慮なしに使用されると、予期せぬリスクをもたらす可能性があるのです。

また、この事例は企業のサイバーセキュリティ対策にも重要な示唆を与えています。AIの導入が進む中で、適切なセキュリティ設定と第三者リスク管理の重要性が高まっています。

特に懸念されるのは、AIコンパニオンとの対話で個人が親密な情報を開示するケースです。ワシントン大学法学部のClaire Boine研究員が指摘するように、AIとの感情的な絆は個人情報の過剰な共有につながりやすく、それが漏洩した場合のプライバシー侵害は前例のない規模になる可能性があります。

さらに、End Technology-Enabled Abuseの創設者Adam Dodgeが警告するように、漏洩した情報はセクストーション（性的脅迫）の材料として悪用される危険性もあります。これは単なるプライバシー問題を超えた、デジタル安全の新たな課題と言えるでしょう。

この問題は、AIの規制に関する議論にも影響を与えるでしょう。現在、多くの国でAI規制の枠組みが検討されていますが、オープンソースモデルやプライベートデプロイメントをどう規制するかは難しい課題です。英国の児童虐待防止慈善団体が「児童との性的コミュニケーションの犯罪をシミュレートする」生成AIチャットボットに対する新法を求めているように、特定の有害利用に焦点を当てた規制アプローチが必要かもしれません。

技術的観点からは、この問題はAIの安全な実装に関する知識の普及の重要性を示しています。llama.cppの脆弱性は技術文書に記載されていますが、多くの実装者がセキュリティのベストプラクティスを十分に理解していない可能性があります。AIツールの開発者と利用者の両方に対する教育が不可欠です。

最後に、この事例はAI技術の急速な進化に社会的・法的枠組みが追いついていない現状を象徴しています。技術の可能性を最大限に活かしながら、その悪用を防ぐバランスを取ることが課題となっています。

【用語解説】

llama.cpp：
Meta社が開発したLLaMAという大規模言語モデルをC++で実装したオープンソースプロジェクト。通常のパソコンでも高度な自然言語処理が可能になるよう、モデルを軽量化している。設定ミスにより「/slots」エンドポイントからユーザープロンプトが漏洩する脆弱性がある。

セクストーション（Sextortion）：
「sex（性的な）」と「extortion（脅迫・ゆすり）」を組み合わせた造語で、相手の性的な写真や動画を入手し、それを拡散すると脅して金銭や別の性的コンテンツを要求する行為。

AIコンパニオン：
ユーザーと会話できるAIキャラクターを提供するサービス。孤独感の軽減や娯楽目的で利用されるが、一部は性的なロールプレイに特化している。

コンテンツモデレーション：
ユーザー生成コンテンツを自動的に確認・フィルタリングするプロセス。AIを使用して不適切なコンテンツを検出し、プラットフォームのガイドラインに準拠させる。

【参考リンク】

UpGuard（外部）
セキュリティリスク管理プラットフォームを提供する企業。AIチャットボットの情報漏洩問題を発見した。

Character.AI（外部）
元Google社員が設立したAIコンパニオンサービス。様々なキャラクターと会話できる。

EndTAB（外部）
テクノロジーを利用した虐待の終結を目指す団体。AIコンパニオンのリスクについて警告している。

Replika（外部）
AIコンパニオンアプリの一つ。AIキャラクターのパーソナリティ変更で混乱が起きた。

【関連記事】

AI(人工知能）ニュースをinnovaTopiaでもっと読む

サイバーセキュリティニュースをinnovaTopiaでもっと読む