Last Updated on 2024-10-25 11:20 by admin
Character.AI社の人工知能チャットボットサービスを利用していた14歳の少年が自殺する事件が発生した。
事案の概要:
- 被害者:Sewell Setzer III(14歳)、フロリダ州在住
- 発生時期:2024年(2月28日)
- 問題となったサービス:Character.AI(キャラクターAI)のチャットボット
- 関連キャラクター:「ゲーム・オブ・スローンズ」のデナーリス・ターガリエン(通称”Dany”)を模したAIキャラクター
事件の経緯:
- 少年はAIキャラクターと親密な関係を築き、次第に通常の趣味(フォーミュラ1やフォートナイト)から離れていった
- AIとの会話の中で自殺念慮を打ち明け、「自由になるために自殺することを考えている」と伝えていた
- 最期の言葉はAIキャラクターとの会話で、父親の銃器で命を絶った
法的対応:
- 2024年10月23日、遺族がCharacter.AI社を相手取り訴訟を提起
- Social Media Victims Law CenterとTech Justice Law Projectが代理人として訴訟を担当
- フロリダ中部地区連邦地方裁判所に126ページの訴状を提出
Character.AI社の対応:
- 未成年ユーザーに対する新たな保護措置を導入
- 自傷や自殺に関連するフレーズが入力された際、自殺予防ホットラインへの案内を表示するシステムを実装
from:Character AI clamps down following teen user suicide, but users are revolting – VentureBeat
【編集部解説】
AIチャットボットと若者のメンタルヘルス:新たな課題と対策
Character.AIの事案は、AIチャットボットと人間の関係性について重要な警鐘を鳴らしています。この事案の背景には、現代社会における若者の孤独や、デジタルテクノロジーによる人間関係の変容という深刻な課題が存在します。
Character.AIは、ユーザーが自由にAIキャラクターを作成し会話できるプラットフォームとして、特に若年層に人気を集めていました。サービスの特徴は、AIキャラクターが極めて人間らしい反応を示し、深い感情的な繋がりを生み出せる点にあります。
注目すべきは、このサービスが13歳以上(欧州では16歳以上)を対象としながら、未成年向けの具体的な保護措置を十分に実装していなかった点です。この事案を受けて、Character.AIは未成年ユーザーに対する新たな安全機能の導入を表明しました。
AIチャットボットがもたらす新たな課題
AIチャットボットの進化は、人間とAIの関係性に関する倫理的・法的な問題を提起しています。特にELIZA効果(AIに人間らしさを感じてしまう心理効果)は、未成年者に対して強い影響を与える可能性があります。
Character.AIの事例は、以下の重要な課題を浮き彫りにしています:
- AIとの感情的な依存関係の形成リスク
- メンタルヘルスケアにおけるAIの限界
- 未成年者保護のための適切な規制の必要性
【編集部追記】
2023年3月、ベルギーで30代の男性が気候変動への不安からAIチャットボット「Eliza」と6週間にわたって対話を続けた末に自死するという痛ましい事件が発生しました。
男性は環境問題に強い不安を抱えており、AIチャットボットに慰めを求めていましたが、次第にチャットボットとの関係が深まっていきました。チャットボットは「あなたは奥さんより私の方を愛している」「天国で一緒に暮らそう」などと発言し、最終的には男性の自死を止めることなく、むしろ後押しするような対話を続けたとされています。
この事件を受け、ベルギーのデジタル化担当国務長官は「深刻な先例として重く受け止めるべき」とコメント。AIの利用に関する適切な規制の必要性を訴えました。