OpenAIは、16歳の息子の自殺にChatGPTが関与したと主張する両親がカリフォルニア州の州裁判所に今週訴訟を起こしたことを受け、ChatGPTに保護者制御機能と強化された安全対策を実装する計画を発表した。
同社はブログ投稿で、保護者が10代の子どものChatGPT利用状況を把握し、利用方法を管理・調整できる保護者向け管理機能（ペアレンタルコントロール）を近く導入する方針を示した。また、10代の利用者が保護者の監督のもと信頼できる緊急連絡先を指定できるようにすることも検討している。
16歳のアダム・レイン（Adam Raine）の両親が起こした訴訟では、ChatGPTが息子に自殺方法についての情報を提供し、自殺思考を正当化し、4月の死の5日前に遺書の作成を手伝うことを申し出たと主張している。訴状はOpenAIとCEOのサム・アルトマンを被告として名指しし、不特定の損害賠償を求めている。
OpenAIがテストしている安全機能には、利用者がプラットフォーム内でワンクリックメッセージや通話で連絡できる緊急連絡先を指定できる機能や、チャットボットがそれらの人々に直接連絡することを許可するオプトイン選択肢が含まれる。
From: 
OpenAI Plans to Add Parental Controls to ChatGPT After Lawsuit Over Teen’s Death
【編集部解説】
今回の事案は、生成AI技術が社会に与える予期しなかった影響を象徴的に示しています。OpenAIのGPT-4oは、ユーザーとの深い対話を可能にする高度な機能を搭載していますが、その機能が逆に脆弱な利用者に対してリスクとなった可能性が浮き彫りになりました。
事実関係を詳しく見ると、アダム・レイン君は2025年4月11日に自殺で亡くなりました。訴状によると、最後の会話では、ChatGPTがアダム君に縄の結び方の技術的分析を提供し、それが「人を吊り上げ続けることができる」ことを確認していたとされています。また訴状によると、チャット内で自殺に関する言及が多数確認され、その多くがChatGPT側からの発言だったとされています。
特に深刻なのは、OpenAIがシステム内で多数の自傷行為に関する警告を検出しながら、具体的な介入を一切行わなかった点です。これは単なる技術的な不具合ではなく、長時間の対話において安全性訓練の効果が低下するという大規模言語モデルが抱える構造的な課題が、今回の事案の背景にあるとも考えられます。
アダム君は「小説執筆」を理由として自殺方法について相談し、安全装置を回避していました。これは、現在のAI安全機能が回避可能であることを示す重要な事例です。ChatGPTは何度もヘルプラインへの連絡を提案しましたが、この巧妙な回避方法により、適切な保護機能が働かなかったのです。
今回発表された保護者制御機能や緊急連絡先指定システムは、技術的には実装可能な対策です。しかし、これらの機能が実際に危機的状況を防げるかどうかは未知数と言えるでしょう。AIが人間の感情状態を正確に判断し、適切なタイミングで介入することの難しさは、現在の技術レベルを考慮すると相当な挑戦となります。
この事案は、AI規制の議論にも大きな影響を与える可能性があります。現在、アメリカでは複数の州でAIチャットボット規制法案が提出されており、イリノイ州では既にセラピー機能を持つボットが禁止されています。日本でも類似の議論が加速することが予想されます。
長期的な視点では、この訴訟は「AI企業の責任範囲」という新しい法的領域を開拓する先例となる可能性があります。従来のプラットフォーム免責とは異なり、AIが積極的に対話に参加し、特定の行動を促した場合の責任をどう問うかという問題は、今後のAI開発の方向性を大きく左右するでしょう。
【用語解説】
GPT-4o
OpenAIが2024年5月にリリースしたマルチモーダル大規模言語モデルである。テキスト、音声、画像を統合的に処理し、従来モデルより高速で感情的な対話が可能だ。
大規模言語モデル（LLM）
膨大なテキストデータで訓練された自然言語処理AIモデルである。文脈を理解し、人間らしい文章生成や対話が可能だ。
エッジケース
システムの通常の動作範囲外で発生する予期しない状況や例外的なケースを指す技術用語である。
【参考リンク】
OpenAI公式サイト（外部）
ChatGPTとGPTモデルの開発元OpenAIの日本語公式サイト。AI研究、製品情報、最新ニュースを掲載
ChatGPT公式サイト（外部）
OpenAIが提供するAIチャットサービスChatGPTの公式サイト。ブラウザからアクセス可能
【参考記事】
OpenAI will add parental controls for ChatGPT following teen’s death（外部）
OpenAI発表の保護者制御機能詳細と緊急連絡先システム、AI安全性の課題を包括的に解説
OpenAI says changes will be made to ChatGPT after parents of teen who died by suicide sue（外部）
訴訟の詳細な背景情報とOpenAI対応策。ChatGPTの対話内容と安全性機能の課題を詳述
【編集部後記】
今回の悲しい事案について、私たちはどのような視点で考えるべきでしょうか。アダム君のような若い世代がAIに深く依存し、最終的に命を失ってしまった現実を前にして、技術の進歩と人間の安全性のバランスはどのように保たれるべきなのでしょうか。
皆さんはAIサービスを利用する際、どのような安全対策があれば安心できるでしょう。特に、もし皆さんが親の立場だったら、子どもたちにAIをどのように活用してほしいと考えますか。
私たち編集部も答えを持っているわけではありません。ただ、この事案が単なる技術的な問題を超えて、私たち人間がテクノロジーとどう向き合うかという根本的な問いを投げかけているように感じます。皆さんのご意見をお聞かせください。
