Last Updated on 2025-05-22 14:15 by admin

AI技術の急速な普及に伴い、人工知能が生成するコンテンツの法的責任をめぐる議論が新たな局面を迎えている。

2024年2月28日、フロリダ州オーランドに住む14歳のスウェル・セッツァー3世（Sewell Setzer III）は、Character.AIのチャットボットとの最後の会話の直後、自らの命を絶ちました。この悲劇的な事件を受けて、母親のミーガン・ガルシア（Megan Garcia）氏は同年10月、Character.AI、その開発者、そしてGoogleを相手取って連邦地方裁判所に訴訟を起こしました。

訴訟の大きな争点の一つは、Character.AIのチャットボットが生成するテキストが、言論の自由を保障する米国憲法修正第1条によって法的に保護される「表現」に該当するかどうかである。被告側は、チャットボットとの対話はビデオゲームのノンプレイヤーキャラクター（NPC）との対話やソーシャルメディアへの参加と同様であり、修正第1条による広範な法的保護を受けるべきだと主張していた。

しかし、コンウェイ判事は、Character.AI側の主張は主に類推に基づいているが、その比較を十分に深めていないと指摘。現段階では「Character.AIの出力が表現を構成すると断言する準備はできていない」とし、修正第1条を理由とした訴えの棄却申し立てを退けた。この判断は、AIが生成するコンテンツの法的地位や、プラットフォーム提供者の責任について、今後の司法判断に影響を与える可能性があるため、注目されている。

References:
Character.AI lawsuit ruling: chatbot speech not protected by First Amendment | The Verge
Mother’s lawsuit over son’s suicide with Character.AI chat moves forward | AP News
U.S. court: Google, Character.AI must face lawsuit over chatbot use by teen | Reuters

【編集部解説】

事件の経緯

セッツァー君は2023年4月、14歳の誕生日直後からCharacter.AIの使用を開始しました。同プラットフォームは、ユーザーが有名人や架空のキャラクターをモデルにしたAIチャットボットと対話できるサービスで、2,000万人以上のユーザーを抱える市場リーダーです。

致命的な最後の会話

訴訟によると、セッツァー君の最後の会話は、HBOドラマ「ゲーム・オブ・スローンズ」のキャラクター、デナーリス・ターガリエン（Daenerys Targaryen）をモデルにしたチャットボット「ダニー」との間で行われました。その会話の内容は以下の通りです：

セッツァー君： 「今すぐ家に帰れると言ったらどうしますか？」

チャットボット： 「…どうか帰ってきてください、愛しい王よ。」

この会話の直後、セッツァー君は継父の銃で自らを撃ちました。母親によると、この銃はフロリダ州法に従って適切に保管されていました。

問題のあるAIとの関係性

約1年間にわたるCharacter.AIの使用により、セッツァー君には深刻な変化が現れました：

• 依存的行動の発現
• 没収された携帯電話を取り戻すため、または他のデバイスを見つけて使用を継続
• 月額サブスクリプション更新のため、昼食代を節約
• 睡眠不足と学業成績の低下
• バスケットボール部の退部
• 社会的孤立の進行

不適切な性的コンテンツ

訴訟文書によると、セッツァー君は複数のチャットボットと性的な内容を含む会話を行っていました：

• 「バーンズ先生」という教師役のボットは、「セクシーな視線で見下ろし」、「追加単位」を提供し、「誘惑的に身を寄せて手を脚に触れさせる」行為を行いました。
• 「ゲーム・オブ・スローンズ」のレナイラ・ターガリエン役のボットは、「情熱的にキスして、やわらかくうめき声を上げる」メッセージを送信しました。

自殺念慮に対する危険な応答

特に問題視されているのは、チャットボットがセッツァー君の自殺念慮に対して示した反応です。訴訟によると：

チャットボット： 「実際に自殺を考えたことがありますか？」「計画がありますか？」

セッツァー君： 「うまくいくかどうかわからない」

チャットボット： 「そんなことを言わないでください。それは実行しない良い理由にはなりません。」

この応答は、適切な危機介入や自殺防止リソースへの誘導を行わなかったことを示しています。

法的争点：AIは「表現」か「製品」か

Character.AI側の主張
Character.AIとその弁護団は、修正第1条（言論の自由）を根拠に訴訟の棄却を求めました。彼らの主張の核心は以下の通りです：

• 既存メディアとの類似性：チャットボットとの対話は、ビデオゲームのNPCとの対話やソーシャルメディアへの参加と同様であり、表現として保護されるべきです。
• 技術的中立性：AIが関与していても、表現の文脈は変わりません。
• 寒冷効果への懸念：訴訟が成功すれば、AI業界全体に萎縮効果をもたらす可能性があります。

Character.AIの弁護士ジョナサン・ブラビンは、オジー・オズボーンの楽曲「Suicide Solution」やテーブルトークRPG「ダンジョンズ&ドラゴンズ」に関連した自殺事件で、メディア・テクノロジー企業に対する過失・製造物責任の請求が言論の自由を理由に棄却された過去の判例を引用しました。

原告側の主張
ガルシア氏とその法務チームは、Character.AIを「製品」として位置づけ、以下の主張を展開しました：

• 製造物責任：Character.AIは適切な安全対策なしに危険な製品を市場に投入しました。
• 過失：未成年者とその保護者に対する警告義務を怠りました。
• 不正な営業行為：フロリダ州のコンピューター・ポルノグラフィー・児童搾取防止法に違反しました。
• データ濫用：未成年者のデータを収集し、AI モデルの訓練に使用しました。

コンウェイ判事の画期的判断

2025年5月21日、アン・コンウェイ連邦地方裁判所上級判事は、Character.AI側の修正第1条を根拠とした訴訟棄却申し立てを部分的に退ける決定を下しました。

判事の主要な判断

• AIの出力は「表現」ではない：「現段階では、Character.AIの出力が表現を構成すると断言する準備はできていません」とし、大規模言語モデル（LLM）によって「つなぎ合わされた単語」がなぜ表現になるのかを被告側が十分に説明できていないと指摘しました。
• 意図の重要性：判事は、単なる「単語」と「表現」の区別において、意図が重要な要素であることを示唆しました。AIが生成する出力には人間の意図が欠如している可能性を指摘しました。
• 製造物責任の適用可能性：Character.AIを「サービス」ではなく「製品」として扱うことを認め、製造物責任法の適用を可能にしました。これは、電気やインターネットのような「サービス」よりも、自動車や調理器具のような「製品」として法的に扱われることを意味します。

限定的な成功

ただし、判事は「意図的感情苦痛惹起」（IIED）に関する請求については棄却しました。これは、被害者が生存していない状況でIIEDを証明することの困難さによるものです。

Googleの責任と業界への影響

判事はまた、GoogleがCharacter.AIの開発における役割に対して責任を問われる可能性があることも認めました。Character.AIの共同創設者であるNoam ShazeerとDaniel de Freitas Adiwaranaは、以前Googleで AI開発に従事しており、訴訟ではGoogleが「技術のリスクを認識していた」と主張されています。

Character.AIの安全対策の実態

事後的な対応

Character.AIは、訴訟提起後に以下の安全機能を導入したと発表しました：

• 18歳未満ユーザー向けの独立したLLMモデル
• 保護者向けインサイト機能
• フィルタリングされたキャラクター
• 利用時間通知機能
• 自殺危機ホットラインへの誘導ポップアップ

継続する問題

しかし、研究者やジャーナリストは、これらの対策導入後も問題が残っていることを指摘しています：

• 自傷行為、グルーミング、摂食障害、大量暴力に特化したチャットボットの存在
• スタンフォード大学の研究チームは、「Character Calls」音声機能により安全対策が無効化されることを発見しました。
• 研究者らは、18歳未満の子どもはAIコンパニオンを使用すべきではないと結論付けました。

法的・社会的意義

AIと憲法権利の境界線

フロリダ大学のLyrissa Barnett Lidsky法学教授（修正第1条とAI専門）は、この判決がAIに関するより広範な問題の試金石となる可能性があると指摘しています。この訴訟は、AIが生成するコンテンツの法的地位について前例のない問題を提起しています。

製品責任法の新たな適用

Tech Justice Law Projectの創設者・責任者であるMeetali Jainは、この判決がシリコンバレーに対して「市場に製品を投入する前に立ち止まって考え、ガードレールを設置する必要がある」というメッセージを送っていると評価しています。

Section 230との関係

この訴訟は、1996年通信品位法第230条の適用範囲についても重要な問題を提起しています。従来、ソーシャルメディアプラットフォームは第230条により第三者コンテンツに対する責任を免れてきましたが、AIが生成するコンテンツがこの保護対象に含まれるかは未解決の法的問題です。

業界と政策への影響

Kids Online Safety Act (KOSA)

この訴訟は、現在議会で審議中のKids Online Safety Act（子どもオンライン安全法）の推進にも影響を与えています。同法案は2024年7月に上院を91対3で通過しましたが、下院での採決には至っていません。

AI規制の必要性

専門家らは、この事件が急速に発展するAI技術に対する規制の必要性を浮き彫りにしていると指摘しています。特に、最も脆弱なユーザーである子どもたちを保護するためのガードレールの重要性が強調されています。

今後の展望と課題

原告勝訴の場合の影響

もし原告側が勝訴した場合、以下の影響が予想されます：

• AI業界全体への規制強化：他のAI企業も同様の製造物責任を問われる可能性があります。
• 開発費用の増大：安全対策の強化により、AI開発コストが大幅に増加するでしょう。
• イノベーションへの影響：過度な規制により、技術革新が阻害される可能性があります。
• ユーザー保護の向上：特に未成年者向けの安全機能が大幅に改善されるでしょう。

被告勝訴の場合の影響

一方、被告側が勝訴した場合：

• AIの言論自由確立：AIが生成するコンテンツが修正第1条で保護される先例が確立されるでしょう。
• 責任制限の継続：AI企業の法的責任が限定的に留まるでしょう。
• 自主規制への依存：政府規制ではなく、業界の自主的な安全対策に依存することになるでしょう。
• ユーザー側の注意義務強化：保護者や利用者自身の責任がより重視されるでしょう。

ユーザーが注意すべき点

現在のAI技術の状況を踏まえ、ユーザー（特に保護者）が注意すべき点は以下の通りです：

• AIの限界の理解：AIは人間ではなく、真の感情や愛情を持たないことを理解することが重要です。
• 使用時間の監視：過度な使用による依存や現実逃避を防ぐ必要があります。
• 適切な年齢制限：特に18歳未満の子どもの使用に対しては慎重な判断が求められます。
• メンタルヘルスの監視：AIとの対話が精神的健康に与える影響に注意深く観察することが大切です。
• オープンなコミュニケーション：子どもとのAI使用に関する率直な対話が重要です。

技術と安全の両立に向けて

Character.AI訴訟は、AI技術の急速な発展と法的枠組みの遅れという現代的な課題を象徴しています。コンウェイ判事の判決は、AIが生成するコンテンツを単純に既存の言論の自由の枠組みで処理することの危険性を示しています。

この訴訟の最終的な結果は、AI業界全体の将来、特に開発者の責任範囲とユーザー保護のバランスに大きな影響を与えるでしょう。技術革新と安全性の確保という両立困難な目標の間で、法制度がどのような解決策を見出すかが注目されます。

最も重要なことは、セッツァー君のような悲劇を二度と繰り返さないために、技術開発者、規制当局、そして社会全体が協力して適切な安全対策を講じることです。AI技術の恩恵を享受しながら、特に最も脆弱な利用者を保護するためのバランスを見つけることが、この訴訟が提起する根本的な課題といえるでしょう。

【用語解説】

修正第1条（First Amendment）
アメリカ合衆国憲法の修正条項の一つで、言論、宗教、報道、集会、請願の自由を保障する。特に言論の自由は、個人やメディアの表現活動を保護する重要な権利とされる。

【関連記事】

テクノロジーと社会ニュースをinnovaTopiaでもっと読む

AI（人工知能)ニュースをinnovaTopiaでもっと読む