カリフォルニア州北部のネバダ郡地方検事局が、刑事事件の申立書作成にAIを使用し、不正確な引用を含む書類を提出していたことが明らかになった。地方検事Jesse Wilsonは誤りの発覚後、申立書を取り下げたと認めた。
被告Kyle Kjoller側の弁護士は、公選弁護人と非営利団体Civil Rights Corpsと共に、検察側の提出書類に生成AIに典型的な誤りを発見し、10月に第三地区控訴裁判所へ制裁を求める申立を行った。その後、3件の事件で同様の誤りを特定し、カリフォルニア州最高裁判所に請願書を提出した。金曜日には22人の学者、弁護士、刑事司法擁護者がKjoller側を支持する準備書面を提出した。
検察庁は1件でのAI使用を認めたが、Kjollerの事件では使用していないとし、スタッフ向け研修とAIポリシーを導入した。HECパリの研究者によれば、これは米国の検察庁による生成AI使用の最初の事例となる可能性が高い。
From: 
California prosecutors’ office used AI to file inaccurate motion in criminal case
【編集部解説】
カリフォルニア州ネバダ郡で起きたこの事案は、法執行機関におけるAI利用の危険性を浮き彫りにしました。検察という公権力を持つ組織が、被告人の自由を奪う判断に関わる書類でAIハルシネーション(幻覚)を含む資料を提出していたという事実は、単なる技術的ミスでは済まされない重大な問題です。
Kyle Kjollerさんは56歳の溶接工で、複数の違法銃器所持容疑で4月に逮捕されました。彼は保釈を求めましたが、検察は11ページにわたる反対意見書を提出し、彼を保釈なしで拘束し続けることを主張しました。しかしその書類には、存在しない判例の引用、実際には書かれていない引用文、法律の誤った解釈など、生成AIに典型的なエラーが多数含まれていたのです。
HECパリのビジネススクールの研究者Damien Charlotinさんが管理するデータベースによれば、AIハルシネーションを含む法廷文書の事例は世界中で590件以上が確認されており、2025年に入ってから急増しています。しかし検察官によるものはイスラエルの1件のみで、今回のケースは米国で初めての可能性が高いとされています。これは弁護士のミスとは本質的に異なります。検察官の言葉は裁判官や陪審員に大きな影響力を持ち、被告人の運命を左右するからです。
Jesse Wilson地方検事は、Kalen Turnerという別の薬物事件で1件のAI使用を認めましたが、Kjoller氏の事件では使用していないと主張しています。しかしKjoller氏の弁護団は、少なくとも3件の事件で同様のAIハルシネーションの痕跡を発見したと指摘しています。
この問題の深刻さは、11月22日に22人の学者、弁護士、刑事司法擁護者がカリフォルニア州最高裁判所にKjoller氏を支持する準備書面を提出したことからも明らかです。その中にはInnocence Project(無実プロジェクト)の共同創設者Barry Scheckさんも含まれており、AIの無制限な使用が冤罪につながる可能性を警告しています。
Wilson地方検事は事態を受けて、スタッフ向けの新しい研修を実施し、AIポリシーを導入したと述べています。しかし「重い事件負荷と時間的制約の下で働いている」という弁明は、被告人の基本的人権が関わる場面では受け入れがたいものです。
AIツールは法律実務において有用である一方、専門的な法律研究用ツール(Westlaw AIやLexis+ AIなど)でさえ完璧ではありません。Charlotinさんのデータベースが示すように、2025年は特に問題が急増しており、5月だけで32件の事例が報告されています。この加速する傾向は、多くの法律専門家がAIの限界を十分に理解しないまま使用していることを示しています。
今回の事案が提起する本質的な問いは、「誰がAIの出力に責任を持つべきか」ということです。検察官には倫理規則と被告人の適正手続きの権利を守る義務があります。AIを使うこと自体は禁止されていませんが、提出する書類の正確性を確保する責任は常に人間にあります。特に刑事司法の場面では、一つの誤りが無実の人の自由を奪う結果につながりかねません。
【用語解説】
AIハルシネーション（AI Hallucination）
人工知能が生成する、もっともらしく見えるが実際には存在しない情報や虚偽の内容を指す。法律分野では、存在しない判例の引用、実際には書かれていない引用文の捏造、法律解釈の誤りなどとして現れる。大規模言語モデル（LLM）が複雑な法律的質問に対して特に「幻覚」を起こしやすいことが知られている。
Civil Rights Corps
刑事司法制度の改革を目指す非営利団体。特に裁判前の拘留を減らすことに注力している。今回のKjoller氏のケースでは、公選弁護人と協力してネバダ郡地方検事局のAI使用問題を追及している。
Innocence Project（無実プロジェクト）
DNA鑑定などを用いて冤罪被害者の無実を証明し、釈放を支援する非営利組織。1992年の設立以来、400人近くの無実の人々の釈放に貢献してきた。共同創設者のBarry Scheckが今回のカリフォルニア州最高裁判所への準備書面に参加している。
Rule 11（連邦民事訴訟規則第11条）
米国連邦裁判所における手続き規則で、弁護士が裁判所に提出する書類の正確性と誠実性を保証することを義務付けている。違反した場合、裁判所は制裁を科すことができる。AI関連の制裁事例の多くがこの規則に基づいている。
生成AI（Generative AI）
テキスト、画像、音声などのコンテンツを生成できる人工知能システム。ChatGPT、Claude、Geminiなどが代表例。法律分野では、文書作成、リサーチ、要約などに利用されているが、出力の検証が不可欠とされている。
【参考リンク】
AI Hallucination Cases Database（外部）
HECパリの研究者Damien Charlotinが管理する、世界中のAIハルシネーション関連法廷事例データベース
Civil Rights Corps（外部）
刑事司法制度改革を目指す非営利団体。裁判前拘留の削減や公選弁護制度の改善に取り組む
The Innocence Project（外部）
DNA鑑定などの科学的証拠を用いて冤罪被害者の無実を証明し釈放を支援する非営利組織
ABA Model Rules of Professional Conduct（外部）
米国法曹協会が定める弁護士倫理規則。AI使用に関するガイダンスを提供している
【参考記事】
AI caused errors in a criminal case, Northern California prosecutor says（外部）
Wilson地方検事がTurner事件でAI使用を認めた詳細とKjoller弁護団の主張を報道
California prosecutors used flawed AI in criminal case, report says（外部）
Kjoller氏が保釈なしで拘束された経緯と検察側準備書面の生成AI誤りを詳述
Prosecutor Used Flawed A.I. to Keep a Man in Jail, His Lawyers Say（外部）
Charlotinデータベースに590件以上の事例があり検察官使用はイスラエル1件のみと報告
A recent high-profile case of AI hallucination serves as a stark warning（外部）
2025年4月以降AIハルシネーション事例が急増し毎日のように発生していると報告
AI Hallucination in Legal Practice: When Technology Gets the Law Wrong（外部）
弁護士がAIハルシネーションに依存した場合の倫理的法的責任と制裁内容を解説
As more lawyers fall for AI hallucinations, ChatGPT says: Check my work（外部）
Charlotinデータベースが500件以上の事例を追跡し2025年春以降1日2〜3件増加と分析
How AI Hallucinations Are Tripping Up Lawyers and Novices Alike（外部）
2025年に19件の弁護士AI誤用事例があり裁判所がより厳格な姿勢を取り始めていると分析
【編集部後記】
今回の事案は、私たち全員に関わる問題を提起しています。AIは法律実務だけでなく、医療、教育、ビジネスなど、あらゆる分野で急速に導入されています。しかし、その出力を無批判に信じることの危険性は、今回の検察によるAI使用問題が示す通りです。特に公権力を持つ組織がAIを使う場合、その影響は個人の自由や権利に直結します。私たちは、AIがどのように使われているのか、誰がその出力に責任を持つのか、そしてどのような検証プロセスが必要なのかについて、より注意深く見守る必要があるのではないでしょうか。テクノロジーの進化を歓迎しつつも、その限界と危険性を理解することが、これからの時代を生きる私たちに求められています。
