マウントサイナイ医科大学アイカーン校の研究者らによる研究が2025年8月2日にCommunications Medicine誌オンライン版に発表された。
研究では、広く使用されているAIチャットボットが虚偽の医療情報を繰り返し詳述することに対して非常に脆弱であることが判明した。研究チームは、架空の病気、症状、検査などの偽の医学用語を含む患者シナリオを作成し、主要な大規模言語モデルに提出してテストを実施した。
警告なしでは、チャットボットは存在しない病状や治療法について自信を持って説明を生成していた。しかし、「提供された情報が不正確である可能性がある」という1行の警告をプロンプトに追加することで、エラーを約半分に削減できることが実証された。
研究の筆頭著者はMahmud Omar医師、共同責任著者はEyal Klang医師とGirish N. Nadkarni医師である。研究チームは今後、実際の匿名化された患者記録に同じアプローチを適用し、より高度な安全プロンプトをテストする予定である。
【編集部解説】
この研究は、医療分野におけるAI技術の安全性に関する極めて重要な警鐘を鳴らしています。マウントサイナイ医科大学の研究チームが明らかにした問題は、単純な技術的不備にとどまらず、AIが医療現場で普及する際の根本的なリスクを浮き彫りにしたものです。
現在のAIチャットボットが抱える最大の問題は、虚偽の情報を「真実」として堂々と説明する「ハルシネーション（幻覚）」現象です。研究では、存在しない病気や検査項目を含む質問を投げかけると、AIが自信満々にその架空の情報を元にした診断や治療法を提案する実態が確認されました。これは、AIが文脈を理解するのではなく、パターン認識によって「もっともらしい」回答を生成する仕組みに起因しています。
特に注目すべきは、シンプルな安全対策の効果です。「提供された情報が不正確である可能性がある」という1行の警告をプロンプトに追加するだけで、誤情報の拡散リスクを約半分に削減できることが実証されました。この発見は、技術的な複雑さを伴わない実用的な解決策として、医療AI開発において重要な指針となります。
医療AIのリスクは今回の研究だけでなく、複数の研究機関で同様の懸念が報告されています。オーストラリアの研究チームによる別の調査では、意図的にプログラムされたAIチャットボットが88%の確率で虚偽の健康情報を提供し、「ワクチンが自閉症を引き起こす」「5Gが不妊症の原因となる」といった悪質な医療デマを権威的な口調で拡散することが判明しています。
このような技術的脆弱性は、AI技術が急速に医療現場に浸透する中で看過できない課題です。現在、多くの患者や医療従事者がAIツールに依存する傾向が強まっており、誤った情報による診断ミスや不適切な治療が現実的なリスクとして存在しています。
規制面でも、この研究結果は重要な意味を持ちます。米国の医療技術安全機関ECRIが発表した「2025年医療技術危険リスト」では、AIが最上位にランクされており、業界全体で安全対策の強化が急務となっています。医療AIの実用化には、技術的な精度向上だけでなく、プロンプト設計やシステム監査といった多層的な安全装置が不可欠であることが明らかになりました。
今回の「偽用語テスト」手法は、AIシステムの信頼性を評価する新しい標準として期待されています。この手法により、病院や技術開発者、規制当局が臨床導入前にAIシステムの安全性を客観的に検証できるようになります。
長期的な視点では、この研究はAI技術の「信頼性のパラドックス」を浮き彫りにしています。AIが高度になるほど、その回答は説得力を増しますが、同時に誤情報の検出も困難になるという矛盾です。医療AIの未来は、技術の進歩と安全性の確保をいかにバランスよく実現できるかにかかっているといえるでしょう。
【用語解説】
ハルシネーション（幻覚）
AIが事実に反する情報を自信を持って生成する現象である。医療分野では誤診のリスクを高める深刻な問題となっている。
大型言語モデル（Large Language Models）
膨大なテキストデータを学習して自然言語の生成・理解を行うAIモデルである。GPTやBERTなどが該当する。
プロンプト設計
AIに投げかける指示文の構成や表現方法である。適切な設計によりAIの応答精度や安全性が向上する。
偽用語テスト
AIに架空の医学用語を含む質問を与え、誤情報の生成傾向を評価する手法である。安全対策の効果検証に利用される。
【参考リンク】
Mount Sinai AI部門 | Icahn School of Medicine（外部）
Mount SinaiのAI活用と医療への応用について紹介。患者ケアの改善と研究推進を目的とする。
Mount Sinai Windreich Department of AI and Human Health（外部）
米国初の医療系AI専門部門。AIを用いた研究、臨床応用、倫理的活用に注力している。
Hasso Plattner Institute for Digital Health at Mount Sinai（外部）
ドイツ・ポツダムのHasso Plattner Instituteと連携し、デジタルヘルス及びAI研究を推進している。
Mount Sinai Health System（公式サイト）（外部）
ニューヨーク都市圏最大の学術医療システムの1つ。7つの病院と400以上の外来診療所を運営している。
【参考記事】
Mount Sinai Health System named 2024 Hearst Health Prize winner（外部）
マウントサイナイ・ヘルスシステムが機械学習アプリケーション「NutriScan AI」で2024年ハースト・ヘルス賞を受賞。10万ドルの賞金とともに栄誉を獲得した。
Mount Sinai Opens the Hamilton and Amabel James Center for Artificial Intelligence and Human Health（外部）
マウントサイナイが65,000平方フィートのAI研究施設を開設。40人の主任研究者と250人の大学院生・研究員が在籍する世界最大級の医療AI研究拠点となった。
Inside the first U.S. medical school to fully incorporate AI into its doctor training program（外部）
マウントサイナイ医科大学アイカーン校が全米初のAI統合医師教育プログラムを開始。全学生にChatGPT Eduへのアクセスを提供している。
【編集部後記】
医療AIの安全性について、皆さんはどのようにお考えでしょうか。この研究で明らかになった「1行の警告で誤情報を半減できる」という発見は、技術の進歩が必ずしも複雑である必要がないことを示しています。
私たちが日常的に利用するAIツールにも、同様のリスクが潜んでいる可能性があります。医療分野に限らず、AIとの付き合い方について一緒に考えていきませんか。皆さんはAI技術の安全性向上のために、どのような取り組みが必要だと思われますか。ぜひご意見をお聞かせください。
