医療AIとの対話が、文字だけではなく、表情や動き、声まで含むものになったとき、診療体験はどう変わるのでしょうか。GoogleのAMIE（Video）は、リアルタイムの映像・音声と臨床推論を組み合わせ、医療AIが診察に近づくために何が必要なのかを示しています。
Googleの研究用医療AI「AMIE（Video）」が、15人の訓練された患者役を対象にリアルタイムのビデオ診療を行った。Talker、Planner、Perceptionの3エージェントで対話・臨床推論・映像音声の知覚を分担する。
10人のプライマリケア医との比較を20人の医師が評価し、問診、診断精度、管理方針、コミュニケーションなどで同等の評価を得たとGoogleは報告した。一方、対象は実患者ではなく、Googleは実臨床での安全性や有効性を判断するには追加研究が必要としている。
From: 
Google tests AMIE for clinical video consultations
【編集部解説】
AMIEの変化は「画像対応」ではなく、診療そのものをリアルタイム化したこと
今回のAMIE（Video）で重要なのは、単純に医療AIへカメラ入力が追加されたことではありません。従来のAMIEは、主にテキストによる患者との対話や、画像・文書を受け取って診断を考える研究として発展してきました。今回のシステムでは、患者と会話しながら映像と音声を継続的に受け取り、その情報を診断や管理方針へ反映させるリアルタイムの診療対話へ研究対象が広がっています。
これは医療AIにとって大きな設計上の違いです。診察では、患者が言葉で説明する症状だけでなく、呼吸の様子、姿勢、表情、歩き方、震えなども判断材料になります。テキストだけのシステムでは、こうした情報を患者自身が言語化して入力しなければなりません。Google Researchも、テキスト型インターフェースでは視覚・聴覚情報が失われ、患者が身体症状を文章に変換する必要があることを従来の制約として挙げています。
AMIE（Video）はGeminiとProject Astraを基盤とし、この問題に映像・音声をリアルタイムで扱う仕組みを組み合わせました。患者の非言語的な兆候を認識するだけでなく、カメラ越しに身体診察の動作を案内し、その結果を診断推論へ取り込むことまで研究対象にしています。
「会話の速さ」と「深く考える時間」を3つのAIに分けた
リアルタイム診療を成立させるうえで難しいのが、AIの応答速度と推論の深さをどう両立するかです。詳しい診断推論や映像解析には計算時間が必要ですが、患者との会話で毎回答に長い間が生じれば、自然な診察にはなりません。
そこでAMIE（Video）は、Talker、Planner、Perceptionという3つのエージェントを非同期で並行動作させています。Talkerは患者との低遅延な音声会話、Plannerは鑑別診断や管理計画などの臨床推論、Perceptionは映像と音声から臨床的に意味のある情報を探す役割を担当します。
原論文によると、Talkerは患者への応答を生成するとき、PlannerとPerceptionが更新した最新情報を取り込みます。また、即時応答では直近5秒間の映像を処理するなど、応答遅延を抑える設計も採用されています。つまり、患者と話すAIがすべてをその場で考え直すのではなく、背後で別のAIが「何を疑うべきか」「映像から何が見えたか」を更新し続け、その情報を会話担当へ渡す構造です。
この構成からは、医療AIを1つの巨大なモデルに任せるのではなく、リアルタイム性が必要な処理と時間をかけたい推論を役割分担させる方向性が読み取れます。これは今回のAMIE（Video）で、テキスト型から変わった技術的なポイントの一つです。
医師を上回った指標もあるが「実患者で医師以上」とは言えない
研究結果は慎重に読む必要があります。原論文では、100症例を使ったランダム化OSCEでAMIE（Video）、AMIE（Text）、プライマリケア医によるビデオ診療を比較しています。15人の患者役が参加し、独立した20人の医師が診療を評価しました。研究全体には30人のプライマリケア医が関与し、そのうち10人がビデオ診療を担当しています。
原論文では、症例別評価の総合スコアがAMIE（Video）83％、医師68％でした。正解診断を鑑別診断の第1候補に挙げた割合も91％対77％となっています。一方、上位3候補まで広げると98％対90％となり、この差は統計的に有意ではありませんでした。映像を情報収集に利用する評価では77％対51％、患者へ身体診察を案内する評価では72％対39％と、AMIE（Video）が高い数値を示しています。
ただし、この結果を「AIが医師より優れた診療をできるようになった」と一般化することはできません。研究は実際の患者ではなく、標準化された症例を演じる患者役を対象にしたシミュレーションです。また、患者役による評価では、症状の評価や説明ではAMIEが好まれた一方、信頼関係や協働関係の形成では医師が好まれています。
さらに原論文は、細かな解剖学的位置の認識、微妙な感情表現、高速な動きの知覚などに制約が残るとしています。研究者自身も、今回のシステムは現実の臨床展開に利用できる段階ではなく、実際の診療環境で大規模な検証が必要だと明記しています。
「医師の代わり」より先に見えてくる利用の形
AMIEの研究では、実患者を対象とした検証も始まっています。ただし、こちらで使われているのは今回のAMIE（Video）とは異なるテキスト型AMIEです。Beth Israel Deaconess Medical Centerで行われた前向き研究では、100人の成人患者が診察前にAMIEとテキストで対話し、その内容を医師が診察前に確認する方式が採られました。対話中は医師がリアルタイムで監督できる安全策も設けられています。
これらの研究状況を見る限り、現時点で確認できるAMIEの位置づけは、自律的に患者を診療する医師の代替というより、人間の医療者が関与する診療フローの中へAIをどのように組み込めるかを検証している段階です。今回のAMIE（Video）は、そこへ映像と音声という新しい情報経路を加えた研究と見ることができます。
テキストで患者から情報を集めるAIから、相手の様子を見て、声を聞き、その場で会話しながら推論するAIへ。今回示されたのはその技術的な移行です。一方で、シミュレーションで高いスコアを出すことと、症状も環境も予測できない実際の患者を安全に診療することの間には、まだ検証すべき距離が残っています。
【関連記事】
GoogleのAI「AMIE」が医療診断の新境地を開く：高精度対話で医師をサポート、臨床試験への道はまだ先
AMIEは2024年時点では、テキストを使った診断対話を中心に研究されていました。その初期研究から今回のリアルタイム映像・音声対応までの変化は、過去記事から確認できます。
Google MedGemma発表：医療画像とテキスト理解のオープンモデル、医療AI開発を支援
Googleは診療対話だけでなく、医療画像とテキストを扱うMedGemmaでも医療AIのマルチモーダル化を進めています。両者の用途の違いはこちらの記事で確認できます。
Microsoft新AI診断システム、人間医師を圧倒 – 80%精度で医療費20%削減も
医療AIと医師の性能比較はGoogleだけの動きではありません。Microsoftの診断AI研究と合わせて見ると、「高い研究スコア」と実際の診療能力を分けて考える必要性が見えてきます。
【編集部後記】
医療AIが文字だけでなく、表情や動き、声まで捉えるようになると、オンライン診療の感覚もかなり変わってきそうです。個人的には、画面越しでもこちらの様子を見ながら話を聞いてくれるAIなら、一度体験してみたいと感じました。
一方で、診断となれば「便利そう」という感覚だけでは任せられない領域でもあります。今回の結果は患者役による研究ですが、実際の患者を相手にしたときにどこまで同じ性能を出せるのかは気になるところです。
医師を置き換える存在というより、まずは医師と患者の間を補助する形から広がっていくのではないでしょうか。
「AIに診てもらう」ことが特別ではなくなる日は、思っているより近いのかもしれません。
【用語解説】
AMIE（Articulate Medical Intelligence Explorer）
Googleが研究する、診断推論と患者との対話に特化した医療AIシステム。2024年にテキストベースの診断対話研究が公開され、その後、複数回の診療を扱う研究や実患者を対象とした実現可能性研究へ対象を拡大。今回のAMIE（Video）ではリアルタイムの映像・音声を扱う。
OSCE（Objective Structured Clinical Examination／客観的臨床能力試験）
医療従事者の診察能力を評価するため、標準化された症例や患者役を用いて問診、診断、身体診察、コミュニケーションなどを評価する方法。今回のAMIE（Video）の比較研究でもOSCE形式が採用されている。
鑑別診断
患者の症状や検査結果から考えられる複数の病気を候補として挙げ、情報を集めながら可能性を絞り込む診断過程。
マルチエージェントシステム
役割の異なる複数のAIエージェントを連携させて処理を行う構成。AMIE（Video）では、会話を担当するTalker、臨床推論を担当するPlanner、映像・音声を分析するPerceptionが非同期で動作する。
マルチモーダルAI
テキストだけでなく、画像、映像、音声など複数種類の情報を扱うAI。AMIE（Video）では患者との会話に加え、映像と音声から臨床的な手掛かりを取得するために利用される。
【参考リンク】
Google Research（外部）
Googleの研究成果を公開する公式サイト。AMIEを含む医療AI、機械学習、コンピュータサイエンスなどの研究論文や技術解説を掲載。
Google DeepMind（外部）
GeminiをはじめとするGoogleのAIモデルと研究成果を紹介する公式サイト。AMIE（Video）の基盤となるGemini系モデルについても情報を公開。
Google DeepMind – Gemini（外部）
Google DeepMindによるGeminiモデルの公式情報ページ。Geminiファミリーのモデル、マルチモーダル能力、利用環境などを紹介。
【参考記事】
Advancing AMIE towards expert-level audio-visual clinical consultations｜Google Research（外部）
2026年8月11日公開。AMIE（Video）のリアルタイム臨床ビデオ相談、Talker・Planner・Perceptionによるマルチエージェント構成、比較評価と研究上の制約を解説したGoogle公式記事。
Towards Expert-level Medical AI for Real-time Video Consultations｜Google Research（外部）
AMIE（Video）の研究論文ページ。100症例、30人のプライマリケア医、15人の患者役を用いたOSCE形式の研究設計と評価結果を掲載。
Towards Expert-level Medical AI for Real-time Video Consultations｜arXiv（外部）
AMIE（Video）の原論文。システム構成、映像・音声処理、診断評価の詳細な数値、知覚上の制約などを確認できる。
Exploring the feasibility of conversational diagnostic AI in a real-world clinical study｜Google Research（外部）
Beth Israel Deaconess Medical Centerと実施したテキスト版AMIEの前向き研究。100人の実患者との対話を通じ、実臨床への導入可能性を検証した研究を解説。
