Google Research、リアルタイム映像診療に対応したAMIE (Video)を発表

AMIE (Video)は、話し言葉に加えて患者の歩き方、苦痛の兆候、呼吸などの視覚・聴覚の手がかりを扱う。仮想的な身体診察の手順を患者役に案内しながら、診断推論もリアルタイムで進める。従来のテキスト版では、患者が身体症状を文章に置き換える必要があり、診断に有用な情報が失われる点が制約だったという。

構成は非同期のマルチエージェント型で、三つのエージェントが並列に動く。Talkerは低遅延で患者と会話し、Plannerは鑑別診断や管理計画の更新、情報の不足点の洗い出しを背景で続ける。Perceptionは音声と映像のストリームを監視し、臨床的に意味のある非言語的な手がかりを会話の文脈に結び付ける。自動評価では、各エージェントが問診、臨床推論、治療提案、応答遅延などの指標の改善に寄与したとされる。

開発では、遠隔医療に関わる視聴覚の臨床能力を文献から分類し、それに沿った自動評価スイートを作った。左右の取り違えや呼吸困難の兆候の認識を問う単発評価と、視覚的な手がかりをテキスト描写として注入する多ターンの模擬音声診療を組み合わせている。

人間による評価では、5つの身体系にまたがる100シナリオで、15人の訓練された患者役が300件の標準化診療を実施した。比較対象はAMIE (Video)、テキスト版のAMIE (Text)、同じ映像インターフェースを使う10人の認定PCPである。独立した20人のPCPが評価した結果、問診の網羅性、診断精度、管理の適切さ、コミュニケーション品質でAMIE (Video)はPCPと同等だった。身体所見の引き出しと仮想診察の誘導では、PCPとAMIE (Text)の両方を有意に上回った。患者役は映像インターフェースを好み、共感や信頼感の評価も良好だった。

限界も明記されている。研究は専門の患者役による模擬環境で行われ、演技で再現できる症状に限られた。自動評価では知覚や推論の誤りが時折見つかり、Project Astraがプロトタイプであることに由来する技術的な不具合も残る。実際の有用性を論じるには、実患者での検証が不可欠だと述べている。