Google Research、スマートフォンのカメラで心拍を受動的に計測するPHRMをNatureで発表

PHRMは、顔認証によるアンロック直後の8秒間の顔動画を使い、光電容積脈波（PPG）の原理で心拍を推定する。端末上のソフトウェアパイプラインが計算効率の高い時間シフト畳み込みニューラルネットワークでHRと信頼度スコアを予測する。1日分の予測を集約し、信頼度スコアとカルマンフィルタで日次RHRを算出する。

開発には約700人の同意済み参加者から得た35万本超の動画クリップを使った。Monk Skin Tone scaleに基づき、明るい肌と中間の肌の参加者をそれぞれ25%以上、濃い肌の参加者を33%以上とした。各グループのMAPEの差を5ポイント未満とする非劣性基準も設けた。

実験室では365人のデータで学習し、別の104人のテストセットで評価した。公開されている15の主要なrPPGモデルを上回り、全ての肌色でMAPE 10%未満を達成した唯一のモデルだった。実環境の研究では231人が8日間、個人のスマホで専用アプリを使い、ECG胸部ストラップとFitbit Charge 6を併用した。101人の検証サブセットでは信頼度によるゲーティング後の全体MAPEが6.09%で、グループ1〜3はそれぞれ5.04%、5.12%、7.84%だった。

RHRは1日に20回以上のHR測定がある90人を対象に評価した。参加者日の73.6%で推定に成功し、Fitbit Charge 6との比較でMAEは4.39 bpmだった。グループ3のMAEは、カルマンフィルタの収束により3日目以降で5 bpmを大きく下回った。PHRM由来のRHRが高い参加者ほどBMIが高く、VO2maxが低い傾向も確認された。

課題として、測定成功率がグループ2で低く、グループ3で最も低いこと、発話や頭の動きによる外れ値の誤差があることが挙げられている。今後は、カメラ露出の最適化、追加サンプリング、映像の安定化、加速度センサーによるゲーティングが改善策として示されている。データセットは非商用の研究に限定され、IRB承認を持つ研究者が申請できる。個人の再特定や生動画の公開は禁止されている。