Google Photos、Auto frameに撮影後の視点を補正する3D対応の写真再構図を追加

この手法は、3Dシーンとカメラの推定、生成的なインペインティングとリタッチの2段階で構成される。3D推定と画像生成を切り離すことで、カメラの内部パラメータと外部パラメータの両方を3D上で操作できるとしている。

第1段階では、人体と顔を忠実に再構成するよう設定した内部の3D点マップ推定モデルを使う。元画像の各ピクセルについて3D点を推定し、元カメラの焦点距離も近似する。その後、従来型の3Dレンダリングで、カメラの位置、向き、焦点距離を変えた場合の画像を推定する。

ただし点マップは不完全な表現であるため、仮想カメラを動かすと元のレンズが捉えていない背景が露出し、レンダリング結果に穴が生じる。この穴の補完と補正には、潜在拡散モデルを使う。モデルは既知のカメラパラメータを持つ画像ペアの内部データセットで学習され、一方の画像の点マップをもう一方のカメラへ投影し、その再レンダリング結果から2枚目の画像を再構成することを学ぶ。推論時には領域ごとのスケーリングを伴うclassifier guidanceを使い、元の内容を保ちつつ空白部分には生成の自由度を持たせる。

自動編集のため、主な被写体の顔の位置と3D上の向きを検出するMLモデルも使い、3D点マップと組み合わせて理想的なフレーミングのカメラパラメータを計算する。広角フロントカメラで生じやすい遠近歪みも自動検出し、仮想カメラの内部パラメータを調整することで、被写体から撮影後に一歩下がったような自然な比率に戻す。

この機能はGoogle DeepMindとGoogle Platforms & Devicesチームの共同成果である。Google Photosでは、人物を含む対象写真に対してAuto frameの一部として動作し、視点が自動調整された画像が2番目の候補として表示され、1回の操作で適用できる。