合成画像検索のためのFactorized MLLM Embeddings「FactEmbed」

FactEmbedは、合成画像検索（CIR）でクエリの理解と埋め込みの構築を分離し、検索前に目標画像の視覚的変更をシミュレートするfactorized latentsを用いる手法である。CIRのベンチマーク全体で従来手法を上回ったと評価されている。学習では因子単位のcontrastive lossを最適化しつつ分解された表現をMLLMのより深いattention層に蒸留し、推論では[EOS]トークンによるグローバル埋め込みと、平均プーリングした因子表現による候補リストの再ランキングを同じforward passで行う。