注目のストーリー経過観察中
FactEmbedが合成画像検索でMLLM埋め込みを改善
1件の報道1件のソース2 日前更新
これまでの経緯
報道より
FactEmbedは、合成画像検索（CIR）でクエリの理解と埋め込みの構築を分離し、検索前に目標画像の視覚的変更をシミュレートするfactorized latentsを用いる手法である。CIRのベンチマーク全体で従来手法を上回ったと評価されている。学習では因子単位のcontrastive lossを最適化しつつ分解された表現をMLLMのより深いattention層に蒸留し、推論では[EOS]トークンによるグローバル埋め込みと、平均プーリングした因子表現による候補リストの再ランキングを同じforward passで行う。
Hugging Face Daily Papersより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
11月3日
- Hugging Face Daily Papers合成画像検索のためのFactorized MLLM Embeddings「FactEmbed」
FactEmbedは、合成画像検索（CIR）でクエリの理解と埋め込みの構築を分離し、検索前に目標画像の視覚的変更をシミュレートするfactorized latentsを用いる手法である。CIRのベンチマーク全体で従来手法を上回ったと評価されている。学習では因子単位のcontrastive lossを最適化しつつ分解された表現をMLLMのより深いattention層に蒸留し、推論では[EOS]トークンによるグローバル埋め込みと、平均プーリングした因子表現による候補リストの再ランキングを同じforward passで行う。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。