「画像なし」で挑むVLM学習、Text-Printed Imageによるアプローチ

Turingのインターン研究チームが、テキストを白い画像に印字したText-Printed Image（TPI）を入力に使い、実画像なしでVLMを学習する手法を提案した。実験では、テキストをそのまま使う学習（Text-only）より大きな性能向上を示し、一部のタスクではGT-Image（実画像による学習）に迫る改善も見られた。GPT-4o-miniを用いたSelf-Instructによるデータ拡張（1万サンプル生成）でも、シードデータが少ない場合と完全な場合の両方で性能が向上したと報告されている。