MCoT-RE: 多方面推理链和重排序用于无训练零样本合成图像检索-计算机科学-大语言模型-计算机视觉-组合图像检索.pdfVIP

MCoT-RE:多方面推理链和重排序用于无训练零样本合成图像

检索

Jeong-WooPark,andSeong-WhanLee

Abstract—组合图像检索（CIR）是从图库中使用由参ReferenceImageExpectedTargetCaption

Caption“Abrownandwhitedogis

考图像和修改文本组成的查询来检索目标图像的任务。在各种M“Animageofarunningoutdoorswith

Lbrownandwhitepuppy.”

CIR方法中，基于预训练模型的无训练零样本方法成本效益Vdogrunning

高，但仍面临显著限制。例如，顺序VLM-LLM管道独立处理outdoors”MText-to-Image

L

ModificationTextL

每个模态，这通常会导致信息丢失并限制跨模态交互。相比之“beasamebreed

RetrievedImage

下，基于多模态大语言模型（MLLM）的方法往往只专注于应dogwithhispuppyLossof

running.”

用文本指示的变化，而没有充分利用参考图像中的上下文视觉visualinformation

本信息。为了解决这些问题，我们提出了具有重新排序的多层次

思维链（MCoT-RE），一个无训练零样本CIR框架。MCoT-(a)VLM-LLMMethod

译ReferenceImage

RE利用多层次思维链来引导MLLM平衡显式修改和上下文

ModificationText

中视觉线索，生成两个不同的标题