远网：具有增强语义对齐和自适应调和的多阶段融合网络用于组合图像检索-计算机科学-组合图像检索-视觉语言.pdfVIP

远网：具有增强语义对齐和自适应调和的多阶段融合网络用于组

合图像检索

Jeong-WooPark,Young-EunKim,andSeong-WhanLee

ModificationText

Abstract—组合图像检索（CIR）是一项视觉语言任务，Reference“Addonemore

Imagedog,Sittingon“Addonemore

thegrassModificationText

它使用参考图像和修改文本检索目标图像，从而能够直观地指dog,Sittingon

ReferenceImageModificationTextthegrass

定所需的更改。虽然有效地融合视觉和文本模态至关重要，但MultimodalReferenceImageModificationText

现有方法通常采用早期或晚期融合。早期融合倾向于过度关注Encoder

明确提及的文本细节并忽略视觉上下文，而晚期融合则难以捕RetrievalESAM

Late

捉图像区域与文本标记之间的细粒度语义对齐。为了解决这些Phase

问题，我们提出了FAR-Net，这是一种多阶段融合框架，旨

本在增强语义对齐和自适应协调，并结合了两个互补模块。增强(a)EarlyfusionmethodARMEarly

语义对齐模块（ESAM）采用晚期融合并利用交叉注意力来捕ReferenceModificationTextPhase

“Addonemore

译Imagedog,Sittingon

捉细粒度的语义关系，而自适应协调模块（ARM）则通过使thegrass

中用不确定性嵌入的早期融合来提高鲁棒性和适应性。在CIRRReferenceImageModificationText