多模态危机事件分析的差分注意力-计算机科学-机器学习-视觉语言模型.pdfVIP

多模态危机事件分析的差分注意力

NusratMuniaJunfengZhu

UniversityofKentuckyKentuckyGeologicalSurvey

Lexington,KY,USALexington,KY,USA

nusrat.munia@junfeng.zhu@

OlfaNasraouiAbdullah-Al-ZubaerImran

UniversityofLouisvilleUniversityofKentucky

Louisville,KY,USALexington,KY,USA

本olfa.nasraoui@aimran@

译

中Abstract1.介绍

1

v在诸如野火、飓风、洪水和海啸等危机事件中，人

5

6们积极地在社交网络上分享更新信息、图片和视频。这

1社交网络在危机事件中可以成为有价值的信息来源。

创造了一个巨大的数据池，可以帮助人道主义响应和

5特别是，用户可以发布多模态数据流，这些数据对实

0决策制定。从这一持续的数据流中提取重要信息有助

.时人道主义响应至关重要。然而，从大量且嘈杂的数

7于快速做出决定并更有效地使用资源。然而，并非所有

0据流中有效提取有意义的信息，并有效地整合异构数

5据仍是一个巨大的挑战。在这项工作中，我们探索视的社交媒体帖子都包含相关或可执行的信息。过滤掉

2无用内容并识别出支持危机管理工作的有意义的帖子

:觉语言模型（VLMs）和高级融合策略以增强三个不同

v变得至关重要。

i任务中的危机数据分类。我们将LLaVA生成的文本纳

x多模态机器学习在各种应用中显示了巨大的潜力，

r入其中以改进文本-图像对齐。此外，我们利用基于对

a比语言-图像预训练（CLIP）的视觉和文本嵌入，在无包括情感分析[7]、虚假信息检测[11]等。尽管有其优

需特定任务微调的情况下优于传统模型。为了进一步点，但多模态学习由于不同模态之间的复杂交互以及

优化多模态融合，我们采用引导交叉注意力（Guided难以对齐异构数据源[3,8]，仍然具有挑战性。先前的

CA），并结合差分注意力机制来增强特征对齐，强调关研究强调了训练多模态分类网络通常比单模态对应物

键信息同时过滤掉无关内容。我们的结果显示，虽然更为困难，原因是模态不平衡、不对齐和各模态中不同

差分注意力提升了分类性能，但引导交叉注意力在对的噪声水平[12]。解决这些挑战对于构建支持危机应对

齐多模态特征方面仍然非常有效。在CrisisMMD基准工作的稳健模型至关重要。

数据集上的广泛实验表明，预训练VLMs、丰富的文本视觉语言模型（VLMs）在多种任务中取得了显著

描述和自适应融合策略的结合始终优于最先进的模型