智能之眼识别静默威胁：视觉语言模型和上下文学习在太赫兹成像中的应用-计算机科学-视觉语言模型-上下文学习-太赫兹成像.pdfVIP

智能之眼识别静默威胁：视觉语言模型和上下文学习在太赫兹成像中的应用

NicolasPoggiShashankAgnihotriMargretKeuper

DataandWebScienceGroup,UniversityofMannheim,Germany

Max-Planck-InstituteforInformatics,SaarlandInformaticsCampus,Germany

shashank.agnihotri@uni-mannheim.de

Abstract级且可解释的替代方案，在推理时仅使用少量标记示

例即可适应新任务。ICL已在医学病理学[4]、海洋生

本太赫兹（THz）成像技术能够实现非侵入性分析，适用物学[14]和法律文档审查[5]等领域证明有效，但尚未

译于安全检查和材料分类等应用，但由于标注数据有限、在太赫兹成像中进行探索。

分辨率低以及视觉模糊等问题，有效的图像分类仍然

中具有挑战性。我们引入了上下文学习（ICL）与视觉语虽然像Gemini[15]和GPT-4o[1]这样的专有模型

1言模型（VLM），作为一种无需微调的灵活且可解释的提供了更大的上下文窗口和更强的性能，但由于成本

v

6替代方案。通过使用一种模态对齐的提示框架，我们和API约束，它们往往难以访问。我们专注于开源视

7将两个开源权重的VLM适应到THz领域，并在零样觉语言模型（VLMs），这些模型具有透明性、可重复性

5

5本和单样本设置下对其进行了评估。我们的结果显示，和适合离线使用的特点。尽管受限于较短的上下文窗

1ICL在数据量少的情况下改善了分类性能和可解释性。口，我们的框架可以在未来的研究中扩展到更强大的

.

7这是首次将增强型VLM应用于THz成像，为资源受限模型。

0

5的科学领域提供了一个有前景的方向。代码：GitHub

2仓库.这项研究受到发展中国家实际约束条件的启发，在

:

v这些国家，获取材料分类或安全检查方面的专业专家

i

x太赫兹（THz）成像是一种有前景的无损分析方可能有限。在这种情况下，具有ICL的VLM可以作为

r

a式，应用于安全检查、工业检测和材料特性分析中。成本效益高的决策支持工具，扩展人类专业知识并提

高系统透明度。

1.背景

本工作做出了以下贡献：

其穿透非金属材料并捕捉光谱信息的能力使得对

隐藏物体的安全、非电离检测以及材料区分成为可能。•我们提出了一种模态对齐的ICL框架，用于在不

[12]然而，有效且可解释的THz图像分类仍然是一项进行微调的情况下将通用VLM适应于太赫兹图像

挑战。[9,13][6]分类。

传统机器学习方法受到标记数据稀缺性[13]、材料•我们在零样本和一样本设置下评估了两个开放权重

之间高视觉模糊性[6]和典型太赫兹系统低空间分辨率的视觉语言模型，结果显示在低数据条件下性能有

[12]的限制。这些因素降低了监督模型的泛化能力，并所提升