VISTA: 视觉-语言情景思维和注意力模仿在动态环境中的类人驾驶关注点.pdfVIP

VISTA:视觉-语言情景思维和注意力模仿在动态环境中的类人

驾驶关注点

KaiserHamidKhandakarAshrafiAkbar

EdwardE.WhitacreJr.CollegeofEngineeringErikJonssonSchoolofEngineeringandComputerScience

TexasTechUniversityTheUniversityofTexasatDallas

Lubbock,Texas74409Richardson,Texas75080

mdmunna@ttu.edukakbar@towson.edu

本NadeLiang

EdwardE.WhitacreJr.CollegeofEngineering

译TexasTechUniversity

中Lubbock,Texas74409

1nade.liang@ttu.edu

v

2

5

82025年8月11日

5

0

.ABSTRACT

8

0

5驾驶员视觉注意力预测是自动驾驶和人机交互（HCI）研究中的关键任务。大多数先前的研

2究集中在估计某一时刻的注意力分配，通常使用静态RGB图像，如驾驶场景图片。在这项

:

v工作中，我们提出了一种基于视觉语言的框架，通过自然语言建模驾驶员视线的变化景观，

i

x并在单张RGB图像上应用少量样本和零样本学习。我们利用人工反馈从BDD-A数据集中

r

a整理并优化高质量的字幕，然后微调LLaVA以使视觉感知与注意力中心场景理解保持一致。

我们的方法结合了低级线索和自上而下的上下文（例如，路线语义、风险预期），实现了基

于语言的注视行为描述。我们在不同的训练方案下评估性能（少量样本和单次学习），并引

入领域特定指标来衡量语义对齐度和响应多样性。结果显示，我们的微调模型在注意力转移

检测和可解释性方面优于通用视觉语言模型。据我们所知，这是首次尝试用自然语言生成驾

驶员视觉注意力分配和转移预测，为自动驾驶中的可解释AI提供了新方向。我们的方法为

下游任务奠定了基础，如行为预测、人机协作和多智能体协调。

1介绍

驾驶是一项高度依赖视觉的任务。驾驶员对视觉注意力的分配对于充分的情况感知和适当的决策至关重要，

特别是在安全关键情况下。由于分心、疲劳驾驶或酒驾等原因导致的时间和空间上不理想的视觉注意力分配

是道路事故的主要原因之一[1]。例如，在交叉路口发生的碰撞事件数量不成比例地增加，因为驾驶员未能注

意到穿越的车辆（通常是因为忽视或遮挡），许多变道碰撞源自未检查后视镜或盲点[2]。先进的驾驶辅助系

统(ADAS)和自动驾驶汽车(AVs)需要充分理解驾驶员在各种场景中的视觉注意力分配，以促进混合交通环

境中人-AI团队的驾驶-车辆及车辆-车辆交互。此外，能够理解和模仿人类般注意力分配的自动化车辆可以更

APREPRINT-2025年8月11