基于事件的深度学习眼动追踪方法.pdfVIP

基于事件的深度学习眼动追踪方法

ChiragSethDivyaNaiken

ElectricalandComputerEngineering,UniversityofWaterlooSystemDesignEngineering,UniversityofWaterloo

KeyanLin

SystemDesignEngineering,UniversityofWaterloo

Abstract

该项目旨在通过利用先前的研究，解决在特定事件过程中精确跟踪眼动的挑战。由于人

眼可以达到300°/s的速度快速移动，因此通常需要昂贵且高速的摄像机才能进行精准的

眼动追踪。我们的主要目标是使用事件相机提供的输入来定位眼睛中心位置(x,y)。眼

动分析在消费电子领域有着广泛的应用，尤其是在VR和AR产品开发中。因此，我们

本的最终目标是通过深度学习方法开发一个可解释且成本效益高的算法，以预测人类注意

力，从而提高设备的舒适度并提升整体用户体验。//为了实现这一目标，我们探索了各

译种方法，其中CNN_LSTM模型被证明最有效，达到了约81%的准确率。此外，我们提议

中未来的工作将集中在层相关传播(LRP)上，以进一步增强模型的可解释性和预测性能。

1

v

71介绍

2

8

4眼动追踪方法在消费电子、神经科学和心理学等领域有着广泛的应用，因为它有潜力理解人类的视觉行

0

.为[1]。传统的眼动追踪系统通常需要专门的硬件来捕捉眼球运动，并在此过程中分析大量数据。相比之

8

0下，事件驱动的眼动追踪只在眼睛移动时捕获稀疏的数据，这显著减少了处理时间和功耗。在消费电子

5领域，特别是在AR/VR中，使用事件驱动的眼动追踪方法能够使设备更轻、更小且更舒适。在神经科

2学领域，此类系统有助于破译视觉注意力过程和诊断神经系统疾病，增强我们对认知机制的理解。我们

:

v的项目旨在将一些流行的神经网络结构部署到事件驱动的眼动追踪中，比较其有效性并探索模型可解释

i

x性的潜力。

r

a

2文献回顾

2.1模型

卷积神经网络（CNNs）因其能够从原始输入数据中提取特征而在基于事件的眼动追踪研究中得到了广泛

应用。循环神经网络（RNNs）是基于事件眼动追踪方法中的另一种常见架构。与CNNs相比，RNNs具有

通过维持内部状态或记忆来捕捉序列数据中时间依赖性的能力。这使它们非常适合处理事件流。在基于

事件的眼动追踪中，诸如门控循环单元（GRUs）、长短期记忆（LSTM）网络和双向LSTMs（Bi-LSTMs）

等架构经常被使用，并表现出色。在我们的项目中，我们将通过将CNNs和RNNs整合到一个统一的框

架中来利用它们的协同潜力。结合这两种架构的优势，我们期望达到更高的准确性[2]。

此外，我们研究的一个显著特点是使用了从DVXplorerMini事件相机捕获的数据。这一选择使我们在很

大程度上区别于依赖不同眼动追踪设备或数据集的许多先前研究。DVXplorerMini事件相机提供了多项

优势，包括高时间分辨率、低功耗和紧凑的尺寸，使其非常适合实时捕捉精细的眼部运动数据。

通过利用DVXplorerMini事件相机的数据，我们的研究得益于该设备的独特特性，能够以前所未有的精

准度和效率分析眼动模式。这一独特的数据集使我们能够在基于事件的眼动追踪研究中探索新途径，并

提供传统眼动追踪方法无法获得的见解。

1

总之，我们的研究通过在一个新颖的框架中结合CNNs和RNNs，并利用DVXplorerMini事件相机的数

据而脱颖而出。这种综合方法，加上数据集的独特品质，使我们的研究处于可解释的眼动追踪模型的前

沿，并为理解和分析眼动数据开