基于多模态融合的行人检测与跟踪算法研究.pdfVIP

基于多模态融合的行人检测与跟踪算法研究

摘要

随着城市化进程的加速，智能安防系统作为保障城市安全的重要工具，其重要性

日益凸显。在众多智能安防应用中，行人检测与跟踪技术尤为关键，它能够提高公共

安全水平，促进城市管理的智能化和精细化。然而，由于城市环境的复杂多样性，传

统的单模态下的行人检测与跟踪算法面临着巨大挑战，如动态变化的背景、光照条件

的多变性以及遮挡问题等。为了解决这些问题，本文提出了一种基于多模态融合的行

人检测与跟踪算法，主要研究内容如下：

首先在行人检测方面，本文采用YOLO框架设计了一种多模态融合行人检测网络

算法MFPD-Net。该算法旨在结合可见光、红外模态信息，来提升行人检测模型的性能。

本文设计了跨模态空间注意力机制CSAM，实现在空间域上任意捕捉不同模态各像素

之间位置的依赖关系并融合，有助于理解不同模态之间的像素级的语义关系，并设计

了跨模态通道注意力机制CCAM，帮助模型更好的聚焦于有用的特征通道，更好的理

解各模态之间的关联和互补性。通过将CSAM与CCAM两种跨模态注意力机制进行混

合，更好的实现在复杂环境比如低光照、目标遮挡环境下的行人检测。

其次在行人跟踪方面，本文在DeepSort算法基础之上进行改进，对DeepSort的

Reid模型引入了多模态融合的思想，结合可见光与红外模态进行融合，提出了Multi-

CNN模型用于提取行人的外观特征信息，多模态信息可以为模型提供不同形式的表观

信息，丰富提取的行人特征，提高行人匹配的精确率。另外，选择Shape-IOU来进行

IOU匹配策略，其不仅考虑了IOU交并比，并且考虑了检测框与跟踪框之间的角度、

尺寸、比例等信息，能够更细节的捕捉行人之间的差异。综合以上改进，能够在拥挤

的人群、遮挡情况、以及行人间的互相交叉移动等情况下，更有效地区分并跟踪目标

个体，减少ID切换的频率与次数。

最后在开源的跨模态数据集LLVIP上进行了行人检测的消融实验与对比实验。同

时在跨模态RegDB数据集上训练本文提出的Reid模型，在OTCBVS数据集上测试模

型跟踪性能。实验结果表明，本文提出的多模态方法能够在低光照、目标遮挡的环境

下进行行人检测相比单模态具有更强的鲁棒性；在行人跟踪中引入多模态提取外观特

征信息以及Shape-IOU可以有效提高行人匹配精度，并且能够降低因目标遮挡导致的

目标ID切换次数。

关键词：多模态融合；行人检测；行人跟踪；深度学习；DeepSort

基于多模态融合的行人检测与跟踪算法研究

ABSTRACT

Withtheaccelerationofurbanization,theimportanceofintelligentsecuritysystemsas

animportanttooltoensureurbansafetyisbecomingincreasinglyprominent.Among

numerousintelligentsecurityapplications,pedestriandetectionandtrackingtechnologyis

particularlycrucialasitcanimprovepublicsafetylevelsandpromotetheintelligenceand

refinementofurbanmanagement.However,duetothecomplexityanddiversityofurban

environments,traditionalsinglemodalpedestriandetectionandtrackingalgorithmsface

significantchallenges,suchasdynamicallychangingbackgrounds,variabilityinlighting

conditions,andocclusionissues.Toaddresstheseissues,thispaperproposesapedestrian

detectionandtrackin