基于多特征融合的行人过街意图检测研究与应用.pdfVIP

基于多特征融合的行人过街意图检测研究与应用

摘要

在城市环境中，自动驾驶系统须具备理解和预测其他道路使用者行为的能力，

尤其是对于行人这一易受伤害群体。在行人过街行为的场景中，准确预测行人动作

不仅能保障行人安全，还有助于系统选择最佳行动路径，从而避免潜在碰撞和交通

流的中断。鉴于实际交通场景的复杂性，行人过街行为的预测任务通常依赖于多个

特征的融合。多特征融合提供了更丰富的数据，使网络能够学习更强大的特征，并

降低过拟合的风险。因此基于深度学习的多特征融合行人意图识别对于提高交通

安全、优化城市交通管理具有重要指导作用，并为推动自动驾驶商业化进展提供技

术支撑。论文具体研究内容如下：

（1）针对现有的行人过街意图检测方法大多依赖于提取行人的完整姿态信息，

而当行人被遮挡时会导致行人意图检测准确性降低的问题，论文提出了一个利用

行人头部姿态特征的轻量级、多分支预测模型。在行人过街场景中，行人经常会被

障碍物部分或完全遮挡，例如车辆、树木或其他行人，而当行人被遮挡时会导致检

测准确性降低的问题。因此，该模型专注于行人的头部姿态特征，这是因为头部姿

态在大多数情况下不易被完全遮挡，并且能够提供丰富的方向和意图信息。为了增

强方法的鲁棒性，该方法进一步融合了上下文环境、行人位置和车辆速度特征，使

其在复杂交通场景下表现更加稳定可靠。最后，本文提出了一种用于特征融合的新

型门控循环单元（GRU）模块，并采用像素级和非像素级的融合策略，使模型在F1

值和准确率等方面达到了最佳预测性能。

（2）通过考察现有多特征融合方法在预测行人过街行为中的研究，特别是特

征间互补性的重要性和融合策略的不全面性问题。论文提出了LMLPed-Net，通过

将骨架信息转换为2D骨架热力图，来解决非欧几里得骨架点信息融合的问题，并

引入人体头部姿态作为补充，以应对因骨架点信息缺失而导致的人体运动学信息

不足。其次，论文从侧向化和模块化学习的角度，提出了一个全新的融合策略，旨

在从成分层次和整体层次全面考虑行人过街问题。模型LMLPed-Net在F1分数

（84%）、准确率（92%）和AUC分数（91%）上均优于对比的基线模型，展现了

卓越的性能。

（3）基于论文研究成果，结合实际需求，设计并实现了行人过街意图预测系

统，展示并验证了论文中的研究以及算法的优越性和实用性。

关键字：多特征融合，自动驾驶，行人意图预测，行人姿态，门控循环单元

ResearchandApplicationofPedestrianCrossingIntention

DetectionBasedonMulti-featureFusion

ABSTRACT

Inurbanenvironments,autonomousdrivingsystemsmustpossessthecapabilityto

understandandpredictthebehaviorsofotherroadusers,particularlythemorevulnerable

groupofpedestrians.Whenitcomestopedestriancrossingbehaviors,accurately

predictingpedestrianmovementsnotonlyensurespedestriansafetybutalsoaidsthe

systeminselectingtheoptimalpathtoavoidpotentialcollisionsanddisruptionsintraffic

flow.Giventhecomplexityofreal-worldtrafficscenarios,thepredictionofpedestrian

crossingbehavioroftenreliesonthefusionofmultiplefeatures.Multi-featurefusion

providesr