通过特征图质量评分解耦自动驾驶模型的功能评估.pdfVIP

通过特征图质量评分解耦自动驾驶模型的功能评估

LudanZhang1,2,3SihanWang1,2,3YuqiDai1,2ShuofeiQiaoQinyueLuoLeiHe451,2,∗

摘要用。根据每个模块输出特征图的质量来评估其性能已成为

一个关键挑战。解决这一问题对于提高模型开发效率和确

端到端模型正在成为自主驾驶感知和规划的主流。然保系统级安全至关重要。

而，中间功能模块缺乏明确的监督信号导致操作机制不透因此，建立模块训练成熟度的系统评估机制是至关

明且解释性有限，使得传统方法难以独立评估和训练这重要的，这将提高多模态学习中的可解释性和优化效率。

些模块。针对这一问题，本研究基于特征图-真实表示相FMCE-Net[18]提出了通过分析图像分类任务上的损失值

似度评价框架，提出了一种基于特征图收敛分数（FMCS）来对特征图进行评分，从而评估功能模块的初始方法。虽

的独立评价方法。构建了一个双粒度动态加权评分系统然这种方法对于具有单一功能模块的模型有效，但它缺乏

（DG-DWSS），制定了一项统一的数量指标——特征图质独立评估多个级联功能模块的能力。

本量得分，以实现对功能模块生成的特征图的质量进行全为了解决这一限制，最近的一项研究[19]提出了基

译面评估。进一步开发了基于CLIP的特征图质量评估网络于特征图-真实表示相似性的评估方法。通过利用两阶段

（CLIP-FMQE-Net），结合特征-真实编码器和质量分数预对齐自编码器和大型语言模型，将特征图和地面真实信息

中测头，实现了对功能模块生成的特征图进行实时质量分析投影到一个统一的语义表示空间中，在该空间中使用表征

1的功能。在NuScenes数据集上的实验结果表明，将我们相似性分数（RSS）来量化模块训练成熟度。虽然该方法

v

2的评价模块集成到训练中可以提高3D物体检测性能，在揭示了在BEVFormer上RSS与感知任务性能指标之间存

5NDS上获得3.89%的增长。这些结果验证了我们方法在提在显著正相关关系，但尚未将其整合进模型训练过程中，

5

7升特征表示质量和整体模型性能方面的有效性。因此无法直接促进优化。

0.关键词：独立评估功能模块，特征图质量评估，辅助为解决将功能模块评估整合到复杂模型训练和优化

8损失，对比语言-图像预训练模型。中的挑战，我们提出了一种基于特征图质量分数（FMQS）

0

5的动态评估机制。具体而言，我们设计了一个针对MML

21介绍

:训练的双粒度成熟度分析动态加权评分系统。该机制从两

v

i端到端深度学习算法因其强大的特征学习能力和简个角度评估模块训练的成熟度：全局模型层面和局部特征

x

r化的训练流程而在自主驾驶感知系统中被广泛应用。然图层面。它整合了特征图语义一致性和任务性能反馈，建

a

而，它们的黑箱性质导致中间特征缺乏明确监督，并阻碍立了一个多维度定量评估模块训练成熟度的模型。

了内部表示与最终任务性能之间的直接关联。因此，传统为了实现这种方法，我们开发了一个基于CLIP的功

的评估方法不足以有效优化功能模块。能图质量评估网络（CLIP-FMQE-Net），它保存了MML中

多模块学习（MML）[4]提供了一种有前景的方法，每个功能模块的输出特征图和真实值。然后分别将它们作

通过将感知算法划分为多个专业功能模块。这使得在多种为输入提供给CLIP的图像和文本编码器。通过使特征图

场景中能够独立训练和灵活部署，并有助于提高可解释性与真实值对齐，该网络利用基于Transformer的解码器准

和复用性。然而，仍然缺乏统一的定量标准来评估每个模确预测FMQS，从而实现闭环