StixelNExT：面向单目轻量级感知的目标分割与自由空间检测-计算机科学-通用对象分割--机器学习-自动驾驶.pdfVIP

StixelNExT：面向单目轻量级感知的目标分割与自由空间检测

MarcelVosshans,OmarAit-Aider,YoucefMezouarandMarkusEnzweiler

Abstract—在这项工作中，我们提出了一种新的方法，可

以从单目图像中进行通用对象分割，消除了对手动标注训练数

据的需求，并能够通过极少量的数据实现快速、简单的训练和

适应。我们的模型最初在训练过程中从激光雷达学习，随后将其

从系统中移除，使其仅基于单目图像运行。本研究利用Stixel-

World的概念来识别其周围环境的中级表示。我们的网络直接

预测一个二维多层Stixel-World，并能够识别和定位图像中

的多个叠加对象。由于缺乏可比较的工作，我们将功能划分为

模块并在实验部分展示了自由空间检测。此外，我们介绍了一

种改进的方法，用于从激光雷达数据生成Stixels，将其作为我Fig.1.A多层Stixel结果的StixelNExT，以及相应的热图（右，上：

本对象占用情况，下：对象区分度）。左侧的图像显示了可通行区域和分割的

们网络的地面实况。

译对象。

中I.介绍

2割结果是在没有任何手动注释的情况下获得的，仅依

v作为交通未来的自动驾驶汽车，依赖于复杂的软

7件堆栈来实现自主操作。正如Mobileye[1]和其他行业赖于来自LiDAR的数据。

7受StixelNet[3]的启发，它通过图像中的分界线

2领导者所阐述的那样，这些堆栈涵盖各个阶段，感知

8将可通行区域与障碍物区分开来，我们的研究扩展了

0是其中最早也是最基础的组件之一。在感知领域，信

.这一概念，将重点转向分割。这使得可以检测未知物

7息质量对整个自动驾驶车辆性能产生重大影响的关键

0点在于错误传播问题。在机器人和智能车辆中，性能体，并允许以类似于Stixels的方式按列确定它们的高

4度（以像素为单位），如图1所示。这一进步标志着从

2与运行时间之间存在持续的权衡，这取决于计算能力。

:StixelNet[3]向更细腻和详细的感知演进，通过每个列

v中级表示法在这场权衡中扮演着关键角色，尤其是在

i中确定多个Stixels来实现。在这项工作中，我们旨在

x高级驾驶辅助系统（ADAS）中，其中一个重要概念

r介绍我们的Stixel-World生成方法的分割方面，该方

a是Stixel-World[2]。该方法主要利用双摄像头系统的

法利用单目图像。我们研究的另一个基石是生成真实

立体视觉来选择性地仅从相机提取理解交通场景所需

数据。虽然StixelNet使用了基于LiDAR的真实数

的基本数据。它在细节捕捉和计算效率之间取得了平

据，但我们的方法显著改进了这一过程，以适应多层

衡。在我们的工作中，我们提出了一种基于单目图像