边缘情况合成用于鱼眼物体检测：数据为中心的视角-计算机科学-边缘AI -图像生成模型-鱼眼对象检测.pdf

边缘情况合成用于鱼眼物体检测：数据为中心的视角

SeunghyeonKim∗KyeongryeolGo∗

SuperbAISuperbAI

Seoul,SouthKoreaSeoul,SouthKorea

shkim@krgo@

Abstract变技术[43]，要么需要专门的模型架构来直接处理畸变

输入。

鱼眼摄像头引入了显著的扭曲，并对在常规数据集上

本为了解决这一问题，组织了第九届AI城市挑战赛，

训练的对象检测模型提出了独特的挑战。在这项工作

译中，我们提出了一种以数据为中心的流水线，通过集中以促进在不同交通条件下使用鱼眼相机进行实时目标

检测的研究。该挑战采用F1分数和推理速度（FPS）

中解决识别模型盲点的关键问题来系统地提高检测性能。

的调和平均值作为评估指标，鼓励参赛者在准确性和

1通过详细的错误分析，我们确定了关键的边缘案例，例

v计算效率之间取得平衡。强制要求模型在JetsonAGX

4如混淆类对、周边扭曲和代表性不足的情况。然后我们Orin边缘设备上的性能至少达到10FPS，以确保模型

5直接通过合成边缘案例来解决这些问题。我们将图像

2的实际部署性。

6生成模型进行了微调，并使用精心设计的提示引导它

1.生成复制现实世界失败模式的图像。这些合成图像是此次挑战提供的数据集，FishEye8K[13]和Fish-

7使用高质量检测器进行伪标记并整合到训练中。我们Eye1Keval，包含为五类交通对象标注的鱼眼图像：公

0交车、自行车、汽车、行人和卡车。该数据反映了广泛

5的方法带来了持续的性能提升，突显了如何深入理解

2的交通场景，包括不同的拥堵水平、各种道路几何形

:数据并通过有选择地修复其弱点在像鱼眼对象检测这

v状如交叉口以及一天中不同时间和观察角度下的多样

i样的专业领域产生影响。

x化照明条件。数据集被划分为5,288张训练图像、2,712

r

a张验证图像和1,000张测试图像。

1.介绍对数据集的分析显示，一天中不同时间段存在显

著不平衡。值得注意的是，下午类别在训练集中占主导

边缘AI在交通监控和智能移动应用中的日益部

地位，而晚上样本则完全缺失。夜间和早晨的数据虽然

署，使得由于其宽视角（FoV）特性，鱼眼相机重新受

存在，但每个场景仅限于一台摄像机，这表明场景多样

到了关注。与传统的透视相机相比，鱼眼相机可以覆盖