在线提交与评估系统的设计用于竞赛操作-计算机科学-机器学习-算法.pdfVIP

在线提交与评估系统的设计用于竞赛操作

1112

ZheChen,DanielHarabor,RyanHechnenberger,NathanR.Sturtevant

1DepartmentofDataScienceandArtificialIntelligence,MonashUniversity,Australia

2DepartmentofComputingScience,UniversityofAlberta,Canada

Abstract外，参赛者经常在不同的环境中开发他们的解决方案，

这导致了评估其提交时的各种兼容性问题。

研究社区在各个领域开发了基准数据集以比较算法和技

为了解决这些问题，本文提出了一种在线竞赛系

术的性能。然而，跟踪这些研究领域的进展并不容易，因

统，该系统自动化了比赛的提交和评估过程。该系统允

为出版物同时出现在不同的会议或期刊上，并且其中许

多声称代表最先进的技术水平。为了解决这一问题，研许参赛者在截止日期之前随时提交他们的解决方案，并

本究社区通常组织定期的比赛来评估各种算法和技术的表在一个隔离环境中对提交内容进行评估。系统提供的即

译现，从而追踪该领域的进步。然而，这些比赛带来了显时反馈使参与者能够快速高效地迭代其解决方案。该系

1

中著的操作负担。主办方必须管理和评估大量的提交内容。统帮助恢复了基于网格的路径规划竞赛（GPPC），

此外，参与者通常在多样化的环境中开发他们的解决方该比赛自2014年后因高运营负担而停办，并于2023年

1案，导致在评估其提交内容时出现兼容性问题。本文介2

重启。相同的架构还服务于机器人跑步者联盟比赛，

v

0绍了一个在线竞赛系统，它自动化了竞赛的提交和评估吸引了全球超过25个活跃团队，总提交次数达825次。

3过程。这个竞赛系统使组织者能够高效地管理大量提交，竞赛系统平均每天接收9次提交，在竞赛期间峰值达到

7并利用隔离环境来评估提交的内容。该系统已经成功应

7用于几个比赛，包括基于网格的路径寻找比赛和机器人每日35次提交。

1在本文中，我们将首先介绍比赛系统的架构。然后

.跑者联盟比赛。

7讨论该系统如何应用于不同的应用。在运行这些比赛

0时，我们遇到了一些问题和挑战，我们将讨论并分享处

5

2介绍理这些问题的经验。

:

v关于求解组合优化问题的研究在计算机科学和人

i相关工作

x工智能领域非常流行。来自不同领域的研究人员提出了

r各种算法和技术来解决不同类型的问题。为了比较不同存在