基于语义的情境感知在人机交互中的探索性研究-计算机科学-机器人-人机交互.pdfVIP

基于语义的情境感知在人机交互中的探索性研究

TianshuRuan,AnikethRamesh,RustamStolkinandManolisChiou

Abstract—在这篇论文中，我们探讨了高层语义（环境评任务[6]中的背景知识有限时。此外，态势感知通常依

估）对移动机器人部署背景下的人机团队（HRT）和人机交互赖于操作员的先前经验和知识，这意味着没有一个全

（HRI）的影响。尽管语义在人工智能领域已广泛研究，但高

面的标准来量化态势感知。

层语义如何有助于HRT范式仍然鲜为人知、常常模糊且难以

处理。我们应用了一个基于语义的框架，该框架能够在模拟灾语义信息是SA的一个组成部分，被认为可以缓

难响应任务中揭示环境的不同指标（即环境中存在的语义信息解上述困难[7]。语义信息在人工智能社区中被广泛讨

量）。在这种任务中，语义至关重要，因为HRT需要应对复杂论，例如在计算机视觉领域。然而，这些文献主要局

情况并迅速作出正确的决策，在此过程中人类可能承受高工作

限于相对低层次的语义（如图像分割）。高层次语义的

负荷和压力。特别是当人机操作员需要在机器人和其他任务之

本间转移注意力时，他们将难以快速建立态势感知（SA）。实验影响，需要更多的理解和推理，则研究得较少。

表明，所呈现的语义：1)减轻了操作人员的感知工作负荷；2)在本文的背景下（除非特别说明），我们使用术语

译增加了操作员对SA的信任度；3)有助于减少必要时切换自主

“语义”来指代高层次的语义理解。这可以包括环境理

中水平的反应时间。此外，我们发现系统信任度较高的参与者被解[8]的各种指标，例如：诸如机器人风险或人类活动

高层语义鼓励更多地使用遥操作模式。

1迹象(SHA)等概念。

v

6I.介绍我们的前期工作将灾害响应任务范围内的环境语

7

3机器人使用的增加正带来挑战并提高了对人机协义进行了分类[8]，并提出了一种框架[9]，该框架应用

7作的要求。人机团队（HRT）需要共同工作，利用互补上述分类方法，并通过语义指标量化对情况的不同理

1

7.的优势通过结合感知能力（远程感测、物体检测）和解。此外，该框架能够为机器人提供场景整体语义丰

0认知（例如场景理解、决策制定、任务规划）来实现富度的指标。此方法将传感器读数、测量值和检测结

5

2共享的使命目标。态势感知（SA）[1]是连接认知和感果转化为一个语义丰富度分数，可以告知远程人类操

:

v知的重要因素之一。可解释且全面的态势感知可以直作员情况是否需要更多关注。

i

x接在多个领域中为机器人和人类带来益处，例如任务在本文中，我们探讨了来自上述框架的几个高层

r

a规划[2]、变自适应性[3]和人机交互（HRI）。次语义指标，并研究了它们对HRT和HRI的影响。我

然而，获取态势感知在远程机器人技术中仍然是们将带有和不带这种语义指标（高层次语义）的实验

一个具有挑战性的问题。机器人通常被认为是人类的性机器人部署进行了比较，在有哪些信誉好的足球投注网站和救援(SAR)任务

延伸，通过传感器以原始或低级感知来感受远程环境。范围内。

与我们在场景[4]中实际存在时所获得的精确态势感本文为HRT和HRI提供了关于高级语义的新见

知相比，人们往往难以在远程开发出精准的态势感知。解。我们提出三个主要贡献：i）识别所提出的语义丰富

当人类从其他任务中将注意力重新转移到机器人上框架[9]的实用性；ii）识别高级语义如何