你会让你的孩子与一个人形机器人一起玩讲故事的游戏吗？一项关于大型语言模型驱动的叙事人机交互可用性的研究.pdfVIP

你会让你的孩子与一个人形机器人一起玩讲故事的游戏吗？一项

关于大型语言模型驱动的叙事人机交互可用性的研究

MariaLombardi,CarmelaCalabrese,DavideGhiglino,CaterinaFoglino,

DavideDeTommaso,GiuliaDaLisca,LorenzoNatale,AgnieszkaWykowska

Abstract—在人机交互研究中，一个关键挑战在于开发能在此背景下，我们利用生成模型的capabilities提出一

够有效感知和解释社会线索的机器人系统，促进自然且适应性个人机交互任务，该任务实施了一个讲故事协议，其

的互动。在这项工作中，我们提出了一种新的框架，通过集成先

中人类和机器人必须轮流共同创作一个故事，灵感来

进的感知能力来识别社会线索、利用生成模型（如ChatGPT）

理解周围环境，并以适当的社会行为做出回应，从而增强iCub自放置在柔软立方体上的图片集。

本人形机器人的注意力。具体而言，我们提议实施一项交互任务，讲故事是自我表达最古老的形式之一，人们可以

采用叙述协议（讲故事任务），在此过程中人类和机器人共同创通过这种方式相互联系，并为日常生活经历赋予意义。

译作一个简短的想象故事，轮流交换放置有创意图像的立方体。最近的研究强调了将大型语言模型（LLMs）和社交辅

中为了验证该协议和框架的有效性，进行了实验以量化参与人员助机器人（SAR）整合到叙事协议中的潜力，通过提供

与系统互动时感知到的可用性和体验质量。此类系统可以在促

2进有效的类人协作方面发挥积极作用，特别是在辅助、教育和个性化支持来提高认知康复和治疗教育的有效性。例

v

5康复场景中，社会意识和机器人的响应能力扮演着核心角色。如，叙事任务可以帮助患有社会障碍的儿童探索自己

0

5的感受并发展表达思想的语言[4]。因此，在重视注意

2I.介绍力和社会认知适应性的重要性基础上，我们为iCub类

0

8.具有社交能力的人形机器人具有在各种领域（包人机器人[5]配备了先进的感知能力，以识别和响应来

0括老年护理和医疗保健系统）的巨大潜力。人机交互自人类伙伴的社会线索。

5

2（HRI）研究中的一个关键挑战是开发一个强大的系此框架提高了iCub的社会意识和响应能力，使其

:

v统，该系统能够感知和识别各种社交线索，从而实现能够根据个别用户的需求和对话流程调整回应，从而

i

x人与机器人之间自然有效的交互[1]。视觉感知使机器实现更吸引人且类人的交流，这对于教育和康复应用

r

a人能够理解其周围环境，预测人类行为，并在协作任尤其关键[6],[7]。在此背景下，我们提出了一种基于图

务期间做出适当的反应。另一方面，像ChatGPT[2]像的立方体中介的故事讲述系统，适用于适合教育和

这样的生成模型和视觉-语言模型（VLMs）[3]通过实康复用途的协议，例如训练被诊断为自闭症谱系障碍

现上下文适当和自适应的实时通信，显著提高了这些（ASD）儿童的社会技能。在这项针对成年受试者的研

交互的流畅性和自然性，从而促进了更不僵化的交互。究中，我们在部署机器人系统与儿童互动之前，首先

对系统的可用性、可接受性和感知有用性进行了调查。

Sharedfirstauth