听觉智能：通过声音理解世界.pdfVIP

听觉智能：

通过声音理解世界

HyeonukNam

KoreaAdvancedInstituteofScienceandTechnology,SouthKorea

frednam@kaist.ac.kr

摘要—近期在听觉智能方面的进展已经产生了高表现力的情景背景——用户是在工作、休息还是社交——以决定

系统，用于声音事件检测（SED）、声景分类（ASC）、自动音频是否发送或延迟通知。就像人类助手依赖听觉环境进行

字幕生成（AAC）和音频问答（AQA）。然而，这些任务仍主协调和干预一样，AI助手和机器人必须理解非言语声

要局限于表面级别的识别——捕捉发生了什么，但不涉及为什么

音，才能在现实环境中有效协作。

本发生、它意味着什么或它是如何在特定情境中展开的。我提议将近期在听觉人工智能领域的进展推动了广泛任务

听觉智能的概念重新定义为一个分层的、环境化的处理过程，包

译括感知、推理和交互。为了实现这一观点，我引入了四个认知启的显著进步。声音事件检测（SED）已成为一项基础能

中发的任务范式——ASPIRE、SODA、AUX和AUGMENT力，支持诸如AI驱动感知、智能环境和生物声学监测

1——这些结构涵盖了时间-频率模式字幕生成、层次事件/场景描[4]–[10]等应用。除了SED，大量研究涵盖了自动语音识

v述、因果解释以及目标驱动的解读。总体而言，这些范式为更通

9别（ASR）和说话人识别/验证[11]–[20]、声音事件识别

2用化、可解释性和与人类一致的听觉智能提供了一条路线图，并[21]–[25]以及声音事件定位与检测（SELD）[26]–[29]。

8旨在促进关于机器如何理解声音这一问题的更广泛讨论。

7IndexTerms—听觉智能，机器听觉，声学识别，声音理新兴领域如自动化音频字幕生成（AAC）[30]–[32]、音

0

.解，可解释音频，多模态接地频问答、少量样本生物声学检测[33],[34]和人类听觉

8

0感知的计算建模[35]–[37]进一步扩展了听觉智能的范

5I.介绍围。与此同时，基于文本或标签条件的生成模型在声音

2

:大型语言模型（LLMs）通过自动化重复和繁琐的合成方面获得了关注[38]–[40]，为声音表示学习和多模

v

i任务显著增强了人类的能力[1]–[3]。通过简单的文本或态融合开辟了新的方向。

x

r语音提示，它们可以生成想法、协助研究、创建视觉内尽管这些进展巩固了机器听觉的基础，许多当前的

a

容，并进行类似人类的对话。多模态扩展现在不仅可以方法仍局限于表面级别的识别——识别发生了什么，而

通过文本进行交互，还可以通过图像和实时视频进行交不理解为什么会发生、意味着什么或如何与更广泛的感

互，利用智能手机的摄像头和显示屏来解释视觉输入。知和社会背景相关联[4]。这些限制表明我们对听觉智

尽管在视听理解方面取得了快速进展，但它们与声音的能的理解仍然不够具体，并促使向更多基于认知、情境

互动仍然主要限于语音：当前系统可以识别和合成语感知的框架转变。

音，但无法可靠地理解非语音音频，如音乐、环境音景

本文将听觉智能重新定义为一种分层的、情境化的

或日常声学事件。

理解形式，而不是一组特定任务的认知能力。我认为，

设想始终在线的大型语言模型，能够解读周围的