用于情感对话的双重信息语音语言模型.pdfVIP

用于情感对话的双重信息语音语言模型

ChunWang,ChenyangLiu,WenzeXu,WeihongDeng

MashangConsumerFinanceCo.,Ltd.,Chongqing,China

TheUniversityofSydney,Sydney,Australia

lukewang25@;weihong.deng@

摘要—基于文本的大型语言模型（LLMs）的对话系统经常

忽略对理解情感和意图至关重要的副语言线索。使用语音作为输

入的语音-语言模型（SLMs）正逐渐成为一种有前景的解决方

案。然而，通过扩展冻结的LLMs构建的SLMs难以捕捉到副

语言信息，并且表现出减弱的情境理解能力。我们识别出纠缠的

本信息和不恰当的训练策略是主要问题。为了解决这些问题，我们

提出了两个异构适配器并建议采用弱监督训练策略。我们的方法

译解耦了副语言和语言信息，使SLMs能够通过结构化的表示来

图1.一个说明性示例，展示理解副语言信息如何影响响应生成。

中解释语音。它还通过控制随机性避免生成特定任务的向量来保持

情境理解能力。这种方法仅在公共数据集上训练适配器，确保参

1

v数和数据效率。实验结果展示了在情感对话任务中的竞争性能，

5证明了该模型能够在情境设置中有效地整合副语言和语言信息

9

0的能力。

8IndexTerms—对话，副语言，语言，情感

0

.

8

0I.介绍

5

2

:对话系统对于实现人机交互的有效性和吸引力至

v

i关重要。为了开发情感化对话系统，理解对话上下文和

x

r用户表达是关键能力[1]。现代对话系统通常使用基于图2.SLM模型架构概述。可学习模块用红色表示，而冻结的模块用蓝色

a

文本的大语言模型（LLM）作为核心。通过利用LLM表示。

的语言处理能力，这些系统实现了对人类互动的长期理

的表达，确保对话系统生成更准确的响应。因此，最近

解，从而在多轮对话场景中产生了连贯的回应。

的发展集中于语音-语言模型（SLMs）[1][2][4][5]。

然而，基于文本的大型语言模型可能会误解用户

然而，开发SLMs面临着显著的挑战。一种方法是

的表达，因为它们只考虑了语言信息[2]。副语言信息

构建一个原生处理和理解口语的语言文本基础模型。虽

（如音调和速度）对于理解情感和意图至关重要[3]。正

然有效，但这种方法需要大量的多模态数据和高计算资

如图1所示，理解副语言信息使系统能够做出恰当的回

源，这限制了其可行性[6]。

应。否则，对话系统可能会忽视用户的情绪，导致误解。

一种更可行的方法是增强现有的基于文本的LLM

这强调了在输入中包含语音的重要性，以全面理解用户

以具备语音理解能力。这涉及将语音编码器与文本LLM

PresentedatIEEEICME2025集成，并通过适配器模块连接这两者。先前采用这种方

WorkdonewhenWen