统一听者评分标准：语音质量评估和连续语音情感识别的比较学习框架-计算机科学-语音识别-语音质量评估-听者建模.pdf

统一听者评分标准：语音质量评估和连续语音情感识别的比较学习框架

ChengHungHu,YusukeYasuda,AkifumiYoshimoto,TomokiToda

DepartmentofIntelligentSystems,NagoyaUniversity,Japan;CyberAgent,Japan;Digital

ContentandMediaSciencesResearchDivision,NationalInstituteofInformatics,Japan

hu.chenghung@g.sp.m.is.nagoya-u.ac.jp,yasuda@nii.ac.jp,yoshimoto_akifumi_xa@cyberagent.co.jp,

tomoki@icts.nagoya-u.ac.jp

Abstract其他听众比较时可能会表现出听者偏见。这种不

语音质量评估（SQA）和连续语音情感识别一致性给构建能够准确反映全球共识的模型带来

（CSER）是语音技术中的两个关键任务，均依赖了重大挑战。因此，在语音相关研究中，制定一致

于听众的评分。然而，这些评分由于个体听众的且可靠的评分标准已成为一个关键目标。

因素而固有地带有偏见。以前的方法引入了平均在SQA中，现有方法通常使用听众嵌入来关

听众评分标准，并在训练集中对所有听众评分标联相应听众的评分尺度进行训练或推理。为了在

本准进行建模。然而，平均听众方法容易因平均顺这种方案中推断出一个话语的分数，通常采用平

译序数据而导致扭曲，从而产生潜在偏差。此外，在均听众的方法引入一个虚拟听众，在训练和推理

中仅基于平均听众标准进行推理的同时学习多个听阶段都为每个话语分配所有听众的平均分[11,12,

2众评分标准限制了有效性。相比之下，我们的方13,14]。在训练过程中，这个虚拟听众包含在数

v

6法专注于建立统一的听众评分标准，使用比较分据集中，并且测试期间的评估依赖于该虚拟听众

2数来正确捕捉话语之间的评分关系。实验结果表的评分尺度。然而，学习每个听众单独的评分尺度

6

3明，我们的方法在SQA和CSER任务中有效提高不仅使过程复杂化，也限制了模型的有效性，尤其

1

.了预测性能，证明了其有效性和鲁棒性。是在固定模型大小的情况下，处理多个评分尺度

7

0IndexTerms:语音识别，语音质量评估，听者增加了复杂度并阻碍了与使用单一统一尺度相比

5建模的学习效果。此外，因为听众评价通常以有序尺度

2

:表示，一项先前的研究[15]指出，平均有序分数在

v

i1.介绍数学上是没有意义的，因为有序数据只代表顺序，

x

r随着语音技术越来越多地融入日常生活，语不表示精确的数量差异，并且由于分配数值的任

a

音质量评估（SQA）和连续语音情感识别（CSER）意性，平均值可能会误导。使用平均有序分数进行

已成为关键的研究领