语言对早期通过语音检测帕金森病有影响吗？-计算机科学-机器学习-多语言模型-语言标记.pdf

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

语言对早期通过语音检测帕金森病

有影响吗？

PeterPlantingaBriacCordelleDominiqueLouërMircoRavanaelliDeniseKlein

McGillUniversityCentreforResearchonBrain,Language,andMusic

Mila-QuebecArtificialIntelligenceInstituteConcordiaUniversity

ABSTRACT虽然有一些研究表明可解释的语音测量可能足够

本使用语音样本作为生物标志物是检测和监测帕金森病准确，可以用作检测系统[2]，但方法论错误[3]和

译（PD）进展的一种有前景的方法，但文献中对于如何较小的评估集已经对这类结果的普遍适用性产生了质

中最好地收集和分析这些数据存在相当大的分歧。早期疑[4]。最近的研究表明，音频基础模型可能会提供

从语音中检测PD的研究使用了持续元音发音（SVP）一个更具普遍性的基础[5]。

1任务，而一些最近的研究则探索了更具有认知要求的更好地理解影响基础模型的因素对于支持任何希

v

2任务的录音。为了评估语言在PD检测中的作用，我望使用这些系统的临床医生来说是必要的。传统的可

3

8们测试了具有不同数据类型和预训练目标的预训练模解释性技术无法检测PD[6]，因此我们尝试改变录音

6型，并发现：(1)仅文本模型与语音特征模型的表现相中的信息内容、编码器的类型以及语言组件，以了解

1

7.当，(2)多语言Whisper优于自监督模型，而单语言音频基础模型关注的是哪些语音属性。

0Whisper表现较差，以及(3)AudioSet预训练在SVP本工作的贡献在于从几个不同的角度突出了语言

5

2上提高了性能，但在自发言语中没有。这些发现共同的作用。更具体地说：

:

v强调了语言对于早期检测帕金森病的关键作用。

i1.我们通过两种方式将语音变化的影响与语言变

x

rIndexTerms—语音生物标志物，帕金森病，多化的影响分开。在一个实验中，我们将音频编码

a

语言模型，自发性言语，语言标记器在SVP任务（主要是语音线索）上的准确性与

文本编码器在图片描述任务（主要是语言线索）

1.介绍上的准确性进行比较。在另一个实验中，我们将

在相同图片描述任务（DPT）上语音编码器的准

帕金森病（PD）影响了全世界数百万人[1].不幸

确性与文本编码器的准确性进行比较。在这两种

的是，诊断和监测这种疾病可能既昂贵又耗时。然而，

情况下，文本编码器至少和音频及语音编码器一

越来越多的证据表明，通过使用语音样本可以帮助临

样准确。

床医生的努力，因为这些样本便宜且易于收集。这项

研究必须面对两个主要困难：第一个是从小语料库中2.我们比较了冻结的