语音作为多模态数字表型用于基于多任务大语言模型的精神健康预测-计算机科学-大语言模型-多模态语音分析-多任务学习.pdf

语音作为多模态数字表型用于基于多任务大

语言模型的精神健康预测

1*1*23,45,63,5,6

MaiAli,ChristopherLucasius,TanmayP.Patel,MadisonAitken,JacobVorstman,PeterSzatmari,

61

MarcoBattaglia,DeepaKundur

1

2DivisionofEngineeringScience,UniversityofToronto,Toronto,Canada

3CundillCentreforChildandYouthDepression,CentreforAddictionandMentalHealth,Toronto,Canada

4DepartmentofPsychology,YorkUniversity,Toronto,Canada

本5TheHospitalforSickChildren,Toronto,ON,Canada

译6DepartmentofPsychiatry,UniversityofToronto,Toronto,Canada

中Emails:{maia.ali,christopher.lucasius,tanmay.patel}@mail.utoronto.ca

3aitken@yorku.ca,jacob.vorstman@sickkids.ca,{peter.szatmari,marco.battaglia}@utoronto.ca,dkundur@ece.utoronto.ca

v

2

2

8摘要—语音是一种无创的数字表型，可以为精神健康状况抑郁通常在12至18岁之间出现，有20%的青少

3提供有价值的见解，但通常被视为单一模式。相比之下，我们建年到18岁时经历过一次重度抑郁发作[3]。睡眠障碍由

2

5.议将患者语音数据视为抑郁症检测的三模态多媒体数据源。本生物和生活方式因素驱动，与抑郁和自杀意念密切相

0研究探讨了基于大型语言模型架构在多模态环境中进行语音基关。值得注意的是，睡眠剥夺独立增加了自杀倾向的风

5础抑郁症预测的潜力，该环境集成了从语音衍生的文本、声学

2标志和声音生物标记。青少年抑郁是一个重大的挑战，并且常险，每少睡一个小时，自杀念头就增加11%[3]。鉴于

:

v常伴随多种疾病，如自杀意念和睡眠障碍。这为将多任务学习这些状况之间的双向关系，在抑郁症筛查中整合睡眠

i

x（MTL）整合到我们的研究中提供了额外的机会，通过使用多和自杀倾向的评估可以提高早期检测和干预的效果。

r

a模态框架同时预测抑郁症、自杀意念和睡眠障碍。我们还提出

了一种纵向分析策略，该策略对多次临床互动中的时间变化进A.多模态人工智能驱动的心理健康护理的必要性

行建模，从而全面理解疾病的进展。我们提出的三模态、纵向

MTL方法在抑郁症早期预警数据集上进行了评估。它达到了语音提供了一种非侵入性和令人惊讶的多模态来

70.8%的平衡准确率，这比每一种单模态、单任务和非纵向方源，用于评估心理健康状况，允许提取语言（词汇选

法都要高。择、句法）和副语言（音调、音高、节奏）特征[4]。研

IndexTerms—多模态语音分析，多任务学习，大型语言究表明，患有抑郁症和自杀倾向的个体表现出独特的

模型，心理健康预测语音特征，包括较慢的语速、较长的停顿和增加的单