基于句粒度级多模态数据的抑郁症识别研究及应用.pdfVIP

目录

摘要I

ABSTRACTIII

第一章绪论1

1.1研究背景与意义1

1.2国内外研究现状3

1.2.1音频数据输入模型3

1.2.2文本数据输入模型4

1.2.3视觉特征数据输入模型5

1.2.4多模态特征数据输入模型5

1.3研究内容与组织架构7

1.3.1论文的研究内容7

1.3.2论文组织架构7

第二章相关理论与技术9

2.1特征提取工具9

2.1.1音频特征提取工具OpenSMILE9

2.1.2文本特征提取工具BERT9

2.1.3视觉特征提取工具OpenFace11

2.2深度学习相关理论11

2.2.1TCN模型12

2.2.2GRU门控循环单元14

2.2.3自注意力机制15

2.2.4交叉注意力机制16

2.3本章小结17

第三章中文多模态抑郁症数据库MMD2022的构建19

3.1数据采集19

3.1.1患者隐私保护20

3.1.2采集过程21

3.1.3数据文件保存22

3.2数据预处理22

3.3多模态特征提取24

3.3.1时序面部特征提取24

3.3.2音频特征提取25

3.3.3文本特征提取25

3.4多模态特征数据25

3.5数据统计分析27

3.6本章小结29

第四章基于句粒度级多模态数据的抑郁症识别模型31

4.1STCMN总体模型31

4.2句粒度级数据特征提取模块32

4.3多模态特征融合模块33

4.4损失函数33

4.5实验与结果分析34

4.5.1数据集与评价指标34

4.5.2实验环境和参数设置35

4.5.3有效性分析35

4.6本章小结38

第五章多模态抑郁症检测系统41

5.1需求分析41

5.1.1辅助诊断模块需求42

5.1.2患者自检模块需求42

5.1.3管理员模块需求43

5.1.4系统性能需求43

5.2总体设计45

5.2.1总体架构设计45

5.2.2软硬件开发环境45

5.2.3数据库设计46

5.3系统的功能与实现48

5.4本章小结51

第六章总结与展望53

6.1总结53

6.2不足与展望54

参考文献55

摘要

抑郁症已经成为全世界亚健康群体的首要心理疾病，在COVID-19大流行期间

全球抑郁症患者数量显著增加，中国的泛抑郁症患者人数已经超过了9500万，但当

6.4

前我国精神科执业注册医生数量仅有万，医患比例严重失调。此外，抑郁症现阶

段的主要诊断方式仍依赖于医生结合量表对患者进行面对面访谈评估，这种传统的

方法效率较低且诊断结果受医生主观判定的影响较大。因此，利用人工智能技术辅

助医生在抑郁症的筛查与识别中缩短诊断时间、提高准确性具有重要意义。本文基

于深度学习技术，对利用多模态特征数据进行抑郁症识别的方法进行了研究，具体

内容如下：

针对现有公开的中文多模态抑郁症数据集较少、模型在中文语境的泛化能力差

的问题，本研究构建了中文多模态抑郁症数据