超越架构：评估上下文嵌入在社交媒体上检测双相障碍的作用-计算机科学-双相情感障碍-长短期记忆网络-社 交媒体-自然语言处理.pdf

超越架构：评估上下文嵌入在社交媒体上检

测双相障碍的作用

KhalidHasanJamilSaquer

DepartmentofComputerScienceDepartmentofComputerScience

MissouriStateUniversityMissouriStateUniversity

Springfield,MO,USASpringfield,MO,USA

kh597s@jamilsaquer@

摘要—双相障碍是一种经常因早期症状微妙和社会污名而郁）[2]。在这漫长的失落十年期间，患者可能会经历症

本被误诊的慢性精神疾病。本文探讨了基于用户生成的社交媒状恶化甚至生命危险的情况。最近的一项研究发现，在

译体文本识别双相障碍迹象的先进自然语言处理（NLP）模型。未确诊的双相情感障碍个体中，约有34%的人在等待正

我们对基于变压器的模型（BERT、RoBERTa、ALBERT、

中确诊断的过程中曾尝试过自杀[2]。这些统计数据突显

ELECTRA、DistilBERT）和基于上下文化（BERT）和静

1态（GloVe、Word2Vec）词嵌入的长短时记忆（LSTM）模型了早期干预的紧迫性。

v

1进行了全面评估。在通过情感变异和判断分析确认其有效性后，在数字时代，许多人转向社交媒体和在线论坛来表

3我们在一个大型标注的Reddit帖子数据集上进行了实验。我们达情感困扰并寻求心理健康支持。像Reddit这样的社

2

4的结果显示，在变压器模型中，RoBERTa达到了最高的性能，交网站有专门的论坛（例如r/bipolar），在那里有个人

1F1得分为98%，而使用BERT嵌入的LSTM模型也产生了

.历史记录处理双相障碍的人们连接并交换信息。这些用

7几乎相同的结果。相比之下，基于静态嵌入训练的LSTMs未能

0捕捉到有意义的模式，得分接近零的F1值。这些发现强调了上户生成的文章提供了一个宝贵的机会：如果我们能够正

5下文语言建模在检测双相障碍中的关键作用。此外，我们报告了确地检测到文章中的双相症状语言指标，我们或许可以

2

:模型的训练时间，并指出DistilBERT提供了效率和准确性之帮助识别易感个体或启动更早的临床评估。

v

i间的最佳平衡。总体而言，我们的研究为精神健康NLP应用中自然语言处理（NLP）技术已经在从文本中检测抑

x

r选择模型提供了可操作的见解，并验证了上下文化语言模型支持

a郁和自杀意念等相关任务上显示出潜力[3]。先前的研

早期双相障碍筛查的潜力。

究表明，基于变压器的BERT等深度学习模型在检测

IndexTerms—双相障碍，变压器，长短期记忆网络，社

交媒体，自然语言处理心理健康方面比典型的机器学习方法表现更好[3],[4]。

然而，在适当建模此类数据时出现了许多问题：我们是

I.介绍从更复杂的上下文嵌入中获得更多，还是从高度复杂的

双相情感障碍（BD）是一种严重的心理健康疾病，架构设计中获得？不太复杂但有良好嵌入的模型能否赶

其特征是反复出现躁狂和抑郁周期，影响情绪、能量以上端到端变压器？本研究的目标是系统、务实地比较现

及思维模式[1]。2019年全球约有4000万人患有双相情有的先进NLP模型，以进行双相障碍的二元预测。

感障碍[1]