跨模态信息融合的双向注意力机制在多标签文本分类中的应用研究.docxVIP

跨模态信息融合的双向注意力机制在多标签文本分类中的应用研究

目录

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.2.1多标签文本分类技术研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.2.2跨模态信息融合技术研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.2.3注意力机制在文本分类中的应用现状．．．．．．．．．．．．．．．．．．．．15

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

1.4研究方法与技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

1.5论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

相关理论与技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.1多标签文本分类基本理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.1.1多标签文本分类定义与特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.1.2多标签文本分类评价指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.2跨模态信息融合技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.2.1跨模态信息融合定义与必要性．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.2.2常见跨模态信息融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

2.3注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

2.3.1注意力机制原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

2.3.2自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

2.4双向注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

2.4.1双向注意力机制原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

2.4.2双向注意力机制优势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

基于跨模态信息融合的双向注意力机制模型．．．．．．．．．．．．．．．．．54

3.1模型总体架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

3.2特征表示模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．62

3.2.1文本特征表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．63

3.2.2非文本特征表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．68

3.3跨模态特征融合模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．69

3.3.1特征对齐．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．70

3.3.2特征融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．74

3.4双向注意力机制模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．76

3.4.1文本自注意力模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．77

3.4.2跨模态注意力模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．83

3.5模型分类层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．86

3.5.1神经网络结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．91

3.5.2损失函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．95

实验设计与结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．97

4.1实验数据集．．．．．．．．．．．．．．．．．．．．．．．．．．