多模态信息处理：场景文本的视觉问答技术探索.docxVIP

多模态信息处理：场景文本的视觉问答技术探索

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.2.1视觉信息处理技术进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.2.2文本信息处理技术进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.2.3多模态融合技术发展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

1.4技术路线与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.5论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

场景文本理解基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.1场景文本类型与特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

2.1.1天地文信息类型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.1.2文本特征分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

2.2视觉特征提取方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.2.1图像表示学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.2.2物体检测与识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.2.3关系建模与场景理解．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.3文本表示与建模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.3.1文本编码技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

2.3.2语言模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.3.3语义理解方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

多模态信息融合技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

3.1多模态融合策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

3.1.1早融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.1.2中融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

3.1.3晚融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

3.1.4注意力机制融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.2特征对齐与对齐方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

3.3融合模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

3.3.1基于深度学习的融合模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

3.3.2基于图神经网络的融合模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

3.3.3基于注意力机制的融合模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

基于场景文本的视觉问答模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

4.1视觉问答任务概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

4.1.1问答类型分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

4.1.2任务挑战与难点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．63

4.2基于不同融合策略的问答模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．64

4.2.1基于早融合的问答模型．