视觉富文档理解预训练综述.pdfVIP

://

httwww．skx．com

pjj

:/

DOI１０．１１８９６skx．２４０３０００２８

jj

视觉富文档理解预训练综述

,

张剑１２李晖１张晟铭２吴杰２彭滢２

西安电子科技大学网络与信息安全学院西安

１７１００７１

中电科网络安全科技股份有限公司成都

２６１００９５

()

zhan．ian０６０８６＠cetccst．com．cn

gj

,.

摘要视觉富文档指语义结构不仅由文本内容决定还与排版格式和表格结构等视觉元素相关的文档现实生活中的票据

,、.,

理解和证件识别等应用场景都需要对视觉富文档进行自动化的阅读分析和处理这一过程即为视觉富文档理解属于自然

.,

语言处理和计算机视觉的交叉领域近年来视觉富文档理解领域的预训练技术在打破下游任务的训练壁垒和提升模型表现

.,.,

上取得了重大的进展然而目前对现有的预训练模型的归纳总结和深入分析仍然有所欠缺为此对视觉富文档理解领域预

.,,.

训练技术的相关研究进行了全面总结首先介绍了预训练技术的数据预处理阶段包括预训练数据集和光学字符识别引擎

,,、

然后对预训练技术的模型预训练阶段进行了阐述提炼出单模态表示学习多模态特征融合和预训练任务个关键的技术模

３

,.,.

块并基于上述模块归纳了预训练模型之间的共性和差异此外简要介绍了多模态大模型在视觉富文档理解领域的应用接

,.,.

着对预训练模型在下游任务上的表现进行了对比分析最后探讨了预训练技术面临的挑战和未来的研究方向

:;;;;

关键词文档智能预训练模型自然语言处理计算机视觉深度学习

中图分类号TP３９１

ReviewofPreＧtrain