基于XLNet与GAT的学者论文引用量预测研究.pdfVIP

摘要

近年来，由于科技的快速发展，科学研究的多个领域取得了重大突破，学者们将

他们的研究成果撰写成论文，为其后学者提供了理论支持和技术保障。论文引用量显

示了一个学者在其研究领域的影响力，对学者论文引用量进行预测不仅可以帮助研究

人员快速识别本领域有影响力的学者，而且有助于科研管理部门和基金资助机构了解

学科发展趋势，确定资助领域和课题，更好地进行资源分配。同时，互联网时代的到

来使得论文的电子化变得更加普遍，这也使得我们可以通过爬虫抓取的方式获取到学

者近几年发表的论文和历史的论文引用量来进行学者论文引用量预测研究。

目前，国内外对于学者论文引用量预测进行的相关研究主要分为基于统计学的分

析方法、基于机器学习的方法和基于图模型的方法。基于统计学和基于机器学习的方

法无法充分利用学者论文的合著和引用关系，而是单纯的把每个学者作为一个孤立的

个体。然而，学者论文的合著和引用关系对于预测学者论文引用量是非常有帮助的，

因为著名的学者之间通常存在合著关系；而基于图模型的方法只是单纯的利用了论文

关系图，并没有结合自然语言处理技术对论文的文本内容进行特征提取，从而导致无

法充分表现出学者的研究领域和研究内容，但这是预测学者论文引用量的一个重要特

征，因为活跃在近几年较热门的研究领域的学者其论文引用量通常更高。近年来兴起

的图神经网络是刻画图关系的一种有效的算法，在构造邻接矩阵之后，图神经网络能

利用邻接矩阵来传播节点之间的特征，以此来完成图上的半监督学习。

另一方面，由于论文标题属于文本，提取文本特征需要使用自然语言处理相关技

术。近年来，预训练模型包括BERT、ELMo、GPT系列及XLNet等在自然语言处理

相关任务上取得了突破性的进展，其中，XLNet作为一种自回归语言模型克服了自编

码模型的缺点，又解决了其他自编码模型无法获取上下文的不足，在自然语言领域多

项任务上取得了非常不错的效果。本文尝试使用XLNet进行论文标题特征提取，并

拼接学者历史信息作为学者的特征，用于图神经网络训练。

本文充分研究了国内外学者论文引用量预测的相关工作，分析总结了国内外研究

现状存在的不足，针对学者论文引用量任务本身的特点，提出了基于预训练模型

XLNet与图注意力网络GAT的学者论文引用量预测算法XLNet_GAT以及基于分词

和分字多特征融合的WordChar_XLNet_GAT改进算法、基于自注意力机制的

Self_Att_XLNet_GAT改进算法、基于分词分字多特征融合和自注意力机制的

WC_Att_XLNet_GAT改进算法。本文的主要工作包括如下三点：

（1）分析了百度学术论文概要页面的构成，使用爬虫抓取了人工智能领域近五

年的中文论文概要，包括论文的作者列表、论文的标题、论文引用情况，通过整理制

作成本文研究的实验语料。

（2）分析了国内外学者论文引用量预测现存方法的不足，提出了结合预训练模

型XLNet和图注意力网络GAT的学者论文引用量预测算法XLNet_GAT。该方法通

过论文合著和引用情况构造出有向图作为邻接矩阵，结合XLNet进行论文标题文本

特征提取，实验证明，在测试集上XLNet_GAT算法比XLNet_BiLSTM算法的RMSE

降低了大约10.8%，R2_Score提高了13%。

（3）本文在XLNet_GAT的基础上融合了分词和分字级别的XLNet特征，提出

基于分词和分字多特征融合的Word_Char_XLNet_GAT改进算法。同时，使用了自注

意力机制对同一学者的多篇论文标题XLNet特征进行融合，提出了基于自注意力机

制的Self_Att_XLNet_GAT改进算法。最后，我们把Word_Char_XLNet_GAT改进算

法和Self_Att_XLNet_GAT改进算法的优点进行结合，提出了基于分词分字多特征融

合和自注意力机制的WC_Att_XLNet_GAT改进算法。并通过消融实验证明了改进的

三种算法预测的有效性。

关键词：XLNet，论文引用量预测，图神经网络，GAT，自注意力机制

ABSTRACT

Forthepastfewyears，alongwiththefastdevelopmentofscienceandtechnol