短或长句情感分析涉及到上下文语义信息传统自然语言处理方法难以有效估technical report技术报告.pdfVIP

Attention-basedSentenceSentimentAnalysis

短文本或长句的分析涉及到上下文语义信息，传统自然语言处理的方法难以有效估

计其语义。为此，我们提出一种基于注意力机制的LSTM分类器，通过增长训练

文本的长度，有效地提升分类准确率。

1RelatedWork

1.1WordEmbeddings

[1]

Bengio等人基于前馈神经网络提出一种训练单词的分布式表示方法监督学习方法，

[2]

Mikolov等人进一步在复杂的自然语言处理任务中，引入任务相关的词向量学习，得

到了更好的泛化性能。

1.2LSTMBi-LSTM

Hochreiter与Schmidhuber[3]提出一种带门限的递归神经网络，以解决编码长序列输入时

的梯度问题。Graves与Schmidhuber[4]进一步扩展出双向LSTM，显著地改善了音素识

别准确率。

1.3Attention-basedModel

注意力投射在卷积神经网络的空域输入上，也出了与图像更吻合的文本描述。

2Method

我们利用LSTM或Bi-LSTM编码时序词向量输入W，得到t组输出向量H，并经过一

个或多个全连接层投射为长度为t的向量计算注意力。注意力权重计算如下：

()

exp

=

∑1exp(

其中ei为时序i时的注意力向量。

则最终基于注意力的上下文相关的分类特征C可计算为：

=∑

1

我们使用Softma叉熵对特征C做多分类。

3Experiments

3.1LargeMovieReviewDataset

[7]

Mass等人从IMDB上收集了50000条影评，并根据评分设计了对应的。

影评的长度在50词至3000词之间，我们通过限制训练以及测试长度以提高模型计算效率。

3.2ImplementationDetails

[8]

我们基于Dragon框架完成了实验。字典大小设置为10000词，Embeddings及LSTM

输出维度为128，同时0.5概率的Dropout被使用以减轻过拟合问题。

模型以128的批梯度大小迭代300次，使用学习率为0.01的Adam优化器优化。

3.3AblationResults

我们分别评估了基于平均池化与注意力的特征C在不同训练长度、固定测试长度(300

词)组合下的分类准确率。实验结果表明，在没有双向递归的增强下，基于注意力的特征不

仅得到了近似的结果，且泛化能力随着训练文本长度的增加而增强。

模型/特征平均池化