《自然语言处理》全套PPT课件_201-300.pptxVIP

自注力模型

RDx×N

●首先生成三个向量序列

●

意

●如果使用缩放点积来作为注意力

打分函数，输出向量序列可以简写为

Q=W₄X∈RDk×N,

K=WkX∈RDk×N,V=WX∈RDu×N,

输入序列为X=[x₁,…,xn]∈

hn=att(K,V),qn)

●计算hn

多头(multi-head)自注意力模型

W

w.D

Transformer,Encoder

●其他操作

●位置编码

●层归一化●直连边

●逐位的FNN

全全

AddNormalize

个个

FeedForwardFeedForward

z₁□Z2

▲AddNormalize

X

LayerNorm(+

Zil

Self-Attention

中

x₂

Machines

图片来源：http://jalammar.github.io/illustrated-transformer/

仅仅自注意力还不够

POSITIONALENCODING

x₁

ENCODER#1

Thinking

鱼

Layer

Input

f(·)

Layer

f()

Transformer

Output

模型

每层复杂度

序列操作数

最大路径长度

CNN

0(kLd²)

0(1)

0(logk(L))

RNN

0(Ld²)

0(L)

0(L)

Transformer

0(L²d)

0(1)

0(1)

复杂度分析

k卷积核大小L序列长度d维度

Output

Probabilities

SoftmaxStage5

Linear

AddNormStage4

Feed

Forward

Stage3

AddNorm

Feed

Forward

Stage2Nx

Multi-Head

Attention

Stage1Positional

Encoding

Input

Embedding

Inputs

(shiftedright)

AddNormStage2

Masked

Multi-Head

Attention

Transformer

AddNorm

Multi-Head

Attention

Output

Embedding

PositionalEncoding

Stage1

AddNorm

Stage3

Outputs

Nx

计算图与自动微分

交叉熵损失函数

应用于多分类向题

●将神经网络的最后一层设置C个神经元，并使用Softmax激活函数，输出可以作为每个类的条件概率。

y=softmax(z(L)

●采用交叉熵损失函数，对于样本(x,y),其损失函数为

L(y,y)=-yTlogy

=1,将母个件本x\输人给刖馈伸经

其在数据集D上的结构化风险函数为：

下降

给疋训练集为D=i(X,y)}n

网络，得到网络输出为9(n),

●梯度下降

●反向传播算法

●根据前馈网络的特点而设计的高效方法

●一个更加通用的计算方法

●自动微分(AutomaticDifferentiation,AD)

如何计算梯度?

神经网络为一个复杂的复合函数

●链式法则

--0目动微分是利用链式法则采目动计算一个复台函数的梯度。

●计算图

函数导数

h₁=x×w

h₂=h₁+b

h₃=h₂×-1

h4=exp(h₃)

h₅=h₄+1

h₆=1/h₅

当x=1,w=0,b=0时，可以得到

计算图

=1×-0.25×1×1×-1×1×1

=0.25.

T

自动微分

前向模式和反向模式

●反向模式和反向传播的计算梯度的方式相同

加，得到最终的梯度。

静态●计算图和动态计算图

●Theano和Tensorflow1.0

●动态计算图是在程序运行时动态构建

●DyNet,Chainer和PyTorch

●两种构建方式各有优缺点

●静态计算图在构建时可以进行优化，