文本摘要：Transformers在文本摘要中的应用：2.深度学习基础回顾.pdf

文本摘要：Transformers在文本摘要中的应用：2.深度学习

基础回顾

1深度学习基础概念

1.1神经网络的基本结构

神经网络的基本结构由输入层、隐藏层和输出层组成。每一层由多个神经

元（或称节点）构成，神经元之间通过权重连接。权重是神经网络学习的关键

参数，通过调整权重，网络可以学习到数据的内在模式。

1.1.1输入层

输入层接收原始数据，例如图像像素值、文本向量或传感器数据。

1.1.2隐藏层

隐藏层是神经网络的“大脑”，负责处理和学习输入数据的复杂特征。每一

层的神经元通过加权和与激活函数计算输出，传递给下一层。

1.1.3输出层

输出层给出神经网络的最终预测，如分类结果或数值预测。

1.2反向传播算法详解

反向传播算法是深度学习中用于训练神经网络的核心算法。它通过计算损

失函数对权重的梯度，来调整权重，最小化预测与实际结果之间的差距。

1.2.1损失函数

损失函数衡量模型预测与实际值之间的差异，常见的损失函数有均方误差

（MSE）和交叉熵损失（Cross-EntropyLoss）。

1.2.2梯度下降

梯度下降是一种优化算法，通过沿着损失函数的梯度方向调整权重，以找

到损失函数的最小值。

1

1.2.3反向传播过程

1.前向传播：输入数据通过网络，计算预测输出。

2.计算损失：使用损失函数计算预测输出与实际输出之间的差异。

3.反向传播：从输出层开始，向后计算损失对每个权重的梯度。

4.权重更新：使用梯度下降算法更新权重。

1.2.4代码示例

importnumpyasnp

#假设有一个简单的神经网络，只有一个隐藏层

#输入层有2个神经元，隐藏层有3个神经元，输出层有1个神经元

input_data=np.array([1.0,2.0])

weights={hidden:np.array([[0.1,0.2,0.3],[0.4,0.5,0.6]]),

output:np.array([0.7,0.8,0.9])}

bias={hidden:np.array([0.1,0.2,0.3]),

output:np.array([0.1])}

#激活函数

defsigmoid(x):

return1/(1+np.exp(-x))

#前向传播

hidden_layer_input=np.dot(input_data,weights[hidden])+bias[hidden]

hidden_layer_output=sigmoid(hidden_layer_input)

output_layer_input=np.dot(hidden_layer_output,weights[output])+bias[output]

output=sigmoid(output_layer_input)

#假设真实输出为1.0

target=1.0

#计算损失

loss=(target-output)**2

#反向传播计算梯度

output_error=(target-output)*output*(1-output)

hidden_error=output_error*weights[output]*hidden_layer_output*(1-hidden_layer_outp

ut)

#更新权重和偏置

learning_rate=0.1

weights[output]+=hidden_layer_output*output_error*learning_rate

weights[hidden]+=input_data[:,None]*hidden_error*learning_rate

2

bias[output]+=output_error*learning_rate

bias[hidden]+=hidden_error*learning_rate

1.3深度学习中的优化器

优化器用于更新神经网