本文共 1377 字，大约阅读时间需要 4 分钟。

池化层pooling layer

概念

池化运算：对信号进行 “收集”并 “总结”，类似水池收集水资源，因而得名池化层

“收集”：多变少 “总结”：最大值/平均值

参数

nn.MaxPool2d

功能：对二维信号（图像）进行最大值池化

主要参数： • kernel_size：池化核尺寸 • stride：步长 • padding ：填充个数 • dilation：池化核间隔大小 • ceil_mode：尺寸向上取整 • return_indices：记录池化像素索引

nn.AvgPool2d

功能：对二维信号（图像）进行平均值池化

主要参数： • kernel_size：池化核尺寸 • stride：步长 • padding ：填充个数 • ceil_mode：尺寸向上取整 • count_include_pad：填充值用于计算 • divisor_override ：除法因子

nn.MaxUnpool2d

功能：对二维信号（图像）进行最大值池化

上采样 主要参数： • kernel_size：池化核尺寸 • stride：步长 • padding ：填充个数

线性层 linear layer

概念

线性层又称全连接层，其每个神经元与上一层所有神经元相连 实现对前一层的线性组合，线性变换

参数

nn.Linear

功能：对一维信号（向量）进行线性组合 主要参数： • in_features：输入结点数 • out_features：输出结点数 • bias ：是否需要偏置 计算公式：y = 𝒙𝑾𝑻 + 𝒃𝒊𝒂 s

激活函数层 Activation Layer

概念

激活函数对特征进行非线性变换，赋予多层神经网络具有深度的意义

𝑯𝟏 = 𝑿 ∗ 𝑾𝟏 𝑯𝟐 = 𝑯𝟏 ∗ 𝑾𝟐 O𝒖𝒕𝒑𝒖𝒕 = 𝑯𝟐 ∗ 𝑾𝟑 = 𝑯𝟏 ∗ 𝑾𝟐 ∗ 𝑾𝟑 = 𝑿 ∗ (𝑾𝟏 ∗ 𝑾𝟐 ∗ 𝑾𝟑) = 𝑿 ∗ 𝑾

参数

nn.Sigmoid

计算公式：𝐲 = 𝟏/ 𝟏+𝒆−𝒙

梯度公式：𝒚′ = 𝒚 ∗ 𝟏 − 𝒚 特性： • 输出值在(0,1)，符合概率 • 导数范围是[0, 0.25],易导致梯度消失 • 输出为非0均值，破坏数据分布

nn.tanh

计算公式：𝐲 =

s in𝒙 𝒄𝒐𝒔𝒙 = 𝒆𝒙−𝒆−𝒙 𝒆− +𝒆−𝒙 = 𝟐 𝟏+𝒆−𝟐𝒙 + 𝟏 梯度公式：𝒚′ = 𝟏 − y 𝟐 特性： • 输出值在(-1,1)，数据符合0均值 • 导数范围是(0, 1),易导致梯度消失

nn.ReLU

计算公式：𝐲 = max(𝟎, 𝒙)

梯度公式：𝒚′ = ቐ𝟏, 𝒙 > 𝟎 𝒖𝒏𝒅𝒆𝒇 𝒊𝒏𝒆𝒅, 𝒙 = 𝟎 𝟎, 𝒙 < 𝟎 特性： • 输出值均为正数，负半轴导致死神经元 • 导数是1,缓解梯度消失，但易引发梯度爆 炸

其他激活函数

nn.LeakyReLU

• negative_slope: 负半轴斜率 nn.PReLU • init: 可学习斜率 nn.RReLU • lower: 均匀分布下限 • upper:均匀分布上限

转载地址：http://sxjwi.baihongyu.com/