1、Sigmoid 函数

表达式：

导数：

特性：

• 输出区间：
• 非线性，可微
• 在时趋近于1，时趋近于0
• 优点：将值压缩到之间，适合做概率输出
• 缺点：容易出现梯度消失问题，导致深层网络训练困难

2、Softmax 函数

表达式：

对于输入向量，第个输出：

特性：

• 输出区间：，且所有输出元素和为1
• 多分类任务中常用作输出层激活函数
• 优点：可以将输出解释为概率分布
• 缺点：对输入的极端值敏感，容易导致梯度消失

3、ReLU (Rectified Linear Unit) 函数

表达式：

导数：

特性：

• 输出区间：
• 非线性，分段线性结构
• 优点：计算简单，高效；收敛速度快；缓解梯度消失问题
• 缺点：时梯度为0，神经元易“死亡”（dead neuron）

4、ELU (Exponential Linear Unit) 函数

表达式：

其中为超参数，通常取。

导数：

特性：

• 输出区间：
• 非线性，对负数有缓和作用
• 优点：缓解ReLU的“死亡神经元”问题，负值时有非零梯度
• 缺点：计算较ReLU稍复杂

5、Tanh (双曲正切) 函数

表达式：

导数：

特性：

• 输出区间：
• 非线性，可微
• 时趋近于1，时趋近于-1
• 优点：输出均值为0，收敛速度快于Sigmoid
• 缺点：依然存在梯度消失问题