ReLU is the max function(x,0) with input x e.g. matrix from a convolved image. ReLU then sets all negative values in the matrix x to zero and all other values are kept constant. ReLU is computed after the convolution and is a nonlinear activation function like tanh or sigmoid. Softmax is a classifier at the end of the neural network.

2024年1月29日 · 从ReLU函数及其表达式可以看出，ReLu其实就是一个取最大值的函数。 在输入是负值的情况下，其输出为0，表示神经元没有被激活。 这意味着在网络的前向传播过程中，只有部分神经元被激活，从而使得网络很稀疏，进而提高运算效率。

(2) The exact zero values of relu for z<0 introduce sparsity effect in the network, which forces the network to learn more robust features. If this is true, something like leaky Relu, which is claimed as an improvement over relu, may be actually damaging the efficacy of Relu. Some people consider relu very strange at first glance.

一, relu的优点主要有两方面: relu(z) = max(0, z) 一是, 在加权和>0时, 导数恒定为1, 不会造成梯度饱和, 所谓梯度饱和就是函数的输出有上限, 随着输入的增加而输出增速放缓, 较小的增速意味着较小的梯度, 这也是造成梯度消失的根源.

ReLU的计算速度相对较快，计算简单，同时可以避免梯度消失和梯度爆炸问题。 ReLU对于负数输入输出0，对于正数输入输出本身，这种性质可以促进神经网络的 稀疏性 ，即在训练过程中，一些神经元会变得不活跃，从而 减少参数的数量和计算量 ，提高泛化能力。

知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、 …

相比RELU，Leaky RELU解决了Dead RELU的问题，理论上会有比RELU更优的表现，但是实际应用中不能完全证明这种性能提升是存在的。 另外，这三个激活函数变体都会比RELU本身有更好的收敛性，因为输出均值更接近于0。

所以，虽然ReLU的每个部分都是线性的，但是通过对ReLU各种状态的组合进行改变，导致了网络等效映射的变化，也就构造了各种非线性映射。 表现在多维空间，就是很多不同的小块超平面拼接成的奇形怪状的近似超曲面。

其实问题蛮无聊的，新手教程说relu好不就好在没有饱和区，有n种方法把tanh变成不带饱和区的，也有n种方法把relu做处理让他有负输出。 比如把tanh做hard后shift和relu截断后shift，不是一样一样的。

2019年11月26日 · 你首先要明白Relu也就是激活层是在什么时候起作用的，一般在CNN结构里，是conv+batchnorm+activation构成一个“卷积层”，在conv层时filter可以有负项，batchnorm后会让一个batch的分布为zero centric同样也会出现负项，经过这两个处理后的map再经过activation可以是relu也可以是其他non-linear function，并非直接将原图 ...