欢迎加入QQ讨论群258996829
麦子学院 头像
苹果6袋
6
麦子学院

机器学习的激活函数浅谈

发布时间:2018-04-13 22:56  回复:0  查看:238   最后回复:2018-04-13 22:56  

本文和大家分享的主要是机器学习的激活函数相关内容,一起来看看吧,希望对大家学习机器学习有所帮助。

  激活函数将神经网络最后一层输出当做输入,进行转换。也用于神经网络两层之间。

  那么在神经网络为什么要使激活函数?

  比如在逻辑回归中,用于将输出转换为0/1进行分类。在神经网络中用于确定输出是yes/no。或者将输出映射到某一个范围之间,比如手写数字识别中,将输出映射到0--9之间。

  激活函数一般分类两类:线性和非线性

  线性或恒等激活函数

机器学习的激活函数浅谈

如上函数,该输出不会限制在任何范围内,与上述我们的目的不相符。

  非线性激活函数

机器学习的激活函数浅谈

如上就是非线性激活函数的例子,在神经网络中用的最多。它是模型易于泛化或者适应各种数据,并对输出进行区分。 对激活函数有几个术语需要了解: 导数或者微分 :当优化方法与梯度相关时,需要求导,因此函数必须可微。 单调性 :当激活函数是单调时,单层网络能够保证是凸函数。 输出值的范围

  : 当激活函数输出值是 有限 的时候,基于梯度的优化方法会更加 稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是 无限 的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的learning rate.

  下面介绍几种常见的激活函数:

  sigmoid 函数

机器学习的激活函数浅谈

如上,输出永远在0--1之间,其中在接近0或者1时,变化速度变慢。在模型预测可能性时有用。 该函数可微,因此在两点之间可以计算斜率。该函数单调但是其导函数不是单调的。 该激活函数会导致神经网络在训练时被卡住,部分缺点如下:

  1. 当输入过大过小时, 梯度接近0.因此初始值很大时,神经元梯度会消失,加大训练难度。

  2. 该函数输出的均值不为0。因此后一层神经元将上一层的非0输出作为信号输入,梯度始终为正。

  Tanh 双曲正弦激活函数

机器学习的激活函数浅谈

sigmoid类似,但是比sigmoid效果要好,输出在-1--1之间。不同与sigmoid,该函数输出均值为0. 常用于二分类问题。

  Relu(线性整流)激活函数

机器学习的激活函数浅谈

目前这是在神经网络中用的最多的激活函数,大部分卷积神经网络和深度神经网络在在使用。 如上,该范围在0--无穷大之间。 其中该函数和其倒数都是单调的。 部分优点如下:

  1. 收敛速度相比于sigmoidTanh要快很多

  2. 相比于sigmoidTanh, 由于函数特性,只需要一个阈值就能得到激活值 同时也有缺点,比如一个非常大的梯度流过一个Relu神经元时, 更新参数以后,由于激活值太大, 导致对后面的数据激活困难。

  Softmax 激活函数

机器学习的激活函数浅谈

 softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!

  上述中为什么会提到导数或者可微: 当在梯度下降中更新梯度时,需要知道曲线的斜率,并进行更新,因为这是下降最快的方向。因此在神经网络中需要使用到激活函数的导数。

 

 

来源:网络

您还未登录,请先登录

热门帖子

最新帖子