什么是激活函数?为什么要使用激活函数?

tech2022-07-30  120

  如果没有relu等激活函数(也叫非线性),Dense层将只包含两个线性运算——点积和加法:

output = dot(W,input) + b

  这样Dense层就只能学习输入数据的线性变换(仿射变换):该层的假设空间是从输入数据到16位空间所有可能的线性变换集合。这种假设空间非常有限,无法利用多个表示层的优势,因为多个线性层堆叠实现的仍是线性运算,添加层数并不会扩展假设空间。

  为了得到更丰富的假设空间,从而充分利用多层表示的优势,你需要添加非线性或激活函数。relu是深度学习中最常用的激活函数,但还有许多其他函数可选,它们都有类似的奇怪名称,比如prelu,elu等。

最新回复(0)