type
status
date
slug
summary
tags
category
icon
password
激活函数通常用于实现网络层非线性结构，避免纯粹的线性结构无法提取有效信息。通常放在全连接层后面。
ReLU和leakyReLU就是激活函数中的两种。
ReLU
显然在x大于0后，原本x的梯度被保留了：假设x随a变化
LeakyReLU
与ReLU不同的地方在于， LeakyReLU保留了x小于0部分的梯度，但是会给梯度一个极小的系数：
锐化
在ReLU中引入两个参数来控制把持梯度的区间，（LeakyRelu做类似的处理，所以这里只叙述一遍）。
绝对ReLU与绝对锐化
根据数据分布的形式，如果数据几乎对称地分布在零的两侧，为了更好保留负向数据的信息。
- Author:Kecilimu
- URL:https://kecilimu-notion.vercel.app//article/20240706095329
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!