详解深度学习之经典网络架构(六):ResNet 两代(ResNet v1和ResNet v2) ResNet v1 resnet-v1-Deep Residual Learning for Image Recognition ResNet v2 resnet-v2-Identity Mappings in Deep Residual Networks
ResNet V2 和 ResNet V1 的主要区别在于,作者通过研究 ResNet 残差学习单元的传播公式,发现前馈和反馈信号可以直接传输,因此“shortcut connection”(捷径连接)的非线性激活函数(如ReLU)替换为 Identity Mappings。同时,ResNet V2 在每一层中都使用了 Batch Normalization。这样处理后,新的残差学习单元比以前更容易训练且泛化性更强。
resnetv2结构好的原因在于两点: 1)反向传播基本符合假设,信息传递无阻碍; 2)BN层作为pre-activation,起到了正则化的作用;