【学习笔记】Pytorch深度学习—Normalization_layers
一、为什么要进行Normalization?
***`Internal Covariate Shfit`***
二、常见的Normalization方法——BN、LN、IN、GN
***`1、适用变长网络的：Layer Normalization`***
***`2、适用样本风格不统一的：Instance Normalization`***
***`3、适用大模型、小 batch size的：Group Normalization`***
三、Normalization小结
本节课的内容主要是深度学习中常见的Normalization方法，分别是BN、LN、IN、GN；主要分为3部
