神经网络训练时如何选取batch size的大小

神经网络训练时如何选取batch size的大小

做实验时batch size选取的128/144，设置每1000步模型保存一次。但发现训练到后面损失很难降低了。做实验时batch size选取的64或32或256/300+，效果确实差很多，看来batch size不易过大也不易过小。 训练到后面，模型保存步数可以小一些。