原文链接：https://www.jianshu.com/p/a20d5a7ed6f3

学习率

学习速率(learning rate)是指导我们该如何通过损失函数的梯度调整网络权重的超参数。学习率越低，损失函数的变化速度就越慢。虽然使用低学习率可以确保我们不会错过任何局部极小值，但也意味着我们将花费更长的时间来进行收敛，特别是在被困在高原区域的情况下。

new_weight = existing_weight — learning_rate * gradient

image.png

图1采用较小的学习率，梯度下降的速度慢； 图2采用较大的学习率，梯度下降太快越过了最小值点，导致不收敛，甚至震荡。

image.png

---

目的

了解pytorch中学习率调整的方法

---

测试环境

windows 10Ananconda 3, python3.7pytorch 1.0pycharm

---

实验/测试

pytorch中相关的API

关于学习率调整，pytorch提供了torch.optim.lr_scheduler

image.png

主要提供了几个类：

torch.optim.lr_scheduler.LambdaLrtorch.optim.lr_scheduler.StepLRtorch.optim.lr_scheduler.MultiStepLRtorch.optim.lr_scheduler.ExponentialLRtorch.optim.lr_sheduler.CosineAnneaingLRtorch.optim.lr_scheduler.ReduceLROnPlateau

1. torch.optim.lr_scheduler.StepLR

代码 import torch import torch.optim as optim from torch.optim import lr_scheduler from torchvision.models import AlexNet import matplotlib.pyplot as plt

model = AlexNet(num_classes=2) optimizer = optim.SGD(params=model.parameters(), lr=0.05)

# lr_scheduler.StepLR() # Assuming optimizer uses lr = 0.05 for all groups # lr = 0.05 if epoch < 30 # lr = 0.005 if 30 <= epoch < 60 # lr = 0.0005 if 60 <= epoch < 90

scheduler = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) plt.figure() x = list(range(100)) y = [] for epoch in range(100): scheduler.step() lr = scheduler.get_lr() print(epoch, scheduler.get_lr()[0]) y.append(scheduler.get_lr()[0])

plt.plot(x, y)

image.png

0<epoch<30, lr = 0.05 30<=epoch<60, lr = 0.005 60<=epoch<90, lr = 0.0005

torch.optim.lr_scheduler.MultiStepLR

与StepLR相比，MultiStepLR可以设置指定的区间

代码 # --------------------------------------------------------------- # 可以指定区间 # lr_scheduler.MultiStepLR() # Assuming optimizer uses lr = 0.05 for all groups # lr = 0.05 if epoch < 30 # lr = 0.005 if 30 <= epoch < 80 # lr = 0.0005 if epoch >= 80 print() plt.figure() y.clear() scheduler = lr_scheduler.MultiStepLR(optimizer, [30, 80], 0.1) for epoch in range(100): scheduler.step() print(epoch, 'lr={:.6f}'.format(scheduler.get_lr()[0])) y.append(scheduler.get_lr()[0])

plt.plot(x, y) plt.show()

image.png

torch.optim.lr_scheduler.ExponentialLR

指数衰减

代码 scheduler = lr_scheduler.ExponentialLR(optimizer, gamma=0.9) print() plt.figure() y.clear() for epoch in range(100): scheduler.step() print(epoch, 'lr={:.6f}'.format(scheduler.get_lr()[0])) y.append(scheduler.get_lr()[0])

plt.plot(x, y) plt.show()

image.png

自己定义pytorch中的学习率衰减

pytorch中提供了

optimizer.param_groups

这个接口可以提取优化器中的学习率，然后就可以自定义学习率衰减方式了，如下是我自己写的学习率方法：

def adjust_lr(optimizer, epoch, decay_rate=0.85, decay_epoch=10): if epoch>decay_epoch: for param_group in optimizer.param_groups: param_group['lr'] *= decay_rate