文章目录

一、CPU与GPU二、数据迁移至GPU1.参数说明2.源码3.torch.cuda常用方法 三、多GPU并行计算1.什么是多GPU并行计算2.Pytorch当中的并行计算3.源码 参考

---

一、CPU与GPU

由图中可以看出GPU的计算单元远多于CPU的计算单元，因此，使用GPU的计算速度是大于CPU的计算速度的。

二、数据迁移至GPU

1.参数说明

inplace的意思就是说，对于tensor数据转成GPU的形式还需要重新赋值，如图中的x=x.to(“cuda”)。但是对于model来说，转成GPU的形式，不需要重新赋值，如图中的linear.to(gpu1)

2.源码

tensor to cuda

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") #tensor to cuda x_cpu = torch.ones((3, 3)) print("x_cpu:\ndevice: {} is_cuda: {} id: {}".format(x_cpu.device, x_cpu.is_cuda, id(x_cpu))) x_gpu = x_cpu.to(device) print("x_gpu:\ndevice: {} is_cuda: {} id: {}".format(x_gpu.device, x_gpu.is_cuda, id(x_gpu)))

module to cuda

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net = nn.Sequential(nn.Linear(3, 3)) print("\nid:{} is_cuda: {}".format(id(net), next(net.parameters()).is_cuda)) net.to(device) print("\nid:{} is_cuda: {}".format(id(net), next(net.parameters()).is_cuda)) # 弃用 x_gpu = x_cpu.cuda()

之前在Pytorch中都是使用这种方法，现在这种方法已经弃用

3.torch.cuda常用方法

三、多GPU并行计算

1.什么是多GPU并行计算

一个很形象的例子解释了什么是并行计算

2.Pytorch当中的并行计算

3.源码

device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # model net = CNN() net = nn.DataParallel(net) net.to(device)

参考

深度之眼pytorch框架班