本文为 AI 研习社编译的技术博客,原标题 :
Building Autoencoder in Pytorch
作者 | Vipul Vaibhaw
翻译 | 邓普斯•杰弗、酱番梨、向日魁
校对 | 邓普斯•杰弗 整理 | 菠萝妹
原文链接:
https://medium.com/@vaibhaw.vipul/building-autoencoder-in-pytorch-34052d1d280c
这篇文章中,我们将利用 CIFAR-10 数据集通过 Pytorch 构建一个简单的卷积自编码器。
引用维基百科的定义,”自编码器是一种人工神经网络,在无监督学习中用于有效编码。自编码的目的是通过一组数据学习出一种特征(编码),通常用于降维。“
为了建立一个自编码器,我们需要三件事:一个编码函数,一个解码函数,和一个衡量压缩特征和解压缩特征间信息损失的距离函数(也称为损失函数)。
如果我们要在 Pytorch 中编写自动编码器,我们需要有一个自动编码器类,并且必须使用super()从父类继承__init__。
我们通过导入必要的 Pytorch 模块开始编写卷积自动编码器。
import torchimport torchvision as tvimport torchvision.transforms as transformsimport torch.nn as nnimport torch.nn.functional as Ffrom torch.autograd import Variablefrom torchvision.utils import save_image
现在我们设置下载CIFAR-10数据集并将其转换应用于它。
我们对数据集应用了两个转换 -
ToTensor() - 它将 PIL图像或者 [0,255]范围内的 numpy.ndarray(H x W x C)转换成 Torch 。 [0.0,1.0]范围内的形状 FloatTensor。
Normalize() - 使用均值和标准差对张量图像进行标准化。
基本上在应用变换之后,我们得到(-2,2)范围内的值 。
# Loading and Transforming datatransform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4466), (0.247, 0.243, 0.261))])trainTransform = tv.transforms.Compose([tv.transforms.ToTensor(), tv.transforms.Normalize((0.4914, 0.4822, 0.4466), (0.247, 0.243, 0.261))])trainset = tv.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform)dataloader = torch.utils.data.DataLoader(trainset, batch_size=32, shuffle=False, num_workers=4)testset = tv.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)
你可以在这里阅读更多关于上述变换的内容。 现在下一步是编写自动编码类。
# Writing our modelclass Autoencoder(nn.Module): def __init__(self): super(Autoencoder,self).__init__() self.encoder = nn.Sequential( nn.Conv2d(3, 6, kernel_size=5), nn.ReLU(True), nn.Conv2d(6,16,kernel_size=5), nn.ReLU(True)) self.decoder = nn.Sequential( nn.ConvTranspose2d(16,6,kernel_size=5), nn.ReLU(True), nn.ConvTranspose2d(6,3,kernel_size=5), nn.ReLU(True), nn.Sigmoid()) def forward(self,x): x = self.encoder(x) x = self.decoder(x) return x
卷积编码器神经网络具有一些 Conv2d,并且我们有使用ReLU激活功能正在被使用。 现在我们定义一些参数 -
#defining some paramsnum_epochs = 5 #you can go for more epochs, I am using a macbatch_size = 128
然后是时候设置训练模型了。我们调用模型并将其配置为在 cpu 上运行。如果你有一个 gpu,你可以使用 cuda。
我们使用 Mean Squared Error 作为损失函数。对于优化器,我们使用 adam。
model = Autoencoder().cpu()distance = nn.MSELoss()optimizer = torch.optim.Adam(model.parameters(),weight_decay=1e-5)
让咱们开始训练吧!
for epoch in range(num_epochs): for data in dataloader: img, _ = data img = Variable(img).cpu() # ===================forward===================== output = model(img) loss = distance(output, img) # ===================backward==================== optimizer.zero_grad() loss.backward() optimizer.step() # ===================log======================== print('epoch [{}/{}], loss:{:.4f}'.format(epoch+1, num_epochs, loss.data[0]))
这是我写的一个简单的博客,展示了如何在 Pytorch 中构建自动编码器。 但是,如果要在模型中包含 MaxPool2d(),请确保设置 return_indices = True,然后在解码器中使用 MaxUnpool2d()图层。
持续的学习和分享,可以在 github,Stack Overflow,LinkedIn,或者 Twitter 上 Follow 我。
想要继续查看该篇文章相关链接和参考文献?
长按链接点击打开或点击【用Pytorch构建一个自动解码器】:
https://ai.yanxishe.com/page/TextTranslation/1284
AI研习社每日更新精彩内容,观看更多精彩内容:雷锋网雷锋网雷锋网
等你来译: