资讯 人工智能学术
此为临时链接,仅用于文章预览,将在时失效

从小部件的调整入手,AI 让你秒变时尚达人

作者:黄善清
2019/05/05 18:00

雷锋网 AI 科技评论按:「在你离开家之前,先照一照镜子,再拿掉一件东西。」这是优雅的可可·香奈儿 (Coco Chanel) 曾经说过的一句名言,意思是指小小的改变,也可能对一个人的时尚程度造成很大的影响。无论是摘掉一件配饰、选择一件领口更高的衬衫、把衬衫塞进裤子里或者换一条颜色更深的裤子,这些小调整通常能让现有的衣服显得更时尚。换句话说,身为一名普通消费者,我们无需将原有的衣柜推倒重来也能取得「质变」。

近期,一项研究工作试图让 AI 成为能够提供类似调整意见的小助手,且已取得初步成果。

从小部件的调整入手,AI 让你秒变时尚达人

这项成果是 Fashion++,如先前所说,这是一项可以通过对整体着装进行微调整以获得时尚感的方法。该模型由懂得学习服装编码的深度图像生成神经网络构成,其潜在编码能够根据形状和结构进行显式分解,从而允许模型分别对着装/表示以及颜色/模式/材料进行直接编辑。

  • 只要给定一套原始服装,模型就会将其组成部分 (如包、衬衫、靴子等) 映射至对应各自的代码。

  • 接着将具有辨别力的时尚模型作为编辑模块,从得分最大化角度逐步更新服装编码,达到改进服装风格的目的。

从小部件的调整入手,AI 让你秒变时尚达人

Fashion++ 框架。首先从纹理与形状编码器(Et 和 Es)中获得潜在特征,接着由编辑模块 F ++ 对潜在纹理特征 t 与形状特征 s 进行编辑。编辑完成后,形状生成器 Gs 首先将更新后的形状特征 s ++ 解码成 2D 分割掩码 m ++,然后我们利用它将更新后的纹理特征 t ++ 区域散播(region-wise broadcast)成一个二维特征映射 u ++。这个特征映射与更新后的分割掩码会被传递给纹理生成器 Gt,最终生成更新后的着装 x++。

让我们一起来看看最终的生成结果吧(建议点击大图进行观看):

从小部件的调整入手,AI 让你秒变时尚达人

只对形状/大小进行微调

从小部件的调整入手,AI 让你秒变时尚达人

只对颜色/图案进行微调

从小部件的调整入手,AI 让你秒变时尚达人

增添/除去衣服碎片

怎么样,是不是变得时尚时尚最时尚了呢?

AI 是怎么懂得时尚的?

一开始,为了让编辑模块具备判别时尚的能力,Fashion++ 的研究人员试图创建出这么一个训练数据集——由两组图片组成,图片中都是同一个人,只不过在不同组中穿着不同的服装,其中一组将被判定比另一组更加时尚。然而这样的合集实践起来不仅难度重重,而且一旦时尚风向转变了,该合集就会变得过时。另外一种方法是,将来自特定群体 (如网红) 的图像视为正面范例,而将另一组图像 (如日普通行人) 视为负面范例。然而这种方法也有问题,这种合集会导致身份与风格的混淆,分类器将发现两组之间与时尚无关的属性的区别。

最后,研究人员决定换一条思路,让模型从那些时尚达人的网络服装照中自动生成时尚度欠缺的照片。

具体流程上,先从一张「正面范例」的全身服装照开始,选择需要进行调整的部件,然后用另一套着装上的部件进行替换。为了增加替换部件有效降低时尚感的可能性,模型将从与原服装最不相似的选择中提取部件,主要根据 CNN features 的欧几里德距离 (Euclidean distance) 测量得出。

最后,再利用这些数据训练出一个具有三层多层级感知器 (MLP) 的时尚分类器 f。

从小部件的调整入手,AI 让你秒变时尚达人

这种训练方式不仅能让模型随着时尚的进化进行实时更新,同时模型也能基于这些编码器有效掌握微妙的服装协同作用。此外,由于训练照片主要采自于路人街拍,因此模型有机会学习到服装目录(catalog)所不具备关于合身与呈现方面的知识 (如掖好衣服、卷起衣服等),以及人们在日常情况下的自然搭配风格。

结论

当然,目前模型并非十全十美。服装分类模型、时尚分类器、编辑操作器,任何一方的不足,都可能导致糟糕的着装建议。

从小部件的调整入手,AI 让你秒变时尚达人

一些失败例子

无论如何,该工作依然为我们推介了一款充分考虑个性化、可伸缩性以及操作灵活性的生成框架,让我们通过微调即可优化着装问题。Fashion++ 研究人员也准备在未来的工作中进一步丰富训练资源的组合,让基于个人偏好风格或场合的调整成为可能。无论是从定量还是人为主观判断的角度,这项工作皆具有一定的推广意义。

论文链接:

https://arxiv.org/pdf/1904.09261.pdf

雷锋网 AI 科技评论雷锋网

长按图片保存图片,分享给好友或朋友圈

从小部件的调整入手,AI 让你秒变时尚达人

扫码查看文章

正在生成分享图...

取消
相关文章