微软的这些研究让你瞬间变成艺术家

雷锋网AI科技评论按：在当前这个时代，可能你完全没有艺术细胞，不过没关系，人工智能和机器学习方面的最新研究将帮助你，让你瞬间成为艺术家——你上传照片或视频，它能迅速将其转化成有创造性的、可以拿出来展览的艺术品。

据雷锋网了解，目前微软在雷德蒙德和北京的研究人员目前就在开发这么一种利用人工智能的计算机视觉技术，它能够将艺术风格应用到你上传的照片或视频上，甚至还能够将两张照片的视觉风格进行交换，例如把阿凡达和蒙娜丽莎揉合在一起。

这种图像风格交换的技术被称为StyleBank，现已应用到今年六月份更新的一款手机软件微软Pix（Microsoft Pix）。微软Pix是一款集成了微软在智能算法上20多篇研究成果的软件，它能让用户按下快门即可得到一张漂亮的照片。

风格交换的研究主要是探究如何将艺术风格从一张图片转移到另一张图片，例如将后印象主义的风格应用到你后花园的照片上。而对像微软Pix这样的应用，其挑战在于如何为用户提供更多的可选风格，以及快速高效地将风格应用到图像上。

StyleBank的研究人员对这一问题的解决方案是，将视觉风格明确地表示为卷积滤波器组的集合，每一个卷积滤波器组代表一种风格。当要将图像转换成特定风格时，自动编码器会将输入图片分解为独立于任何一种风格的多层特征图。随后用选择的风格所对应的滤波器组与多层的特征图进行卷积，最后再通过解码器对卷积后的图像进行渲染。在此，神经网络完全将风格与内容分离。 与这个领域其他方法相比，由于明确地表示为卷积滤波器组集合，这种方法能够更有效地训练出新的风格，更快速地渲染风格化后的图像。这样就解决了微软Pix上述的两个问题。

StyleBank的主要研究成员是微软北京实验室的研究员Gang Hua、Lu Yuan 、 Jing Liao以及实习生 Dongdong Chen 。其中Gang Hua是微软亚洲研究院视觉计算组的首席研究经理，同时还是斯蒂芬技术研究院的访问教授；Lu Yuan是微软亚洲研究院的视觉计算组的首席研究员。他们与微软研究院的微软Pix团队进行了密切的合作，将这种风格交换的功能集成到了微软Pix软件当中。2017年7月21日至26日在夏威夷檀香山举行的2017计算机视觉与模式识别大会（CVPR 2017）上，Gang Hua的团队介绍了他们的这项工作。

不仅如此，他们还扩展了StyleBank的技术，以在线的形式呈现稳定的风格化视频。他们利用连续帧之间特征对应的瞬时信息，实时地获得一致且稳定的风格化视频序列。该技术自适应地混合了来自前一帧和当前帧的特征图，有效地避免了在逐帧渲染视频中普遍存在的重影假象。他们这项技术将会在今年10月22日至29日意大利威尼斯举办的2017年国际计算机视觉大会（ICCV 2017）上发表。

此外，他们（除Lu Yuan，Jing Liao外，参与此项工作的还有在美国雷德蒙德微软研究院认知组的Sing Bing Kang）在7月30日-8月2日洛杉矶举行的SIGGRAPH 2017上还报告了他们的另外一项研究工作。这项工作描述了一种用于图片间视觉属性转换的技术，即两张明显不同的但有视觉上语义相似结构（图片包含相似的视觉内容，例如都有一张脸）的图片能够相互交换属性。

例如，利用他们这项技术可以将《阿凡达》中一个角色的脸放到达芬奇的蒙娜丽莎中，反之也可以将蒙娜丽莎的脸放到阿凡达的角色中。这项技术主要就是在两个输入图像之间找到强语义对应，这就像我们在语言中进行类比一样，所以他们把这项技术称为“深度图像类比”（Deep Image Analogy） 。

雷锋网表示，期待今年这三场会议中他们能将以上这三项技术的更多细节分享给我们，以后至少不会不明不白地“被”成为艺术家。

via Microsoft

相关文献链接：

1、连续在线视频风格转换（Coherent Online Video Style Transfer）

2、StyleBank：一种神经图像风格变换的显性表征（StyleBank: An Explicit Representation for Neural Image Style Transfer）

3、通过深度图像类比的视觉属性变换（Visual Attribute Transfer through Deep Image Analogy）