SIGGRAPH 2018 | 深大推出新算法： GAN 非平稳纹理合成

雷锋网按：这里是，雷锋字幕组编译的Two minutes paper专栏，每周带大家用碎片时间阅览前沿技术，了解AI领域的最新研究成果。

原标题 AI-Based Large-Scale Texture Synthesis - Two Minute Papers #252

翻译 | 吴晓曼    整理 | 凡江

当一个艺术工作者在数字媒体创作中，比如要给一个电影或者游戏创造一个虚拟世界，或者在做平面设计时，他们经常会需要大量的纹理。例如，混凝土墙，树叶，布料都是我们现实世界中熟知的材料。

有时候获取纹理的过程很简单，只需购买一个纹理包然后使用即可。但是经常会遇到的问题是——当我们想要使用混凝土的纹路铺满整条路时，却只有整条路纹路中的一小部分，这种情况下，最简单快捷的方法就是不断将这小块纹路复制粘贴，这样生成的纹路重复性高并且有明显接缝。

那么基于 AI 的技术，怎么使用小块纹路生成自然而且看不出拼接的大面积纹路呢？

这一由计算机图形学和AI相结合的领域称为纹理合成，周期性纹理合成比较简单，但是具有结构的纹理合成相当复杂，这篇论文的卖点在于，可以高效地同时把图像的内容和对称信息考虑进来。例如，它在合成木头的纹理的时候，知道要将纹理的同心性考虑进来，也可以适应水纹的规律性然后生成一个漂亮的高分辨率的结果。

这是基于神经网路的技术，所以首要问题是——训练数据应该是什么样的？

我们取一个高分辨率图像的数据集，切取其中一小部分，并假设我们不能获取完整图像，然后使用神经网络来对这切下来的小块图像进行扩展，这听起来有点傻，那么这样取一小部分进行扩展有什么用呢？这很有用，因为这样使用神经网络后得到的结果，就可以和原始图像进行对比，然后改进神经网络。注意这个方法是生成对抗网络，就是有两种神经网络互相对抗，生成网络是扩展小块纹理的生成器，鉴别器网络负责检查和判别纹理的真实性。时间越长，生成网络在纹理生成上学得越好，鉴别器网络也变得更善于区分生成纹理和真实纹理，这两种网络的对抗就生成了相当高质量的纹理，对比你会发现，使用这种新技术得到的结果相当好。

视频原址：https://www.youtube.com/watch?v=KL6U6iasUxs

论文原址：http://vcc.szu.edu.cn/research/2018/TexSyn

Github：https://github.com/jessemelpolio/non-stationary_texture_syn

雷锋网雷锋网