在观看岛国教育片的时候,往往在不可描述的部位打上了马赛克,固然呈现了朦胧美,但部分观众依然希望变得更加清晰。现在,Google Brain 在提升图片分辨率方面取得了突破性进展。他们已经成功将 8*8(毫米)网格的像素马赛克转换成为肉眼可辨识的人物图像。
而真正能够提升低分辨率照片细节的最佳突破口就是神经网路。当我们被照片中所包含的像素信息难倒的时候,深度学习能通过人类常说的「幻想」来增加细节。实质就是软件基于从其他图片中学习到的信息对图片进行猜测。
Google Brain 的研究团队已经公布了「像素递归超分辨率」技术(Pixel Recursive Super Resolution)的最新进展,尽管结果看上去有点瘆人,但是整个还原效果令人印象深刻。
下面是他们复原的效果案例之一:
右手边的图片,是 32 x 32 网格的真实人物头像。左手边的图片,是已经压缩到 8 x 8 网格的相同头像,而中间的照片,是 GoogleBrain 基于低分辨率样片猜测的原图。
整个复原过程使用了两种神经网络。首先介绍的是调节网络(Conditioning Network),它将低分辨率照片和数据库中的高分辨率照片进行对比。这个过程中迅速降低数据库照片中的分辨率,并根据像素颜色匹配一堆同类照片。
接下来介绍的是优先网络(prior network),它就会猜测那些细节可以作为高分辨率照片的特征。利用 PixelCNN 架构,该网络会筛查该尺寸的同类照片,并根据概率优先对高分辨率照片进行填充。例如,在论文提供的例子中,提供的同类照片是名人和卧室,优先网络根据优先级最终确认了名人的照片。优先网络会在低分辨率和高分辨率照片中做出决定,如果发现鼻子的可能性比较大,就会选择鼻子。
接下来,两个神经网络的最佳猜测就会进行整合,最终形成的图像如下:
下面也是一些通过超像素技术变化的样本:
在你开始思考:「这并不准确,这个人工智能是愚蠢的」,那么请记住人类同样也是愚蠢的。一名志愿者参与了这样的测试,同时展示降低分辨率的照片和通过 Google Brain 复原的照片,然后提问「你猜那张照片来自于相机?」,最终结果是 10% 的名人照片,测试者选择了 Google Brain 的照片。在 28% 的卧室样片中,测试者选择了 Google Brain 的照片。
尽管技术是纯净的,但是未来可能会有非常可怕的应用。就像是波士顿马拉松爆炸案一样,不难联想到一些执法部门会滥用该软件来抓取嫌疑犯。更为重要的是,人工智能的多次尝试已经被证明存在种族主义,因为往往会参杂人类的偏见。分析型人工智能和图像技术的结合,在未来必然会经历一段漫长的调试过程。
via gizmodo