即使不知道真实世界如何，Google算法也能“想像”出来

Google 街景提供了许多发达国家中不少城市的全景视图，以及沿着人行道的无数美景、商场内部的视图和周围的博物馆和艺术画廊。它是现代工程学中的一个非凡壮举，改变了我们对我们周围世界的欣赏方式。

将街景变成电影

不过，虽然街景可以向我们展示那些遥远的地方的样子，但是一张又一张的图片并不能让人身临其境地感受世界。于是有人想到了一个解决方案：连续播放一系列街景图像，来创建一部电影。

但这并不能和你所想象的那样完美的合成，以每秒25帧或以差不多的速度播放这些图片，会使风景略过的速度太快，产生跳帧；而太慢的话，肉眼又能明显地看出“卡顿”。当场景没有什么变化的时候，或者是在高速公路和风景不变的时候，低速是可以被接受的，但它在繁忙的街道或是艺术画廊里就不行了。

因此，Google 已经想出了一个解决方案：让街景摄像机在记录的时候，添加额外的帧。但是，这些帧看起来是什么样子呢？

如今，John Flynn 和其 Google 的同事一同透露，他们是如何利用公司庞大的机器学习技术来找出，这些丢失的帧看起来应该是怎样的，机器只是研究图像两边丢失的帧。其结果是一台计算机，可以通过内插丢失的帧，或多或少将一系列的图像转变成能流畅播放的影片。

消失的图像

Flynn 和其同事直面挑战，给定一组特定地方的图像，目标是从另一个不同的角度合成同一区域的一张新图像。这个过程十分的不容易，Flynn 表示，“这需要了解物体的所有几何图形，即使在看不见的角度上也要生成完整的3-D图像”。

实际上，这是一个困扰了计算机科学家几十年的问题，即给定了两张或更多张图像，从而估算出场景的三维形状。

计算机科学家已经开发出了解决这个问题的各种方式，但所有方式都面临着类似的问题，特别是在一个物体遮挡了另一个物体，造成信息缺乏时。信息缺乏会导致画面“撕裂”，而且在没有足够信息的位置会有不少精致的细节丢失。

Flynn 的新办法是训练机器视觉算法，在经过一个巨大的数据集的连续图像训练后，算出新的图像应该是什么样子。计算机的任务是将各张图像作为一组像素，并确定给定相应像素的深度和颜色，并根据出现前后的图像给出深度和颜色相符的像素。

他们训练的算法叫做 DeepStereo，使用了“由一个移动的车辆拍摄的街景图像。”事实上，他们使用了10万个这些序列作为训练数据集。而最终的结果也是令人印象深刻的。Flynn 表示，“总体来说，我们的模型产生了合理的输出。”

算法成功地再现了一些困难的物体，如树木和草丛。并且即使算法没有处理好，也不会有之前的“撕裂”，尤其是算法在处理移动物体上的表现很好。不过，总而言之该方法目前还是并不完美。即使如此，这也是一项令人印象深刻的工作，再一次显示了深度学习技术的潜力。

希望在不太遥远的将来，我们能看到Google街景从图片变成一部旅游电影，让用户真正足不出户“走”遍天下。

via technologyreview