10年前，乃至100年前，你长大的那条街道长什么样？

现在，除了用AI修复老影像资料，谷歌还发布了新的「时光旅行」方案。

就像这样，用3D视角，一览1890年到1970年曼哈顿切尔西区的建筑变化。

是不是有点历史更迭内味儿了？

这样一台「时光机器」的引擎，是谷歌推出的基于浏览器的工具集rǝ（音return），主要由3部分组成：

• 一个众包平台。用户可以上传城市历史地图，将其与现实世界的坐标进行匹配，完成地理修正，并将其矢量化。

• 一个时空地图服务器。能显示城市地图是如何随时间变化的。

• 一个3D体验平台。运行在rǝ地图服务器之上，利用深度学习，根据有限的历史图片和地图数据重建3D建筑，创造3D体验。

以众包方式打造

重现城市的过去，最大的难点就在于数据：可用的图像很少，从图像中获取的元数据比之现代地图自然也少得多。

为了应对这一挑战，谷歌的工程师们用上了基于Google Cloud和Kubernnetes运行的开源工具rǝ。

其作用在于，采用众包的方式，让用户们共同打造一个具有时间维度的地图服务器。

具体而言，用户可以通过浏览器上传各个年代纸质版地图的扫描件，对其进行地理校正，使历史地图与现实世界的坐标相匹配。

然后，通过追踪地理特征，比如标志性建筑、道路等，将历史地图转换成OSM矢量格式。

这些矢量地图经过图块服务器（tile server）的渲染之后，就会变成通常在谷歌地图上看到的，可以放大和平移的滑块地图（slippy map）。

重建3D模型

接下来，就是利用这些图像和地图数据，重建曾经在历史上出现过的建筑们的3D结构了。

这里的难点在于，大多数情况下，一个建筑的历史图像很可能只有一张。为此，谷歌工程师们开发了一套由粗到细的识别重建算法。

如图中所示，首先，根据众包注释或自动检测算法识别地图标记和历史图像中的建筑立面，为其生成粗略的3D结构。

与此同时，算法会识别建筑立面上所有窗户、入口、楼梯这样的独立组件，并根据其类别分别重建精细的3D结构。

两者相结合，就得到了最终的3D网格。这一结果会被存储在3D资源库中，为下一步渲染做好准备。

该算法涉及的SOTA深度学习模型包括：

• 用窗户、入口、楼梯这样的立面组件注释训练的RCNN，用于定位历史图像中的边框级实例。

• 语义分割模型DeepLab，提供每个语义类的像素级标签。

• 专门设计的神经网络，用以确保一个立面上生成的窗户之间间距相等、形状一致。同时也保证不同语义类，比如楼梯和窗户之间的一致性，使这些组件被放置到合理的位置上。