新智元报道
来源：googleblog
编辑：张佳、SHAO
【新智元导读】近日，谷歌发表文章详细介绍了一个即时进行天气预报的AI系统，1公里范围内、0-6小时的天气可以即时获取，以后再也不用担心天气预报不准啦。戳右边链接上新智元小程序 了解更多！
你被天气预报“坑”过吗？明明预报明天晴转多云，结果迎来了一场倾盆大雨……
现在，AI终于搞定这个难题啦。
近日，Google推出即时天气预报：1公里范围内、0-6小时的天气可以即时获取。
在一篇名为“Machine Learning for Precipitation Nowcasting from Radar Images”（根据雷达图像进行降水临近预报的机器学习 ）的论文中，Google AI的研究人员针对“降水预测的机器学习模型的开发”提出新的研究，该模型通过做出适用于近期的高度本地化的“无物理”预测，来应对这一挑战。
这种降水临近预报主要针对0-6小时的预报 ，即使在模型开发的早期阶段，也可以生成分辨率1 km的预报（数据收集延迟仅5-10分钟），而且优于传统模型。
海量观测数据，传统天气预报费时、效果差
世界各地的气象机构都有广泛的监测设施。例如，多普勒雷达实时测量降水，气象卫星提供多光谱成像，地面站直接测量风和降水等。
下图将美国大陆降水的假彩色合成雷达成像与地球同步卫星成像的云层进行了比较，说明了对多源天气信息的需求。雨的存在与云的存在相关，但并不完全相关，因此仅从卫星图像推断降水是一项挑战。
上图：显示通过地球同步卫星测量的云的位置的图像。
下图：显示多普勒雷达站测得的降雨位置的雷达图像。
但并非所有这些测量方法在全球都同样适用。例如，雷达数据主要来自地面站，一般无法通过海洋获得。
此外，覆盖范围因地理位置而异，即使某些位置具有良好的卫星覆盖范围，但雷达覆盖范围也可能并不理想。
并且，由美国国家海洋和大气管理局收集的遥感数据现在每天达到100 TB，这其中包括了大气动力学和多种效应，例如热辐射，植被，湖泊和海洋效应等等。如此海量的不同种类的观测数据，以至于预测系统难以将其全部纳入。
计算资源的可用性，在几个方面限制也了数值天气预报的能力。例如，计算需求将空间分辨率限制为大约5公里，这不足以解决市区和农田内的天气模式。
数值方法还需要花费几个小时才能运行。如果计算一个预测需要6个小时，那么每天只能运行3-4次，并根据6个多小时的旧数据进行预测，这限制了我们对现实情况的及时了解。
雷达对雷达预报
作为系统可以生成的预测类型的典型示例，考虑雷达对雷达的预测问题：给定过去一小时的一系列雷达图像，预测从现在起N小时之后的雷达图像，其中N通常为范围从0到6小时。
由于雷达数据被组织成图像，因此我们可以将此预测转化为计算机视觉问题，从输入图像序列中推断气象演变。
在这些较短的时间尺度上，演化主要受两个物理过程的影响：云运动的平流和云形成的对流，这两个过程都受到当地地形和地理的显著影响。
顶部（从左到右）：前三个面板显示了距现在60分钟，30分钟和0分钟之前的雷达图像，这是需要进行预测的点。最右边的面板显示60分钟后的雷达图像，即临近预报的地面真实情况。
左下：为了进行比较，通过应用光流（OF）算法对来自上方前三个面板的数据进行平流建模而产生的矢量场。光流是1940年代开发的一种计算机视觉方法，经常用于预测短期天气演变。
右下：OF做出的示例预测。请注意，它很好地跟踪了左下角的降水运动，但未能说明风暴的衰减强度。
研究人员使用数据驱动的无物理方法，这意味着神经网络将仅从训练例子中学习近似大气物理，而不是通过结合大气实际工作的先验知识。将天气预报视为图像到图像的转换问题，并利用图像分析中的最新技术：卷积神经网络（CNN）。
CNN通常由线性的层序列组成，其中每个层都是将某些输入图像转换为新的输出图像的一组操作。
通常，除了使用一组卷积滤镜对图像进行卷积之外，一层还会更改通道数及其所给图像的整体分辨率。这些滤镜本身就是小图像（通常仅为3x3或5x5像素）。过滤器驱动CNN的大部分功能，并导致诸如检测边缘、识别有意义的图案等操作。
CNN的一种特别有效的类型是U-Net。U-Net具有在编码阶段排列的一系列序列，各层会迭代地降低通过它们的图像的分辨率，然后在解码阶段中，由编码阶段创建的图像的低维表示扩展回更高的分辨率。下图显示了我们特定的U-Net中的所有层。
（A）U-NET的总体结构。蓝色框对应于基本的CNN层。粉色框对应于下采样层。绿色框对应于上采样层。实线表示层之间的输入连接。虚线表示跨越U-NET编码和解码阶段的长跳过连接。虚线表示各个层的短跳跃连接。（B）基本层中的操作。（C）下采样层中的操作。（D）上采样层中的操作。
U-Net的输入是一幅图像，其中包含过去一小时观测序列中每个多光谱卫星图像的一个通道。例如，如果在过去的一小时里收集了10幅卫星图像，并且每幅多光谱图像都是在10种不同的波长下拍摄的，那么我们模型的图像输入将是一幅有100个通道的图像。
对于雷达对雷达的预测，输入是过去一小时内30次雷达观测的序列，间隔2分钟，输出包含从现在起N小时的预测。
研究人员在美国的初步工作中，从2017年至2019年期间对美国大陆的历史观测数据进行了系统模型训练。将数据分为四个星期，其中每个时期的前三周数据用于模型训练，第四周数据用于模型评估。
新模型优于传统模型，机器学习可以即时预测
研究人员将预测结果与三种广泛使用的模型进行了比较。
第一个是来自美国国家海洋和大气管理局（NOAA）的高分辨率快速刷新（HRRR）数值预报。
第二个是一种光流（OF）算法，该算法尝试通过一系列图像跟踪运动的物体。
第三个是所谓的持续性模型，是一个琐碎的模型，在这个模型中，假设每个位置降水模式不会改变，降雨量与现在的降雨量相同。
相比之下，这似乎是一个过于简单的模型，但考虑到天气预报的难度，这是一种常见的做法。
可视化大约一天中所做的预测
左：在每小时的顶部进行的1小时HRRR预测，即HRRR多长时间提供一次预测。中：实际情况，即我们试图预测的事实。
右：研究人员的模型所做的预测。预测是每2分钟（每15分钟在此处显示一次），大约是HRRR做出的空间分辨率的10倍。注意，预测捕获到了风暴的总体运动和总体形状。
研究人员使用精确和召回图来比较模型。因为我们可以直接访问自己的分类器，所以我们提供了完整的公关曲线(如下图中的蓝线所示)。
然而，由于我们不能直接访问HRRR模型，并且持久性模型和操作性模型都没有权衡精确度和召回率的能力，所以这些模型只能由单独的点来表示。
可以看出，我们神经网络预测的质量优于所有三个模型(因为蓝线高于其他模型的所有结果)。然而，值得注意的是，当预测水平达到大约5到6小时时，HRRR模型开始超过我们当前的结果。
研究人员使用精度和召回率（PR）图来比较模型。由于可以直接访问自己的分类器，因此这里提供了完整的PR曲线（如下图中的蓝线所示）。
但是，由于无法直接访问HRRR模型，并且由于持久性模型和OF都没有权衡精度和召回能力，因此这些对比的模型仅由单个点表示。
可以看出，神经网络预测质量优于所有这三个模型（因为蓝线高于其他模型的所有结果）。重要的是要注意，当预测范围达到大约5到6小时时，HRRR模型将开始超过模型当前的结果。
左：小雨的预测。右：中雨的预报。
精密度和召回率（PR）曲线将预测结果（蓝色实线）与以下各项进行了比较：光流（OF）、持久性模型和HRRR 1小时预测。由于无法直接访问其分类器，因此不能为其结果提供完整的PR曲线。
机器学习的优点之一是可以即时预测，这意味着所有的预测是基于新的数据，而传统预报模型（HRRR）受1-3小时的计算延迟的影响，可以认为，计算机视觉方法对非常短期的预测有更好的效果。
相比之下，传统模型使用的数值模型可以做出更好的长期预测，部分原因是它使用了完整的三维物理模型——从2D图像中更难观察云的形成，因此机器学习更难学习对流过程。
将快速预测的机器学习模型和传统长期预测的模型结合起来，有可能产生更好的整体结果，这是研究人员未来工作的重点。
同时，也在考虑将机器学习直接应用于三维观测。无论如何，即时预测将成为实时规划、促进决策和改善生活的关键工具。
