本文是论文FuXi: A cascade machine learning forecasting system for 15-day global weather forecast的翻译。
目录
Abstract
过去几年来，机器学习（ML）模型在天气预报领域的快速发展导致了一些最先进的ML模型，其性能优于被广泛认为是世界最佳基于物理的天气预报系统的欧洲中期天气预报中心（ECMWF）的高分辨率预报（HRES）。具体来说，ML模型在0.25°空间分辨率下的10天预报中表现优于HRES。然而，长期有效预报中的误差积累仍然是一个挑战，比如实现与ECMWF集合在15天预报中相当的性能。尽管已经采取了各种努力来减少积累误差，例如实施自回归多时间步损失，但是发现依赖单一模型无法在短期和长期提前时间上实现最佳性能。因此，我们提出了FuXi，这是一个级联的ML天气预报系统，以6小时的时间分辨率和0.25°的空间分辨率提供15天的全球预报。FuXi是使用39年的ECMWF ERA5再分析数据集开发的。性能评估表明，FuXi在15天预报中具有与ECMWF集合平均（EM）相当的预报性能。FuXi通过将Z500的提前时间从9.25天延长到10.5天，将T2M的提前时间从10天延长到14.5天，超过了ECMWF HRES实现的技能预报提前时间。此外，FuXi集合通过扰动初始条件和模型参数来创建，使其能够提供预报不确定性，并在与ECMWF集合的比较中展示出有希望的结果。
1 Introduction
准确的天气预报在人类社会的许多方面起着重要作用。目前，世界各国的国家气象中心使用数值天气预报（NWP）模型生成天气预报，这些模型模拟大气未来状态。然而，运行NWP模型通常需要高性能计算系统，一些模拟可能需要数千个节点花费几个小时。欧洲中期天气预报中心（ECMWF）的集成预报系统（IFS）被普遍认为是最准确的全球天气预报模型[1]。ECMWF的高分辨率预报（HRES）在水平分辨率为0.1°、垂直137层的情况下进行10天预报。然而，由于分辨率有限、参数化中物理过程的近似、初始条件误差（以及区域模型的边界条件）以及大气的混沌性质，天气预报中的不确定性是不可避免的。此外，天气预报中的不确定性程度和误差大小随着预报提前时间增加而增加。解决这种不确定性的一种方法是通过在NWP模型中引入初始条件和物理参数化的扰动来运行一系列预报。ECMWF的集合预报系统（EPS）[2]提供长达15天的预报，由一个控制成员和50个扰动成员组成。2023年6月推出的IFS Cycle 48r1升级了EPS的空间和垂直分辨率，与HRES相同[3]，这得益于一台具有增强容量的新超级计算机。升级之前，EPS以18公里的较低空间分辨率运行，并且由于用有限的计算资源运行51个成员的巨大计算需求，垂直层数较少，为91层。
近年来，人们越来越多地试图用机器学习（ML）模型替代传统的NWP模型进行天气预报[4]。基于ML的天气预报系统在几个方面优于NWP模型，包括更快的速度和由于使用再分析数据进行训练，可能比未校准的NWP模型提供更高的准确性[4]。为了方便不同ML模型之间的比较，引入了WeatherBench基准，用于评估中期天气预报（即3-5天）[5, 6]。WeatherBench是通过重新调整ERA5再分析数据[7]，从0.25°分辨率转换为三种不同分辨率（5.625°，2.8125°和1.40625°）而创建的。几项研究旨在改善该数据集上的预报性能[8–10]。例如，Rasp等人[8]使用了一个被称为ResNet的深度残差卷积神经网络（CNN）来预测500 hPa位势高度（Z500）、850 hPa温度（T 850）、2米温度（T 2M）和总降水（TP），空间分辨率为5.625°，预报期长达5天。他们发现ResNet模型在性能上与物理基线模型（例如IFS T42和T63，具有可比较的分辨率）相似。与此同时，胡等人[10]提出了SwinVRNN模型，它利用基于变分自动编码器框架的Swin变压器（SwinTransformer）的循环神经网络（RNN）（SwinRNN）模型，结合扰动模块来学习多元高斯分布。他们展示了SwinVRNN模型作为一个强大的基于ML的集合天气预报系统的潜力，具有良好的集合展布性和在T 2M和6小时TP方面与IFS相比更好的准确性，在5.625°分辨率下进行5天预报。
尽管ML模型在天气预报中表现出良好的性能，但由于其预报的低分辨率（例如5.625°），其实际价值受到限制。作为一项显著的突破，FourCastNet模型[12]是第一个为期7天提供0.25°全球高分辨率天气预报的模型。它将自适应傅里叶神经操作器（AFNO）[13]与Vision Transformer（ViT）[14]结合起来。然而，FourCastNet的预报准确性仍然不及HRES。SwinRDM [15]作为第一个在0.25°空间分辨率下胜过ECMWF HRES的基于ML的天气预报系统脱颖而出。SwinRDM将SwinRNN+（SwinRNN的改进版本，以1.40625°分辨率超过ECMWF HRES）与基于扩散的超分辨率模型相结合，将分辨率提高到0.25°。Pangu-Weather [16]在0.25°分辨率下的7天预报中表现出与ECMWF HRES相比的优越性能。此外，GraphCast [17]是一个实现图神经网络（GNN）的自回归模型，在10天预报中，在2760种变量和提前时间组合中有90%的情况下胜过HRES。
尽管ML模型在生成为期10天的天气预报方面表现出了令人期待的结果，但长期预测仍然具有挑战性，因为会出现累积误差。迭代预测方法将模型输出用作后续预测的输入，是开发基于ML的天气预报系统中常用的方法。这种方法类似于传统NWP模型中使用的时间步进方法[18]。然而，随着迭代次数的增加，模型输出中的误差会累积，可能导致与训练数据显著不符和长期预测中的不切实际的值。已经进行了许多研究来增强长期预测的稳定性和准确性。Weyn等人[9]提出了一种多时间步损失函数，以最小化多个迭代时间步中的误差。Rasp等人[5]将迭代预测与直接预测进行了比较，发现直接预测更准确。然而，直接预测的一个限制是需要为每个提前时间训练单独的模型。FourCastNet [12]模型经历了两个训练阶段：预训练阶段，在该阶段模型被优化以将一个时间步映射到下一个时间步，时间间隔为6小时；微调阶段，以最小化两步预测中的误差，类似于Weyn等人提出的多时间步损失函数。另一方面，Bi等人提出了一种层次化的时间聚合策略，用于Pangu-Weather的预报，为1小时、3小时、6小时和24小时的预报训练了四个独立的模型[16]。他们证明了运行24小时模型7次比运行1小时模型168次更好，因为它显著减少了7天预报中的累积误差。然而，他们承认，直接预测超过24小时的提前时间对于他们当前的模型来说是具有挑战性的。与此同时，Lam等人采用了在预训练后遵循的课程培训计划，以提高GraphCast在多个步骤中进行准确预测的能力[17]。增加自回归步骤会导致过多的内存和计算成本，从而限制最大可行步骤数。Chen等人[19]提出了一种回复缓冲机制，以模拟长提前时间的自回归预测，同时提高了计算效率并降低了内存成本。Lam等人的研究[17]显示，GraphCast在短提前时间时的性能下降，在长提前时间时随着自回归步骤的增加而改善。因此，使用单一模型无法在短提前时间和长提前时间上实现最佳性能。