在全球變暖、自然極端天氣頻發(fā)的當(dāng)下,準(zhǔn)確的氣象預(yù)測(cè)對(duì)于人類生命健康與社會(huì)發(fā)展至關(guān)重要。
例如,在農(nóng)業(yè)方面,為播種、灌溉和收割等農(nóng)事活動(dòng)提供參考,減少自然災(zāi)害對(duì)農(nóng)作物的影響,提高產(chǎn)量和經(jīng)濟(jì)效益;在航空領(lǐng)域,幫助航空公司合理規(guī)劃航班,避免因惡劣天氣導(dǎo)致的延誤和事故;在公共安全領(lǐng)域,為應(yīng)急管理部門的工作提供參考,減少人員傷亡和財(cái)產(chǎn)損失……
從科學(xué)研究的角度來看,氣象預(yù)測(cè)能夠幫助科學(xué)家更好地理解大氣的物理過程和氣候變化的趨勢(shì)。分析氣候系統(tǒng)的復(fù)雜性,探索極端天氣事件的成因,以及評(píng)估人類活動(dòng)對(duì)氣候的影響。
然而,現(xiàn)有的人工智能(AI)氣象預(yù)測(cè)領(lǐng)域面臨諸多挑戰(zhàn)。傳統(tǒng)數(shù)值天氣預(yù)測(cè)(NWP)系統(tǒng)依賴復(fù)雜流程和超級(jí)計(jì)算機(jī),難以快速改進(jìn),且改進(jìn)成本高昂。AI 模型雖具潛力,但多依賴 NWP 初始狀態(tài),性能受限,且在數(shù)據(jù)處理上面臨數(shù)據(jù)缺失和融合難題,影響其預(yù)測(cè)性能和實(shí)際應(yīng)用。
谷歌 GenCast、GraphCast、NeuralGCM 等 AI 氣象預(yù)測(cè)技術(shù)取得了顯著進(jìn)展,但它們?cè)跀?shù)據(jù)依賴性、預(yù)測(cè)時(shí)效和分辨率、模型復(fù)雜性和計(jì)算成本以及實(shí)際應(yīng)用的局限性等方面仍存在一些缺點(diǎn)。
作為新一代 AI 氣象預(yù)測(cè)系統(tǒng),由來自劍橋大學(xué)和艾倫圖靈研究所的研究團(tuán)隊(duì)開發(fā)的 Aardvark Weather 有望帶來氣象預(yù)測(cè)的范式轉(zhuǎn)變。
Aardvark Weather 是首個(gè)可用在臺(tái)式電腦訓(xùn)練和運(yùn)行的單一 AI 模型取代天氣預(yù)報(bào)流程所有步驟的系統(tǒng),速度快數(shù)千倍,可處理來自衛(wèi)星、氣象站和氣象氣球的多模態(tài)復(fù)雜數(shù)據(jù),生成 10 天全球預(yù)報(bào)。
相關(guān)研究論文以“End-to-end data-driven weather prediction”為題,已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。
論文鏈接:
https://www.nature.com/articles/s41586-025-08897-0
研究團(tuán)隊(duì)表示,這將為缺乏超級(jí)計(jì)算機(jī)、復(fù)雜基礎(chǔ)設(shè)施和專業(yè)知識(shí)的發(fā)展中國家?guī)碚嬲膬r(jià)值,以及在任何地方發(fā)揮作用,提高效率和準(zhǔn)確性,甚至減少天氣預(yù)報(bào)的大量碳足跡。
AI氣象預(yù)測(cè):更便宜、更準(zhǔn)確、更高效
傳統(tǒng)的數(shù)值天氣預(yù)報(bào)(NWP)需 3 步,包括:收集信息估計(jì)大氣當(dāng)前狀態(tài)、用復(fù)雜計(jì)算模型產(chǎn)生預(yù)報(bào)、處理預(yù)報(bào)確保其在特定位置可用。
過去兩年,AI 雖用于流程第二步,使其速度更快、更準(zhǔn)確,但第一步尚未取得更大進(jìn)展,仍需消耗大量資源。NWP 依賴數(shù)據(jù)同化、流體力學(xué)方程求解、后處理等多個(gè)步驟,需超級(jí)計(jì)算機(jī)支持,這使得其運(yùn)行成本高昂,且難以快速迭代和改進(jìn)。生成全球預(yù)報(bào)需約1000節(jié)點(diǎn)小時(shí),且依賴高分辨率模型。
在這項(xiàng)研究中,Aardvark Weather 通過其端到端的數(shù)據(jù)驅(qū)動(dòng)方法,顯著降低了氣象預(yù)測(cè)的計(jì)算成本。它還能夠在幾秒鐘內(nèi)生成全球天氣預(yù)報(bào),相較于傳統(tǒng)方法需要數(shù)小時(shí)甚至數(shù)天的計(jì)算時(shí)間,極大地提高了預(yù)測(cè)效率。
此外,Aardvark Weather 在多個(gè)氣象變量和預(yù)測(cè)時(shí)效上展現(xiàn)出與傳統(tǒng) NWP 系統(tǒng)相當(dāng)甚至更優(yōu)的準(zhǔn)確性,尤其是在處理小范圍極端天氣事件時(shí)表現(xiàn)出色。這種高效、經(jīng)濟(jì)且準(zhǔn)確的特性,使其成為未來氣象預(yù)測(cè)領(lǐng)域的一個(gè)重要發(fā)展方向。
具體而言,Aardvark 的速度更快。它是首個(gè)完全數(shù)據(jù)驅(qū)動(dòng)的端到端天氣預(yù)報(bào)系統(tǒng),比傳統(tǒng) NWP 更快、成本更低,其生成速度比現(xiàn)有系統(tǒng)快幾個(gè)數(shù)量級(jí),并且不依賴 NWP 預(yù)報(bào)產(chǎn)品。
在 4 個(gè) NVIDIA A100 GPU 上,Aardvark 由觀測(cè)數(shù)據(jù)生成完整預(yù)報(bào)大約只需要一秒鐘。相比之下,高分辨率預(yù)報(bào)(HRES)僅執(zhí)行數(shù)據(jù)同化和預(yù)報(bào)就需要大約 1000 個(gè)節(jié)點(diǎn)小時(shí),這還未考慮下游本地模型和處理。
而且,Aardvark 是端到端的。Aardvark 學(xué)習(xí)端到端模型提供了額外的功能,即能夠優(yōu)化系統(tǒng),以在任意感興趣的變量或區(qū)域上實(shí)現(xiàn)性能最大化。與傳統(tǒng) NWP 系統(tǒng)相比,機(jī)器學(xué)習(xí)系統(tǒng)不僅速度更快、計(jì)算成本更低,而且改進(jìn)和維護(hù)起來也容易得多。
該系統(tǒng)的簡單性,不僅使其更容易被已經(jīng)運(yùn)行 NWP 的用戶部署和維護(hù),還為發(fā)展中國家的一些地區(qū)提供了運(yùn)行定制 NWP 的潛力,這些地區(qū)的機(jī)構(gòu)通常缺乏運(yùn)行傳統(tǒng)系統(tǒng)的資源和專業(yè)知識(shí)。
此外,端到端預(yù)測(cè)還展示了能夠針對(duì)特定區(qū)域和變量優(yōu)化定制模型以最大化預(yù)測(cè)能力的潛力,這引起了農(nóng)業(yè)、可再生能源、保險(xiǎn)和金融等多個(gè)領(lǐng)域終端用戶的極大興趣。
那么,Aardvark Weather 是如何做到這些的呢?
Aardvark Weather 是一個(gè)深度學(xué)習(xí)模型,能夠從多種觀測(cè)數(shù)據(jù)源中攝取信息,并生成全球網(wǎng)格化預(yù)測(cè)和本地站點(diǎn)預(yù)測(cè),三個(gè)主要模塊組成:編碼器(encoder)、處理器(processor)和解碼器(decoder)。它在訓(xùn)練階段利用高質(zhì)量的再分析數(shù)據(jù),而在部署階段完全獨(dú)立于傳統(tǒng) NWP 產(chǎn)品。
圖|三個(gè)模塊各自的功能
首先,編碼器模塊整合多種來源的觀測(cè)數(shù)據(jù),包括網(wǎng)內(nèi)和網(wǎng)外觀測(cè)數(shù)據(jù),并生成網(wǎng)格化初始狀態(tài)。網(wǎng)內(nèi)觀測(cè)數(shù)據(jù)是規(guī)則網(wǎng)格上的數(shù)據(jù)模態(tài),而網(wǎng)外模態(tài)則是一組經(jīng)緯度位置上的數(shù)據(jù)。
為此,他們利用了深度學(xué)習(xí)在處理離網(wǎng)數(shù)據(jù)和缺失數(shù)據(jù)方面的最新進(jìn)展。這一過程采用非遞歸方法進(jìn)行狀態(tài)估計(jì),以避免傳統(tǒng)數(shù)據(jù)同化系統(tǒng)中的復(fù)雜性。
對(duì)于編碼器模塊,他們通過掩碼通道區(qū)分缺失數(shù)據(jù)與真實(shí)觀測(cè)數(shù)據(jù),使用 SetConv 層處理非網(wǎng)格化數(shù)據(jù),并利用 ViT 提取特征,最終輸出 24 個(gè)大氣變量的初始估計(jì)值,訓(xùn)練過程中采用 VLW-RMSE 損失函數(shù),并通過 AdamW 優(yōu)化器進(jìn)行優(yōu)化。
其次,處理器模塊以編碼器估算出的初始大氣狀態(tài)作為輸入,會(huì)在 24 小時(shí)內(nèi)生成網(wǎng)格預(yù)報(bào)。通過自回歸方式生成未來 24 小時(shí)的天氣預(yù)測(cè)。對(duì)于更長的預(yù)測(cè)時(shí)間,處理器模塊會(huì)將其自身的預(yù)測(cè)作為輸入,逐步推算未來的天氣狀態(tài)。
該模塊由 10 個(gè)獨(dú)立的 ViT 串聯(lián)構(gòu)成,每個(gè) ViT 負(fù)責(zé)預(yù)測(cè)未來 1 天的氣象狀態(tài)殘差(residual,即當(dāng)前預(yù)測(cè)與真實(shí)狀態(tài)的差異),并通過疊加殘差逐步生成 1 至 10 天的全球網(wǎng)格化預(yù)報(bào)。
例如,第一天的 ViT 以初始狀態(tài)為輸入預(yù)測(cè)第 1 天殘差,第二天的 ViT 則以第 1 天修正后的狀態(tài)為輸入,依此類推。
最后,解碼器模塊收到處理器模塊輸出的網(wǎng)格化預(yù)測(cè)數(shù)據(jù),任務(wù)特定的解碼器模塊將網(wǎng)格化數(shù)據(jù)轉(zhuǎn)換為具體的本地氣象預(yù)測(cè)。
該模塊采用 U-Net 為主架構(gòu),對(duì)全球預(yù)報(bào)數(shù)據(jù)進(jìn)行空間特征提取,捕捉局部氣象細(xì)節(jié),隨后通過 SetConv 層將網(wǎng)格數(shù)據(jù)插值到任意目標(biāo)站點(diǎn)坐標(biāo),并結(jié)合多層感知機(jī)(MLP)融入地形輔助信息(如海拔、坡度)。
邁向新一代端到端氣象預(yù)測(cè)系統(tǒng)
雖然 AI 氣象預(yù)測(cè)工具正在快速發(fā)展,但這仍然是一項(xiàng)實(shí)驗(yàn)技術(shù),需要在一段時(shí)間內(nèi)進(jìn)行嚴(yán)格的評(píng)估。要想在實(shí)際中部署 Aardvark Weather 這樣的端到端數(shù)據(jù)驅(qū)動(dòng)模型,必須考慮當(dāng)前模型的局限性。
與所有當(dāng)前的 AI-NWP 系統(tǒng)一樣,Aardvark Weather 尚未以 IFS 的分辨率運(yùn)行。需要進(jìn)一步研究以提高網(wǎng)格分辨率,并通過擴(kuò)散等方式生成預(yù)報(bào)集合。
此外,Aardvark Weather 在觀測(cè)數(shù)據(jù)的使用上也存在一些局限性。增加更多的觀測(cè)方式很可能會(huì)提高預(yù)報(bào)能力。同時(shí),還需要考慮如何將那些尚未有訓(xùn)練數(shù)據(jù)的新儀器的數(shù)據(jù)有效地整合到系統(tǒng)中。例如,可以通過對(duì)模擬數(shù)據(jù)進(jìn)行訓(xùn)練來實(shí)現(xiàn)。
對(duì)于氣象預(yù)測(cè)工具來說,颶風(fēng)和洪水等極端天氣尤其重要。不幸的是,這類罕見事件在訓(xùn)練數(shù)據(jù)中較少出現(xiàn),這意味著人工智能系統(tǒng)在這些現(xiàn)象上可能會(huì)遇到更多困難。
另一個(gè)需要考慮的問題是應(yīng)對(duì)觀測(cè)數(shù)據(jù)漂移以及數(shù)據(jù)隨時(shí)間的其他變化,比如氣候變化,這可能會(huì)降低基于過去數(shù)據(jù)訓(xùn)練的模型的準(zhǔn)確性。這可以通過定期使用最近幾個(gè)月的數(shù)據(jù)對(duì)所有模塊進(jìn)行微調(diào),從而適應(yīng)儀器特性的變化。
對(duì)此,研究團(tuán)隊(duì)表示,他們將在未來的工作中通過擴(kuò)展 Aardvark Weather 以支持更多其他預(yù)報(bào)變量,無論是在其網(wǎng)格化預(yù)報(bào)中,還是通過其解碼器模塊,都可以進(jìn)一步增加其功能。例如,Aardvark Weather 可以支持多種解碼器模塊,以提供不同類型的終端用戶預(yù)報(bào),如颶風(fēng)、洪水、嚴(yán)重對(duì)流、火災(zāi)和其他極端天氣預(yù)警。
另一個(gè)令人興奮的方向是,利用端到端系統(tǒng)進(jìn)行更長時(shí)間的預(yù)報(bào),來生成季節(jié)性預(yù)報(bào)產(chǎn)品。
此外,增加更多的觀測(cè)模式將允許對(duì)地球系統(tǒng)的其他組成部分進(jìn)行建模。例如,用于空氣質(zhì)量預(yù)報(bào)的大氣化學(xué)和用于海洋預(yù)報(bào)的海洋參數(shù)。
他們?cè)O(shè)想,Aardvark Weather 將成為新一代端到端氣象預(yù)測(cè)系統(tǒng)中第一個(gè)能夠應(yīng)對(duì)這些多樣化任務(wù)的系統(tǒng)。
作者:錦鯉