香港科技大學(xué)施行健：深度學(xué)習(xí)用于短臨降雨預(yù)報(bào)的一個(gè)基準(zhǔn)和一個(gè)新模型 | 分享總結(jié)

雷鋒網(wǎng)AI科技評(píng)論按：本文介紹了NIPS 2017論文： Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model 中提到的核心算法模型。在近期雷鋒網(wǎng)舉辦的GAIR大講堂線上直播課中，該論文的作者之一施行健給我們?cè)敿?xì)講解了論文中的核心思想以及模型的演進(jìn)過(guò)程，AI科技評(píng)論為大家整理了此次分享的主要內(nèi)容。

施行健，香港科技大學(xué)四年級(jí)博士，師從楊瓞仁教授。現(xiàn)于Amazon AWS Deep Learning組實(shí)習(xí)，崗位為應(yīng)用科學(xué)家。本科就讀于上海交通大學(xué)，導(dǎo)師為李武軍教授和王士林教授。他的主要研究方向?yàn)樯疃葘W(xué)習(xí)，時(shí)空序列分析和計(jì)算機(jī)視覺(jué)。他是apache/mxnet的開(kāi)發(fā)成員，同時(shí)是DMLC協(xié)會(huì)會(huì)員。

視頻回放鏈接：http://www.mooc.ai/open/course/369

分享主題：深度學(xué)習(xí)用于短臨降雨預(yù)報(bào)：一個(gè)基準(zhǔn)和一個(gè)新模型

分享大綱：

• 簡(jiǎn)要介紹短臨降雨預(yù)報(bào)和之前用于解決此問(wèn)題的ConvLSTM網(wǎng)絡(luò)。

• 介紹新的TrajGRU網(wǎng)絡(luò)

• 介紹HKO-7基準(zhǔn)

• 總結(jié)

分享內(nèi)容

短臨降雨預(yù)報(bào)是指對(duì)一個(gè)區(qū)域未來(lái)短時(shí)間段內(nèi)的降雨進(jìn)行預(yù)測(cè)。這一段時(shí)間通常是0到6小時(shí)。預(yù)測(cè)主要基于雷達(dá)回波圖或者是雨量陣的信息或者其他信息進(jìn)行輔助預(yù)測(cè)。

雷達(dá)回波圖和雨量有一個(gè)直接對(duì)應(yīng)關(guān)系。所以在文章中，我們只用了雷達(dá)回波圖預(yù)測(cè)。所以這個(gè)問(wèn)題就變成了及時(shí)通過(guò)雷達(dá)回波序列之前的幾幀來(lái)預(yù)測(cè)未來(lái)的幾幀。

這個(gè)問(wèn)題有很多應(yīng)用場(chǎng)景，和居民生活息息相關(guān)。比如預(yù)測(cè)道路的積水情況，為航班提供天氣指引，在城市內(nèi)給出短期強(qiáng)降水預(yù)警。由于大氣內(nèi)部復(fù)雜的動(dòng)態(tài)變化和短臨降雨要求的實(shí)時(shí)，我們需要大規(guī)模和高精度的預(yù)報(bào)，這個(gè)問(wèn)題給氣象領(lǐng)域和機(jī)器學(xué)習(xí)領(lǐng)域提出了非常大的挑戰(zhàn)。

傳統(tǒng)降雨預(yù)測(cè)有的兩種方法

NWP 是對(duì)大氣進(jìn)行一個(gè)物理建模，通過(guò)模擬物理模型去進(jìn)行之后的預(yù)測(cè)。這種方法的好處是對(duì)于更長(zhǎng)時(shí)間范圍的預(yù)測(cè)比較準(zhǔn)確，但是在頭一兩小時(shí)并不能進(jìn)行預(yù)報(bào)，所以對(duì)于短臨降預(yù)報(bào)不是使用NWP方法。

另一種在實(shí)際系統(tǒng)中的應(yīng)用是基于光流矢量的方法。它的思想是先通過(guò)兩個(gè)雷達(dá)回波圖像來(lái)估算光流矢量，這個(gè)光流矢量可以理解為這些云是往哪個(gè)方向運(yùn)動(dòng)的。然后去使用這個(gè)光流矢量是不會(huì)變的，對(duì)最后一張雷達(dá)圖進(jìn)行外推，得到最后的預(yù)測(cè)。這種方法在前一兩小時(shí)預(yù)測(cè)的準(zhǔn)確度更高。香港天文臺(tái)就是基于光流矢量做的短臨降預(yù)測(cè)。

關(guān)于新模型ConvLSTM介紹

2015年，我們提出一種卷積長(zhǎng)短期記憶網(wǎng)絡(luò)（Convolutional  LSTM），這種基于深度學(xué)習(xí)方法的特點(diǎn)是基于機(jī)器學(xué)習(xí)，端到端的去解決這個(gè)問(wèn)題的方案。

這種方案相比較光流矢量法有一些問(wèn)題。

第一，因?yàn)檫@種方案第一步是去估算光流矢量，第二步是拿光流矢量做外推，這兩步是分開(kāi)來(lái)做的，所以會(huì)存在累計(jì)誤差。

第二，光流矢量不是基于機(jī)器學(xué)習(xí)，所以不能發(fā)揮出雷達(dá)回波圖的優(yōu)勢(shì)。

第三，在預(yù)測(cè)光流矢量方法中采用的是相鄰兩幀，并不能考慮更長(zhǎng)時(shí)間段的一些關(guān)系，比如說(shuō)三幀，四幀，五幀的光流矢量是預(yù)測(cè)不到的。

但是用深度學(xué)習(xí)來(lái)解決這個(gè)問(wèn)題除了彌補(bǔ)光流失量法的缺陷，也有以下兩點(diǎn)難點(diǎn)。

• 我們要預(yù)測(cè)的東西是一個(gè)序列，所以說(shuō)多步預(yù)測(cè)是一個(gè)難點(diǎn)。

• 我們要處理的是時(shí)空數(shù)據(jù)，所以我們的模型要充分利用時(shí)空數(shù)據(jù)的特點(diǎn)進(jìn)行建模。

首先我們對(duì)這一問(wèn)題進(jìn)行簡(jiǎn)述。

通過(guò)用一個(gè)編碼網(wǎng)絡(luò)對(duì)我們可以觀測(cè)到的東西進(jìn)行一個(gè)特征描述。我們使用RNN 作為編碼器和預(yù)報(bào)器。

因?yàn)橐岬絉NN，如果使用LSTM作為encoder-forecaster的一個(gè)基本網(wǎng)絡(luò)，我們的模型可能是這樣的

這種方案的問(wèn)題是LSTM并沒(méi)有對(duì)時(shí)空序列做一些特殊設(shè)計(jì)。所以我們提出了Convolutional  LSTM, 它是專門針對(duì)時(shí)空序列所設(shè)計(jì)的一個(gè)結(jié)構(gòu)。他們之間的區(qū)別是一般的LSTM是用全連接來(lái)作為不同狀態(tài)之間的轉(zhuǎn)換，而ConvLSTM不是使用全連接而是卷積。

我們的做法是把LSTM換為ConvLSTM來(lái)建立最后的模型，比較效果圖

卷積LSTM網(wǎng)絡(luò)并不是最優(yōu)的，原因是在狀態(tài)轉(zhuǎn)換里面使用卷積相當(dāng)于把循環(huán)連接結(jié)構(gòu)變成了一個(gè)時(shí)空恒定的結(jié)構(gòu)，但對(duì)于自然界出現(xiàn)的大部分運(yùn)動(dòng)而言， 時(shí)空并不是恒定的。比如旋轉(zhuǎn)，放縮，所以用遞歸卷積來(lái)刻畫(huà)這種運(yùn)動(dòng)關(guān)系肯定不是最優(yōu)的。

第二個(gè)問(wèn)題是之前這篇文章衡量這個(gè)模型的方案式遠(yuǎn)遠(yuǎn)還沒(méi)達(dá)到實(shí)際應(yīng)用的標(biāo)準(zhǔn)。之前只是在一個(gè)很小的數(shù)據(jù)集上衡量，而且這是只選了一個(gè)閾值。

所以深度學(xué)習(xí)用于短臨降雨預(yù)報(bào)實(shí)際上還在一個(gè)初期階段，我們還不清楚到底如何來(lái)衡量這些模型，

為了解決這兩個(gè)問(wèn)題，我們?cè)谶@篇文章中提出一個(gè)新模型 TrajGRU(軌跡GRU), 它可以主動(dòng)去學(xué)習(xí)卷積結(jié)構(gòu)，我們還提出了一個(gè)新的基準(zhǔn)稱為HKO-7，它的特點(diǎn)是有些新的貼近實(shí)際生活的性能評(píng)估。

簡(jiǎn)單回顧一下基準(zhǔn)模型ConvGRU, 它是和ConvLSTM比較類似的模型。不同之處是ConvGRU有兩個(gè)門（gate），一個(gè)更新門（update Gate）,一個(gè)復(fù)位門（reset gate）。 ConvLSTM有三個(gè)Gate.

從ConvGRU到TrajGRU

我們還提出了一個(gè)Encoder-Forecaster 結(jié)構(gòu)

我們?yōu)榱死斫膺@個(gè)模型以及方便和基準(zhǔn)模型ConvGRU做一個(gè)簡(jiǎn)單的比較，我們?cè)贛oving MNIST++的數(shù)據(jù)集上做了一個(gè)實(shí)驗(yàn)。

MovingMNIST可視化效果圖

關(guān)于新基準(zhǔn)HKO-7 

這個(gè)數(shù)據(jù)是香港天文臺(tái)提供的2009年到2015年降雨雷達(dá)圖數(shù)據(jù)，簡(jiǎn)單的來(lái)說(shuō)我們用2009年到2014年數(shù)據(jù)作為訓(xùn)練和確認(rèn), 用2015年數(shù)據(jù)作為測(cè)試數(shù)據(jù)。

數(shù)據(jù)去噪聲圖

在實(shí)際生活中，不斷有新的降雨數(shù)據(jù)進(jìn)來(lái)，所以我們可以不斷用新數(shù)據(jù)動(dòng)態(tài)訓(xùn)練模型。實(shí)際上，大雨在現(xiàn)實(shí)生活中的影響是更加大的，我們的解決方案是在衡量模型的時(shí)候，對(duì)大的雨量給一個(gè)更加高的權(quán)重，就得到了新的B-MSE和B-MAE。

衡量結(jié)果

總結(jié)

在這篇文章中，我們提出了一個(gè)軌跡GRU，它的特點(diǎn)就是可以動(dòng)態(tài)學(xué)習(xí)網(wǎng)絡(luò)遞歸結(jié)構(gòu)，這種軌跡GRU在sythetic MovingMNIST++數(shù)據(jù)集和我們新的HKO-7基準(zhǔn)上都是比ConvGRU效果好的。

第二點(diǎn)，我們提了一個(gè)新的HKO-7衡量標(biāo)準(zhǔn)。我們發(fā)現(xiàn)所有的深度模型都比光流失量效果要好的。TrajGRU模型是表現(xiàn)最好的。

第三點(diǎn)，動(dòng)態(tài)的微調(diào)是對(duì)提升模型的表現(xiàn)是有效果的。

我們正在嘗試把這套算法融入到香港天文臺(tái)的系統(tǒng)里面。

雷鋒網(wǎng)視頻回放鏈接：http://www.mooc.ai/open/course/369

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。