初賽亞軍競賽思路分享 -- NAIC AI+4K HDR賽項(xiàng)

雷鋒網(wǎng)按：經(jīng)過 一個(gè)多月的激烈角逐，首屆「全國人工智能大賽」初賽完成了比拼。經(jīng)過客觀評審和嚴(yán)格的主觀評審之后，官網(wǎng)公布了雙賽項(xiàng)初賽綜合排行榜，并宣布了初賽綜合排行榜前 100 支團(tuán)隊(duì)晉級復(fù)賽的獲獎(jiǎng)消息。

賽后，雷鋒網(wǎng)采訪到了初賽中「AI+4K HDR」賽項(xiàng)第二名獲得團(tuán)隊(duì)——lzq_cris。該團(tuán)隊(duì)共兩位參賽成員，均為算法工程師。針對晉級作品中的算法、預(yù)處理、后處理、工程設(shè)計(jì)等創(chuàng)新思路，以及他們眼中的「全國人工智能大賽」，兩位工程師給出了這樣的回答——

「AI+4K HDR」賽項(xiàng)官網(wǎng)：

https://www.kesci.com/home/competition/5d84728ab1468c002ca1825a    

賽前時(shí)分，我理解的 AI+4K HDR

雷鋒網(wǎng)：可以向我們簡單介紹一下你們的團(tuán)隊(duì)嗎？是怎樣的原因驅(qū)使團(tuán)隊(duì)參加了本次大賽呢？

lzq_cris：我們來自大疆影像部，團(tuán)隊(duì)成員一共為 2 人；在比賽整個(gè)過程中，我們兩個(gè)人會(huì)共同進(jìn)行論文閱讀和代碼編寫部分。

了解到這次的比賽是一個(gè)偶然，但之后我們發(fā)現(xiàn)大賽的主題與我們部分工作內(nèi)容相關(guān)性較強(qiáng)。因此，一來希望通過參加大賽鍛煉自身能力，同時(shí)也想借此機(jī)會(huì)認(rèn)識更多在降噪超分方面的大牛。

雷鋒網(wǎng)：針對 AI+4K HDR 賽項(xiàng)，團(tuán)隊(duì)是如何解讀該賽題的呢？能和我們簡單介紹一下你心中的 AI+4K HDR 嗎？

lzq_cris：看到題目之后，我們的第一反應(yīng)是超分和 tone mapping（即色調(diào)映射）。

更具體到 AI+4K HDR，我們的解讀是用深度學(xué)習(xí)的方法來實(shí)現(xiàn)傳統(tǒng) 4K HDR 中的某些模塊；同時(shí)，借助 CNN 強(qiáng)大的擬合能力和統(tǒng)一框架，使其有可能取得傳統(tǒng)方法難以達(dá)到的效果。

賽場秋點(diǎn)兵，改進(jìn)、突破與分解

雷鋒網(wǎng)：面對當(dāng)前的 AI+4K HDR 形勢，團(tuán)隊(duì)認(rèn)為可以從哪些方面實(shí)現(xiàn)改進(jìn)與突破呢？針對該賽道的比賽，團(tuán)隊(duì)的解題詳細(xì)思路是怎樣的呢？

lzq_cris：目前來看，EDVR 的框架是可用的，它借鑒了傳統(tǒng)多幀算法的思路。但是如果能進(jìn)一步約束某些模塊和白盒化，效果可能會(huì)更好；這也是我們認(rèn)為可以改進(jìn)與突破的點(diǎn)。

而在具體操作步驟中，首先我們會(huì)對比賽的數(shù)據(jù)進(jìn)行分析，從而將任務(wù)分解成多個(gè)模塊；然后再對各個(gè)模塊做改進(jìn)的嘗試；最后達(dá)到較理想的作品效果。

雷鋒網(wǎng)：作品的設(shè)計(jì)與后處理方面，都面臨了哪些挑戰(zhàn)？在算法優(yōu)化方面，又做了怎樣的調(diào)整來解決這些問題呢？

lzq_cris：在算法優(yōu)化方面，我們主要還是根據(jù)具體數(shù)據(jù)分析，然后在前后處理方面做了改進(jìn)，比如：需要考慮轉(zhuǎn)場等因素，然后在此基礎(chǔ)上借助了 EDVR 框架進(jìn)行修改。

因?yàn)樵u估指標(biāo)跟主觀視覺有關(guān)系，后處理算法好不好同時(shí)影響到主觀感受和 PSNR，這就面臨著 psnr 和視覺感官的權(quán)衡；最終，我們做了大量的實(shí)驗(yàn)來進(jìn)行驗(yàn)證和評估，才使得作品達(dá)到了較好的視覺效果。

雷鋒網(wǎng)：在比賽中是否有目前遇到無法解決的問題？如果有，你認(rèn)為目前該技術(shù)難點(diǎn)突破的關(guān)鍵在哪呢？

lzq_cris：在比賽過程中，我們最大的困難則在于沒有一個(gè)很好定義視覺效果和降噪效果指標(biāo)的情況下，如何更好的平衡評估指標(biāo)。

因?yàn)槿绻覀冎豢紤] psnr，那么最后去噪效果會(huì)非常明顯，但細(xì)節(jié)部分也都會(huì)被抹除；而只是考慮視覺效果的話，psnr 就需要降低。因此，這也是目前我們所遇到無法解決的問題。

賽后總結(jié)，實(shí)戰(zhàn)得真知

雷鋒網(wǎng)：從團(tuán)隊(duì)取得的優(yōu)秀成績，可以看出團(tuán)隊(duì)有很強(qiáng)的實(shí)力，那在本次競賽中，團(tuán)隊(duì)認(rèn)為自己都有哪些優(yōu)勢呢？

lzq_cris：參加本次比賽，我們本身由于工作原因其實(shí)沒什么優(yōu)勢，一沒有足夠時(shí)間，二沒有足夠算力。因此，我們有很多工程上的經(jīng)驗(yàn)和想法都沒來得及驗(yàn)證。

但在分析完數(shù)據(jù)和評估指標(biāo)的基礎(chǔ)上，我們嘗試了幾種網(wǎng)絡(luò)設(shè)計(jì)的方案，然后在性價(jià)比最高、出成績最快的前處理和后處理這些方面做一些實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果最終證實(shí)了，這種做法能夠更好的減少網(wǎng)絡(luò)復(fù)雜度、節(jié)省算力和帶寬；同時(shí)，通過后處理可使得網(wǎng)絡(luò)輸出盡量可控，也減少黑盒子的影響。

雷鋒網(wǎng)：團(tuán)隊(duì)獲獎(jiǎng)作品都有哪些創(chuàng)新點(diǎn)和值得選手們參考的亮點(diǎn)，可以和我們分享嗎？

lzq_cris：在創(chuàng)新方面，我們主要對兩個(gè)部分進(jìn)行了處理；一是分析數(shù)據(jù)，二是看評估指標(biāo)。其中，數(shù)據(jù)的問題我們采用了網(wǎng)絡(luò)設(shè)計(jì)這樣的方法去解決，而針對比賽本身的評估指標(biāo)，我們將重心放在了更好的視覺效果方面，并采用了與之相契合的數(shù)據(jù)內(nèi)容來實(shí)現(xiàn)。

我們也認(rèn)為對于每位參賽者而言，認(rèn)真分析數(shù)據(jù)和評價(jià)指標(biāo)會(huì)是取得優(yōu)秀成績很重要的條件；除此之外，考慮如何搭建能更好地處理視頻失真的網(wǎng)絡(luò)也是非常重要的內(nèi)容。

雷鋒網(wǎng)：你認(rèn)為這一比賽對開發(fā)者最大的鍛煉體現(xiàn)在哪里？能否結(jié)合團(tuán)隊(duì)每位成員的參賽經(jīng)歷和我們談?wù)剠⒓颖荣悓τ趥€(gè)人成長有哪些幫助？

lzq_cris：在整個(gè)比賽過程中，我們會(huì)發(fā)現(xiàn)整個(gè)數(shù)據(jù)量是比較大的，而且圖像退化過程也比真實(shí)場景要復(fù)雜；這些都要求開發(fā)者需要有較強(qiáng)的分析和驗(yàn)證數(shù)據(jù)能力。這樣，我們才能在此基礎(chǔ)上更好地設(shè)計(jì)網(wǎng)絡(luò)解決問題。

而對于這次的參賽經(jīng)歷，一方面，我們借此機(jī)會(huì)了解更多前沿的降噪、超分、HDR 等算法，另一方面，也結(jié)識了更多領(lǐng)域內(nèi)的專家，共同探討并改進(jìn)相關(guān)技術(shù)。

除此之外，我們本身的分析問題能力和處理數(shù)據(jù)能力都得到了一定的鍛煉，這對于今后的開發(fā)之路也是大有裨益。不管最終成績?nèi)绾危@都是一段收獲頗豐的經(jīng)歷！

更多信息，關(guān)注大賽官網(wǎng)：

http://www.china-ai.ac.cn 

雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。