從抽象到具體，研究人員利用神經(jīng)網(wǎng)絡將素描變照片

最近大火的應用Prisma恐怕?lián)糁辛瞬簧偃说能浝?，那種讓普通照片變身藝術(shù)作品的感覺確實非同凡響。不過，加個濾鏡誰都會，但能將抽象變得具體恐怕就不那么容易了。眼下，在荷蘭研究者的努力下，這一概念正在變成現(xiàn)實。

荷蘭內(nèi)梅亨大學的四位神經(jīng)科學家正在利用深度神經(jīng)網(wǎng)絡打造新的模型，利用該模型，用戶可以將普通的面部素描作品變成逼真的圖片。這項名為卷積素描反轉(zhuǎn)（Convolutional Sketch Inversion）的研究開始登陸了在線論文預印平臺arXiv（未經(jīng)同行評審的論文），不過現(xiàn)在已經(jīng)得到了歐洲計算機視覺會議的首肯。

神經(jīng)科學家們表示，他們的模型可以兼容各種藝術(shù)品，將自畫像轉(zhuǎn)換成普通照片。不過，恐怕其最大的受益者還是警方，因為原本不甚清晰的目擊者描述終于可以變成正常的照片了。

“我們做出這個模型也是受了neural style（讓機器模仿已有畫作的繪畫風格來把一張圖片重新繪制的算法）的啟發(fā)，”參與研究的神經(jīng)科學家Ya?mur Gü?lütürk和Umut Gü?lü說道。

此前，他們曾將一張德國蒂賓根市的風景圖轉(zhuǎn)換成了類似梵高名作《星夜》風格的油畫。“這次經(jīng)歷讓我們有了新的思考，反過來轉(zhuǎn)換會如何呢？梵高的《星夜》又會變成什么模樣？”Gü?lütürk和Gü?lü寫道。

在研究論文中，Gü?lütürk和Gü?lü講解了他們類神經(jīng)網(wǎng)絡軟件的工作方式：

“下面，我們來解釋下類神經(jīng)網(wǎng)絡是如何將素描轉(zhuǎn)換成普通照片的。首先，我需要搭建一個龐大的數(shù)據(jù)集，并為其填充各種素描和照片（成對的）。隨后，我開始向類神經(jīng)網(wǎng)絡展示素描，并要求它轉(zhuǎn)換成照片。起初，類神經(jīng)網(wǎng)絡的準確度一般。將其轉(zhuǎn)換的圖片與數(shù)據(jù)庫進行對比后，我會指出類神經(jīng)網(wǎng)絡的失誤。根據(jù)這些反饋，類神經(jīng)網(wǎng)絡需要不斷調(diào)整策略并最終給出精確的轉(zhuǎn)換圖片?！?/p>

 

圖注：類神經(jīng)網(wǎng)絡的作品，左邊的圖片是原版，中間為素描，右側(cè)的則是算法轉(zhuǎn)換出的圖片，精確度確實相當高。

熟能生巧，只要不斷地進行重復，該模型就學會了匹配素描和圖片。

“我們不斷重復最后兩步，”Gü?lütürk和Gü?lü說道?！白罱K，類神經(jīng)網(wǎng)絡終于能轉(zhuǎn)換出較為完美的圖片了。如果一切順利，未來類神經(jīng)網(wǎng)絡不但可以轉(zhuǎn)換看到過的素描，在轉(zhuǎn)換全新素描時也能有相當高的準確度。”

為了不斷訓練并測試這一算法，神經(jīng)科學家還用上了電腦生成的素描，這些素描主要基于CelebA數(shù)據(jù)集（大規(guī)模名人人臉標注數(shù)據(jù)集，包含20萬+的名人圖片）和LFW數(shù)據(jù)集（13000+網(wǎng)絡圖片）。

除了拿自己的臉部素描做實驗，神經(jīng)科學家們還用了三個荷蘭著名藝術(shù)家的自畫像（倫勃朗、梵高和埃舍爾）。

 

圖注：三位著名藝術(shù)家自畫像的轉(zhuǎn)換

眼下，Gü?lütürk和Gü?lü正考慮如何將該技術(shù)推向市場。據(jù)悉，藝術(shù)市場和法庭可能是首批沐浴新技術(shù)的領(lǐng)域。Gü?lütürk和Gü?lü表示：“我們的子公司已經(jīng)開始了前期準備，希望能盡快將該技術(shù)推向市場。”

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。