施柏鑫老師博士畢業(yè)于日本東京大學(xué)，主要從事計算機(jī)視覺、計算攝像學(xué)方面的研究工作。施老師本次的報告從審稿的角度出發(fā)，講解一篇CVPR乃至所有計算機(jī)視覺的論文是如何被接收的，對整個寫稿流程解釋的非常詳細(xì)。
為什么給大家做這么詳細(xì)的介紹？主要有以下三個目的：第一，如果你是一個學(xué)生作者，當(dāng)你對整個流程非常清楚的時候，對你自己寫論文、投論文以及了解整個文章的處理流程，進(jìn)行學(xué)術(shù)交流是非常有幫助的。第二，很多同學(xué)都會有被拒稿的經(jīng)歷。剛才施老師講到整個審稿流程非常復(fù)雜，很多人經(jīng)歷了努力的過程，我覺得你應(yīng)該仔細(xì)去看待comments，大多數(shù)對你來說還是“富有營養(yǎng)”的。被拒稿的時候你可能會在網(wǎng)上吐槽“審稿人沒有看懂我的文章”。但是很多時候你要思考，是不是在論文寫作的過程中有些東西沒有解釋清楚，這種反思對你做科研會有幫助。第三，你自己做審稿人的時候，清楚流程讓你可以做到認(rèn)真負(fù)責(zé)，這對于我們整個學(xué)術(shù)圈會是一種非常良性的推動。以下是報告的主要內(nèi)容，AI科技評論進(jìn)行了不改變原意的整理。DDL之前
去年3月份，我通過智源平臺做了一個線上的分享，從作者的角度講計算機(jī)視覺的論文從哪里來到哪里去，包括論文寫作本身需要注意的一些技巧。今年換一個視角，從審稿人角度講。研究者對頂級會議的Deadline都很敏感，比如CVPR基本都是11月第二周或者第三周截止。但是，在這之前我們有很多的準(zhǔn)備工作要做，不管文章是幾個月趕出來，還是準(zhǔn)備大半年、一年，在Deadline這一天你都要把文章投出去。最近基本用的時間是太平洋時間的23點(diǎn)59分，這個Deadline還是挺友好的，一般是北京時間第二天下午4點(diǎn)鐘左右。但是2009年我投稿的時候的時間換成北京時間是早上8點(diǎn)，基本上前一天晚上是睡不了覺的，趕Deadline很辛苦，無論是文章的寫作方面還是實(shí)驗(yàn)方面，最后一天很可能慌亂地“一地雞毛”。因?yàn)槲沂亲龌谖锢淼囊曈X，這個方向的特點(diǎn)是要對真實(shí)場景在可控的環(huán)境下拍照，不是說你拿手機(jī)拍一張照片那么簡單，可能需要用一些專業(yè)的設(shè)備，或者自己去搭一些符合條件的場景。當(dāng)年我的第一篇CVPR，大概提前一個月就開始去做真實(shí)數(shù)據(jù)的拍攝，由于經(jīng)驗(yàn)缺乏，直到最后才找到一個合適的環(huán)境調(diào)出來合適的結(jié)果，把文章投出去。2010年時候CVPR論文的長度是加上reference 8頁，比現(xiàn)在稍微短一點(diǎn)。我們那時候?qū)懲暾撐奶峤缓缶突窘Y(jié)束投稿流程，其中少量的論文會有附加材料（補(bǔ)充證明等）。現(xiàn)在基本上所有的文章，尤其是深度學(xué)習(xí)方向，我們有太多的數(shù)據(jù)要測，有太多的結(jié)果要展示，就只能放到附加材料中。所以過了提交論文的DDL后，再往后延七天的時間用于準(zhǔn)備附加材料，這才是真正的DDL。然后，也許你就可以“躺平”慶祝了？DDL之后：先分配審稿人
那么，文章投出去了，附加材料也交了之后，論文會繼續(xù)經(jīng)歷哪些流程呢？第一，了解職能分工。大會主席（General Chair）主要負(fù)責(zé)整個會議的總體組織；與作者最相關(guān)的工作，由程序主席（Program Chair, PC）負(fù)責(zé)，即決定文章的錄取。文章投稿完成后，程序主席要找一些不同方向的領(lǐng)域主席（Area Chair，AC），把這些文章分給領(lǐng)域主席（AC），近些年每位領(lǐng)域主席大概有30篇左右的文章需要處理。程序主席不可以向會議投文章，因?yàn)樵谒囊暯窍聲吹疥P(guān)于文章所有的信息（包括作者和審稿人），不符合雙盲審稿原則。附件材料提交DDL過后7到10天左右，領(lǐng)域主席要做什么事情呢？第一件事情是處理需要重新分配的文章，比如發(fā)現(xiàn)自己（僅通過文章內(nèi)容）知道有些文章的作者跟自己有conflict，沒有辦法處理這篇文章。這樣的情況不會太多。第二，處理一些需要直接拒稿的文章（desk reject）。因?yàn)橛行┪恼赂静挥谜覍徃迦耍褐饕菦]有匿名的文章，包括附加材料。有個真實(shí)的案例，當(dāng)時有一篇論文投稿了以后，作者在收到了拒稿郵件，可能是因?yàn)殛?duì)友的問題，在附加材料的視頻中添加了作者信息導(dǎo)致的。這里有一個微妙的環(huán)節(jié)，就是對篇幅的限制，近些年CVPR和ICCV都要求篇幅不超過8頁，不包括參考文獻(xiàn)，嚴(yán)格來講違反上述規(guī)則也是desk reject。那多一行算不算，多了幾個詞行不行？其實(shí)AC在這個問題的處理上比較有人情味，超出太多是不行的，確實(shí)跟會議投稿規(guī)則有矛盾之處，完全有理由把這篇文章直接拒掉。但實(shí)際操作中會考慮作者到底是有意還是無意（最后慌亂中提交的論文）地超出篇幅限制，如果是不小心出現(xiàn)這個問題，其實(shí)還是可以容忍的。另外最重要的一件事情就是suggest（不是assign）審稿人，至少在計算機(jī)視覺這幾年的會議上是這樣處理的。就是為什么領(lǐng)域主席需要本領(lǐng)域有經(jīng)驗(yàn)的學(xué)者來擔(dān)當(dāng)，因?yàn)橐鶕?jù)他的經(jīng)驗(yàn)從審稿人里面找10個左右合適的人選推薦到系統(tǒng)中，其中會參考TPMS score、Google scholar、DBLP等數(shù)據(jù)。TPMS（Toronto Paper Matching System）是現(xiàn)在處理計算機(jī)視覺會議論文中常用的系統(tǒng)，它背后設(shè)計的算法會根據(jù)你評審的文章和提交的文章，計算一個匹配分?jǐn)?shù)作為參考。領(lǐng)域主席根據(jù)經(jīng)驗(yàn)對這些數(shù)據(jù)做權(quán)重后推薦審稿人，這其中需要重點(diǎn)考慮的是領(lǐng)域相關(guān)度。另外需要考慮的是Senior和Junior審稿人比例平衡的問題。因?yàn)榻鼛啄辏芏嗟腁I會議都面臨投稿量激增的問題。可能十年前我們在投稿的時候，如果有1000多投稿就感覺數(shù)量龐大，現(xiàn)在1萬多也不再新鮮。之前的頂級會議也基本上很少會找學(xué)生當(dāng)審稿人，但是現(xiàn)在面臨審稿人嚴(yán)重不足的問題，就需要很多學(xué)生審稿人，所以這個時候就要兼顧比例平衡。因?yàn)?/span>不同經(jīng)驗(yàn)的審稿人看文章的角度是不一樣的。第三步，系統(tǒng)真正指定審稿人，如今的計算機(jī)視覺會議基本是用計算機(jī)算法來指定審稿人的。算法調(diào)整的參數(shù)我們不得而知。也會充分考慮不同經(jīng)驗(yàn)審稿人的工作量，以2021年ICCV位列，全職的研究人員或者教師，的審稿上限是7篇paper，而學(xué)生是4篇。由于采用了領(lǐng)域主席推薦結(jié)合系統(tǒng)指定的方式分配論文，就近些年的計算機(jī)視覺會議而言，論文匹配是比較精準(zhǔn)的，以小同行評審為主。 匹配審稿人的時候，除了我提到的參數(shù)，還有一個可選的bidding環(huán)節(jié)。Bidding也就是讓審稿人對自己感興趣的paper進(jìn)行意向的表決，這個也會在系統(tǒng)指定論文的時候占有一定的比重。bidding環(huán)節(jié)審稿人能看到的只有論文題目和摘要。這也是摘要對于一篇論文最重要的作用。在這個階段，AC一般沒有權(quán)利重新指定審稿人，以前面系統(tǒng)匹配的結(jié)果為準(zhǔn)進(jìn)入下面的審稿環(huán)節(jié)。如果有不合適的審稿人，需要在后面的階段再進(jìn)行處理。開始審稿
接下來，審稿人拿到待評審的稿件后，可以有一些橫向的對比。小同行評審下，可能審稿人手里拿到的幾篇文章做的是非常相似（解決同一個問題）的工作。在這種情況下，如何從作者的角度讓文章迅速抓住審稿人的眼球？第一印象非常重要，我讀一篇文章5分鐘到10分鐘后會對它有一個大概的判斷，而往往寫意見的時候基本上不會與之前的判斷相差太多。我個人認(rèn)為，在看完introduction后，如果這篇文章給我的感覺像一個精彩的報告，而且我基本知道了作者提出并解決了什么問題，以及有怎樣的結(jié)果，并且非常流暢，印象就會非常好。反之，如果在introduction發(fā)現(xiàn)了好幾個語法或者常識上的錯誤，或者整體圖表精致程度、對于問題描述的準(zhǔn)確程度等發(fā)現(xiàn)了明顯的問題，那其實(shí)你就已經(jīng)幫助審稿人節(jié)省了很多的時間——他很容易找到理由把這篇文章拒掉。另外從技術(shù)的角度講，如果這個文章讓審稿人覺得一下就想透了作者要解決的問題，甚至知道別人做過，他一定不會給這個文章很高的分?jǐn)?shù)。反過來，如果審稿人給一個文章最高的分?jǐn)?shù)，有可能認(rèn)為這項(xiàng)工作他自己也想做，但是他沒有做出來，投稿人做的比他還好。我們接下來從審稿人的角度出發(fā)，探討他在審稿過程中會引發(fā)何種思考。首先，引用羅杰波教授去年7月一個非常精彩的talk中的觀點(diǎn)“己所不欲，勿施于人“。如果你作為作者不希望看到的意見，也不要作為審稿人給別人提出。我畫了一個重點(diǎn)關(guān)鍵詞——constructive，即建設(shè)性。比較粗淺的、專業(yè)性不是很強(qiáng)的審稿意見是，一上來就說這篇文章沒有novelty。而不指明哪個部分沒有創(chuàng)新性，或者哪個部分類似的工作已被人做過，現(xiàn)在提出的方法是在具體哪個已有的方法上做了一些簡單的更改等等。這些都需要給出具體的分析或者證據(jù)。另外還有一類常見問題。比如說實(shí)驗(yàn)，實(shí)驗(yàn)怎么做都有可能會有遺漏的，但是就簡簡單單評論一句實(shí)驗(yàn)不充分會有失公允。審稿人要告訴作者到底是哪一點(diǎn)不充分，讓作者知道這篇文章沒有贏得審稿人贊賞的原因是什么。所以說作為一個專業(yè)的審稿人，應(yīng)該在給出任何一個評價的時候，都要做到有理有據(jù)。催稿
late reviewer是一個常見的問題，一般來說會給審稿人一個月的時間去審稿。但是事實(shí)上，我記得我前幾天打開ICCV的系統(tǒng)的時候，可能距離評審公布的DDL還有兩三天，但當(dāng)時很多文章的審稿率是0%。這個時候領(lǐng)域主席會通過系統(tǒng)向?qū)徃迦税l(fā)郵件，來催促審稿人。這時就突然發(fā)現(xiàn)審稿人都是ddl戰(zhàn)士，在最后幾天審稿完成率數(shù)據(jù)提升明顯。所以留給審稿人的時間有限，他可能就用了最后幾天的時間看完論文，寫評審意見。因此，論文作者需要好好思考，如何能夠?qū)懗隹焖僮寣徃迦祟I(lǐng)會文章要點(diǎn)的、高品質(zhì)的文章。這里面有一個微妙的時間點(diǎn)，你作為作者在網(wǎng)站上看到的公布審稿意見的時間和你作為審稿人被通知提交審稿意見的時間會有幾天間隔，這中間的幾天用來做什么呢？就是留給AC來催促審稿人。有一些審稿人晚兩三天交，一般在容忍的范圍內(nèi)，可以繼續(xù)等。但是總會有一些審稿人一直在玩消失，這不是一個好現(xiàn)象。審稿是一個volunteer的工作，也是有責(zé)任感的工作，既然接了這份工作，就要按照規(guī)則把這個工作做好。然而總有一些審稿人是聯(lián)系不到的，這個時候AC就要找緊急審稿人救場。一般每篇文章收到至少有三條合格的審稿意見即完成審稿。但是大家最后拿到審稿意見后，可能會看到四條、五條，甚至更多審稿人的意見，那可能就是你的論文遇到了不負(fù)責(zé)任的審稿人，聯(lián)系不上原審稿人，AC就臨時找了其他審稿人，然而原審稿人過了DDL又交了review。除了催審稿人之外，AC還要檢查審稿人交的稿件是否符合審稿的要求。，例如過于簡短的審稿意見，有可能會被領(lǐng)域主席提醒希望修改。評審公布
終于在把review收齊后，就到了第五步，這時從投稿算起來已經(jīng)兩三個月過去了。這也是一個比較激動人心的時刻，作者會收到第一輪的分?jǐn)?shù)和文章評價。這里面有一個很關(guān)鍵的環(huán)節(jié)，就是利用7天的時間，以第一輪反饋?zhàn)鳛閰⒖迹瑢徃迦颂岢龅囊庖娮鲆粋€申辯（rebuttal）。申辯原則上是讓作者向?qū)徃迦私忉屍鋵δ阄恼碌恼`解，并不是要求大家做新的實(shí)驗(yàn)。為什么在rebuttal階段不讓做新的實(shí)驗(yàn)？主要是七天時間，趕出來的實(shí)驗(yàn)結(jié)果不太可靠。所以，如果是一個比較專業(yè)的審稿人，他給出的建議里面不會要求在此期間做大量實(shí)驗(yàn)，而主要是告訴作者哪些方面需要理清。我個人認(rèn)為rebuttal至關(guān)重要，不要放棄這個機(jī)會，除非你一開始投的時候?qū)@篇文章就是抽獎的態(tài)度，只是去試一試。如果你是認(rèn)真地在做這個工作，希望大家把這個環(huán)節(jié)堅持下來。但是如果你運(yùn)氣不好，遇到了奇葩的審稿人，怎么辦？吵一架？懟回去？這都不是正確的做法。這時作者和審稿人的原則是一致的，即responsible和respectful，大家都是討論學(xué)術(shù)問題，要以專業(yè)的態(tài)度進(jìn)行申辯，端正好態(tài)度，平和好心態(tài)，做到有理有據(jù)。計算機(jī)視覺論文多用一個5級的評價機(jī)制，一般1分代表最好，5分代表最差（這并不是審稿人打出的分?jǐn)?shù)，是因?yàn)橄到y(tǒng)里有1-5分五個選項(xiàng)）。大家習(xí)慣把三個數(shù)報出來，通過分?jǐn)?shù)判斷文章的評價。這個最初的分?jǐn)?shù)只是參考，后面AC和PC決定錄用的時候，主要依據(jù)rebuttal后改過的分?jǐn)?shù)。我自己也有很多“起死回生”的經(jīng)歷，可能你開始看到分?jǐn)?shù)后感覺不可能中，最終分?jǐn)?shù)卻出乎意料。比如后來審稿人承認(rèn)你的解釋合理，就把分?jǐn)?shù)改高。也有可能審稿人拒不承認(rèn)你的工作的創(chuàng)新性，但是如果AC認(rèn)為這項(xiàng)工作對于該領(lǐng)域發(fā)展有所幫助，也可以決定錄取。作者在rebuttal階段寫完解釋提交后，接下來對于審稿人還有很重要的討論環(huán)節(jié)。對于審稿人來說一定要open-minded，即要讀其他的review，做積極的討論。作為一個計算機(jī)視覺頂級會議的審稿人，這點(diǎn)非常重要的，因?yàn)锳C的判斷主要依據(jù)rebuttal后的分?jǐn)?shù)。但是其實(shí)并不是所有人都能做到，有些審稿人審?fù)昃拖Я耍髞硪膊粎⑴c討論，導(dǎo)致大家覺得rebuttal沒起作用。這里面非常關(guān)鍵的兩個點(diǎn)，仍然是responsible和respectful，大家都是在一個平等的心態(tài)下討論問題。為什么說rebuttal之后很多事情都可能發(fā)生？因?yàn)閷徃迦说挠懻搶ψ髡卟豢梢姡称恼卤澈罂赡芙?jīng)歷了激烈的討論才決定了最終的分?jǐn)?shù)。這個過程對于審稿人是匿名的，但是AC可以看見到底是誰在發(fā)言。其實(shí)就我個人在做領(lǐng)域主席的時候，會很積極推動審稿人之間的討論，尤其針對意見存在分歧的文章。這個時候有些審稿人比較認(rèn)真，聲音比較大，或者他對這個領(lǐng)域特別熟悉，或者有一些觀點(diǎn)他非常在理，這些都會對最終評審結(jié)果產(chǎn)生較大的影響。審稿人經(jīng)過最終的分?jǐn)?shù)確定后，大概在rebuttal提交后一個月左右的時間內(nèi)，領(lǐng)域主席通過開會最終決定這篇文章到底是錄取還是拒掉。此時，領(lǐng)域主席最重要的作用是告訴程序委員會到底哪篇錄用哪篇拒絕，同時讓作者明白這篇文章為什么被錄用或被拒絕。CVPR之前的傳統(tǒng)是線下的領(lǐng)域主席會議，但是去年由于疫情的影響選擇線上方式，開了7天（每天1-2個小時），會議期間會不斷重復(fù)分析這些文章，討論對爭議如何處理。這個過程是什么樣的？在拿到了最終的分?jǐn)?shù)以后，在開會之前，一般來說會對分?jǐn)?shù)進(jìn)行排序。比如說比較低分的文章，大于444的分?jǐn)?shù)文章先放在一起。然后把剩下分?jǐn)?shù)特別高、評價一致正面的文章（比如222以下）也放在一起。這些文章一般來說沒有太大的爭議，AC看后也會覺得評價很客觀，沒有什么明顯的瑕疵和問題，會提前寫好推薦。其實(shí)處于兩端的文章都不多，絕大部分的文章都存在爭議。比如有一些文章的分?jǐn)?shù)是224，一開始收到這個分?jǐn)?shù)作者可能還挺開心的。經(jīng)過rebuttal的時候，這個分?jǐn)?shù)就會變化。但是即使最終分?jǐn)?shù)是兩個偏向接收的，一個偏向拒絕，或者反過來，這篇文章都存在接收或者拒絕的可能。AC會根據(jù)每篇文章的分?jǐn)?shù)與其他AC討論進(jìn)行具體分析。包括向他自己搭檔的secondary AC做匯報，詢問這篇文章是否有問題。也就是說，每一篇都要拿出來討論，到底這篇文章里面審稿人的negative意見更有道理，還是作者rebuttal說的更有道理，要進(jìn)行反復(fù)論證。大家可能覺得AC的權(quán)力很大，但其實(shí)他的決定都得經(jīng)過和其他AC商量后做出，不能一個人決定自己處理的每篇文章。這里存在一些非常特殊的情況。推翻審稿人的一致性意見是要盡量避免的事情，一定要爭得其他領(lǐng)域主席和程序委員會的同意，才能推翻。所以這就是為什么AC工作中存在Triplet的組合，即三個人兩兩組合，然后一個當(dāng)Primary AC做主要負(fù)責(zé)人，另一個人做輔助。最后大家相互check，看這篇文章領(lǐng)域主席是否均衡考慮了所有的review，并且從里面適當(dāng)選取形成最終的推薦意見（metareview）。最終錄取和拒稿的決定肯定是兩個人以上的建議，保證公平正確。放榜
AC對決定錄取的文章ID進(jìn)行匯總后，所有AC上報給PC（也許形成一個txt文件）就是最終的錄取結(jié)果。在作為學(xué)生投稿的時候，我對這個txt還是非常“敏感“的。發(fā)榜時間有可能會提前一些于網(wǎng)站上公布的時間，可能因?yàn)槟茿C會議的效率比較高，大家已經(jīng)結(jié)束討論。有時候在正式公布之前，心血來潮刷一下官網(wǎng)，就真的有一個神奇的txt文件（也可能是網(wǎng)頁的鏈接）貼出來了，總之都是一堆數(shù)字。我記得當(dāng)時面對這些數(shù)字的時候，一般手是抖的，會戰(zhàn)戰(zhàn)兢兢地搜索，會反復(fù)確認(rèn)是不是自己的paper。每次的“開獎”都記憶猶新。以上就是我的分享，希望對大家有所幫助。上述分享借鑒了大量前輩的經(jīng)驗(yàn)。個人見解不準(zhǔn)確的地方，歡迎大家批評指正。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
