<mark id="oztn4"></mark>
0
| 本文作者： 楊曉凡 | 2019-08-16 21:35 |
雷鋒網(wǎng) AI 科技評(píng)論按：學(xué)術(shù)論文，是科研人員記錄研究成果、與同行交流討論的最重要的載體；論文能在期刊、會(huì)議上發(fā)表，也就表明這項(xiàng)成果得到了同行的認(rèn)可。
不過對于對計(jì)算機(jī)科學(xué)領(lǐng)域的科研人員們來說，發(fā)表論文、尤其是在會(huì)議上發(fā)表論文的慣例面臨著重大挑戰(zhàn)。人工智能這一計(jì)算機(jī)科學(xué)等學(xué)科的衍生領(lǐng)域這幾年呈爆發(fā)式的增長，各個(gè)相關(guān)學(xué)術(shù)會(huì)議的參會(huì)人數(shù)、論文投稿數(shù)量也指數(shù)級(jí)地增長。
正如人類設(shè)計(jì)的計(jì)算系統(tǒng)會(huì)遇到可拓展性（scalability）問題一樣，學(xué)術(shù)會(huì)議論文投稿、評(píng)審的傳統(tǒng)模式在處理如今大幅增長的投稿論文數(shù)量時(shí)也帶來了許多令人不滿的結(jié)果，比如僅僅是按時(shí)審?fù)晁械耐陡逭撐木褪且淮筇魬?zhàn)，審稿人們也需要耗費(fèi)越來越多的精力在審稿過程中；作者們越來越普遍地報(bào)怨會(huì)議中的論文評(píng)審隨機(jī)性增加、不公正，但他們卻又不得不想盡辦法讓自己的論文被某個(gè)會(huì)議接收，有人甚至?xí)褂靡恍┩稒C(jī)取巧的辦法。
在 IJCAI 2019 開幕之前、公布論文接收結(jié)果之時(shí)，許多論文作者就表達(dá)了自己對結(jié)果的不滿，似乎這屆 IJCAI 的論文審稿過程中出現(xiàn)了不少的問題。IJCAI 2019 的 PC （program chair，程序主席）Sarit Kraus 當(dāng)時(shí)很快就給作者們發(fā)送了一封郵件，做了一些解釋，也給出了一些他的個(gè)人觀點(diǎn)。
當(dāng)然了，這并不能真正地解決問題，所以曾任 IJCAI 2017 程序主席的 Carles Sierra 在 IJCAI 2019 會(huì)議中組織了一個(gè)環(huán)節(jié)，邀請了多位資深、且（曾經(jīng)）擔(dān)任頂會(huì)主席的學(xué)者參加圓桌討論，系統(tǒng)、全面地重新思考如何認(rèn)識(shí)以及應(yīng)對當(dāng)前頂會(huì)中暴露出的問題。
參加討論的學(xué)者們?yōu)椋◤淖蟮接遥耗暇┐髮W(xué)教授周志華，將擔(dān)任 IJCAI 2021 程序主席；巴爾-伊蘭大學(xué)教授 Sarit Kraus，本屆 IJCAI 2019 程序主席；帕多瓦大學(xué)教授，F(xiàn)rancesca Rossi 曾任 IJCAI 2013 程序主席；蒙彼利埃大學(xué)教授 Christian Bessiere，將擔(dān)任 IJCAI 2020 程序主席；得克薩斯大學(xué)奧斯汀分校教授 Peter Stone，曾任 AAAI 2014 程序主席。
在圓桌討論中，學(xué)者們討論到了很多問題，也提出了很多深入的見解和新穎的解決方法。當(dāng)然了，這些措施很可能沒法很快就形成領(lǐng)域內(nèi)的共識(shí)并執(zhí)行下去，但充分的討論、好的點(diǎn)子開始形成，是解決一切問題的開始。
雷鋒網(wǎng) AI 科技評(píng)論記者全程聆聽了圓桌討論內(nèi)容，并把一些有價(jià)值的討論內(nèi)容摘錄如下。
如今各個(gè) AI 會(huì)議都很容易出現(xiàn)審稿人不足的狀況，所以幾位學(xué)者都表示了對同一個(gè)想法的支持：讓投稿論文的作者也承擔(dān)一些審稿工作（具體方式還有待討論，一個(gè)比較簡單的方式是今年投稿的作者需要明年參與審稿）。首先這直接增加了可以參與審稿的人數(shù)；其次，從個(gè)人和集體的關(guān)系來看，提交論文讓別人審是論文作者享受了來自整個(gè)學(xué)術(shù)社區(qū)的服務(wù)，那么他也應(yīng)當(dāng)為學(xué)術(shù)社區(qū)做出一些服務(wù)，比如審別人的論文。
另外大家也提到了反復(fù)投稿的問題。論文作者們?nèi)缃竦膽T例是，投某一個(gè)會(huì)議不中的論文，就在出結(jié)果以后投到緊接著的下一個(gè)同類型的會(huì)議，期待著新的審稿人給它更好的評(píng)價(jià)。這種做法當(dāng)然會(huì)造成嚴(yán)重的資源浪費(fèi)，而且還會(huì)培養(yǎng)出作者的惰性，不那么積極地按照審稿意見更新自己的論文。多位學(xué)者都提到應(yīng)該設(shè)立一些措施處理這種問題，簡單的做法比如針對同一篇論文的審稿意見可以在不同的會(huì)議之間通用，這樣時(shí)間順序靠后的會(huì)議就不必重新審這篇論文。
其它觀點(diǎn)還有
周志華：為了處理大量論文，論文審稿委員會(huì)需要設(shè)置多級(jí)結(jié)構(gòu)，比如 SAC/AC/SPC/PC，但這樣做也會(huì)減少直接審稿的PC 的人數(shù)；如今常用的 SPC 提名 PC 的做法也遇到了困難，多位不同的 SPC 分別提名 PC 名單，但其實(shí)很多名字都會(huì)重復(fù)，總的提名名單里人還是不多；以及資深學(xué)者很忙，經(jīng)常同時(shí)為多個(gè)會(huì)議審稿，同時(shí)還有自己繁重的工作，而會(huì)議的投稿量越來越大，導(dǎo)致為會(huì)議找到足夠的資深審稿人越來越困難，幾乎成為不可能的任務(wù).
Sarit Kraus：很多審稿人報(bào)怨時(shí)間安排太滿，不同會(huì)議的審稿之間可能有沖突，可以試試 PC、SPC、AC 等等每年只服務(wù)一個(gè)會(huì)，可以更少人、更投入地完成工作。
Christian Bessiere：快速發(fā)展的領(lǐng)域里常見的問題就是經(jīng)驗(yàn)學(xué)識(shí)較淺的學(xué)者多、資深的學(xué)者少。那么可以在審稿過程中根據(jù)資歷安排不同的任務(wù)或者做法，比如需要多位經(jīng)驗(yàn)學(xué)識(shí)較淺的學(xué)者共同決定一篇論文的質(zhì)量，但資深學(xué)者可以獨(dú)立決定一篇文章。
應(yīng)對大量的論文投稿，大家都提到需要設(shè)計(jì)快速淘汰機(jī)制，快速篩掉質(zhì)量不高的一部分論文當(dāng)然就可以減少工作量；更少的工作量，就可以專注地評(píng)審論文，提高評(píng)審質(zhì)量。可以在現(xiàn)有流程前增加一個(gè)快速篩論文環(huán)節(jié)，比如：根據(jù)摘要篩論文；要求提交短視頻或者論文演講的 PPT，根據(jù)它們篩論文；每篇論文只看 20 秒。但畢竟還是增加了額外的工作量。
Christian Bessiere 提到可以考慮采用全新的審稿和發(fā)表機(jī)制，比如采取每月發(fā)表的方式（而不是如今的集中在會(huì)議發(fā)表），對應(yīng)地，作者們就可以在全年中的任意時(shí)間投稿，然后論文評(píng)審和錄用結(jié)果公布都是每月進(jìn)行。這種方式可以克服很多目前會(huì)議集中審稿帶來的問題（包括上面提高的反復(fù)投稿也可以在這種機(jī)制下得到遏制）。（雷鋒網(wǎng) AI 科技評(píng)論注：ACL 2019 上也有一個(gè)討論論文評(píng)審方式的圓桌，也提到了這種方式）
周志華教授還談了一些他對論文評(píng)審過程的有趣的觀察：不同的論文分配機(jī)制有各自的問題，審稿人的專業(yè)性和想閱讀論文的興趣常常難以兼顧；由于稿件量很大，審稿人拿到的“一批文章”不具有采樣代表性，然而審稿人通常會(huì)在這一批文章中做“比較”。如果你的文章正好落在一個(gè)拿到一批相對較好的文章的審稿人手里，就更容易被拒稿；如果落在一個(gè)拿到一批相對差的文章的審稿人手里，就更容易被接受。這就造成了“運(yùn)氣”很重要，也間接導(dǎo)致不少作者甚至不做修改就投稿去碰運(yùn)氣。他提議可以考慮設(shè)置一些投稿成本，比如會(huì)議收取 10 美元投稿費(fèi)，論文被錄用就用來抵扣注冊費(fèi)，沒被接收就貢獻(xiàn)作為學(xué)生參會(huì)的旅行資助。
在這里，確保評(píng)審質(zhì)量是指希望審稿人可以認(rèn)真負(fù)責(zé)地審稿。多位學(xué)者都談到可以考慮使用積分（token）制度，提出了高質(zhì)量評(píng)審意見的審稿人、乃至被評(píng)為優(yōu)秀審稿人的學(xué)者可以獲得一些積分，然后各個(gè)會(huì)議就可以只允許有積分的人投稿多篇論文（第一篇投稿可以不需要積分）。周志華提出這種機(jī)制設(shè)計(jì)需要另外耗費(fèi)一批資深專家來評(píng)價(jià)評(píng)審意見，因?yàn)椴荒芎唵蔚赜梦淖珠L短來判斷評(píng)審意見是否專業(yè)到位，也不能完全依賴論文作者評(píng)價(jià)自己論文收到的審稿意見，畢竟作者們天然地對審稿人抱有敵意；Sarit Kraus 認(rèn)為審稿意見在不同會(huì)議間通用能鼓勵(lì)大家更仔細(xì)評(píng)審；而 Peter Stone 則提出這種機(jī)制可能和雙盲評(píng)審是有沖突的。
我們對“不當(dāng)行為”了解并不多，相信有些讀者也是這樣。在討論中，學(xué)者們提到的不當(dāng)行為包括：
許多論文會(huì)涉及利益沖突，比如審稿人會(huì)給來自自己同事的論文打更高的分?jǐn)?shù)，但給不熟悉的、乃至對于自己看出來來自競爭對手的論文打更低的分?jǐn)?shù)；
在論文評(píng)審過程中，審稿人之間故意泄露作者身份；
論文作者在投稿時(shí)為了提高中的概率，會(huì)把相同的研究寫成幾篇略有區(qū)別的論文分別投稿；
在評(píng)審過程中，有些作者收到了審稿意見，但是不愿意修改自己的論文，只想盡快投到下一個(gè)會(huì)議
針對利益沖突，周志華提出我們需要一定的利益沖突檢測機(jī)制，在論文分配過程中進(jìn)行調(diào)整。
Sarit Kraus 說道，投稿中的不當(dāng)行為其實(shí)是我們自己培養(yǎng)出的怪物：根本原因是年青學(xué)者有很大的壓力發(fā)表論文，如今許許多多的東西都和發(fā)表的論文數(shù)量掛鉤，所以他們也只能想盡辦法讓自己的論文能夠錄用。
Peter Stone 則提到了對整件事的“道”的想法：也許我們可以指定一些規(guī)則，規(guī)定了哪些事是不可以做的，但是我們?nèi)祟惪偸悄軙?huì)想辦法找到漏洞、繞過規(guī)則。改善這件事，我們需要更多鼓勵(lì)好的行為、讓好的行為成為大家效仿的樣板。
實(shí)際上，整個(gè)圓桌討論中主持人 Carles Sierra 都希望聽眾們也參與到討論中來，他把幾個(gè)話題都發(fā)表在了網(wǎng)絡(luò)留言板上，聽眾們可以自由地在其中寫下自己的意見。在前面幾個(gè)問題的討論結(jié)束后，現(xiàn)場聽眾也提出了一些問題，幾位圓桌嘉賓們也給出了有價(jià)值的回答。
既然會(huì)議式論文投稿有這么多問題，為什么我們還要舉辦會(huì)議，投期刊不好嗎
周志華：期刊的論文評(píng)審過程確實(shí)高質(zhì)量，但是計(jì)算機(jī)科學(xué)界注重會(huì)議的風(fēng)氣已是既定事實(shí)，改變這個(gè)風(fēng)氣需要很長的時(shí)間。計(jì)算機(jī)學(xué)科并沒有像物理的PRL、化學(xué)的JACS那樣整個(gè)學(xué)科都能投稿的“共同期刊”，甚至僅對人工智能來說也沒有各個(gè)子領(lǐng)域都能投稿的共同期刊。
Christian Bessiere：會(huì)議其實(shí)很有意義，是拓展人脈、和研究同一個(gè)課題的學(xué)者當(dāng)面深入討論的非常好的機(jī)會(huì)
Peter Stone：我們有 arXiv、會(huì)議、期刊三種不同的發(fā)表途徑，arXiv 最快、開放性最高，期刊則最慢、可以期待論文質(zhì)量也最高。三者同時(shí)存在是很好的互相補(bǔ)充
先準(zhǔn)備論文演講，投稿時(shí)根據(jù)論文演講PPT或者視頻決定是否錄用論文，這個(gè)主意好嗎
Sarit Kraus：“審視頻再?zèng)Q定是否要論文”是個(gè)很好的點(diǎn)子
Francesca Rossi：也許可以采用，不過需要注意，不同會(huì)議對好的演講的要求有所不同，綜合性會(huì)議需要讓其他領(lǐng)域的研究者也能聽得懂，而某個(gè)領(lǐng)域的專門會(huì)議就需要更深入細(xì)致的講解
Peter Stone：AAAI2019 已經(jīng)嘗試了先決定論文是否接收，然后讓作者提交 PPT 后決定這篇論文成為海報(bào)論文還是口頭報(bào)告論文。這雖然增長了審稿流程，但是能鼓勵(lì)大家更好地準(zhǔn)備論文演講（現(xiàn)在的很多論文演講就是站在臺(tái)上低頭念稿）
關(guān)于雙盲評(píng)審和 OpenReview 間的取舍
周志華：OpenReview不應(yīng)該泄露審稿人身份，否則審稿人會(huì)感覺壓力太大而不接受審稿邀請。但匿名又會(huì)遭遇其他問題，例如已經(jīng)出現(xiàn)了有論文作者邀請很多朋友撰寫正面意見導(dǎo)致正式審稿人難免受到誘導(dǎo)。
結(jié)語：面對這一快速增長的領(lǐng)域里出現(xiàn)的挑戰(zhàn)和問題，許多學(xué)者都主動(dòng)開始探尋背后更深層次的原因，并討論解決方案。有的方案也許是“推翻重來”式的，比如改成月度的評(píng)審和發(fā)表，但這也更體現(xiàn)了計(jì)算機(jī)科學(xué)家們探究本質(zhì)、勇于創(chuàng)新的品質(zhì)。相信領(lǐng)域內(nèi)的風(fēng)氣、慣例可以和這個(gè)領(lǐng)域一起不斷前進(jìn)、成長。
雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。文中周志華老師的發(fā)言已經(jīng)過周老師本人審閱訂正。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
