嚴禁一稿多投：NeurIPS 2019剛剛斃掉了19篇論文

機器之心報道

參與：澤南、杜偉

上星期，人工智慧頂級學術會議 NeurIPS 2019 的論文評審結果剛剛放出。昨天，本屆 NeurIPS 程序主席、谷歌大腦研究員 Hugo Larochelle 等人發出了一篇公告，宣布大會剛剛因為一稿多投拒掉了 19 篇論文。這讓人們的神經再次緊張了起來。

改一改再投也不行？NeurIPS 的程序主席們表示他們還在審查一些疑似與其他 AI 學術會議投稿雷同的論文，未來拒稿的數字可能還會增加。

「隨著 NeurIPS 2019 大會的審稿工作完成，作者回應階段開始，我們現在要宣布有關程序主席（PC）審稿策略的更新了，」Hugo Larochelle 說道。

Deadline 過去了，論文還沒有審完

首先，對於作者來說論文提交的 Deadline 是一道坎。對於審稿人來說，評審 Deadline 也一樣刺激。

7 月 25 日至 7 月 31 日是 NeurIPS 2019 論文作者起草並提交論文評審反駁意見的時間。針對目前給出的評審意見，作者們可以進行解釋消解評審的顧慮，抑或澄清審查中可能存在的任何誤解和事實錯誤。隨後，作者的回復將通知提交給審稿人和大會區域主席（AC）之間進行討論，最終他們會給出評審建議。

大家可能已經注意到，論文評審的提交截止日 7 月 15 日和評審放出時間 7 月 25 日之間相隔多天。大會組織者表示，這一段時間原本計劃用於區域主席、高級區域主席和程序主席（PC）跟蹤逾期未審的論文，以在必要時緊急進行評審。

雖然大多數評審者按時完成了自己的評審任務，但仍然出現了大量評審者推遲提交評審，甚至在截止時間最後一刻選擇退出評審者行列的情況。所以直到 Deadline 之後 36 個小時，只有 73% 的論文獲得了至少 3 個評審結果，大約有 90% 的評審者提交了評審結果。

看來對於大會評審人員、區域主席和程序主席來說，他們度過了一段緊張繁忙的階段。

嚴禁一稿多投

正如會方在 Call for Papers 中所提到的，本屆 NeurIPS 2019 宣布與其他人工智慧學術會議展開了合作，以阻止一稿多投的現象。組織者選擇的合作會議與 NeurIPS 存在主題領域和評審時間上的交叉。

為了保證 NeurIPS 大會的內容具有原創性和新穎性，因此大會希望積極制止一稿多投的現象。此外，大會主席還希望避免論文作者利用系統漏洞的企圖，通過一稿多投來增加被接收的機會。找出這些一稿多投的論文也為大會增加了很多額外的工作量。

針對這種情況，我們已經與 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委員會主席展開合作。我們的流程管理人員運行相應腳本，對提交至 NeurIPS 的論文與這些學術會議上同一作者提交的論文進行對比。然後，我們檢查了相似度最高的論文，確定它們是否違反了雙重提交政策。

通過以上操作，我們發現並確定提交至 NeurIPS 的 19 篇論文與同一作者提交至不同學術會議的其他論文存在明顯重複。因此，我們現在已經拒絕接收這 19 篇論文。我們還識別出了一些疑似出現重複的論文，並指定領域主席進行仔細調查，以幫助我們確定一個公平的解決方案。

此外，大會還對所有相同作者提交至 NeurIPS 的論文中運行相似度腳本，從而突出顯示具有明顯重複的論文案例。大會主席並沒有親自檢查這些重複論文，而是指定相同的評審者和領域主席進行審核。然後，NeurIPS 會通知他們，這些提交的論文會被一同進行評估，以確定接收其中的一篇是否導致另一篇因重複而無法被接收。

更多有關作者回應和論文雙重提交的信息可參閱《NeurIPS 2019 徵文須知》。

鏈接：https://neurips.cc/Conferences/2019/CallForPapers?source=post_page---------------------------

有損論文評審公平性？

將相同的評審分配給類似的論文以避免它們「可能」的雷同雖然可以提高評審論文的效率，但顯然也會有損論文評審的公平性。人們對於這種新的評審做法頗有微詞，英特爾科學家 Randall Munroe 表示：「這是一個讓評審機制走向偏見的好方法，我很驚訝機器學習會議會變得如此墮落——故意加劇審查制度的偏見。」

Munroe 認為，如果把應對「一稿多投」問題的任務交給大會的領域主席（AC），但讓他們以無偏見的方式進行審查效果或許會好得多，因為這對於領域主席來說相對簡單，而且一稿多投且在兩個大會上都被接收的情況其實很少見。

對此，程序主席 Hugo Larochelle 並不贊同：「請注意，如果論文有高度重複性，我們實際上希望兩邊都把它拒掉，因為我們希望阻止這種投機取巧的策略。」

Larochelle 又表示，其實目前這種方法對於論文作者來說也有好處，論文評審可以在評論中提出自己的看法，而論文作者也可以在回復中進行反駁——如果讓領域主席來進行判斷，這些都就都做不到了。

看起來，為了降低大會接收論文的水分，組織者們正在採取各種手段。上周四，NeurIPS 2019 大會放出了論文的評審結果。對於每篇有效投稿的論文，作者們都得到了至少三個評審結果。

在知乎等社交平台上，人們紛紛開始曬（tu）出（cao）收到的評審結果。總體而言，大多數評審給出的建議非常中肯，但也有一些缺乏專業知識/沒有仔細看論文/故意反問的：

你文章里標點為什麼用那麼多？很難讀啊，我建議你把它修改一下。

當然，其中還有更加直擊靈魂的追問：

What is softmax?

最後，如果看到這些不淡定了，先吃一袋 NIPS 壓壓驚。

參考內容：

https://medium.com/@NeurIPSConf/author-response-4a58bbd101bf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！