這篇論文被三名評審全部拒絕，最後卻被領域主席接收了。三位評審給出的平均分不到 4 分，而且作者並沒有遵守雙盲評審，把項目開源到 GitHub 且公開了 contributor。

上個月，ICLR 2019 公開論文接收列表。據統計，ICLR 2019 共收到 1591 篇論文投稿，相比去年的 996 篇增長了 60%，接收論文 502 篇，其中 oral 論文 24 篇，poster 論文 478 篇。而在這 500 篇接收論文中，有一篇整出了幺蛾子。

今天，reddit 網友發帖質疑其中一篇接收論文《Encoding Category Trees Into Word-Embeddings Using Geometric Approach》，該論文的匿名評審結果是：4，4，3，三位評審全都給出了 rejection 的決定。然而，領域主席「力排眾議」，對這篇論文給出了 Accept (Poster) 的決定……

這還不算，這位網友還指出：雙盲評審並不「雙」盲，作者信息就隱藏在論文摘要里！論文寫作風格草率；作者對匿名評審人員的回復言論語氣惡劣……

這篇論文提出了一種將樹結構類別信息隱式地編碼為詞嵌入的新型方法，可以帶來 super-dimensional ball representation（n-ball 嵌入）。實驗結果表明 n-ball 嵌入在驗證未知詞類別上性能優越。

但，匿名評審似乎不這麼認為。

匿名評審意見

匿名評審 1：4 分，拒絕

這篇論文提供了很好的幾何學視角，但這並不是什麼新穎的想法，並且也沒有充足的量化實驗評估。注意！！！你們提交的論文中有包含作者信息的 GitHub（就在摘要里）和 Google Drive 鏈接（論文第四部分結尾）。我認為這是不被允許或不符合標準的。我決定以論文提交違規為由「自動拒絕」，並將此決定提交給論文的 meta-reviewer。

匿名評審 2：4 分，拒絕

任務有趣但評估薄弱，主要以

定性分析

為主。這篇論文動機不太清楚，實驗結果主要是定性的（及主觀的），而且論文可讀性很差，提出的方法貢獻不明。

匿名評審 3：3 分，明確拒絕

本文的不足之處在於，缺乏與其他著名研究的實驗對比。相關研究介紹不足。沒有表述清楚為什麼 N-ball 嵌入適用於分層結構。

從以上評審意見可以看出，三位評審對該論文評價不高，指出其缺乏創新性、嚴謹性以及基本的論文寫作技巧。但之後領域主席給出的結果卻讓人大跌眼鏡。

領域主席：接收為 Poster 論文

他在評審意見中寫道：

本文作者提出了一種非常有趣的方法，可以將分層信息融合到現有的詞向量中。這對同時需要知識庫信息和文本共現數的諸多任務都有幫助。儘管評審者指出了本文的一些缺點，但我認為這或許是將符號信息/集合/logic/KBs 與神經網路連接起來的關鍵一環，因此我建議接收本文。

對於這一決定，評審者似乎不太贊同，匿名評審 1 寫道：

至少要引用現有文獻吧。

Ta 指出，這篇論文的想法在其他論文中已經有提到。對比一下幾篇論文的圖就能很快發現其中的聯繫。對此，評審 1 評論道：對如此強相關研究的引用至少要在論文終稿中加上吧！

領域主席是否與匿名評審達成一致？

此前 CVPR 2019 程序委員會發布了 CVPR 論文評審流程，對論文評審工作具備普遍的指導意義。按照評審流程，評審員在給出論文評分後，領域主席（AC）會根據反饋提供初審結果。如果評審員提供相同的初審結果等沒有爭議的反饋，那麼 AC 可以快速做出初步決策。但是對於有異議的反饋或接收決策，AC 和評審員需要在更大的領域主席會議上討論，並在所有成員沒有異議的情況下完成接收決策。

根據這樣的評審流程，領域主席給出的接收決定應該是三位評審員都同意的結果。但是在領域主席給出的接收信息下，匿名評審 1 進一步表示至少要將極其相關的前期研究工作添加到論文中。

即使評審員與領域主席達成了一致，但從公開評論中我們可以看出，普通讀者對論文的接收結果仍然存有異議。有網友指出了一個基本的疑點：作者究竟有沒有違反 ICLR 的雙盲評審制度？Ta 表示：「把名字倒著寫並不是有效的匿名技巧」。

除了評審們提到的問題以外，我們還可以看到作者確實違反了雙盲評審制度。摘要中的 GitHub 鏈接清楚地包含了作者的名字（倒著寫）。基於如此明顯和刻意違反 ICLR 規定的做法，我懇請領域主席重新考慮接收此論文的決定。

作者回應

對匿名問題的質疑，作者給出的回應是：

儘管詳細意見無法接受，但匿名部分已經得到了謹慎處理。GitHub 賬號僅僅是為這個項目臨時創建的。讀者/評審都無法知道我們是誰。另一方面，ICLR 提交規定中允許論文發表在非同行評審網站上（例如 arXiv）或者研討會上。因此，匿名方面並不構成問題。

Reddit 討論

該事件在 Reddit 上引發了熱烈討論。

網友 geraltofrivia783：沒有必要揪著匿名問題不放

先不說其他的，我覺得作者有一點沒做錯。ICLR 並不介意作者將論文提交至非同行評審的平台 arXiv，而 arXiv 是非匿名的。在這種情況下，整個匿名機制根本不起作用。如果你不介意作者把論文提交至非匿名平台，且你谷歌一下就能找到作者的話，那又幹嘛要介意論文里的非匿名來源鏈接（GitHub/drive）？

網友 Visible_Layer：「誠實的」評審者不會去找作者的名字

我覺得這裡的問題是他們「鏈了」非匿名的代碼。把論文提交至 arXiv 沒問題，但是將論文的 arXiv 地址放到需要匿名評審的論文里就有問題。但如果「誠實的」評審者僅訪問論文和鏈接資源，他就不會知道作者的名字。

網友 geraltofrivia783 & Visible_Layer：「匿名」好像沒那麼難

我明白，但從「誠實的」評審跳到「好奇的」評審，只不過是進行了谷歌搜索而已。這不應該影響評審者的分數。別誤會，我完全贊成正確的雙盲評審程序。實際上，我最近就向 NAACL 提交了一篇論文，我發現他們的匿名評審政策很好。NAACL 表示，如果你重新提交一份來自 arXiv 的論文，那 arXiv 論文必須在摘要提交截止日期前一個月上傳。他們還提供了匿名上傳代碼和數據的方式。這樣就不用在匿名論文中添加 GitHub/drive 鏈接了。

針對「他們還提供了匿名上傳代碼和數據的方式。這樣就不用在匿名論文中添加 github/gdrive 鏈接了」，網友 Visible_Layer 表示：即使沒有官方渠道，要匿名也是輕而易舉。所以說這篇論文的作者違反了匿名政策——明明有很多匿名上傳代碼/材料的方式（幾乎毫不費力！），但他偏偏就上傳了個人賬戶信息。不管政策是否「公平」，它始終是政策，而作者違反了它。

網友 technical-difficulty：領域主席家人被作者綁架了？

創建該 GitHub 庫的 7 位貢獻者中，有 5 位是匿名賬戶，據說是為了掩蓋主要作者與作品的聯繫。而作者之所以會暴露是因為：1. 匿名 GitHub 賬戶（gnodisnait）是一作（tiansi dong）名字的倒寫。2. 該賬戶有 5 個單行提交。3. 存儲庫中的其它所有行（約 2000 行）都是由主要作者的主賬戶提交的。你自己看看，這真的很奇葩。我現在有點擔心領域主席的家人了，因為他能接受這篇論文的唯一合乎邏輯的理由似乎是敲詐。

網友 thny001：這種情況不是第一次見

我見過一篇類似的論文，被兩個評審拒絕最後卻被接收了，分數是 4，5，6。https://openreview.net/forum?id=S1M6Z2Cctm我對這個評審過程也是非常好奇。希望主席能給出一些解釋。有關於這些論文的私下討論嗎？如果有，這些討論可以公開給那些被接收的論文嗎？

網友 10sOrX 是今年的 ICLR 評審之一，Ta 表示：

是有私下討論的，儘管不一定需要。作者/評審/主席可以選擇他們的信息渠道。作為 ICLR 今年的評審之一，我選擇公開我發的所有信息。

ICLR 雙盲評審制度

ICLR 自 2013 年舉辦以來，經歷了從 open review 到雙盲評審的轉變。自 2018 年 ICLR 開始實行雙盲評審制度之後，爭議仍然存在，比如 ICLR 2019 評審階段評論區疑似有水軍出沒等，且允許作者在 arXiv 等平台發布論文的做法使雙盲形同虛設。而同樣實行雙盲評審制度的 ACL 大會規定投遞論文在一定期限內不得上傳到開放平台。

隨著人工智慧、機器學習的火熱，各大學術會議收到的投遞論文數量暴漲，論文評審引起了社區的廣泛關注。同行評審制度實施過程中出現的問題引起了極大重視，學術會議也逐漸尋求從制度層面上解決同行評審中的一些問題。比如，近期 KDD 2019 的徵稿通知中就明確表示：今年會議採取雙盲評審制度，論文接收結果公布之前投稿者不得將論文發佈於 arXiv 等開放性平台上。而且只有在論文中公開研究代碼和數據的論文才有資格競選「最佳論文獎」。

那麼，ICLR 的評審制度會不會因為這些事件發生改變呢？

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！