IJCAI 2019奇葩評審遭吐槽，程序主席發公開信回應

新智元原創

來源：知乎、IJCAI 2019

編輯：金磊、肖琴、大明

【新智元導讀】最近，IJCAI 2019可謂是火了一把，直接原因並不是放榜論文錄取結果，而是評審、打分、rebuttal等環節出現了嚴重甚至是可笑的「錯誤」，被拒稿的研究人員通過各種途徑在網路上描述親身經歷，可謂是怨聲載道。程序主席Sarit Kraus發表公開信，正式做出回應。

IJCAI錄取結果被吐槽太厲害，主席都出來放話了。

前幾日，國際頂會IJCAI 2019放榜論文錄取結果：共接收4752篇，錄取率僅為17.9%。相比去年的IJCAI 2018來說，接收論文數量增加了約37%，但是會錄取率卻反倒降低。

雖然錄取率的降低，會彰顯大會的嚴格或者提高大會的難度，但這次，可能是適得其反了。網友們已經在網路中已然是怨聲載道！

微博用戶評論

讓我們來看一下幾款較為經典的拒稿bug。

網友曬經歷：評審回復、打分、rebuttal，看了都想笑

審稿不專業，學生審稿，review意見寥寥幾句

有知乎匿名用戶表示：

中國人太多，審稿人大部分是學生，很多老師連自己要發表的論文都不會看，更別說看別人的論文了。Rebuttal一般也是從高分改低分，翻盤的可能性不大。

不過能夠中的論文，水平一定不差。

微軟亞洲研究院實習生，知乎ID：「張旭」表示：審稿人不熟悉所在領域，大量剛剛入門的學生參與評審並給出意見，無論從能力和態度上都沒有體現出對原作者的尊重，如果審稿人對論文的領域不熟悉，不應該硬著頭皮強行給出審稿意見。

另一位匿名用戶表示：

打分看心情？

斯坦福大學計算機博士後王鴻偉在知乎上分享了他在本屆IJCAI中的遭遇。

暫不提評審回復的大bug，光是評分就已經讓其哭笑不得了：「哪位神仙reviewer給評的分啊？感謝你對我之前工作的關注啊。」

無獨有偶，當然還有更加神奇的操作。

rebuttal就是個擺設，關係戶滿天飛

有知乎用戶吐槽：「審稿人審到自己的 paper。會議主席不組織複查。聽到各種審稿內幕，頭大。」

來看一下這位少年rebuttal的心路歷程。

兩個#25開頭的reviewer一直到rebuttal結束都沒有給出審稿意見；

diss作者數據集來源不清，於是rebuttal：「我們的數據不是隨機生成的，正如http://xx.xxx章節第n行已經提到的......」；

diss作者k-means的計算過程沒有寫，於是rebuttal：「原文yy.yyy章節第m行引用了原文，並在第zz.zzz章節第k行給出了計算中心點公式」，並且作者表示，如此經典的方法竟然需要做那麼詳細的介紹，震驚！

但無論如何rebuttal，結果還是擺脫不了被拒絕的命運。但是這幾個評審回復開起來是那麼的可笑，即便給出了合情合理的rebuttal，依舊起不到什麼作用。

如此看來，rebuttal=no rebutal了。

不過也有投稿者對評審表示肯定，知乎用戶「李冠岳」說：

對於大家吐槽的 review 有多不專業，我們的 review 都特別負責。review們的意見都非常有建設性，特別是那個 3 分的review，因為這個反饋，我們對我們後續的工作也有了更加清晰的認識了。今年接近 5000 篇接收 850 篇，17% 左右的接受率，我認為這個會議還是不會太水。當然我也期待能看到所有的 accepted papers 後再做出一個跟公正的判斷。

他的論文被IJCAI 2019接收了，meta-review 給的分數是6分，其他三個review 的分數是 3 分、7 分、7 分。

民意洶湧，IJCAI程序主席發公開信回應

凡此種種，讓被拒稿的作者們群情激憤，他們紛紛致信大會程序主席Sarit Kraus表達自己的不滿。審稿結果公布後，本想放鬆一下的她忽然發現麻煩並沒有結束，可能才剛剛開始。

上周五，Sarit Kraus發表一封公開信回應此次IJCAI風波。她在信中承認由於論文數量太多，審稿人數量不足，時間也頗為緊迫，她只能在現有條件下儘力把控審稿流程。對於作者們反映的審稿過程瑕疵、公平性不足、隨機性太強等問題表示理解。

關於未來解決這一問題，她提出應該進一步重視期刊，把期刊建設好，學術會議作為對學者是否升職、是否獲得研究經費的評估標準已經不太適合了。最後她號召大家進一步集思廣益，有什麼新想法都可以提。

IJCAI 2019 程序主席Sarit Kraus

以下是公開信原文：

當我周五發出通知消息時, 我很高興終於結束了長達6個月多的IJCAI審稿流程。另一方面,我也感到很難過, 因為我的意見，850篇獲得接受意見的論文作者們非常高興, 但也讓3902篇被拒稿的論文作者感到非常不安和惱火。

雖然我本人有很多論文被一些備受關注的學術會議接收, 但我收到的拒稿信比你們大多數人都要多。因此, 你們對審稿過程、公平性、隨機性太強的任何質疑, 我這些年來其實都感同身受。我要感謝沒有給我發投訴郵件的所有作者, 我會對少數向我發送投訴信的作者留言進行回復。儘管乍一看這可能不會改變已經做出的決定。

此次審稿中，我已在儘力降低評議過程的隨機性，減少每位 PC 和 SPC 收到的論文數量, 增加審稿時間,並儘力招募優秀的 acsmscc/pc 和其他審稿人員。他們幾乎都做得很不錯, 對此我非常感謝。然而, 面對向本次大會總共提交的4752篇論文, 審稿任務是極其困難的。我認為, 我們需要對經嚴格審稿的學術會議的概念進行重新思考和創新。

我堅信, IJCAI會議是聽取新想法、與其他研究人員見面和討論研究的活動。我的最優秀的項目是最初都是在學術會議上發表的。我認為目前學術會議的形式已經不再適合用來對學者的研究資助和職位晉陞進行評估。我們可以考慮把期刊建設得更好。

目前, 本會議有一條期刊通道——如果一篇文章曾在AIJ 或 JAIR期刊上發表，而且之前未在其他地方發表過，即可在IJCAI上發表。未來我們可以進一步限制每個人允許提交給 IJCAI 的論文數量, 或者你們有任何其他新想法，我們都會考慮。

總之, 我希望你們大家都能來參加 IJCAI, 不管你們的論文是否被接受。大家仍然可以向 IJCAI workshops環節提交論文, 或者只是來見見朋友, 聽聽有趣而刺激的講座也好。

此致

Sarit Kraus

IJCAI 2019 程序主席

周志華：審稿質量控制出問題，可以借鑒AAAI 2019

本屆IJCAI審稿如此多問題，也引起了許多AI領域專家的關注。

清華大學副教授、博士生導師劉知遠老師也參與了知乎上的討論，認為「感覺今年IJCAI 2019審稿質量控制出了一些問題……有些領域應該沒有很好地完成discussion階段的工作。」

南京大學人工智慧學院院長、AAAI 2019程序委員會主席周志華教授也發表了意見，他表示：「投稿量到好幾千之後，質量控制就變得極為困難，對主席是巨大的考驗。看起來今年AAAI的一些做法或許是值得IJCAI借鑒的。」

周志華教授也將擔任 IJCAI 2021 的程序委員會主席。

實際上，AI頂會論文評審的專業性問題絕不是僅在IJCAI 2019爆發的。隨著AI越來越火，學術頂會投稿量激增，而相應的合格的審稿人數量並沒有激增，審稿質量控制已經成了一大難題。

近3年AAAI和IJCAI會議的投稿量和錄取比率

今年1月舉行的AAAI 2019也被質疑審稿人不專業。

AAAI 2019接收投稿達7095篇之多，錄取率只有16.2%，審稿質量控制問題顯然更難。

當時，自稱國內知名高校計算機博導的「李老師」稱，在評審人對論文的審稿及處理意見上，評審及錄用決策存在公正與公平性問題，李老師 「感到非常遺憾與氣憤！覺得太有失公正公平與水準。」

當時，新智元第一時間聯繫了周志華教授，周志華教授當夜凌晨便給李老師回信，並告訴新智元，「這裡面確實涉及到一些關於人工智慧領域投稿的審稿觀念問題，但絕對沒有』黑幕』」。

周志華教授強調，「今年的 AAAI，我們已經特別加強了對傳說中的一些不良現象的防範。例如，不再允許審稿人看到全部投稿之後來挑選自己願意的文章，而只是給 150 篇左右文章供選擇。甚至 SPC 也不讓他們看到所有文章，只是給 300 篇左右文章供選擇。並且 PC 互相看不到身份，也看不到 SPC 的身份。這樣大幅度降低了 「找熟人」「打招呼」 的可能。」

周志華教授在回信中說：

現在人工智慧很熱，幾乎所有做 CS 相關、甚至只要是 IT 相關的研究，都或多或少地能與人工智慧找到聯繫。但是，從人工智慧領域本身的頂級會議來說，比較傳統的審稿專家會認為，投來的文章應該是對人工智慧領域本身有貢獻才合適。事實上，人工智慧領域傳統的幾個頂級會議，原本是有很不同的 flavor。近年來很多新人湧入（包括大量新審稿人），對這些傳統文化已不太了解，於是許多會議開始出現 「同質化」 現象。很可能有與您文章主題類似的文章通過了評審，而審稿人並沒有挑剔這個方面，甚至反而可能認為人工智慧在今天就應該 「泛化」 了、只要是用到人工智慧技術就都可以投過來。這些看法見仁見智，很難說哪種看法是對是錯。這可以看作投稿中 「運氣」 成分的一個體現吧。

最後，如果您了解到有損會議公正性的不良現象，建議立即向會議舉報。請相信，任何一個頂級會議的聲譽都是幾十年積累，來之不易，對有損會議聲譽的行為必然會嚴肅處理。

正如周志華教授信中所說，今年的 AAAI，不再允許審稿人看到全部投稿之後來挑選自己願意的文章，SPC 也不讓他們看到所有文章，PC 互相看不到身份，也看不到 SPC 的身份。此舉大大提高了質量控制的效果。

AAAI 2019 採用了更嚴格的盲審制度，能夠減少論文評審過程過招呼找關係的現象。或許這是本屆IJCAI應該借鑒的。

參考鏈接：

https://www.zhihu.com/question/323730180

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！