ACL 2019 放榜！為免 review 「划水」，組委會做了哪些努力？

雷鋒網 AI 科技評論按：以 2906 份論文提交數再創自然語言處理頂會新記錄的 ACL 2019，在今日正式放榜！我們目前已經看到學界陸續傳來的「捷報」，比如中科院自動化所的宗成慶老師團隊，就有 3 篇論文被今年的會議錄用。為大家所取得的成績感到高興之餘，雷鋒網 AI 科技評論也專門翻譯了 ACL 2019 組委會的一篇博文，趁機了解 ACL 2019 為確保審稿質量做出了哪些努力。

隨著人工智慧的興起，自然語言處理越來越受到人們的關注，幾乎所有近期會議的自然語言處理領域論文都在提交數量上取得了突破。縱觀 ACL 的發展歷史，我們從未見過如此戲劇性的增長：短短一年時間內，論文的提交數量就從 1544 份變成 2906 份！下圖完整顯示了 ACL 過去 20 年的增長情況，涉及內容包括論文提交、審閱人員以及區域主席（高級）等情況。

要對如此大體量的提交論文進行審閱，需要一個運行良好的大型項目委員會。為此，我們創建了一種在項目委員會（ Program Committee）基礎上帶有高級項目委員會（Senior Program Committee）的會議結構。我們為高級項目委員會招募了一定數量的高級領域主席（共計 46 位，每個區域 2 - 4 名主席）以及領域主席(共計 184位，每個區域 3 -15 名主席)。我們對各個崗位的任務進行了嚴格區分，高級領域主席主要負責將論文分配予領域主席及審稿人，並為各自專註的領域提出建議；領域主席主要負責該領域內的一小部分論文，具體任務是與審稿人進行討論、寫 meta-reviews 以及提出初步建議。這種組織結構有助於彌補快速增長背後的問題——缺乏經驗豐富的審稿人。由於領域主席需要評閱的論文數量較少，因此可以更專註於審查過程。審稿人方面，我們今年配置了大量人員，共達 2281 名（ACL 2018 的數量為 1610 名）。

由於今年的論文提交數量是如此之多，以至於會議的組織（從開始的提交審查到最終的審閱決策)都要比往常更加費時。考慮到時間非常緊迫，所以我們尋找各種可以提高效率的方法。我們希望在提高工作效率之餘，還能提升作者和區域主席的用戶體驗。為此，我們減少了原來需要 3 天（或更少）短期周轉的截止日期。考慮到社區中工作和生活情況的多樣性（即人們實際上可投入於會議相關工作的時間/天數的巨大變化），那樣的截止日期充其量只會給所有人帶來壓力，且往往效果不佳。

具體來講，我們今年落實了以下幾點改變:

• 放棄論文投標階段。在過去，這個階段可能會花去幾天時間，隨著提交論文數量的高速增長，審稿人發現這個環節變得越來越耗時。拋開時間因素不談，我們還擔心審稿人會傾向於選擇個人喜歡，而非自己有資格評閱的論文進行審查(關於這個話題，有一篇很有意思的博客文章：https://naacl2018.wordpress.com/2018/01/28/a-review-of-reviewer-assignment-methods/)。原先我們計劃用 Toronto Paper Matching System（TPMS）給審稿人分配論文。遺憾的是，這個系統並沒有想像中的那麼有用（要想獲得最佳性能，需要我們提供更廣泛的審閱者資料)，並且該工作在很大程度上依然有賴於手動操作。總的來說，我們的高級領域主席在這方面的工作非常出彩，但我們依然認為這是一項需要在自動化方面加大投入的工作。

• 與 NAACL 2019 一樣，我們今年同樣取消了作者響應階段。作者響應階段最開始是審稿流程優化的產物，後來被證明耗時巨大（不僅僅作者，還包括審稿人與主席的時間），而且起到的作用很有限。因此，比起作者的回應，我們決定將更多時間和精力投入在促進項目委員會的內部討論上，以確保所有的討論、論文與評審結果都得到區域主席們的充分關注。這篇論文(預計將在 2019 年的 NAACL 上發表）總結了 ACL 2018 的相關數據:

Does My Rebuttal Matter? Insights from a Major NLP Conference

Yang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych and Yusuke Miyao

• 與近期一些會議採用的詳盡審查形式相比，我們的論文審查機制更為精簡，靈感主要源自 EMNLP 2018 （感謝 Julia Hockenmaier、David Chiang 和 Junichi Tsujii！）這個形式既有效保證審查的嚴謹性，也減輕了審稿人的審稿壓力，而且更能突出在決策過程中的關鍵點。

雖然我們採取了種種節約時間的措施，然而對於項目委員會主席、高級區域主席、區域主席以及審稿人來說，會議日程依然非常緊張。讓人感到有趣的是，儘管 ACL 在過去 20 年內有了顯著增長，然而日程安排卻幾乎與 1999 年沒什麼兩樣。另外還有一點，從提交截止至錄取通知的時長，也與 1999 年完全相當（都是兩個月），雖然論文提交的數量如今已增加了十倍，且個人電腦的體積及複雜程度變化極大。也許我們是時候採用這些會議的做法（比如 IJCAI、NeurIPS、SIGIR)了，即是將這個時長延長至 3-4 個月。隨著會議的進一步壯大，這對於維持審查質量來說至關重要。

此外，會議的日程還受到其他會議（如 NAACL 、EMNLP-IJCNLP）以及 ACL 指南和預印需求的影響。為此，我們與其他會議作出了協調一致的努力，避免審查期間出現重疊的情況(否則將導致會議可用時間被縮短)。評審周期一旦出現重疊，要麼作者不滿意（因為他們的論文無法提交所有會議)，要麼項目委員會主席覺得混亂（同時管理多個來源的論文提交以及論文撤回）。此外，審稿人也不可能同一時間對多個會議的論文進行審閱。即使今年沒有出現重疊的情況，許多作者仍然希望會議之間能有更長的間隙，以便能根據上一個會議的反饋重新修改並提交論文，然而過往情況是，一旦被一個會議拒稿，作者便沒有足夠時間在下一場會議開始的匿名階段以前進行論文提交。總的來說，今後除了要注意會議的排期外，截止日期的數量與安排同樣值得給予更多關注。

via http://acl2019pcblog.fileli.unipi.it/?p=156

雷鋒網 AI 科技評論

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！