這位頂會領域主席的論文被自己的AI審稿系統拒絕了

今日，arXiv 上剛發布的一篇論文引起了極大的關注。該研究基於論文的視覺外觀訓練了一個分類器來預測一篇論文應該被接收或者拒絕。該論文作者為弗吉尼亞理工學院助理教授 Jia-Bin Huang，同時他也是 CVPR 2019、ICCV 2019 的領域主席（Area Chair，AC）。

這篇有趣的論文剛剛公開就在 Twitter 上引發熱議。這篇文章表示，好的論文版面非常重要。該研究中僅基於論文視覺外觀訓練出的分類器可以拒絕 50% 的壞論文，只有 0.4% 的好論文沒被接收。然而，作者把訓練出的分類器應用到這篇論文本身時，該論文遭到了無情拒絕，且拒絕概率高達 97%。真是自作孽啊（大霧……

當然，網上評論中也存在質疑。有網友表示，「一篇論文該不該被接收要由視覺外觀決定嗎？」

在了解此論文之前，讓我們先看下視頻演示：

作者在 Github 上放出了這篇論文的數據集與預訓練權重，感興趣的同學可以查看 Github 項目：https://github.com/vt-vl-lab/paper-gestalt。

以下是對此論文的介紹：

同行評審是社區中的其他專家對一份學術工作進行的全面審查，是傳播科學成果的關鍵一環。然而，頂會論文投稿量的破紀錄增長和合格評審者數量不足之間的矛盾使得同行評審過程舉步維艱（見圖 1）。為了審查所有的投稿論文，大會組織者不得不擴充評審者團隊，並不可避免地將一些資歷不深的學生也包括進來 [3]。這可能導致，花了幾個月或幾年時間寫論文的作者最後收到的是不合理、欠考慮或不公平的評審結果。

圖 1：需求。過去幾年，計算機視覺頂會論文數量激增，但合格的評審者數量增長卻沒有那麼明顯。

本文作者從兩方面解決這一矛盾。首先，他使用往屆大會的論文訓練了一個深度卷積神經網路，該網路基於論文的視覺外觀（即論文版面，paper gestalt [19]）決定論文質量。其次，他還為論文作者提供了一些診斷工具，幫助其改進以後要提交的論文。該深度神經網路的訓練數據是 2013 - 2017 年 ICCV/CVPR 大會和 workshop 論文數據，基於此神經網路的分類器在 CVPR 2018 論文上的分類準確率可以達到 92%。這一模型可以有效拒絕 50% 的糟糕論文，錯判的好論文僅占 0.4%。因此，該系統可以作為一系列論文評審過程的預過濾器。使用收集的計算機視覺論文版面（CVPG）數據集可以：1）可視化好／壞論文的判別區域；2）將一篇糟糕的論文直接轉換成一篇好論文。這些工具可以告訴作者版面的哪些地方有待改進，以及如何改進。

論文：Deep Paper Gestalt

論文地址：https://arxiv.org/pdf/1812.08775.pdf

摘要：近年來，計算機視覺會議的接收論文數量激增，但有能力的評審數量卻嚴重不足，這種矛盾給現在的同行評審制度造成了很大的負擔。在本文中，我們學習了一個分類器來預測論文是否應被接受，判斷依據僅僅是論文的視覺外觀（即論文的版面）。實驗結果顯示，我們的分類器可以有效地拒絕 50% 的糟糕論文，錯判的好論文僅為 0.4%，大大降低了審稿人的工作負擔。我們還提供了一些工具，利用它們向作者提供建議，作者可據此改善自己論文的格式。

學習識別好／壞論文

該研究利用深度卷積神經網路（ConvNet），僅基於論文的視覺外觀來學習判別表徵。

數據構建

數據源：研究者從計算機視覺頂會的接收論文列表中收集正樣本（好的論文）。具體而言，研究者收集的是計算機視覺基金會（Computer Vision Foundation，CVF）主辦的近期會議接收論文的 Open Access 版本，包括 2013 到 2018 期間的六屆 CVPR 和三屆 ICCV。

具體到數據獲取和預處理階段，研究者首先從 CVF Open Access 網站上抓取正負樣本，然後為方便分類過濾掉論文不足 7 頁的論文，僅保留論文頁數 ≥ 7 的論文。接下來使用 pdf2image 工具將下載的論文 PDF 文件轉換成圖像。最後進行數據預處理，移除論文首頁上方的頁眉，以防止數據泄露，避免分類器過度注意頁眉區域而忽略論文的整體視覺外觀。

表 1：計算機視覺論文版面（Computer Vision Paper Gestalt，CVPG）數據集。

圖 3：CVPG 數據集中的隨機樣本示例。從上圖可見，workshop 論文和大會論文在論文整體版面設計上是有區別的。該研究的目的是利用深度卷積神經網路學習這些模式的表徵。

實驗設置

本研究使用 CVPR 2018 的正負樣本作為測試集，2013-2017 年的大會／workshop 論文作為訓練集，使用 ResNet-18（在 ImageNet 數據集上進行預訓練）作為分類網路。

研究者將 ImageNet 數據集的 1000 個類別分類換成兩個輸出節點（好論文／壞論文）。然後運用遷移學習技術，使用隨機梯度下降對該預訓練模型進行微調以適應 CVPG 數據集，動量設為 0.9，訓練 epoch 設為 50，初始學習率設為 0.001，然後每 10 個 epoch 學習率衰減 0.1。為了適應類別不均衡的訓練數據，研究者使用加權交叉熵損失，並將訓練數據和測試數據中所有圖像的大小調整為 224 × 224 像素。訓練過程中未使用標準的數據增強技術（如隨機剪裁、水平翻轉或光度變換），以保持整篇論文的原始視覺內容和排版。該網路在 NVIDIA Titan V100 GPU 上訓練，訓練時間不到 30 分鐘。

實驗結果

圖 4：訓練出的論文分類器的性能特徵。x 軸表示假正率（壞論文被誤判為好論文的比例）；y 軸表示假負率（好論文被誤判為壞論文的比例）。

圖 5：壞論文的特定類別判別區域。（上）論文不足 8 頁是壞論文的特徵之一。（下）生成的熱圖集中在第一頁的右上角。這表明，前兩頁缺乏示意圖可能導致論文更難懂。

圖 6：好論文的特定類別判別區域。由類激活映射（class activation mapping，CAM）生成的熱圖突出了好論文的特定區域，例如第一頁解釋核心觀點的信息圖、展示實驗驗證細節的圖表、令人印象深刻的數學公式，以及來自基準數據集的彩色圖像陣列。

圖 7：本論文的分類結果。研究者把訓練出的分類器應用到本論文，結果網路以極高的概率（超過 97%）無情地拒絕了此論文，表明其不需要同行評審。

優化論文版面

除了對論文進行分類，強調判別區域，該研究還提供更多的建議，幫助論文作者改進所提交論文的版面。

圖 8：隨機生成的好論文樣本。這些隨機樣本捕捉到了好論文的版面模式：論文開頭有解釋性質的圖、論文中有彩色圖像，以及文本、數學公式、圖表的均衡布局。

圖 9：使用 CycleGAN 進行論文增強。訓練出的 bad-to-good paper 模型可用做論文修改輔助工具，為作者提供建議。典型的建議包括在前面增加信息圖、把圖做得色彩更加豐富、最後一頁寫滿，使其看起來是一篇好論文。上圖是壞論文逐漸調整為好論文的動畫演示（最好使用 Adobe Acrobat Reader 查看）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！