如果AI能做科研同行評審 那它就什麼都能做了

據連線雜誌網站報道，科研流程一般如下：你對大千世界中的一個細節產生好奇。你做出假設，進行試驗，最終收集到足夠的數據來支持或反駁你的假設。以上是科研中有趣的部分，接下來的工作就不那麼輕鬆了：你要寫一篇論文，提交到學術期刊，然後在同行評審環節中忍受一群同領域的匿名專家對你工作質量的百般刁難。

同行評審有其缺陷。人類（即便是科學家）會有偏向性，懶惰和自私。而且即使是科學工作者，有時候數學也會不很靈光。所以不可避免的，一些人想要將人工從同行評審中剔除，以人工智慧取而代之。計算機以其公正、不知疲倦和無自我身份定位著稱，而且它們在本質上精通算數。科學家並不只是乾等著二進位大腦來參與科研同行評審，期刊出版商已經在著手將之建立。

最近，一個名為「ScienceIE」的競賽為程序開發者設下挑戰。參賽團隊需要開發程序，要求這些程序能夠從科學論文的句子中提取基本事實，並將其同其他論文所提取的基本事實進行比較。「我的項目的大目標是幫助科學家和從業者更快速地獲得有關其研究領域的知識。」倫敦大學學院博士後AI研究員Isabelle Augenstein說，正是她設計了這個競賽。

競賽涉及到處理自然人類語言，這是諸多人工智慧難題中的一個。參賽者設計程序來解決三個子任務：閱讀每篇論文並確定其關鍵概念，按類型組織關鍵詞，以及識別不同關鍵短語之間的關係。競賽不僅僅是一場學術活動：Augenstein與世界最大的科學出版商之一的Elsevier簽訂了為期兩年的合同，為後者的圖書館開發計算機工具。

Elsevier出版超過7500種不同期刊。每個期刊的編輯都必須為每份來稿找到合適的審稿人。（2015年，70萬同行評審人員在Elsevier上評審了超過180萬份稿件，其中40萬份最終得到出版。）「能夠評審稿件的人通常僅限於該領域的專家。」數字地圖公司Descartes的CEO邁克·沃倫（Mike Warren）說。「你將這麼一小群擁有博士學位的專家按學科和子學科進行細分，最後，全世界可能只有100人有資格審閱某份來稿。」Augenstein幫助Elsevier使用科技手段為每篇稿件自動尋找合適的審稿人。

Elsevier開發了一套名為「Evise」的自動化工具來幫助進行同行評審。該程序能夠檢查抄襲（這只是搜索和匹配功能，還談不上AI），為審稿做最基礎的把關。此外還有處理作者、編輯和審稿人之間的工作流程。另外幾家主要的出版商也都有自動化軟體來幫助進行同行評審。Springer-Nature當下正在測試一個名為「StatReviewer」的軟體，確保每份來稿具有完整和準確的統計數據。

不過這些同行在能力和願景上都無法同Elsevier相提並論。「我們正在調查更有抱負的任務，」Augenstein說。「當你對一篇論文有疑問，機器學習模型能夠通讀論文並回答你的問題。」

不過並非所有人都被「機器人博士」的前景所迷惑。上個月，芬蘭赫爾辛基大學環境政策教授Janne Hukkinen和Elsevier雜誌《生態經濟學》的編輯為WIRED撰寫了一篇文章，提醒人們對完全自動的AI同行評審保持警惕：

「通過查詢出版商審閱著資料的資料庫，分析過往評審中審稿人和編輯之間的交流，並識別從提交到最終編輯拍板這一整個流程中的變化模式——學習型演算法完全可以接管從最初提交到最終決定的整個評審過程。更重要的是，將人工從同行評審之中剔除，能夠減輕力求開放的學者與反對開放的商業出版商之間的緊張關係。」

按照Hukkinen的邏輯，一個能夠勝任同行評審的AI同樣也可以動筆寫論文。最終，人類將成為科研中的遺留系統——冗餘、低效又過時。他最終的觀點是：「不經人類產生的新知將會動搖人類文化的基礎。」

不過Hukkinen的警惕有點憂慮過早。「儘管AI在象棋、圍棋和撲克這樣的遊戲中取得巨大成功，但仍然不能理解大多數普通的英文句子，更別說科學文本了。」艾倫人工智慧研究所(Allen Institute for Artificial Intelligence)首席執行官Oren Etzioni說。ScienceIE競賽團隊的實例或可為其提供佐證：最終獲勝的團隊在三個子任務挑戰中只達到43%的分數。

充斥著被動句式的科學論文晦澀至極，即便是在人腦看來也很難理解。所描述的對象經常隱身於層層前述之後，被動句式在日常語言面前顯得深奧難懂。語言學家將任何人類所寫的東西稱為「自然語言」，而自然語言在計算機科學家看來實在是一團亂麻。

「自然語言給AI帶來的一大難題是其模糊性」紐約大學計算機科學家Ernest Davis說。斯坦福大學名譽計算機科學家Terry Winograd有一個經典的歧義例子：

市議會拒絕給示威者許可，因為他們（擔心／主張）暴力。

（The city councilmen refused the demonstrators a permit because they [feared/advocated] violence.）

這句子你我都能看明白，動詞「擔心」暗示了「他們」指的是「市議會」而非示威者。我們輕而易舉地明白：示威者「主張」暴力；市議會「擔心」暴力。但是一個計算機大腦可是會在此花費經年累月的時間最終也還是搞不清楚到底哪個動詞指向哪個代詞。這種類型的歧義只是自然語言纏結的一個縮影，同形異義詞和敘事邏輯將讓AI更加困擾。

這還沒涉及科學論文中的具體問題，比如將文本論點同數據模式進行連接等。即便在純數學論文中這一需求也很常見。「從英語到數學中的形式邏輯不是我們可以自動化的。」Davis說。「這是最簡單的工作之一。它是高度限制性的，而我們理解目標。」心理學等同數學比較遠的學科更是如此。」在心理學論文中，我們幾乎無法檢查其論證的合理性。」Davis說。「我們不知道如何以計算機的方式來表達一個實驗。」

當然，一個完全自動的AI同行評審不僅需要對人類有所了解，還必須對其進行深入思考。「當你考慮AI問題時，同行評審可能是最難的一部分。因為同行評審最重要的職責是確保研究是新穎的，沒有重複前人老路。」沃倫說。計算機程序能夠查閱文獻，找出那些問題仍然懸而未決。但是它卻可能無力辨認出顛覆性的科學新發現。

俄勒岡州立大學AI研究員Tom Dietterich說：「也許我么只是需要改變我們做科學出版的方式。不是將我們的研究用英語寫成一個故事，而是將我們的意見和論據鏈接到一個正式化的結構中。比如一個涵蓋人類在某主題下所有知識的資料庫。」換句話說，將同行評審的程序電腦化，而不是其解決方案。在這一點上，人們所要重新編程的不是計算機，而是人類行為。