當前位置:
首頁 > 最新 > 同行評審制度的發展歷史和科學家的思考

同行評審制度的發展歷史和科學家的思考

童國梁/文

今天,同行評審已經是論文發表出版、科研經費申請以及學術獎勵的一項基本制度。評審制度起源於英國,美國是第二個採用這種辦法的國家,同行評審在美國發展、完善,已作為一種學術和科學研究中行之有效的制度深深根植於美國的歷史、文化和立法中。但是這種制度在美國學界也經常受到批評。有些美國學者認為同行評審看上去是個好機制,但實際上是有缺點和帶傾向性的。本文將對有關情況做些介紹,供讀者參考【1】。

從愛因斯坦的論文被拒發

的故事說起

1915年,愛因斯坦的廣義相對論論文發表,革新了自牛頓以來的引力觀和時空觀,創造性地論證了引力的本質是時空幾何在物質影響下的彎曲。1916年愛因斯坦在廣義相對論的框架內,又發表論文論證了引力的作用以波動的形式傳播。時至1936年,愛因斯坦和他的助手羅森( Nathan Rosen )展開了對引力波嚴格解的研究,而後,他們寫了一篇《引力波存在嗎?》(Do Gravitational Waves Exist?)的論文寄給《物理評論》(Physical Review)。其中他們認為引力波並不存在,那是違背現行科學共識的有爭議的主張。在論文提交6周後,《物理評論》主編約翰.托倫斯.泰特(John Torrence Tate)給愛因斯坦做了回復:

「在發表您的論文之前,我希望看到您對審稿人的各種評論和批評的反應告訴他。」

並附了關鍵審稿人的審閱報告副本。愛因斯坦很驚訝,他的論文竟會被送到外部審查。他在回復泰特的信中說,

他和羅森已經把我們的手稿寄給你了,但沒有授權你在印刷之前把它給專家看。我看不出有什麼理由要處理你的匿名專家的任何錯誤評論。基於這件事,我寧願在別處發表這篇論文。

愛因斯坦的回信語氣生硬,署名缺失,並表示他再也不會把他的研究論文發表在《物理評論》上。顯然,愛因斯坦生氣了。作為一個高級物理學家的自我展示,他認為他的名氣會讓他跳過同行評審的過程。然而,如果深入挖掘同行評審的歷史,將揭示出一個更加複雜的情景。在1936年,世界頂尖科學期刊稿件評審並不是一個普遍的做法。甚至也不是《物理評論》的普遍做法。愛因斯坦的前一篇1935年發表在《物理評論》上的論文,即愛因斯坦-波多爾斯基(Podolsk)-羅森的「EPR佯謬」論文儘管帶有挑釁性的反量子結論,但他們並沒有收到審稿人報告。儘管這次愛因斯坦的表現不夠謹慎,我們多少還得理解愛因斯坦在收到批評他的文章的匿名報告後感到的困惑。

80年後的今天同行評審是學術界和幾乎每一門學科論文發表和出版的既定政策,給科學雜誌投遞的論文在它們進入出版科學論文資料庫之前,將被審讀和評論,通常還需要修改。當然,讓這個故事更具趣味性的還在於這次犯錯的不是審稿人,而是大名鼎鼎的投稿人愛因斯坦教授。半年後事情發生了轉變,愛因斯坦對原論文作了大幅修改,在論文結尾處,愛因斯坦還專門對一位年輕的相對論專家羅伯遜(H·Robertson)教授表示了感謝:

「…我們原先曾錯誤地詮釋了我們的公式結果。我要感謝我的同事羅伯遜教授友好地幫助我澄清原先的錯誤。」

愛因斯坦修改後的論文正式發表在《富蘭克林研究所雜誌》(Journal of the Franklin Institute)上,標題也由原來的「引力波存在嗎?」改為「論引力波」(On Gravitational Waves),這與他1918年那篇奠定引力波四極輻射公式的論文同名,試想一下,如果不是那位《物理評論》審稿人的拒發意見,那麼愛因斯坦和羅森的那篇論文早就在《物理評論》上發表了。那不免會讓愛因斯坦作為「引力波先驅」的身份有所失色,而且也必將對引力波的研究和尋找產生重大影響。這個故事可以看成是同行評審成功的範例。在這裡還應該特別指出,經過多年考證,愛因斯坦在大幅修改後發表的論文中致謝的羅伯遜教授正是原來拒發愛因斯坦那篇論文的審稿人【2】。

雜誌審稿的起源

今天,同行評審這個過程或者制度已成為科學生活的基本制度。那麼,這種思想是如何變得如此根深蒂固的呢?這還要從同行評審制度起源和發展來認識。

關於同行評審起源問題幾乎都有相同的說法。1665年英國皇家學會給其秘書亨利.奧爾登堡(Henry Oldenburg )編纂倫敦皇家學會的《哲學彙刊》( Philosophical Transactions )的許可,此雜誌通常被視為世界上第一份科學雜誌。奧爾登堡立刻想到收集專家對他想發表的論文的意見。如此,同行審查誕生了,此後也是科學出版堅守的一部分。是這樣嗎?最近的歷史研究對這種說法提出了質疑。在現實中,奧爾登堡很少對發表在《哲學彙刊》的論文徵詢外邊的意見。他緊緊地控制著雜誌的內容,他有時還把自己稱為「作者」。該雜誌甚至還沒有正式的論文提交過程。奧爾登堡只會列印他感興趣的和他想可能是讀者有價值的東西,這些不僅包括實驗論文,還包括其他二手的實驗報告、近期書籍討論,甚至還包括他自己的私人信件。

雖然奧爾登堡的確是位科學出版歷史上關鍵角色,但他不是同行評審的發明人。這個榮譽屬於威廉·威厄爾(William Whewell),一位劍橋大學的博學者,也就是他創造了「物理學家」和「科學家」這兩個名詞。1831年威厄爾建議皇家學會應撰寫書面報告在《哲學彙刊》發表。他認為這些報告應該發表在學會的新雜誌《倫敦皇家學會會議錄》上,從而可以達到培植豐富多彩的科學討論和提供新的出版材料的雙重目的。

皇家學會採用了威厄爾徵集報告的建議,但不久就偏離了他想為公眾討論列印這些報告的願景。有少數報告確實出現在回憶錄中,但此類實踐在1830年代中期就停止了。相反,學會認為評審人的意見主要有助於避免在出版物中印製任何尷尬的東西。十九世紀中葉,《哲學彙刊》的評審幾乎完全是由兩個秘書管理,一個在物理科學,另一個在生物科學。秘書是社會上的名人,他們都帶一個助理秘書給提交《哲學彙刊》的論文安排評審人。評審人的報告被視為秘密公文用於社會的內部使用。多年來,審閱報告並沒有提供給論文作者,不管論文是被接受或被拒絕。

英國博學家威廉.休厄爾(1794–1866)。

1831建議皇家學會收集和發表關於《哲學彙刊》文件的報告。

因為作者沒有看到審閱人的報告,實際上沒有相當於今天的常見的「修訂並重新提交」的決定。給《哲學彙刊》的稿件或要麼接受,或被拒絕。然而,秘書們偶爾也會鼓勵《哲學彙刊》的作者在列印之前修改文章。物理學家斯托克斯(George Gabriel Stokes),曾擔任該學會物理科學秘書30多年,他經常通過個人信函建議作者修改。斯托克斯會引用《哲學彙刊》審稿人有用的評論,如果他本人審閱某篇論文的話,他也會給投稿人一份由他簽名的報告。

20世紀早期的評審

十九世紀末,科學團體的評審人觀點開始發生了一個重要的轉變。隨著有關的科學論文整體質量提高,評審不再是簡單地幫助保護科學團體或期刊的聲譽,評審越來越被視其工作的人是為了保護整個科學論文的聲譽和誠信,正如一位生理學家和議會成員邁克爾·福斯特(Michael Foster)把此說成是止住「真正的污水扔進科學純流」的洪水。

二十世紀早期評審人本身往往屬於精英科學家的小網路,那時的評審程序也不夠正式,論文作者通常看不到評審報告。例如,在《物理評論》中,評審人知道編輯會把他們的評論轉述給作者,並且經常提交簡短的、隨意的、偶爾諷刺的報告。直到1935年,《物理評論》為評審人提供關於論文的標準問卷。到了上世紀60年代為所有論文的系統評審成為一個官方政策。

以盈利為目的的商業期刊出版商甚至不可能有冷戰前那樣的系統評審。但如《哲學雜誌》(Philosophical Magazine)或《自然》(Nature)那樣的刊物則繼續把內部的編輯審議工作持續到二十世紀。那些期刊很重視雜誌的快速出版。許多人都是雄心勃勃的編輯,他們幾乎沒有理由在一個可信任顧問的圈子之外徵求任何人的意見來決定一篇論文的優劣。同樣的,許多英語世界中著名的雜誌也很依重編輯的判斷來選擇內容。這樣的期刊往往會計算在編輯職員中該國一些最受人尊敬的科學家的數目。例如,馬克思?普朗克(Max Planck)是一份受人尊敬的物理學雜誌《物理學報》(Annalen der Physik)編輯委員會的長期成員。一些物理學家質疑普朗克真會聽取來自外界的意見的來處理《物理學報》的稿件。

撥款組織外部評審的故事與雜誌的評審故事相似。洛克菲勒基金會等私人撥款組織在第一次世界大戰後不久常常將基金的決定權交給他們信任的中層管理人員手中。與政府或科學團體聯繫的撥款組織更傾向於使用外部評審人,但這種做法絕不是普遍的。美國政府於1948年成立美國國立衛生研究院(the National Institutes ofHealth)時,NIH的研究資助部門自己就首先評估撥款申請,很少或者根本不向外部評審人進行諮詢。相反,一些小的「研究課題」則由NIH附屬的科學專家首先來審查申請提案。有關資助的最終決定權掌握在國家衛生研究院的主管——國家癌症研究所等NIH組成機構的負責人的手中。

國家科學基金會根據聯邦法律於1950年成立,比NIH更依靠外部專家對申請提案提出意見。有些提案是專門為郵件評審發送的:提案的副本通過郵寄發給評審專家,這些專家則由回復郵件提交他們的意見。另一些提案則由設在華盛頓特區的專家小組評估。

然而,與NIH的情況一樣,NSF資助的決定權大部分掌握在NSF僱員手中。董事們負責決定資助哪項提案申請,評審人的意見被視為他們決定中的一個重要部分,但不是NSF接受或拒絕資助的決定性因素。此外,NSF和NIH都沒有向基金申請人分享評審報告。提交建議書的科學家將只收到政府僱員編寫的簡短摘要,說明接受或拒絕的主要原因。

冷戰前,期刊或撥款組織避開評審,而把重要權力擱在編輯和主管手上,這種做法並不被視為比依靠評審更不可靠或不科學。愛因斯坦的《物理評論》衝突的故事表明,此時研究者也習慣於編輯或基金會董事的決定,而並不把外部評審視為一個優越的體系。畢竟,一個作者為什麼應該相信一個匿名評審者的話,而不相信一個願意簽上自己名字並受人尊敬的編輯或項目主任呢?

公眾信任與同行評議

「同行評審」這個術語是在上世紀60年代第一次出現在科學出版方面。有趣的是,這個詞似乎沒有起源於學術雜誌。相反,「同行評審」最初被用來形容撥款組織的評審委員會——通常是NIH和醫學界。

「同行評議對於不同的人有不同的含義」作為醫生和研究者的歐文·H·佩奇(Irvine H. Page)在《美國醫學協會雜誌》(the AmericanMedical Association)的1973的一篇社論中說。他解釋道:

對大多數美國醫生這意味著PSRO[專業標準審查組織,審查遵守美國聯邦醫療法情況](the Professional Standards Review Organization, which reviewed compliance with American Medicare laws),對英國上議院是同行審查其他同行的反公德行為,對科學團體,則是研究項目和決定受贈人的財務和未來可能的研究前途。

值得注意的是期刊審稿並不在是佩奇所做的那些定義之中,儘管科學家和編輯們在20世紀70年代為此目的逐步採納了這樣的做法。使這個術語更普遍地使用的一個插曲是1975年的一次關於NSF基金的辯論,這次辯論將突出和鞏固同行評審對研究界日益重要的作用。美國科學家,特別是物理學家,在曼哈頓項目的成功中進入了冷戰時期。1953年美國政府在科學上的花費比戰前的數字增加25倍——而科學的公眾支持也是1957年蘇聯發射人造衛星進入太空之後。

但是,美國科學基金的熱情證明是有限的。早在1966年初,由國防部的一項研究認為,美國國防部支持的基礎研究對於該部門的目標,例如新武器,尚未取得重大進步。這項研究發表在稱為「項目後知(認識)」(Project Hindsight)的報告中,其結果引起了一些立法者和評論家對寬泛的科學花費的質疑。此報告是一個早期提示:科學家在冷戰初期獲得的社會和財務狀況可能有風險。

1975年兩個超級大國之間的冷戰已經進入了一個相對緩和的平靜時期。跟上蘇聯的目標似乎不那麼要緊了。此外,美國遭受經濟危機。幾家主要產油國拒絕向美國出售石油,以報復美國在1973年在阿拉伯-以色列戰爭中對以色列的支持,石油和天然氣供應萎縮。經濟增長停滯。通脹和失業率飆升。國會迫於稅收的減少和削減開支的壓力,一些立法者把目光投向了美國國家科學基金會。

NSF的最傑出的對手是威斯康星州民主黨的一位善於宣傳的參議員威廉·普羅克斯邁爾(William Proxmire)。1975年3月,普羅克斯邁爾開始設立他著名的金羊毛獎,獎給他認為當月最糟糕的使用納稅人錢的政府項目。最早的金羊毛獎給了威斯康星大學人際吸引力的社會學研究以及心理學家羅納德·哈欽森(Ronald Hutchinson)關於為什麼人類,老鼠和猴子在壓力情況下咬牙切齒的兩個項目。普羅克斯邁爾呼籲NSF「離開愛的訛詐」,宣稱哈欽森的「廢話」「愚弄了美國納稅人。

參議員威廉.普羅克斯邁爾(1915–2005)

20世紀70年代對NSF做了直言不諱的批評,還是一個尖刻的新聞稿的好手。

同時,另一個名叫約翰·康蘭(John Conlan)的雄心勃勃的共和黨議員開始批評NSF在其教育計劃(特別是在男人方面教育)的花費,這些項目包括:一個研究課程(MACOS)和個性化科學教學系統(ISIS)。MACOS 是一個社會科學的課程,在康蘭的家鄉亞利桑那州70年代初期以來一直存在爭議,批評者聲稱它提倡道德相對主義。ISIS項目中針對第四年級學生的一項計劃被指責對生殖教育過於露骨。

他在尋求發現為什麼MACOS和ISIS會得到政府的資助,康蘭與NSF的領導發生了衝突,包括基金會的理事,H.蓋福德·斯蒂夫(H. Guyford Stever)。康蘭要求NSF提供評審報告的完整副本,以及評審人的名字。斯蒂夫說評審人提交的報告仍處在「默認的保密承諾」下,而開放報告的正文或審稿人的姓名違反國家科學基金會的政策。但是,這些都沒有說服康蘭。

我再次提醒你,我是一個國會議員,負責監督國家科學基金會。因此,我再次要求你提供我所要求的同行評議專家最初評論,而是要不經解釋和完整的形式。

論及NSF基金撥款的公開辯論和私下交流導致國家科學基金會同行評議特別監督聽證會於1975年7月當著眾議院科學、研究和技術小組委員會的面舉行。在六天的時間裡,國會的提問者和見證人詳細地討論了美國國家科學基金會的同行評審過程。康蘭在他的證詞認為,NSF的系統把太多的決策權擱在NSF董事手中,但並沒有給出足夠的有分量的評審報告。他聲稱,讓基金會負起責任的唯一辦法是將評審報告連同評審人的名字一起公開。

NSF小組來到聽證會,準備對批評做出回應。斯蒂夫(Stever)主任宣布,自1976年1月1日起,申請者將得到給予他們的完整評審報告的複印件,而不僅僅是一份總結報告。然而,斯蒂夫主任堅持評審人必須保持匿名以保證他們的公正。NSF領導人還表示,在未來,一個新的審計辦公室將確保董事們對正面和負面的評審報告給予適當的權重——換句話說,把更多的決策權交給評審人。

聽證會後,美國國家科學基金會的教育項目明顯縮小,而MACOS和ISIS的資金幾乎完全停止了。這樣,NSF的同行評審改革安撫了兇猛的批評,至少暫時是這樣,且爭議也很快淡出了公眾視野。此時,普羅克斯邁爾捲入了一場訴訟,金羊毛獎獲獎人哈欽森控告他誹謗。最終,普羅克斯邁爾對這位心理學家進行公開道歉並從未來的金羊毛獎新聞稿中刪掉了個別人的名字。

雖然大部分的批評都是針對社會科學的,但是來自不同學科的科學家們接著發生了爭論。《今日物理》密集報道了聽證會和美國國家科學基金會的政策變化。總編輯哈羅德?戴維斯(HaroldDavis)在一篇社論中說,聽證會證明「同行審查是迄今為止我們決定如何在某一特定區域分配資金的最佳手段。」 (見《今日物理》,1975年9月,96頁。)在同一篇社論,戴維斯繼續宣布,《今日物理》將向每一位國會成員發送(特別重要或大眾關注的)有關材料,闡明科學團體的內部工作。正如戴維斯所說:「在一個社會問題無法避免越來越緊密地參與科學和技術的時代,我們需要更多的同行評審,而不是更少。」

20世紀60年代和70年代似乎是同行評議思想轉變的關鍵時期。在二十世紀中葉,外部評審只是期刊或撥款分配機構對提交稿件或基金申請可以選擇接受或拒絕的多種方法中的一種。冷戰結束時,同行評議是科學受人尊敬的前提條件。

NSF的爭議強烈表明,至少在美國,越來越多地強調同行評審的一個原因是冷戰期間科學家和公眾之間關係的轉變。1950年代和1960年代,基礎研究和應用研究的支出大幅增長——但是,當懷疑開始蔓延到所資助的工作究竟有多少公共價值時,科學家們面臨了失去公眾信任和獲得研究資金的前景。立法者希望由公眾資助的科學能夠擔起責任;科學家們希望關於科學的決策留在專家手中。相信同行審查,以確保只有最好的和最重要的科學得到資金,這似乎是一種折中。

同行評議的質疑

今天的同行評審是出版任何科學論文或獲得基金資助所要求的部分。然而,很少有人說這是一個完美的過程。許多觀察家感嘆,欺騙或錯誤的結果仍然登載在經過同行評議雜誌的頁面上。其他人抱怨的同行評審制度有利於已確立的思想和知名人士,會扼殺科學創新。2014年米歇爾·艾森(Michael Eisen),科學公共圖書館(PLoS)創始人之一,告訴華爾街日報(Wall Street Journal),科學家和非科學家需要丟棄這樣的概念,即「任何雜誌上的同行評議意味著一項科學工作是正確的。實際上無非是,一些(1 - 4)個人讀了一遍,而沒有看出任何大問題。」

再則,評審人員的工作一般不關乎他們的任期或晉陞,這是現行同行評審制度的另一個缺點。不堪重負的科學家面臨缺乏有力的激勵去寫認真、詳細的報告,因為這超越他們的作為一個好的科學公民的最小責任。

網路出版和閱讀的轉變似乎提出了審閱文章的替代方法,例如允許科學家對他們閱讀的文章發表評論。物理學家們長期以來依靠非同行評審的arXiv.org(美國國家科學基金會和美國能源部資助,在美國洛斯阿拉莫斯(Los Alamos)國家實驗室建立的電子預印本文獻庫)來發現該領域最新的出版物,雖然讀者可能會認為一篇發布在arXiv但未在雜誌上發表的論文可能有些問題。

其他雜誌也在嘗試對同行評議制度進行一些修改。一個著名的開放存取期刊《公共科學圖書館期刊》(PLOS One)指示它的評審人只評判論文中科學的質量,而不是判斷工作的重要性和影響。公共科學圖書館的政策背後的理由是,科學工作者將決定出版後哪些論文最重要。另一個雜誌,eLife,把評審人和編輯的相互通訊後對某論文前途達成的聯合決定發給作者,而不是向作者發送多個可能互相不同意的報告。

當科學團體考慮同行評議的未來時,想想它的過去也許是有益的。我們常說評審是從艾薩克·牛頓時代起一直不變的穩定的科學的一部分,但是,實際上同行評議的故事比我們通常想像的歷史要短,但更複雜。它也充滿了批評。早在1845年,科學評審被描述為「充滿了嫉妒,仇恨,惡意,和所有苛刻的批評。」 關於審稿人無用和偏見的抱怨,這也不是什麼新鮮事。

這一點也很重要即最初時的評審程序並沒有發展檢測欺詐和確保科學主張的準確性。威厄爾認為評審報告將激勵科學討論,而科學團體接受評審報告以確保沒有明顯尷尬的東西出現。論文作者,而不是評審人應對他們的論文內容負責。直到20世紀,有人認為評審人應該對科學文獻質量負責,而到了冷戰結束,同行評審才被認為科學上的合法性。

「我們的評審人,我們信得過」

——同行評議的根本和希望

同行評審在科學界的作用從來就不是一成不變的。它的形式和功能根據科學家們從實踐中的需要已經成形和改造——無論是社會公信力,或保證公共資助者知道自己的錢花得很有責任感。

一些應對措施,例如邀請評審人的迴避制度,對申請人承擔的基金項目數目的限制(遏制名人和單位壟斷),設立專項基金(幫助年輕人或鼓勵創新),對克服同行評審的弊端會起到一定作用。但是為了提振和重塑同行評審的公信力,美國科學界發出了「我們的評審人,我們相信嗎?」的聲音。確實是這樣,一支科學家信得過的評審人隊伍是提高同行評議公信力的根本和希望。本文的開頭,我們把《物理評論》拒發愛因斯坦論文的故事看作同行評審成功的範例。但仔細想一想,要不是當時《物理評論》主編泰特的認真負責,敢于堅持真理向權威的錯誤說不,要不是審稿人羅伯遜(H·Robertson)極其認真和仔細地審讀愛因斯坦複雜的廣義相對論方程求解過程的話,要不是他水平高,能正確看出其中的錯誤,沒有這些,還有什麼力量能阻止愛因斯坦錯誤論文的發表呢?所以,我們在緬懷那些為在科學界確立同行評審制度的精英的同時,更要記住泰特先生和羅伯遜教授,正是他們的科學道德和專業精神為同行評審贏得了巨大的聲望。如果有這樣的人主持同行評審,那些弊端恐怕就很難現身了。

【1】 本文內容大多取自Melinda Baldwin撰寫的「In Referees we Trust?」,44 Physics Today| February 2017。M·Baldwin為《今日物理》的圖書編輯和《自然》:科學期刊的歷史(芝加哥大學出版社,2015)一書的作者。

【2】 詳見盧昌海「時空的樂章—引力波:百年漫談(四)」,《現代物理知識》,第29卷第4期(總第172期)

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 中科院高能所 的精彩文章:

廣義相對論能解釋宇宙加速膨脹嗎?
史海鉤沉:誰偷走了勒梅特的乳酪?

TAG:中科院高能所 |