為什麼「同行評審」如此不靠譜？

知識 11-25

為什麼「同行評審」如此不靠譜？

如果拿一件事激怒所有的科學家，那就是同行評審。

為了篩掉那些注水的科研，你必須拿出寶貴的業餘時間免費檢查同行的論文。你不僅得不到感謝，還拖慢了發表過程，更糟心的是，幾乎沒有證據顯示這種科研方法真的有效，這一過程本身也充滿了不可告人的秘密。

這個最新的研究也許解釋了為什麼同行評審搞不好，以及為什麼它無法保證科研質量。它的主要發現就是很小一部分研究者承擔了大部分同行審議的工作。

來自巴黎第五大學的研究者們使用了一個數學模型來評估生物醫藥研究領域同行評審的供需關係。我們終於首次見識到同行評審帶來的「全球性負擔」。

2015年，他們發現同行評審人員的供給超過需求多達250%，也就是說，有大量學術界人士可以審查這些研究。但是，其中20%的人完成了70%-95%的評審工作。所有這一小部分專家做了大部分工作。

「這可能意味著大量評審人員從未做過評審工作，」研究合著者，來自波士頓大學的Ludovic Trinquart說。

為什麼「同行評審」如此不靠譜？

舉個例子，根據愛思唯爾和威立這兩家全球最大的學術出版商的資料庫，同行評審的工作基本都落在了美國科學家的頭上。「中國研究者發表的文章數量是他們評審的文章數量的兩倍，」研究者寫到。

同行評審中，偶爾也會出現注水研究和學術欺騙這樣的漏網之魚。可能的原因就是研究者們沒有公平合理地分擔評審壓力。Trinquart說的更簡單：「少數評審人員工作量太大。」

新研究還量化了同行評審花費的時間。對大部分評審人員而言，時間很少——除了那一小部分加班加點的可憐蟲。

「在實際參與同行評審的研究者中，70%貢獻了1%或者更少的工作時間，5%貢獻了13%或者更多的工作時間，」研究者寫到。還是那句話，大部分人都沒有花時間做這件事，一小部分人花費了可觀的時間來檢查同行的研究。

研究者估計，2015年，同行評審一共花去了約6300萬小時，其中近20%的時間都是來自最「慷慨」的5%。

「同行評審應建立在交換補償的基礎上，做的評審比發的論文少是不夠的。這種二八分布是有問題的。系統需要改進，未來的同行評審需要強調大家付出的努力，」 Trinquart說。

為什麼「同行評審」如此不靠譜？

同行評審通常始於研究者向期刊提交文章之後。如果編輯認為這片文章有乾貨，就會發給同領域的專家，獲得他們的評論、批評或者拒絕。

但是《英國醫學雜誌》前編輯Richard Smith說：「我們幾乎沒有證據說明同行評審有用，但卻有大量證據說明它的缺點。」

實際上，不同的期刊擁有不同的匿名評審制度：有的是雙盲評審，有的是三盲評審，即作者、編輯和評審人員都不知道彼此。一些期刊使用了一種開放式合作過程；有些使用了「後同行評審」，即學者們能在文章發表後對彼此的研究發表意見。

鑒於同行評審本身缺乏科學依據，研究者們一直在呼籲更理想的過程。循證醫學研究者Drummond Rennie近日在《自然》雜誌上寫到：「我們需要嚴謹透徹地研究目前這些同行評審方法的好處和壞處。在此之前，不要聽風就是雨，將來出了偏差要負責任的。」

Drummond建議，那些擔憂同行評審的科學家們要學習一下臨床實驗研究者們，因為他們在這個領域一直在推動更高的質量標準和透明度。

Trinquart對此很支持，而且他希望給學術出版界施加壓力，讓它們開始分享同行評審數據。

「臨床實驗可以被視為一項公益事業，參與研究的病人數據是公開了，但是大多數時候的臨床數據都被製藥業緊緊攥在手裡，」他說。他認為同行評審數據也應該被視為一項公益，參與評審的科學家的數據，還有出版界的數據都應被分享。

「很多針對同行評審的問題，只要有了同行評審或者評審報告的整合數據，都能迎刃而解，」他提到。比如說，在這套系統中，文章被拒後，有多少會重新投給其他期刊呢？這個數據沒人知道。隨著更多研究的開展，這塊學術界的短板將會慢慢被補齊。

[許叔 via vox]

TAG: |

您可能感興趣