Nature：超過70％的科研人員都有過重複別人試驗，並且失敗的經歷

乾貨 | 靠譜 | 實用

來源：生命奧秘

超過70%的科研人員都有過重複別人試驗，並且失敗的經歷，超過一半的科研人員在重複自己試驗時也曾遭遇過失敗。這就是《自然》（Nature）雜誌針對1576名科研人員所做的在線網路調查得到的結果，該調查的主題就是——科研試驗的可重複性（reproducibility）。

該調查發現，我們對待試驗可重複性的態度經常是互相矛盾的。雖然有52%的被調查者都認為，試驗可重複性在目前是一個比較大的問題，但是只有不到31%的人認為，無法重複出那些已發表論文中報道的結果就意味著該結果極有可能是錯誤的，大部分被調查者都表示，他們願意相信論文的真實性。

有多少科學文獻的結果是可重複的，關於這個問題，我們沒有太多的數據，即便有，也都是不太樂觀的。在這方面，最著名的相關分析是針對心理學和腫瘤生物學文獻的，結果發現這兩個領域的可重複性分別只有40%和10%。不過這次我們的被訪者都比較樂觀，其中有73%的人認為，在他們各自的研究領域，至少超過一半的論文是可以被信任的，其中物理學家和化學家的信心是最高的。

美國馬里蘭州約翰霍普金斯大學Bloomberg公共衛生學院（Johns Hopkins Bloomberg School of Public Health in Baltimore, Maryland）的微生物學家Arturo Casadevall認為，本次調查結果反映了真實的情況，他評論道：「目前，學界對於什麼是科研試驗的可重複性，科研試驗的可重複性究竟應該是什麼樣等問題，就是沒有一個一致的看法。認清這個現狀還只是第一步，接下來，就應該發現具體的問題，並就此問題達成共識。」

英國布里斯託大學（University of Bristol, UK）的生理心理學家Marcus Munafozai一直非常關注科研試驗的可重複性問題，他認為，科學研究無法重複是一件非常重大的事情。據他介紹，他還在上學時就曾經嘗試重複一些論文里報道的、簡單的試驗，結果沒能成功。因此，他對科研產生了信任危機，後來他發現，這是一種非常普遍的感覺。

問題並不在於清除已發表論文中那些無法重複的研究。Munafo認為，做最前沿的科研就意味著，很多時候，得到的結果可能並不是那麼確定的。他們希望有新的發現，但同時，假陽性率也別太高。

可重複性的範圍

少部分被訪者表示，曾經想過要發表重複研究的結果。如果實驗沒能重複出來，科研人員們通常會認為是有合理原因的。而且，雜誌社也不太願意發表陽性的重複結果，當然也不太願意發表陰性的研究結果。實際上，有多名曾經發表過重複實驗失敗工作的被訪者都表示，雜誌編輯和審稿人都要求他們淡化與原始研究的對比。

美國德克薩斯理工大學健康科學中心（Texas Tech University Health Sciences Center in Amarillo）的Abraham Al-Ahmad也參與了本次調查，他曾經投過一篇稿子，試圖解釋為什麼幹細胞技術到他們實驗室就不管用了。他原本以為會收到一峰冷冰冰的拒稿信，可沒想到稿件被接收了。Al-Ahmad認為他們成功的原因可能是，編輯們認為他們的這篇論文解決了一部分問題。

還有一些人認為，要成功發表一篇重複性的研究工作離不開以下幾點，即運氣、堅持，和編輯的喜好。醫藥開發顧問Michael Adams也是本次網路調查的被調查者之一，據他介紹，他們有一篇文章證明了一個糖尿病動物模型存在嚴重的缺陷，但是被拒稿6次，有一部分原因就是該工作並沒有發現新的藥物作用靶點。但是另外一個證明某種藥物治療Chagas病（Chagas disease）效果不佳的研究就很快被接收了。

糾正手段

1/3的被訪者表示，近五年來，他們實驗室都有非常具體的操作規程，來提高試驗結果的可重複性。不過這個比例的變動範圍很大，醫學類是最高的，達到了41%，而物理和工程學類是最低的，只有24%。自由文本反應（Free-text responses）表明，自己重複試驗，或者讓實驗室里的其他人來重複，是最常用的確保手段。其它常用手段還包括加強實驗記錄，以及對實驗步驟進行標準化管理等。

不過上述這些手段都算不上是根本性的保證方法。英國一名要求匿名的生物化學專業畢業生表示，在她們實驗室，因為重複實驗，所以時間和實驗試劑都要額外多付出一倍，解決一些棘手實驗問題的時間還需要另算。雖然重複實驗能夠確保實驗結果的可靠性，但是因為需要付出這麼大的代價，所以她只會為創新性的項目，或者預期之外的實驗結果進行重複試驗。

美國弗吉尼亞大學（University of Virginia, Charlottesville）研究平滑肌細胞的博士後Laura Shankman表示，如何整合各種試驗技術，這就是一個項目。以她們實驗室為例，在短短一段時間裡，就進進出出了好幾個博士後和研究生，還留在實驗室里的人就很難確保實驗的一致性。因此，她們實驗室決定花一些時間專門來重複之前發表過的試驗結果，結果發現，實驗室里的標準操作流程已經慢慢發生了改變。Shankman認為，整個實驗室一體化，而不是一個個地解決試驗失敗的問題，這樣從總體來看會節省實驗室的開支，但這卻是一項長期的投資。

美國Bryan健康科學學院（Bryan College of Health Sciences in Lincoln, Nebraska）的計算生物學家Irakli Loladze估計，即便是他們這種純理論工作，為了確保試驗可重複性而投入的額外工作，平均每個項目花費的時間也會增加30%。他們要確保從原始數據到最終試驗圖表的每一個步驟都是可追溯的。但是這些工作很快就變成了他們工作中的一部分。據Loladze介紹，可重複性就好像刷牙。這對你肯定是有好處的，但是需要花時間，花精力。可一旦你開始了，它就會變成一種習慣。

而被宣傳得最廣、用來提高科學研究可重複性的方法就是預註冊（pre-registration）方法，即科研人員在試驗開始之前就向第三方說明他們的科學假設，以及數據分析計劃等科研方案，以防日後出現有選擇性的統計學結果。但是只有不到12個人提到了這種方案。澳大利亞墨爾本大學（University of Melbourne in Australia）專門研究道德決定（moral decision-making）問題的研究生Hanne Watkins就曾經這麼做過。據Watkins介紹，在收集完數據只會再回過頭想想最初的研究問題，這能防止她掉進兔子洞（going down a rabbit hole）。雖然這個過程比較費時間，不過與獲得倫理委員會的同意，或者設計調查問卷相比，也不算什麼。「如果這個研究從最開始在方向上就是正確的，那接下來就順著這條道路走下去就行了。」

試驗無法重複的原因

我們這次網路調查也詢問了這樣一個問題，即為什麼科研試驗無法重複。超過60%的被調查者都提到了以下兩點原因，即論文發表的壓力和選擇性報道（selective reporting）。超過一半的人指出，他們在實驗室里就沒有開展足夠的重複試驗，此外，還存在監管不嚴，統計效力不夠等問題。還有一些人提到了試劑的不穩定性和高難度的試驗技術等因素。

不過美國威斯康星大學麥迪遜分校（University of Wisconsin–Madison）的發育生物學家Judith Kimble認為，這都不是最根本的原因，對基金和職位的激烈競爭才是最根本的原因，同時，越來越多的行政事務也逐漸擠佔了科研人員大量的科研時間。Kimble評價道：「每個人都在被擠占。成本已經超越了任何一項科研項目。如果研究生所在的實驗室里高年資的人沒時間培訓低年資的人，那麼那些低年資的學生就只能夠自己幹了，這樣下去就會越來越糟。」

我們能改變什麼

本次被調查者被要求對11種不同的方案進行排序，看看如何才能夠提高科研成果的可重複性。一千多人（超過90%）都認為，更好的試驗設計、更科學的統計學分析，以及更好的監管和指導這三點是最重要的，遠遠超過其它因素，比如基金或教學補助等刺激計劃等。不過即便被選擇率最低的雜誌審核也獲得了69%的支持。

我們這次網路問卷調查的方式是綜合了給《自然》雜誌的讀者發郵件、在網站和社交媒體上投放廣告等方式，所以我們的受訪者可能更傾向於對科研結果可重複性更加關注的人群。不過美國斯坦福大學（Stanford University in California）研究科研可靠性問題的John Ioannidis認為，他們這次的研究還是表明，有志於解決這個問題的雜誌社、科研項目資助者、科研機構應該攜起手來，共同解決這個問題。Ioannidis表示，大家一定會歡迎他們這麼乾的。大約有80%的被訪者認為，雜誌社和資助者應該擔負起更多的責任。

Munafo認為，大家都意識到這個問題，並且能夠積極地想辦法解決這個問題，這樣很好。「我們也已經在包括主流媒體在內的各個渠道廣泛討論過這個問題，所以趕緊行動起來才是關鍵。如果我們現在不做，機會稍縱即逝，錯過了這個好機會，大家就不會再有興趣解決這個問題了。」

End

轉折點APP核心亮點：免費、高效、搞得定！

請您繼續閱讀更多來自 轉化醫學網 的精彩文章:

※SCI中的4個常見問題，80％科研人員都糾結過
※2017 Springer Nature南京、上海科研峰會-對話Nature學術編輯，成就您的研究
※科研人員擊敗 Rowhammer 保護機制！
※我一個搞科研的，到底咋跟人解釋我的研究？EurekAlert教你
※你期待的Adobe illustrator 科研繪圖實例都在這裡了！
※Nature：科研新人獲得資助的套路分享
※一個科研少女的swag
※Chemistry World 六月科研成果亮點報道
※NGS科研必備！數據整合神器之dplyr包
※Nature科研報道，人類即將開啟「老不死」生存模式
※高活性Cas9 guide RNA設計工具助力科研！
※美科研小組利用iPhone與光譜儀檢測癌症：準確率達99％
※科研界里的Facebook，科研工作的神助攻
※我校沙漠治理學院師生共同完成的科研論文 發表在《Land Degradation＆Development》上
※Nature：用大數據看中國科研實力的變化
※【科研所】獨家視頻評測！Nike LEBRON 14帶你感受皇帝的力量！
※正在被AI深刻改變著的科研：從尋找Higgs到治癒疾病
※Yoshua Bengio研究生科研指導演講：解讀人工智慧全貌和下一個前沿
※你和50年前的科研人員有什麼區別？