科學論文出版也有「傲慢與偏見」？
假定100個人各擲了一次硬幣，其中48個人發現硬幣正面朝上， 52人發現硬幣反面朝上。但是，這群人有個奇怪的偏好：他們只喜歡報告正面朝上的結果，對於反面朝上的結果，他們就直接忽視不報。於是乎，你聽到的結果是：48人各投擲了一次硬幣，全部都是正面朝上！！
毫不奇怪，你會覺得這個結果是一場騙局，因為你知道擲硬幣正面朝上和反面朝上的概率大約是50%。同樣的道理，如果一位科學家在一次實驗中，收集了100個數據點，但只報告50個數據點，那麼我們肯定認為他人品有問題。如果是多個研究者各自獨立完成實驗，卻只有那些有顯著結果的研究者以論文的形式將結果報告出來，我們似乎就難以辨別出這裡的謬誤了。然而，並非所有人都忽視了這個謬誤，一些研究者犀利地發現了這個問題（也可能是長期非常苦逼，做不出有統計顯著的結果，因此去找尋找原因 ;-）），並對其進行系統研究，這個問題就是科學論文的出版偏見（Publication bias）。
科學論文出版有偏見?
出版偏見指的是部分的研究者、審稿人和雜誌編輯傾向於嘗試出版或接受那些報告了統計上有顯著差異結果的論文。換句話說，如果一個實驗或者調查沒有發現統計上的顯著效應，那麼該研究能夠出版的可能性就大大降低。這些研究的結果就只能放在研究人員的抽屜里，見不了陽光，正是如此，這個問題還有另一個名字，叫做文件抽屜問題（file drawer problem）(Rosenthal, 1979)。
出版偏見遍地開花
出版偏見並不是某個研究領域所特有的，而是波及到科學研究的各個領域，這裡僅以作者本人比較熟悉的社會科學和生物醫學兩個領域為例（計算機圖形學研究領域的例子見這裡）。早在1959年，心理學家Sterling就指出，在心理學論文的出版中，出版的標準可能會存在偏差(Sterling, 1959)。到1979年，哈佛大學的心理統計學家羅伯特*羅森塔爾（Robert Rosethal）提出了統計方法來估計那些被放在抽屜里的研究結果(Rosenthal, 1979)。到80年代，醫學研究者也開始關注出版偏見的問題。例如霍普金斯大學醫學院的Easterbrook等(1991)分析了牛津研究倫理中心委員會在1984年到1987年間批准的487項研究，截止1990年，有285項研究結果已經進行了分析，其中52%結果得以出版。在出版文章中，那些在統計上達到顯著的結果比那些沒有達到顯著的結果出版的過程更容易，也更多地出版在高影響因子的雜誌上。
雖然研究者們很早就意識到了這個問題，但遺憾的是，出版偏見並未因此而得到解決，位於加州的安進血液與腫瘤研究中心（Hematology and Oncology Research at Amgen）前負責人C·格倫·貝格利（C. Glenn Begley） 與德克薩斯大學安德森癌症研究中心的李·M·埃利斯（Lee M. Ellis）2012年在Nature 上聯合發文指出，在一項重複53個藥物實驗的研究中，只有6項研究得到證實。斯坦福大學醫學院的約翰·P·A·埃尼迪斯(John P.A. Ioannidis)於2014年的分析也表明，在新興的神經成像領域，出版偏見也是非常嚴重。
出版偏見，費錢耗物
可能有人會覺得，出版偏見不就是少讓一些論文出版嗎？也沒什麼大不了的。這實在是低估了出版偏見對科研領域甚至是對普通民眾的影響。
2014年1月，頂尖醫學雜誌《柳葉刀》（Lancet）發表了一篇討論醫藥研究如何減少浪費和提高價值文章，多倫多大學的研究者陳安文（An-Wen Chan）等(2014)討論了出版偏見的嚴重後果之一：浪費科研資源和民眾的健康！這裡的科研包括科研資金、科學家時間和精力的投入。該文援引了哌苯醋胺（lorcainide）的著名案例: 1980年，有研究者測試了哌苯醋胺（lorcainide）這種抗心律不齊的藥物，採用了100多人的小樣本進行試驗，發現使用哌苯醋胺的實驗組的死亡率是19%，而使用糖丸的安慰劑組的死亡率則只有2%。但是，當時研究者擔心結果未發現哌苯醋胺的積極效果而未報告其結果。於是該藥物繼續廣泛地為心律不齊患者所使用，直到1989和1992年的臨床試驗才發現這類藥物的危害。但在這近10年間，由於哌苯醋胺以及類似的藥物廣泛使用，可能引發了20 000到70 000不必要的死亡。
出版偏見的另一個危害是讓出版的研究中顯得過分地積極，一些效應量特別小的研究被發表出來，繼而引發其他研究者繼續投入該方向，誤導科研走向。2011年，社會心理學領域最頂級雜誌《人格與社會心理學雜誌》上發表了一個神奇的研究：康奈爾大學心理學系的達里爾 ·J · 本(Daryl J. Bem)發現大學生競然可以預知未來！這個明顯不太符合事實的結果很快一石激起千層浪，因為從科學角度來講，能夠預知未來是極小概率的事件。所幸的是該研究引起了廣泛關注，從而在社會心理學領域掀起了關於出版偏見、重複實驗等研究方法上問題討論的熱潮。
出版偏見從何時產生？
出版偏見是如何產生的？一般認為，統計結果不顯著的研究是被雜誌的審稿人和編輯cut掉的。但實際上，由於結果分析和論文撰寫也需要研究者投入大量的時間和精力，研究者們已經實行了自我審查：碰到陰性結果時，直接拋棄研究結果，轉向新實驗，而不是想辦法把陰性結果出版。
最近，斯坦福大學政治科學系的研究者安妮· 佛朗科等在《科學》（Science）上發表的論文證實這一推斷。他們分析了2002年美國國家自然科學基金支持的社會科學時間共享研究項目 (Time-sharing Experiments in the Social Sciences, TESS) 中包括的研究項目，因為這些研究項目都登記在案、研究者的水平相當、研究設計質量高。他們的結果表明，大約有65%的陰性研究結果直接被研究者放到抽屜，沒有寫成論文，從而讓大多數的陰性結果胎死腹中。至於為什麼研究者會選擇不把這些陰性結果寫成文章，大部分人的回答是：雜誌不會接受這些陰性結果的文章。
路在何方？
對於出版偏見的問題，大部分研究者首推的解決方案是提前登記研究，即所有研究在開始之前都登記在案，隨後按照登記的設計進行實驗並將結果公佈於眾，從而讓學術界和公眾知道這些陰性結果的存在，減少後續的科研人力物力和財力的投入，以及在醫藥領域，減少無效藥物的使用。
目前醫學方面已經有一些相應的措施，例如，一個稱為臨床試驗的網站（http://clinicaltrials.gov/） 就致力於讓臨床研究都提前登記在案。心理學領域最近也正有類似的努力：有研究者發起建立心理學文件抽屜的檔案（http://psychfiledrawer.org/）。不過問題在於，雖然大部分研究者認為提前登記是一件好事，但真正參與這個事兒的人卻不多，原因很簡單：目前的科研環境並不鼓勵研究者進行登記。研究者所在的機構（大學、研究所）並不會因為研究者登記並完成一個研究而對他進行獎勵，而是根據其發表的論文來進行評估！
此外，研究本身的不確定性，也使得提前登記系統很難生效，因為研究者可能在實驗過程中不斷對實驗進行細節的調整，這些調整是難以預期的。巴黎狄德羅大學醫學院的Mathieu於2009年發表在《美國醫學會雜誌》（Journal of the American Medical Association, JAMA）的一個分析表明，提前登記系統對出版偏見的減少程度有限，這可能反映了當前科研環境仍然可能促進了出版偏見的產生。
結束的話：
所幸的是，科學研究往往並非像擲硬幣那些隨機，即使有出版偏見的存在，科學總體而言還是在提供可靠的知識和發現。對出版偏見的糾正，是為了讓科研更加完美，要記住，研究出版偏見的，也是科學家。
相關鏈接：
TED med: Ben Goldacre: What doctors don"t know about the drugs they prescribe
參考文獻：
Begley, C.G., and Ellis, L.M. (2012). Drug development: Raise standards for preclinical cancer research. Nature 483, 531-533. doi: 10.1038/483531a
Bem, D.J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology 100, 407-425. doi: 10.1037/a0021524
Chan, A.-W., Song, F., Vickers, A., Jefferson, T., Dickersin, K., G?tzsche, P.C., Krumholz, H.M., Ghersi, D., and Van Der Worp, H.B. (2014). Increasing value and reducing waste: addressing inaccessible research. The Lancet 383, 257-266. doi: 10.1016/S0140-6736(13)62296-5
Easterbrook, P.J., Gopalan, R., Berlin, J.A., and Matthews, D.R. (1991). Publication bias in clinical research. The Lancet 337, 867-872. doi: 10.1016/0140-6736(91)90201-Y
Franco, A., Malhotra, N., and Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science. doi: 10.1126/science.1255484
Ioannidis, J.P.A., Munafò, M.R., Fusar-Poli, P., Nosek, B.A., and David, S.P. (2014). Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention. Trends in Cognitive Sciences 18, 235-241. doi: 10.1016/j.tics.2014.02.010
Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin 86, 638-641. doi: 10.1037/0033-2909.86.3.638
Sterling, T.D. (1959). Publication Decisions and their Possible Effects on Inferences Drawn from Tests of Significance—or Vice Versa. Journal of the American Statistical Association 54, 30-34. doi: 10.1080/01621459.1959.10501497
※用數學模型預測巴西世界盃冠軍？
※一起來聞聞，土衛六「泰坦」是什麼味兒？
TAG:知識百科 |