8種方法讓你成為更精明的科學讀者

1.你怎麼知道科學證據是強是弱

2.知道假設與理論之間的區別

3.注意選擇偏差

4.不要混淆相關性和因果關係

5.尋找黃金標準：雙盲、安慰劑-對照組、隨機測試

6.理解「顯著性」

7.注意利益衝突

8.知道同行評議並不完美

9.意識到並不是所有的期刊都是好的

你怎麼知道科學證據是強是弱

世界上有大量的證據和研究，有些好，有些差。你怎麼知道該相信什麼？這一小節的目的是指導你解決那些會影響你理解科學發現的棘手問題。

其中一個主要的問題是，科學術語的含義往往不同於日常用語。這些術語可能會偷偷溜進媒體的報道中。即便是很簡單的詞，比如理論、顯著性和控制，在科學領域也有完全不同的意思。

另一個問題是沒有所謂的完美研究。實驗可能會受到如何設計、如何分析、甚至如何被科學期刊評論等問題的困擾。

閱讀下面的8個關鍵技巧，你將更自信地評估科學和醫學研究的結果。

知道假設與理論之間的區別

科學家和非科學家經常以天壤之別的方式使用這兩個詞。讓我們來拆解它們。

假設

在科學中，假設是一種被提出的解釋，可以通過進一步的實驗和觀察得到驗證。這是一個有待證實的想法，需要收集更多的數據來證明或證偽它。

提出假設通常被認為是科學方法的第一步。很多外行經常在這裡使用「理論」這個詞，但科學家們並不是這麼用的。

理論

在科學中，理論是一種被廣泛接受的觀點，有一些嚴格數據的支撐。當科學家們提到「進化論」或「相對論」時，他們並不是在說這只是一個未經證實的瘋狂想法。這兩個理論都得到了大量數據、觀察和實驗的支持。

當然，現有的科學理論以後可能會被修改或被證偽，如果有足夠的數據可以證明這一點的話。但是，理論一開始被廣泛接受是因為它們得到了大量證據的支持。

注意選擇偏差

假如一個心理學家可以對世界上的每個人進行一次單獨的測試，那將會得出一些很有說服力的結論。但這是不切實際的。因此，科學家們退而求其次：他們選擇一個較小的群體進行研究。

然而，他們總是必須對他們抽選的特定群體保持謹慎。研究可能會受到選擇偏差的影響，即對研究對象的選擇沒有達到隨機的標準，因此研究結果在某種程度上會具有偏向性。

選擇偏差可以通過多種方式發生。也許某些類型的人更有可能想要參與研究——或者有足夠的決心不放棄一個持續時間更長的實驗研究。

舉例來說，在一項為期一年的減肥藥物研究，其中一半的參與者在研究結束前就退出了。那些繼續留在研究中的參與者可能都減肥了，但是考慮那些退出研究的人也很重要。也許那些人在研究過程中沒有看到任何進展。所以，報告中100%的成功率實際上很有可能是50%。

另一個需要考慮的問題是，參與者是否具有代表性，能夠反映論文或文章所討論的群體的特徵。

這就是為什麼來自全國代表性樣本的民意調查數據（比如，皮尤和蓋洛普所做的調查）[1]，以比在互聯網上對任何人開放的非正式民意調查更能提供關於全國民意的信息，即使有更多的人參與了後者。

心理學研究的另一個常見問題是，它們傾向於招收美國本科生，因為在大學校園裡很容易招到這些學生。但是，本科生並不一定代表普通美國人。

同樣，在美國或歐洲進行的研究多是針對來自「WEIED」國家（即西方化、受教育程度高、工業化、富裕和民主國家）的人，可能並不適用於來自其他文化背景的人。若是你想要了解更多信息，請閱讀貝瑟尼·布魯克希爾（Bethany Brookshire）發表在Slate雜誌上的關於心理學「WEIED」問題的精彩文章[2]。

不要混淆相關性和因果關係

通常，科學家們會發現兩個不同的變數是相互關聯的——例如，隨著時間的推移，它們都在一起增加。這表明它們可能是相關的，但這並不一定意味著其中一個變數是導致另一個變數發生變化的原因。也許這只是巧合。或許是第三個變數導致了這兩個變數發生變化。通常需要進一步的測試才能揭示兩者的明確關係。

隨著時間的推移，科學家們會掌握大量相關的證據，同時系統地排除其他可能的原因，這就可能會讓科學家們得到更有說服力的結論，即某些變數是其他變數的原因。但是，證明因果關係的最好方法是實施一個精密控制的實驗。

舉個例子：一項研究發現，醫生在下午開抗生素的次數更多[3]。也就是說，開抗生素處方與一天的時刻之間存在關聯。研究者猜測有一種叫作「決策疲勞」的現象，即人們在做了太多的決定後感到疲勞，這就是醫生在下午更有可能開抗生素的原因。但是還有其他可能的原因，比如，醫生在下午時體內糖分過少（葡萄糖疲勞），或者是全身疲勞。

為了查明「決策疲勞」是否是其原因，他們需要設計一個實驗。在這個實驗中，他們隨機地讓一些醫生比其他醫生做出更多的決策。為了儘可能地控制實驗條件，那些做較少決定的醫生將不得不完成一些其他會導致精神疲勞的任務。

控制實驗條件意味著什麼？在科學領域，控制組或對照組是指用來比較的一組研究對象。醫學研究中的對照組通常接受安慰劑條件——一種假的藥物、設備或程序。

例如，許多身體癥狀會自行改善（或惡化）。如果你沒有一個對照組，你可能會認為，你發明了一種有效治療普通感冒的方法。但事實是，普通感冒在一兩周內就會自然而然地好起來。

奇怪的相關性也是值得當心的。如果一種相關性看起來很奇特，或者好得不可思議，那麼它背後可能沒有什麼有意義的東西。泰勒·維根（Tyler Vigen）從真實數據中創造了一系列他稱之為「假相關」的東西[4]，比如，人均乳酪消費量與被床單纏住而死亡的人數之間有相關關係。

人們喜歡引用的一個有趣的相關關係是全球海盜數量的減少與全球氣溫的上升[5]。然而，海盜數量的減少極不可能是氣溫升高的原因，氣溫升高也不可能是削減海盜數量的原因，也不可能是某種潛在的原因同時影響了兩者。這兩者有相關關係，但是這種相關關係沒有意義。

尋找黃金標準

雙盲、安慰劑-對照組、隨機測試

最可靠的研究，尤其是臨床試驗，通常被認為是隨機的、有安慰劑-對照組的、雙盲的研究。

如果你正在看臨床試驗、心理學研究或者動物研究，它並不符合上述要求，而且沒有一個很好的理由表明它可以不遵循上述要求，那麼你就可以質疑研究結果。

讓我們來解析這些術語。

1)隨機：

這是指將研究對象隨機分為實驗組和對照組。這一點很重要，因為如果研究對象有選擇的機會，他們可能會因為一些意想不到的因素而更傾向於選擇其中某一組。

舉個例子，假如那些更樂觀的人更願意嘗試一種治療焦慮的新葯，而不是用於比較的已有藥物。再假如，樂觀能讓廣泛性焦慮症患者在藥物治療中表現出更好的治療效果。研究人員最終可能會認為是藥物緩解了患者的癥狀，而實際上是患者的樂觀天性讓他們表現得更好。

如果研究人員決定讓某個研究對象進入某一組，同樣的問題也會出現。這就是為什麼隨機分配是最好的分配原則。

2)安慰劑-對照組：

嚴格控制的研究需要有一個合適的對照組，也叫控制組。在醫學研究中，一個對照組通常會得到安慰劑——一種假的干預措施，如糖丸。這是為了區分藥物的實際作用和參與者的心理預期作用。（安慰劑效應之強大令人驚訝——強到常常可以緩解疼痛和其他健康問題。據史蒂夫·希爾伯曼（Steve Silberman）在《連線》（Wired）雜誌上的對安慰劑的深度報道[5]，近幾十年來，安慰劑效應一直在增強。

一個好的安慰劑組應該儘可能地與實驗組相似。舉個例子，如果你在測試一種較大的紅色藥丸，那麼在理想情況下，你應該給安慰劑組一種同樣較大的紅色藥丸，這種藥丸在各個方面都與實驗組的藥物一致，但是不含藥物。（是的，即使是一片藥丸的顏色和大小也會產生安慰劑效應。）有些研究甚至做了假手術[6]，包括麻醉、切口、縫線等工作。

3)雙盲：

如果參與者不知道自己是在實驗組還是對照組，那麼這項研究就是「盲」的。例如，你不希望有人知道她服用的是真正的藥物還是假藥，因為她對藥效的期望可能會改變研究的結果。

如果研究人員與參與者都不知道他們正在進行何種治療，那麼這項研究就是「雙盲」的。你不希望護士知道她給參與者的葯是真葯還是假藥，因為她的行為中的細微差別會影響病人，進而影響結果。

理解「顯著性」

在日常語言中，「顯著」的意思是某事是突出的或顯眼的。但是一項被認為具有「統計顯著性」的科學發現不一定符合上述兩種情況中的任何一種。科學家們通常認為，如果一種叫作「p值」的特殊統計工具可以檢測到這種顯著效應，那麼這個研究結果就具有統計學意義。

取多大的p值是任意的，在不同的科學領域也會有所不同。通常被認為具有「統計顯著性」的臨界值是0.05的p值。

p值並不是研究中唯一的關鍵數字，記住這一點尤為重要。例如，治療某種疾病的方法在統計學上有顯著的效果，可以將存活率從43%提高到44%。這是一個微小的改變，可能對未來如何治療這種疾病並沒有多大意義。

事實上，有些人認為科學論文應該完全廢除p值[7]，取而代之的是清晰地顯示效應量和效果的範圍，這兩者都是極其重要的。

另一個危險是：如果你一次又一次重複相同的研究，或者對相同的數據進行大量不同的統計分析，你可能最終會得到你想要的結果，但是這種結果純粹是偶然的。然後，你只公布那些看起來有意義的結果，這很可能會讓公眾從你的研究中得出誤導性的結論。此外，查爾斯·塞費（Charles Seife）在《科學美國人》（Scientific American）上對各種各樣的p值陷阱進行了很好的概述[8]。

注意利益衝突

利益衝突有多種形式。如今，科學和醫學出版業最關心的是財務問題。

例如，某個研究者獲得了一家公司的資助，該公司能從其研究成果中獲得利潤。或者，這個研究者可能與公司有關係，比如擔任董事會成員或無薪顧問，因此他有可能在未來從研究中獲得經濟回報。

例如，某家食品公司的理事會想要推廣某種食品，然後資助一項關於該食品的健康益處的研究，卻忽視該食品的害處。另一種情況是，研究者接受製藥公司的差旅費去參加某個會議，並研究該公司的藥物或其競爭公司的藥物。

最近的一項分析發現[9]，在頂級醫學期刊中，7%到32%的隨機試驗完全由醫療行業的機構提供資金。這只是那些擁有全部直接資金的研究。據推測，任何形式的利益衝突所佔的比例都非常之高。

一種解決辦法可能是禁止這種利益衝突[10]。但是許多期刊選擇了不同的披露要求，比如《科學》（Science）雜誌要求提交論文的人披露「任何可能引發研究偏差的從屬關係、資金來源或金融控股」[11]。（研究者實際填寫的表格更為詳細[12]。）

然後，編輯決定在發表論文時應該公開哪些信息。無論誰讀了這篇論文，都可以得出自己的結論，即這些信息是否有意或無意地影響了數據。

如果有什麼信息需要披露的話，那就要看期刊的要求了（在某些情況下，還要看研究者的僱主的要求[13]）。許多期刊在其網站上發布關於利益衝突的政策。如果你仔細研究一篇論文，你也會發現其中隱含的一些信息。

知道同行評議並不完美

同行評議是一種審查系統，在這個系統中，幾位獨立的專家評審提交給期刊的論文。一般來說，如果論文沒有經過同行評議，這個期刊的質量就不高。

通常情況下，評審員是由期刊選擇的，並且是匿名的，以便讓評審儘可能公正。這些評審員可以建議修改文章，增加新的實驗，甚至建議期刊拒絕這篇論文。然後，論文的作者通常會查看這些評論，並在覺得有必要修改時將它們合併到修訂後的論文中。

但是，評審員並沒有被要求盡其所能地確保結果是絕對正確的。（這需要花費太多的時間，而且不切實際。一篇論文有時要花好幾年才能完成所有的修改。）例如，評審員不會被要求自己嘗試做實驗，通常也不會查看原始數據或重新分析數據。

他們確實會查看論文初稿[14]，看看實驗設計是否合理，數據是否支持論文的結論，以及這些發現是否值得發表。

所以說，同行評議通常是有益的，但並不完美。在論文中的研究結論得到重複驗證之前，科學的過程實際上還沒有完成。這是在論文發表之後發生的事情（如果有人重複進行研究的話），而不是在發表之前。

此外，有時論文會被撤回。這很罕見，但確實也會發生。伊凡·奧蘭斯基（Ivan Oransky）和亞當·馬庫斯（Adam Marcus）的博客「撤稿觀察」（Retraction Watch）非常棒[15]，你可以在這裡聽到最大規模、最重要、最戲劇性的撤稿事件。（這種事件可以是相當戲劇化的。例如，2014年，聲學領域的《振動與控制期刊》（Journal of Vibration and Control）就一次性撤回了60篇論文[16]。）

常規的同行評議過程中也有一些奇怪的例外，包括《美國國家科學院院刊》（Proceedings of the National Academy of Sciences，PNAS），該雜誌允許其極具聲望的學術機構的成員每年為自己的多達四篇的論文選擇評審員。彼得·艾德豪斯（Peter Aldhous）在《自然》（Nature）上講述了一個關於這個有爭議的過程的好故事[17]。（PNAS也通過更傳統的同行評議系統接收許多論文。）

意識到並不是所有的期刊都是好的

某篇論文發表在期刊上並不意味著它是一個很棒的研究。期刊和論文的質量參差不齊，從很好到很平庸無聊，再到徹頭徹尾的弄虛作假。甚至一流的期刊有時也會發表有缺陷的研究。

評估科學期刊影響力的最常用的指標是影響因子（IF）。影響因子本質上是一種受歡迎程度。它計算了一個期刊的論文在其他論文中被引用的次數，相對於這個期刊自身的論文發表數。

論文被引用的次數越多，這個期刊對人們的研究工作的影響就越大。（具體來說，IF是根據湯森路透期刊引文報告資料庫中的引文計算出來的[18]。)

如何找到期刊的影響因子？如果你是一個很好的圖書館的會員，你可以訂閱一份每年都會發表的期刊引文報告分析[19]。如果你不是這樣的會員，許多期刊和期刊出版商將自豪地在它們的網站上列出它們的評級。只要搜索「影響因子」即可。一些最著名的期刊，比如《科學》、《自然》和《美國醫學會雜誌》（JAMA），它們的影響因子最低接近30，最高可達35。（《新英格蘭醫學雜誌》（New England Journal of Medicine）在20世紀50年代擁有令人震驚的影響因素。）

影響因子是有爭議的[20]。它是一種方便的工具，但它不是看待事物的唯一方式。

一些科學領域自然會比其他領域有更多的引用次數，但這並不一定意味著前者真的更好或更有影響力。至少有一項研究發現[21]，影響因子與專家意見並無緊密的關聯。

另一件需要當心的事情是有些期刊是剝削性的，以盈利為目的，它們會發表幾乎任何論文（而且沒有同行評議）。最近有幾個人想挖猛料[22]，他們提交一些有缺陷的或邏輯不連貫的論文，引起了這些期刊的興趣。

還有一點需要知悉，即一項研究是否發表在適合它的主題的期刊上。有時，垃圾的科學研究最終會出現在同行評議的期刊上，尤其是在其專業領域之外的期刊上。在這種情況下，它的審稿人和編輯可能不太能夠準確地評估論文的質量。

薩拉·費希特（Sarah Fecht）講過一個好故事，一項低劣的研究[23]被發表在《大眾機械》（Popular Mechanics）上——然後，這項研究被媒體報道，彷彿它是很好的研究一樣。

本賬號系網易新聞·網易號「各有態度」簽約賬號

參考：

[1] http://www.gallup.com/poll/101872/how-does-gallup-polling-work.aspx

[2] http://www.slate.com/articles/health_and_science/science/2013/05/weird_psychology_social_science_researchers_rely_too_much_on_western_college.html

[3] http://www.vox.com/xpress/2014/10/8/6939623/antibiotics-afternoon-overprescribe-resistance-doctors-decision-fatigue-ego-depletion-glucose

[4] http://tylervigen.com/

[5] http://www.treehugger.com/culture/talk-like-a-pirate-day-the-critical-relationship-between-pirates-and-climate-change.html

[6] http://archive.wired.com/medtech/drugs/magazine/17-09/ff_placebo_effect?currentPage=all

[7] http://en.wikipedia.org/wiki/Sham_surgery

[8] https://go.redirectingat.com/?id=66960X1516588&xs=1&url=http%3A%2F%2Fwww.nature.com%2Fnews%2Fscientific-method-statistical-errors-1.14700

[9] http://www.scientificamerican.com/article/the-mind-reading-salmon/

[10] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2735431/

[11] http://www.sciencemag.org/site/feature/contribinfo/prep/coi.xhtml

[12] http://www.sciencemag.org/site/feature/contribinfo/prep/coi.pdf

[13] http://sites.duke.edu/rethinkingclinicaltrials/conflict-of-interest-in-translational-research/#federalrules

[14] http://www.elsevier.com/reviewers/reviewer-guidelines#conducting-a-review

[15] http://retractionwatch.com/

[16] http://www.vox.com/2014/7/10/5884093/this-scientific-journal-just-had-to-retract-60-papers-how-on-earth

[17] https://go.redirectingat.com/?id=66960X1516588&xs=1&url=http%3A%2F%2Fwww.nature.com%2Fnews%2Fscientific-publishing-the-inside-track-1.15424

[18] http://thomsonreuters.com/journal-citation-reports/

[19] http://wokinfo.com/products_tools/analytical/jcr/

[20] https://go.redirectingat.com/?id=66960X1516588&xs=1&url=http%3A%2F%2Fwww.nature.com%2Fneuro%2Fjournal%2Fv6%2Fn8%2Ffull%2Fnn0803-783.html

[21] http://www.sciencedirect.com/science/article/pii/S1751157711000666

[22] http://www.vox.com/2014/4/24/5647106/a-reporter-published-a-fake-study-to-expose-how-terrible-some

[23] http://www.popularmechanics.com/science/health/what-can-we-do-about-junk-science-16674140

翻譯：孫閏松

編輯：EON

原文：https://www.vox.com/cards/savvy-science-reader

深讀

1

#醫學

一項曾經宣告失敗的臨床試驗，仍然有望挽救抑鬱症患者？

2

#神經科學

為何人類大腦如此高效

3

#技術

賽博時期的愛情

4

#精神衛生

構建一個沒有自殺的世界，可能嗎？

Messages from the unseen world_

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！