2016年關於心理學可重複性的主要關注點

修改自我對這一問題的回答：2016 年，心理學學科內部都出現過哪些有價值的爭論？

心理學的可重複性問題自 2011 年起，就持續成為熱點，爭論到 2016 年，也許算是頗為持久，當然，2016 年基本上可以算是對這個問題爭議的尾聲了，許多關鍵的問題已經為大家所接受，那麼 2016 年有意思的可能主要問題有：第一、統計知識在討論可重複性問題中的重要性；第二、討論可重複性問題的時候語氣應該是什麼樣的；第三、研究者如何面對自己過去的研究無法重複。

關於可重複性問題的爭論，主要是各種博客和 Facebook 的兩個群：Psychological Methods Discussion Group（目前有 5389 個成員）和 psychMAP（目前有 4465 個成員），有興趣的同行應該申請加入，可以圍觀大神們討論。

第一個問題：統計知識在討論可重複性問題中的重要性。

關於影響可重複性的因素，其實 2011 年的經典文章：false positive psychology （False-Positive Psychology）中就已經有了很好的說明：心理學中有許多研究問題，由於各位 p-hacking 手段的存在，實際上只是噪音而已。

而 2015 年心理學界最受到關注的文章：Open Science Collaboration. ( 2015 ) .Estimating the reproducibility of psychological science. Science, 349 ( 6251 ) , 943. doi:10.1126/science.aac4716（以下稱為 OSC ( 2015 ) ），又得到了關於心理學研究可重複性一個比較量化的估計：大約為 39% 的研究是可以重複的。

但是這個結論並非所有的研究者都認同，於是有了Dan Gilbert 在 Science 上對 OSC 2015 的論文的評論（Comment on "Estimating the reproducibility of psychological science"）以及其後續的爭議。這個爭議主要的問題集中於：Gilbert 等人的批評是否有道理？很多人不這麼認為，更要命的是，Gilbert 等人的評論中，暴露了他們對一些統計概念的理解偏差。後面也有不少研究者來反駁這一點。最為正式的，還是在 Science 上的反駁：http://science.sciencemag.org/content/351/6277/1037.3。還有一些其他研究者在自己博客上的反駁：Evaluating a new critique of the Reproducibility Project、http://daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html( 需要科學上網）、http://deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html（需要科學上網）

（無恥的自我推銷來了！！！）

考慮到 Dan Gilbert 在社會心理學中舉足輕重的地位，他的評論應該會影響很多人對 OSC2015 結論的看法，我們在《心理學研究中的可重複性問題：從危機到契機》一文中也用了一小節來討論他們的這個評論以及相關的問題，具體內容在 1505 頁最後一段到 1506 頁的前兩段。

關於第一個問題，還有另一個比較受到關注的爭論：van Bavel 在 PNAS 上的文章：

這個文章的一個核心論點是說：心理學中的不可重複性，是因為研究的問題的背景敏感性帶來的，其實有一些隱藏的中介變數（hidden modulators）沒有被發現。這個文章一出來，在 fb 上引發了非常強烈的反應，甚至有一些人身攻擊。後來的反駁也非常多，包括 Inbar 等在 PNAS 上寫的一個評論，認為這實際上只是一個統計謬誤（Association between contextual dependence and replicability in psychology may be spurious）、van Bavel 的反駁（Reply to Inbar: Contextual sensitivity helps explain the reproducibility gap between social and cognitive psychology），以及博客：如A critical comment on "Contextual sensitivity in scientific reproducibility"。在 facebook 的評論里，我覺得 Tal Yarkoni 的評論非常具有實際的意義：

So I guess that while I support your conclusions here regarding context sensitivity, I would argue that the strongest and most actionable implication of what you re saying is not that people should ease up on replication efforts and criticisms of non-replicability, but thatpeople who know their work is fragile should be very careful to announce that in the title and abstract, and not just in a sentence somewhere in the discussion. 這個問題我也覺得很嚴重：研究者明知自己所研究的效應很微弱卻宣稱自己的結果具有廣泛的意義，這種誇大的問題，可能是非常嚴重的。（關於 FB 上的討論，可以見這個帖子：facebook.com 的頁面）

關於什麼因素導致心理學的研究不可重複，這個問題可能可以永遠地爭論下去。不過 2016 年，不管研究者對可重複性持什麼觀點，一些新的研究實踐標準正在慢慢建立起來。OSC2015，以及 van Bavel 關於 contextual sensitivity 的討論，都把他們的數據公開，許多討論中也都附上了他們的分析代碼，這一點，也許是我們最值得跟進的。

第二個問題是關於研究者應該以何種語氣討論可重複性問題，也就是一個 tone 的問題。這個問題也不是 2016 年獨有的，Cambridge 心理學系的研究者 Schnall 2014 年就在博客上討論過這個問題：Further Thoughts on Replications, Ceiling Effects and Bullying （Blog - Department of Psychology）。原因也很簡單，當一些研究者的結果無法重複時，會有一些人對他們進行人身的攻擊、嘲諷、惡意推斷等。當年 Dan Gilbert 就在 tweeter 上說過有些人是 little replication bully。到 2016 年，這個問題成為討論的重點之一，因為 Susan Fiske 寫了一篇文章，她認為存在一些 methodological terrorism。目前，她寫的原始版本仍然在 dropbox 上保存著：https://www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%20presidential%20guest%20column_APS%20Observer_copy-edited.pdf。

正式版本中，Fiske 緩和了她的語氣：A Call to Change Science 』 s Culture of Shaming。

Fiske 在她原來的評論中，認為現在社交媒體發達之後，一些原本應該在學術雜誌上進行討論的事情，在社交媒體以及博客上就迅速地展開了，而且是沒有任何審查的。也正是因為如此，所以有許多人身的攻擊和不當的措辭，這種 methodoloigcal terrorism 的存在，讓很多有學術前途的人離開了學術界。

但是 Fiske 本人的觀點是代表了主流的意見？到底在是否存在 tone 的問題？不同的研究者有不同的看法，一些比較好的博客：

What has happened down here is the winds have changed - Statistical Modeling, Causal Inference, and Social Science（這篇博客還簡單地回顧心理學研究中的可重複問題的歷史）

第三、研究者如何面對自己過去的研究無法重複。

這個問題上有兩種態度：一種是發現自己原來的做法確實有問題，並且在後來的研究中更加重視統計以及研究的嚴謹性問題。這方面的極端代表是自己後面成為研究方法上的專家，比如有代表性的是 Daniel Lakens，他現在積極地推進各種統計上更嚴謹的方法，但他之所以這麼做，是因為他作為作者之一的第一篇論文（重量的具體認知：Weight as an Embodiment of Importance，這個研究我在 2010 年左右重複過，沒有重複出來，說多了都是淚）被人質疑 too good to be true，具體可以見他的博客：http://daniellakens.blogspot.hk/2016/09/why-scientific-criticism-sometimes.html( 需要科學上網 ) 。跟他相似的是 Joe Simmons，他們最初的非常 " 有趣 " 的研究結果 ( Daniel the Dentist:Moniker Maladies) 後來被發現是假陽性，後來轉而關注研究方法，成為了 2011 年 False Positive Psychology 的作者之一 :[ 53 ] What I Want Our Field To Prioritize - Data Colada。

另一種態度則是堅持自己原來的理論是正確的（注意，是理論，理論與數據之間的差異，見這我的這個筆記：Improving your statistical inferences 第一周），並且準備採用一些方法來為自己的研究正名。這方面有代表性的是關於 Power Posing 效應的兩個作者之間的申明：Power Posing - Sep 20, 2010的作者分別是：Dana R. Carney, Amy J.C. Cuddy, Andy J. Yap。2016 年，一作 Dana Carney （現在是伯克利加州大學商學院的副教授）公開表明了自己對 Power Posing 的態度 (http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf) ，核心觀點是：

....

I do notbelieve that "power pose" effects are real

..... 要知道，這個 power posing 的研究，是 TED 上最火爆視頻 (Your body language shapes who you are) 的科學來源。

二作 Amy Cuddy 對這個表態的反應是：power posing 的效應是有的，但是我們需要先把 power posing 的定義弄清楚 ....., 具體見這裡：

至於 Amy Cuddy 的對 power posing 的定義是否是一種 post-hoc justification，每個研究者都有自己的看法。而關於 power posing 的重複實驗，目前也是非常多的。有興趣應該能夠搜索到。

另外一個社會心理學影響非常大的研究：ego-depletion，在 2016 年也有了一個多實驗室大規模註冊重複的結果：A Multilab Preregistered Replication of the Ego-Depletion Effect。 Baumeister 對此的反應在這裡：Misguided Effort With Elusive Implications。當然，還有反駁：Commentary: Misguided Effort with Elusive Implications, and Sifting Signal from Noise with Replication Science

當然，2016 年，還有許多其他的爭論，但可重複性問題的爭議慢慢進入尾聲時，有人開始反思，為什麼心理學的可重複性問題會如此引人注目？原因是多方面的（Why is the scientific replication crisis centered on psychology? - Statistical Modeling, Causal Inference, and Social Science），有兩個比較有意思：一是心理學的研究比較開放，很多都可以公開討論；二是沒有涉及太多的利益，所以沒有因為利益關係而被壓制起來。從這個角度來說，心理學的研究者還是可以自豪一些的：起碼，我們的領域沒有太受到利益的捆綁而一直保持低可重複性而無所變化。總體來說，心理學的研究，還是在慢慢進步的。

作者：知乎用戶（登錄查看詳情）

【知乎日報】千萬用戶的選擇，做朋友圈裡的新鮮事分享大牛。>