「數據暴徒」見面揭露偽劣和可疑研究

Nick Brown（左）和James Heathers 圖片來源：ANDY FRIEDMAN

2015年，荷蘭格羅寧根大學心理學研究生Nick Brown在推特上看到了一些引起他注意的東西。這是法國南不列塔尼大學心理學家尼Nicolas Gueguen發表的一篇文章。Gueguen喜歡發表一些人類行為研究結果，例如，金髮女服務生會得到更多小費。而現在，Gueguen說男性不太可能幫助那些將頭髮扎住的女性。

Brown給美國波士頓東北大學行為科學博士後James Heathers發了一封電子郵件，幾年前曾他們曾見過面。Brown和Heathers仔細研究了Gueguen的論文，發現許多研究都沒有通過本土測試驗證統計的嚴密性。他們還在Gueguen的其他9篇文章中發現了奇怪數據。

不久，Brown和Heathers就這些數字問詢了Guéguen和法國心理學會。結果，他們說，Guéguen未能充分解決他們的問題，而該學會同意他們的批評似乎是有根據的。因此，去年年底，這對搭檔公開了其調查，向記者表達了他們的擔憂，並在博客上發表了他們的評論。（Guéguen拒絕採訪，而法國心理學會表示一個大學專家委員會在檢查這些論文。）

在糾正科學文獻方面，風格各不相同。一些科學家喜歡通過「適當的渠道」，例如私人談話或給編輯的信件。還有一些人在網上論壇上留下匿名評論。而Brown和Heathers正在採取更公開的方式。

現在，這兩位監督者在揭露問題出版物方面已成績斐然。到目前為止，Brown估計，他們聯合或獨立所做的分析，導致了幾十篇論文的修改，以及大約10篇論文的完全撤回。這包括康奈爾大學知名營養研究員Brian Wansink在過去1年撤回的5篇論文。

這兩人也承認，他們過於自信的風格可能會惹惱一些科學家。Heathers稱自己是「數據暴徒」。但也有研究人員稱讚這對搭檔是推動科學更嚴謹的先鋒。「如果沒有像他們這樣的人積極地搜索文獻論文，人們就會忽視這一點。」弗吉尼亞大學心理學家Brian Nosek說，「我可能會看到一篇論文，說『我不相信』，然後棄之不顧。而他們卻會繼續調查。」

因此，Brown和Heathers已經成為了某種告密者：研究人員現在會將可疑論文發給他們進行調查。

不太可能的組合

這對合作似乎不太可能，他們也是在互聯網上才有可能出現的一對奇特組合。

現年57歲的Brown最初是英國劍橋大學的工科學生，但「我的數學不夠好」，他說，最後成了一名計算機網路管理員。

這份工作讓Brown有兩次邂逅，最終促成了他目前的追求。在參加人力資源會議時，他遇到了英國心理學家Richard Wiseman，他在2010年撰寫了一篇頗具影響力的博客文章，批評了康奈爾心理學家Daryl Bem即將發表的研究，該研究旨在證明超感知的存在。這次遇見「播下了種子」，促使Brown在東倫敦大學攻讀心理學碩士學位。

新的學習讓Brown進行了第一次成功揭秘。2013年，他與另外兩位學者合作，其中一位是紐約大學數學家和物理學家Alan Sokal。他們發表論文批評了當時心理學理論經典論文，指出論文中的公式依賴於流體動力學領域的無關方程。他們的文章最終引發了該論文的部分撤銷。

2014年，Brown認識了Heathers。當時他們同在一個「臉書」討論組裡，討論一篇關於心率變異性的文章。

實際上，這對搭檔的性格截然相反。儘管Brown並不認為自己是戰士，也沒有任何「恃強凌強」的痕迹，但在澳大利亞出生的35歲的Heathers卻表現得像個晚餐客人，在優雅的時刻「毫無歉意地放屁」。而且他似乎天生無法接受權威。

當時，作為悉尼大學的一名本科生（他也在那裡獲得了碩士和博士學位），Heathers開始學習經濟學，但後來轉向生理學。「我一直在和講師爭論，他們說的東西我不同意。」但由於種種原因，導師離開了他。「在接下來的3年中，我花了大部分時間試圖自己解決問題，」Heathers說。「我對學術參數或應該做什麼沒有概念。」

Heathers強調的是他所謂的「數據材料」。簡而言之，這意味著批評其他研究人員的結果。「我平時的工作，就是從別人那裡獲取測量數據，並告訴他們誤入歧途了。我通常是壞消息的傳遞者。」他說。

當這兩人一起工作時，通常一方明顯處於領導地位。Brown說：「我們通常是80/20或90/10分。有時我在做大部分的工作，而James只是在那裡忍受我的抱怨和檢查我不會掉進兔子洞，反之亦然。

數學方法

2015年，Brown和Heathers開始聯合檢查Guéguen的論文，他們的數學方法雛形開始成形。

他們在2016年5月發表在Heathers博客上的一項技術，著眼於研究人員所謂的GRIM方法。本質很簡單：N個整數集合中的平均值必須是一個分母為N的分數。例如,如果研究員的研究涉及12個11歲至17歲的孩子，他們的平均年齡15.7歲似乎是合理的。但GRIM測試表明，它在數學上是不可能的，因為15.7不是一個年齡總和除以12能得出的數字。

Heathers說，他們並不認為GRIM測試是一種檢測不當行為的好方法。GRIM是發現心理學和其他領域小樣本的結果錯誤的理想方法，它不適用於大型研究和更複雜的數據集。相反，Heathers說，「我們正在尋找錯誤，這是字面上的。」

對於那些大型研究論文，Heathers提出了一個更複雜的測試，他和Brown開發了樣本參數通過迭代重建技術（SPRITE）。本質上，SPRITE允許研究人員做一些反向工作：從研究中報告的方法和標準偏差中推導出統計數據集。

在針對康奈爾大學Wansink的論文分析中，SPRITE非常理想。測試表明，Wansink 2012年發表在《預防醫學》上的一篇研究在學校兒童使用胡蘿蔔情況的文章的數據似乎是不確定的。通過SPRITE分析已發布的數據表明，在樣本中至少有一個孩子在一次吃了大約60根胡蘿蔔。

儘管直擊論文錯誤，Brown和Heathers卻沒有受到同行的批評。在某種程度上，這可能是因為他們的策略溫和，但有條不紊地加大了作者和期刊的壓力。例如，對Wansink的分析從「一些非常禮貌的」電子郵件開始，詢問研究人員所在部門的數據，以及康奈爾大學研究誠信辦公室的數據。

編輯也在聽

一些編輯和出版商顯然也在關注這對搭檔。Wansink事件明確向「我們展示了在線論壇是有價值的科學記錄。」尖端科學誠信負責人Gearóid ó Faoleán說。該公司的一個期刊撤回了Wansink 2016年發表的一篇論文。他們還促使《感官研究雜誌》的編輯對他們在2014年發表的Wansink的論文進行了調查，並要求對其進行修正。

其他想要成為數據揭發者的人也對這二人在影響期刊方面的成功印象深刻。紐約羅徹斯特大學醫學中心的Paul Brookes曾用博客以匿名的方式指出可疑論文。僅6個月後就受到Brookes法律威脅，他說他還「經常給期刊編輯寫幾十封電子郵件，而且根本沒有回應是很正常的」。

加州舊金山uBiome的一名科學編輯Elisabeth Bik，也經歷過類似的沉默。當Bik是斯坦福大學研究人員時，她牽頭對2016年發表在mBio的2萬篇論文進行了分析，得出的結論是4%或800份文件中含有不恰當的圖像。她聯繫了大部分期刊，但只有1/3的人回復了。

現在還不清楚為什麼Brown和Heathers得到了更好的回應——可能是整體風氣變了。那麼，為什麼沒有更多的科學家效仿呢？

他們說，一個很大的障礙是，很多人不願意把「友誼的小船」打翻。Brown說：「有些人不喜歡批評別人，甚至是自己。」他們對明顯問題的反應是退縮，就好像一個科學超我在說，「我可以得到這個教授的文章並讀它嗎？如果我重新計算平均值，會不會有不好的事情發生？ "

另一個障礙是過度的信任。Heathers說：「其他人確實缺乏這種質疑的心態，並認為這是必要的。沒有發現錯誤的指南，沒有可以閱讀的文字。到目前為止，我們所做的是非常特別的。」

中國生物技術網誠邀生物領域科學家在我們的平台上，發表和介紹國內外原創的科研成果。

本公眾號由中國科學院微生物研究所信息中心承辦

微信公眾號：中國生物技術網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！