機器學習論文呼籲「預註冊」，事先評審專治「注水研究」！

新智元報道

來源：Nature、Reddit

編輯：大明、三石

【新智元導讀】近日，關於「預註冊」（Pre-registered）的研究方式在Reddit論壇上引發了熱烈討論。「預註冊」是先向期刊提交理論研究和實驗設計方案，在評審並接受後，再展開進一步工作的一種方式。Reddit用戶呼籲在機器學習領域中也採用這種方式，引發了網友們的熱議。

所謂「預註冊」研究，通俗點說就是，在實際著手開始研究之前，先將研究假設和實驗設計方案等前期重要信息，向欲投稿的學術期刊進行事先註冊，由期刊先行組織專家進行同行評議。

如果評議通過，則期刊一般原則性承諾同意發表。然後再進入正式研究和論文撰寫、投稿等後續環節。

顯然，這一方式與現行的研究和論文發表流程有很大不同。

英國卡迪夫大學的研究人員特別對「預註冊」制度及其影響做了首次分析研究。

研究結果表明，採用這種模式，最終產生無效結果（即研究結果無法證明假設）的情形會大大增高，尤其是在心理學領域。這表明「預註冊」制度對一些「削足適履」的假結果起到了明顯的過濾作用。

傳統研究流程中，研究人員為了獲得「優質結果」，易產生髮表偏見、p值作弊、可重複性低的嚴重問題

於是，Reddit上今天也掀起機器學習論文也要實行「預註冊」的大討論。

預註冊有多好？能夠避免「發表偏見」

研究人員指出，在傳統的提出假設——設計實驗——驗證結果——投稿發表的研究流程中，研究人員容易為獲得正面結果而產生「發表偏見」，可能會對不利於證明研究假設的結論有意隱瞞，甚至對數據進行篡改等造假作弊手段。

他們認為，在進行研究之前記錄下研究假設和實驗方案，確實可以取得預期的結果，能夠減少為獲得正面結果而產生的「發表偏見」。

日前，《Nature》網站也撰文稱，「預註冊」制度確實可以起到預期的「去偽存真」的作用，提高科學研究的可信度和可重複性。

在開始收集數據之前，先將研究方案進行登記和記錄，可能會改變研究結果。圖片來源：Ariana Lindquist / Bloomberg / Getty

文中提到，沒有獲得正面結果的研究往往被歸檔，從此不見天日，這會導致為獲取正面結果而產生的「發表偏見」，損害科學文獻的可信度。

現有分析表明，在進行研究之前，對研究方案進行登記和同行評議，可以改善這個問題，並有助於糾正為獲取正面結果而產生的發表偏見問題。

來自英國卡迪夫大學的研究人員稱，他們的這一研究是對「預註冊」研究方式是否有效的第一次分析。結果發現，事先將研究方案進行登記的研究更有可能報告無效的結果。該分析於10月17日發表在PsyArXiv資源庫上。

預註冊去偽存真：真的能提高研究結果質量

在「預註冊」制度下，研究人員需要在研究開始前就向相應期刊提交研究方案。如果研究方案通過了同行評議，該期刊會暫時承諾在研究完成時將論文發表，無論研究結果如何。

這種做法在過去幾年中已經開始在科學界出現，這一制度起源於美國法律強制要求的臨床試驗中的「預登記」制度。目前約有140種期刊使用這種方式，有130份進行預註冊的研究報告，其最終研究結果已經發表。

「預註冊」制度的支持者希望，該方式能夠打擊那些可疑的研究活動，比如先看結果，或根本不報告負面結果，然後再回頭提出研究假設。

為了考察「預註冊」方式是否會增加研究報告無效結果的頻率，心理學家Chris Allen和David Mehler分析了生物醫學和心理學中113份預登記報告的結果。

在這些研究中，他們考察了296個彼此獨立的研究假設，結果發現，總體而言，這些研究後來發表的結果中，有61%不支持最初的假設。對於考察可重複性研究的驗證研究，這個數字比例要更高一些，為66％，對於原始研究，這一比例為55％。

來源：PsyArXiv，https://psyarxiv.com/3czyt(2018）。

這些數字遠遠高於一般科學文獻中提出的無效結果的比例，以前的研究表明，研究人員估計該比例在5％到20％之間。

預註冊報告的數量呈指數級增長，但研究的代表性還有待提升

不過，荷蘭埃因霍溫科技大學的心理學研究人員Anne Scheel表示，這項研究可能仍然低估了無效研究結果的真實比例。

據其他研究估計，在心理學中測試中的假設實際上為假的比例可能高達90％，Scheel說。這表明當前科學文獻中的實際上的無效結果「與我們期望中不存在任何發表偏見的情況」大不相同。

她表示，這一分析是探索性的，而且研究結果也可以有其他解釋。

比如Scheel說，由於採用「預註冊」可以或多或少地保證論文發表，人們可能會策略性地使用這種制度，提出一些預期可能無法通過驗證的研究假設。

她補充說，「預註冊」制度誕生不久，有可能迄今為止發表的研究並不能更廣泛地代表心理學領域的情況。 「目前還有很多未知因素，」Scheel說。 「但對於科學家來說，這也是一個非常激動人心的時刻。」

目前，預註冊報告的數量正呈指數級增長，Allen現在希望能夠進行樣本量更大的另一項研究，以便回答之前研究提出的一些問題，而且計劃將這項研究也進行「預註冊」。

Reddit呼籲ML中採用「預註冊」：無效結果會比其他領域有用得多

Reddit上便有位用戶拋出了一個討論：

若是能在機器學習領域中召開預登記實驗的會議/期刊就好了。你只要提交理論部分的論文以及實驗的設計，然後讓評審們進行評估，若是他們覺得OK，你再繼續做實驗。而且，無論實驗結果如何，這篇論文都算是被接受了。

此貼一出，便得到了眾多網友的圍觀與評論，網友Flag_Red評論到：

目前很多機器學習的研究都屬於工程學，我覺得在這種情況下，無效結果會比其他領域有用得多。我認為這主要歸結於機器學習在工程方面要比理論方面超前很多。

在其他領域中，他們會說：「這是我的假設」，然後再對其進行測試。若結果無效，仍然是一件非常有意思的事情，「我的假設」本應該有效，卻不知什麼原因變得無效了。

然而，在機器學習中，幾乎沒有人在測試假設之前就說，「我認為這將會因為某某原因而起作用」。許多的發現都是來自簡單的實驗。

如果我們能在ML學術界培養一種更傳統的科學文化，那麼發表無效結果論文數的增加，也未嘗不是一件好事。但就目前的狀況而言，我認為並不會有多大幫助。

另一位網友表示：

這可能為時過早。無效結果在物理學領域中非常有用，並且具有完善的理論框架。

現在大多數的深度學習是由研究生根據直覺和實證結果結合在一起的。 無效結果可能是一個很好的啟發式方法，但如果沒有一個堅實的理論框架，這個假設期刊中的信噪比會非常高。

當然，這甚至還沒有解決大規模超參數搜索和隨機初始化的問題，我認為這才是真正的問題。你的方法失敗是因為你的原始概念不健全，還是因為你無法找到超參數和/或隨機初始化的正確組合呢?

那麼對於在機器學習領域也採用「預註冊」制度，你怎麼看呢？

參考鏈接：

https://www.reddit.com/r/MachineLearning/comments/9racim/d_nature_first_analysis_of_preregistered_studies/

新智元AI WORLD 2018

世界人工智慧峰會全程回顧

新智元於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

全程回顧新智元 AI World 2018 世界人工智慧峰會盛況：

愛奇藝

上午：https://www.iqiyi.com/v_19rr54cusk.html

下午：https://www.iqiyi.com/v_19rr54hels.html

新浪：http://video.sina.com.cn/l/p/1724373.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！