新工具可計算生物醫學論文可重複性得分

科學界正在尋找新工具衡量已發表研究成果的可再現性，因為人們擔心許多研究無法獨立再現。

圖片來源：National Eye Institute, National Institutes of Health

1月19日公布的一個新的在線工具可通過分析已發表論文的引文數量，衡量該論文可再現性。

這個軟體出現得可謂正當其時，很多證據已經給科學界和期刊行業敲響警鐘，它們表明許多已發表文章的研究結果是不可重複的，為此科學界正在努力尋找可靠的方法來評估它們是否可以再現。

新工具由美國康涅狄格州紐黑文市Verum分析公司開發，它生成了一個叫作r-因子的指標，該指標依據其他證明或駁斥其研究結果的研究數量，來說明一篇期刊文章的可再現性。但r-因子指標卻引來了學者的大量批評，他們認為這種相對簡單的方法可能不足以解決衡量可重複性的多方面問題。

對新工具的初步反饋表明，Verum公司並沒有完全消除這些擔憂。該公司開發者承認新工具仍然存在局限性；他們表示開放該工具的目的是接受相關反饋，以獲得關於其工作效果以及如何改進的建議。Verum公司自願開發了該工具，其聯合創始人Josh Nicholson說，他們希望公開該工具的初步版本能吸引潛在的投資人助力改善它。

Verum去年8月在一篇預印文本中報告了該工具基於r-因子的方法，並在新工具中對其進行了改進。它僅依賴於受歡迎的生物醫學搜索引擎PubMed網站上可免費獲取的研究論文的數據。

在開發之初，Nicholson和同事手動分析了4.8萬個引用其他已發表文章的論文文本的片段。Verum和同事將每個片段分別歸類為「證實、反駁或是提及」其他的文章。然後，Verum利用這些分類來訓練一個演算法自動識別樣本群之外的每類片段。

基於約1萬個摘錄的片段樣本，Verum公司的開發人員稱，新工具可以在93%的情況下對段落進行正確的分類。與證實或反駁性的引用片段相比，它能更準確地檢測到「提及」其他文章的引用，因為證實或反駁類的樣本更少。分析發現，絕大多數文章都提到了以前的研究，但卻沒有證實或反駁它們的主張；只有約8%的引用是證實性的，而反駁性的約有僅1%。

來源：科學網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！