來源 | 林墨
摘要

5月28日，《Nature》上的一篇文章提出了一種新的期刊評價方案的構想。

李江 / 南京大學

魏春麗 / 安徽大學

所有定量評價指標註定被濫用。

古德哈特定律（Goodhart』s law）顯示：當一個指標被選作衡量經濟走向的指標時，那麼它將勢必失效，因為人們開始把它玩弄於股掌。

這是我們堅定的認為『任何定量指標都難以取代期刊影響因子』的理論基礎。

5月28日，《Nature》上的一篇文章讓我們重新審視了我們的觀點。

在這篇題為《Rethinking impact factors: better ways to judge a journal》的文章中，Paul Wouters等人指出了單一的期刊影響因子在評價期刊中的不足，並提到：「我們需要一套更多元、更透明的期刊評價指標體系，以改善論文發表的現狀」。

具體而言，他們認為，（1）新的期刊評價方案是一組而不是一個指標，這些指標應涵蓋期刊的所有功能；（2）新的方案的使用應遵循一定的規則；（3）應該設立一個監管組織，負責設計評價方案，制定使用規則[1]。

這項提議源於2017年在荷蘭萊頓舉辦的研討會。 它是由萊頓大學科學與技術研究中心、科睿唯安和歐洲生命科學組織EMBO共同組織的[2]。

來自學術生態系統的二十多位專業人士參加了此次活動（國內，杭州電子科學大學的舒非教授曾參與了此次活動）。

1963年，Garfield & Sher正式提出「期刊影響因子（Journal Impact Factor）」，起先是為了使SCI資料庫選刊時更具有操作性，到後來逐漸被世人所認可，現今成為了JCR期刊引證報告里用於測度期刊影響力的一項重要指標。

它的測算公式為：某期刊在2016年的影響因子=該期刊2014和2015兩年發表的論文在2016年被引用的次數÷2014和2015兩年發表的論文之和。

期刊影響因子綜合考慮了發文量和被引次數兩個因素，本質上是一個均值型演算法，即期刊前兩年發表論文的篇均被引次數。

的確，期刊影響因子有很多缺陷，容易被人為操控。

2017年4月27日，舊金山宣言（DORA）建議：影響因子是評價期刊的指標，不應使用類似期刊影響因子這類的基於期刊的指標來直接衡量個體論文的質量和評價相關作者的貢獻，更不應基於此做出僱用、晉陞和基金資助的決定。

現已有1,356個機構和14,000多名個體簽署該宣言。

即便學術界反對濫用影響因子的呼聲如此之高，影響因子在期刊評價甚至學術評價中至今仍然處於主導地位。

自1665年《哲學彙刊》創刊以來，學術期刊已有300多年的發展歷史。在這300多年裡，學術期刊的功能基本沒有變化。

Paul Wouters等人總結期刊的功能如下：

• 記錄研究人員的成果日期與作者身份，

• 管理文章成冊，以表示特定領域理論與方法的範疇，

• 評估研究發現的質量與創新程度等，

• 傳播科學發現

• 存檔學術成果

他們認為，新的期刊評價方案所使用的一組指標應該覆蓋所有這些功能，並且，指標應該符合這些標準：

• 有效（能夠表達所測量的概念）；

• 通俗易懂；

• 透明（應公開數據，明確說明局限性和不確定程度）；

• 公平（應避免系統性偏差）；

• 有適應能力（當指標的偏差，濫用或其他缺陷變得明顯時，應該對指標進行更新）；

• 可重複（使用指標的人應該能夠讓指標值重現）。

為防止指標被濫用，他們提議指標的使用都應符合以下四項標準：

• 恰當使用（明確指標所扮演的角色）。在對個人或機構科研水平進行評價時，期刊指標只起輔助作用，而非主導作用[3]。

• 語境差異（如學科差異）。正如2018年以來的期刊引證報告中所做的那樣，除了報告期刊指標的數值之外，還應報告分布特徵（例如：論文被引次數）[4]。同時也應考慮不同學科之間的差異。

• 充分告知。行業學會和相關專家應去普及指標的內涵及相關知識。

• 承擔責任。所有利益相關者都需要時刻關注指標的使用對研究人員以及其他利益相關者產生的影響。

最後，他們提議組建一個監管組織，由監管組織提出新的評價方案，以覆蓋學術期刊的各種職能，同時制定合理使用的標準，並計劃在2020年的第二次研討會上啟動該監管組織。

總體而言，該提議符合『科學評價時多個指標的組合優於單一指標』的標準，因此，理論上新的評價方案會是一種改進，但無論單一指標還是多指標組合，最終都難逃古德哈特定律的五指山。

如何讓新的指標體系不重蹈當前的期刊影響因子的覆轍，並非制定一套使用標準所能解決的。

畢竟，期刊影響因子當初也不是用於學術評價的。

監管組織如何約束全球的科研評估機構？如何阻止不當的使用行為？這些問題都值得深入思考。

參考文獻

[1] Wouters, P., et al. (2019). We need a broader, more-transparent suite of metrics to improve science publishing, say Paul Wouters, colleagues and co-signatories, Nature, .

[2] Sugimoto, C. et al. F1000Research. https://doi.org/10.7490/f1000research.1116751.1 (2019).

[3] McKiernan, E. C. et al. PeerJ Preprints 7, e27638v2 (2019).

[4] Larivière, V. et al. Preprint at bioRxiv

https://doi.org/10.1101/062109 (2016).

合作事宜：market@stimes.cn

投稿事宜：tougao@stimes.cn

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！