科學的產出與認同：一項關於科學獎勵機制運行的研究
STEPHEN COLE和JONATHAN R. COLE
哥倫比亞大學
原文載於：Cole S, Cole J R. Scientific output and recognition: A study in the operation of the reward system in science[J]. American sociological review, 1967: 377-390.
張慧睿、張慧譯，汪茹、沈文欽校
摘要
文章研究了120名大學物理學家的研究產出的數量和質量之間的關係。雖然這兩個變數是高度相關的，但是一些物理學家創作大量沒有意義的文章，另一些則創作量少卻有重要意義。本文研究了物理學家社群對這些研究出版的不同模式的反應。在獲得認可方面，科學產出質量比數量更為重要，這些認可的形式包括獲得獎項、被卓有聲譽的院系所聘用、在同行中間享有廣泛的知名度，等等。獎勵制度的運作鼓勵創造性科學家更加高效率，將不那麼有創造力的物理學家的精力轉移到其他工作方面。一流的院系產出的數量和質量之間產生的相關性要高於較弱的院系。
科學社會學家已經研究過科學家研究發表的數量和質量之間的關係，二者在幾個科學領域都呈現出較高或中度的相關性。科學家發表論文的數量和質量之間存在一定的相關性。鑒於這樣的相關性並不是百分之百，也就意味著存在一些論文發表數較少的科學家被評價為為該學科領域做出巨大貢獻，而一些高產科學家被評價為貢獻較少。
這就提出了科學家社群是怎樣回應不同的研究發表模式的問題。就像「不發表，即死亡」的現象所暗示的，發表了很多無用論文的科學家將會獲得獎勵，而論文量很少但是質量卻很高的科學家得不到認可？獎勵體系能否有效獎勵突出貢獻的科學家？
這個論文展示的數據，是對於大學物理學家的研究，評價物理學家究竟因為論文數量還是質量而得到的獎勵。我們還得到一個方法論上的副產品，一個測量科學產出質量的更好的指標。
本研究中的一組數據包括120位大學物理學家的科學產出。這120位物理學家是按照年齡、所在大學院系的聲譽排名、產出和重要獎勵來進行分層抽樣抽出來的。這些樣本，很適合一些研究問題，但是不具有代表性，它過多代表了很傑出的科學家。收集的統計量有：發表論文的數量、著作引用數量、院系在全國的排名、獲獎數量。第二個資料庫是用來測量樣本所獲獎勵的聲望以及這些物理學家在全國物理學家群體中的知名度。我們給2036個在最近五年頒發了2個以上博士學位的院系工作的物理學家發了問卷，回收了1281份。
由於我們想首先調查120名物理學家發表的研究的數量和質量之間的關係，我們必須兩個都有可靠的測量方式。作為科學產量的衡量標準，我們採用《科學摘要》中列出的每個物理學家的科學論文總數。評估科學出版物的「質量」的問題更加困難，長期以來一直是科學社會學進步的主要障礙。我們中的大多數人都尤為贊同產出量不等於質量的想法，然後卻繼續使用出版物數。似乎沒有可行的辦法來衡量大量文件的質量或大量科學家的總工作。幾年前的科學引文索引（SCI）的發明提供了一種新的工具，可以對個別科學家在某些科學領域的貢獻的重要性進行可靠和有效的測量。從1961年開始，SCI列出了越來越多的期刊上出現的所有科學論文的引文。因此，可以計算在1961年和某些後來年份，由物理學家對任何一篇論文或一組論文的被引數。被引的數量被認為是代表每個領域的論文的相對科學的意義或「質量」。
這一假設和程序有一些支持性證據。在對科學輸出測量的最全面的研究中，Kenneth E. Clarkasked請一個心理學專家小組列出了對他們的領域做出最重要貢獻的心理學家。接著研究被選次數與其它體現其卓越的指標間的關係。與被選次數最高度相關的度量是此人文章的期刊被引數（r=.67）。Clark總結說被引數是心理學家研究工作「價值」的最佳可用指標。
考慮這種措施的另一種驗證證據。諾貝爾獎獲得者總的來說可以被認為是對他們在物理和生物科學領域的進步做出了巨大貢獻。獲得諾獎的科學家屈指可數，因此可能有一些同樣做出巨大貢獻的知名科學家沒有獲獎。，他們可能貢獻了很多。然而，作為一個群體的獲獎者可以被安全地假定已做出傑出貢獻。諾貝爾獎獲得者（在1955年和1965年之間獲得物理獎）的畢生工作的SCI的平均引用數為58，1961年引用的其他科學家的文章平均引用5.5次。只有1.08％的二十五萬的科學家出現在1961年的SCI收到58或更多的引用。。這一例證進一步支持了使用被引數作為已發表作品的科學價值指標的合理性。
在分析發表論文數量和被引數之間的關係前，我們應該考慮使用被引數作為質量度量的兩個問題。高產的科學家可能每篇論文被引次數都不多，但這些被引次數累積到一起卻和一些論文少但被引數高的科學家的被引總數等量齊觀，因此可能一個人論文的被引總數並不是一個完全獨立的質量指標。因此，我們決定採用每個物理學家被引次數最多的三篇文章的被引次數之和作為他最好文章影響力的指標。因為在物理學中的研究成果通常不採用單個論文的形式，而是在一系列論文中呈現，我們使用年度產出的被引數，而不是單一的論文被引數作為我們的計量單位。
使用引用作為質量指標的另一個問題是科學的極端同時性。現在物理學的論文的半衰期不超過5年；也就是說，任何一年的至少一半的引用是在前五年出版的作品。我們在比較論文時必須考慮到這一點，在不同時間哪些物理學家做出了最重要的貢獻。為了方便這種比較，我們已經開發一種衡量引文的技術。因為《物理評論》是物理學領先的雜誌，我們使用本期刊作為加權技術的基礎。M.M.Kessler的研究發現，在1957年的《物理評論》中出現的所有引文中有70％是在前五年內出版的；17％的文章出版在6 - 10年前；9％在11?20年前；只有4％的文章出版在20多年前。從這個分布來看，如果我們要比較目前具有最大影響的研究和過去不同時期的最大影響的研究，我們可以發現需要加權引文。因此，從Kessler，我們判斷在過去五年內發表的物理研究年在今天被引用的可能性是20年前的研究的17倍以上（即70/4）。根據這個模型，我們分配了以下權重：
文章引文20年或以前：= 17
文章引文11-19年前：= 8
文章引文6到10年前：= 4
文章引文0-5年前：= 1
在本文中，一位物理學家在他的三個高被引年份里研究的加權引用的平均數量將被用作他的研究的質量的量度。
注釋：文中「量」指論文發表數量，數量「大」是指論文發表30篇以上，30篇以下視之為數量「小」；「質」指物理學家在其三個高產年份被引量（已加權），質量「高」是指被引數超過60，小於60則視為質量「低」。
在這些測量的基礎上，表1顯示了由120名物理學家生產的研究論文的「數量」和「質量」之間的關係。這個表達到兩個目的：首先，它表明，正如從早期的調查，這些物理學家發表的研究的數量和質量之間具有相關性（r=0.72）。第二，在本文的其餘部分，我們持續的感興趣的是，它生成四種類型的物理學家，大致描述科學論文的生產及其質量（通過被引數來評估）。類型I，構成33％的這個類型，是多產物理學家，所產論文在質和量的雙重意義上，都是富有成果的（即，研究成果經常為本領域的其他人使用）。在另一個極端，類型IV，占樣本的37％，是相對沉默的物理學家：他產生相對較少的論文，從被引數來看，他們對物理學領域沒有多大影響。其他兩種類型提醒我們，出版論文的數量並不總是與他們的質量相關。類型II是物理學中無差別的大規模生產者：在這個樣本中12％的人出版了相對大量的幾乎沒有結果的論文。作為一種類型，這些人似乎考慮的是論文合適發表，而不太在乎它們的科學意義。最後，有類型III可能被描述為完美主義者：這些物理學家發表相對較少，但他們發表的內容對這個領域有相當大的影響。這種類型可能包括選擇不公布自己（可能是錯誤的）判斷的論文的物理學家; 沒有達到足夠高的標準。因此，他們不是多產的研究者類型I。
很明顯，這四種類型只是依據這兒的特殊數據的粗略估計。需要更大的樣本並通過更精確的標準來識別極端類型，例如，IV型的沉默物理學家是那些已經公布不超過2或3篇論文以及多產的I型，例如，100篇或更多。同樣可以說任意引用次數的截止點的影響大樣本同樣解決任意被引數截至點問題。此外，更大的樣本將使我們能夠識別中間和過渡類型。所有這一切都是顯而易見的，並且是我們在這裡只粗略近似處理的四種類型的基礎。但是，正如我們將很快看到的，即便是近似值也可以讓我們進一步進行本文的研究:：分析識別記錄在科學獎勵機制中的四種類型的物理學家。分析科學獎勵體系中與這四種類型物理學家一致的認可機制。
科學的獎勵機制
正如默頓在前一段時間指出的，科學制度已經發展了一套獎勵機制旨在給予「認可和尊重那些最好地履行他們的角色的（科學家），對那些給通知識庫通識知識庫已經做出真正原始原創性貢獻的人。在科學中這種認可的分級形式是許多的，其中，我們想要研究三種，因為它們分布在幾種類型的研究物理學家。以這種方式，我們轉向檢查獎勵制度實際上是如何運行的。
第一種認可形式是授予榮譽獎和榮譽團體的會員資格。來自最頂尖的20個物理院系的成員在《美國科學人》（1960版）上列出了150多個不同的獎項。共有98個這樣的獎項，從高達5到低的1的聲望值，由樣本中近1300名物理學家排名。問卷中還包括了兩個題項：物理學家可以報告他們聽說了這個獎項，但沒有足夠的聲望信息來排名，或者他們從來沒有聽說過這個獎項。通過獲取由物理學家樣本評分等級的平均值來計算聲望分數；。獎項是否具有知名度是由足夠了解它而列舉它的物理學家所佔百分比決定。98個獎項中大部分都是不為物理學家所熟悉的。只有22能被一半的人排序，42個能被五分之一的人認識。顯然，很大一部分獲獎者引以為傲的所獲獎項是地方性榮譽獎項，即便不是國家獎勵制度的一部分，但仍可以在當地環境中賦予聲望。對於這次調查，我們默認為超過80％的物理學家未知的獎項為完全狹隘的，並被排除在進一步分析之外。這些榮譽獎勵的分布的幾個方面是顯而易見的。 在42個獎項滿足國家知名度的標準中——至少20％的物理學家是熟悉的——其中兩個是最突出的。當然，他們是諾貝爾獎（具有可能5.0的聲望分數4.98）和國家科學院的成員（4.22）。更重要的是，這些最高水平的物理學家壟斷所有其它最負盛名的獎項（得分4.01或更好）。在我們的樣本中，沒有一位物理學家是單獨獲得一個費米獎，皇家天文學會金牌，阿爾伯特愛因斯坦獎章，弗里茨倫敦獎，並且沒有一個法蘭西學院或皇家學會的一個成員，不是諾貝爾獎得主或國家學院的成員。然而，我們解釋道，事實是，表明物理學中最高領域的獎項被嚴格限制在相對較小的物理學家群體中。
我們預測，榮譽獎項的總數同科學成就獎勵的相關性和最高獎項同科學成就獎勵的相關性一致。這樣我們就可以在四種類型的物理學家之間探討榮譽獎勵的分布了。獲得榮譽獎勵和在榮譽學會中成為成員的機會是比較少的，因此無法給與較低層次的科學成果認可。即使在1960年物理學20個部門（在助理教授或更高級別）僱用的632名物理學家中，只有三分之一列出了獎項（美國科學人）。科學工作的第二種形式更常見的認可形式，是在最高級別的院系授予職位。一位物理學家可能永遠不會夢想贏得諾貝爾獎或成為國家學院的一員，但可能仍然渴望在一個主要院系的擔任職位。通過Allen Cartter最近對86個物理系進行的研究，我們可以確定我們四種物理學家的論文通過就職不同級別的院系而得到獎勵的程度。
第三種獎勵是得到同行的認可，根據Alan Waterman的觀點，這種獎勵機制更為多見，並且較之於其他正式的認可形式如獎項或獎金，對於科學家的動力更大。也即，研究得到科學界同行的關注。引用可以讓科學家了解自身的研究在該領域被應用的情況。在這篇論文里，我們引入了另一種更確切的測量手段。1300個物理學家在問卷中被問到，描述對120個物理學家著作的熟悉程度。如果他們讀過該物理學家的著作，那就說明他們聽說過他，我們就用知道著作的樣本的百分比作為科學家聲望的範圍。這就是我們測量四種類型科學家獎勵的第三種指標。
科學角色表現的類型和獎勵機制
確定了科學的獎勵機制中的組成之後，我們著手核驗我們樣本中的物理學家的研究認可的程度和種類。表3表明，研究的數量和質量與所有三種認可形式是相關的。但是研究質量與三種認可形式的相關性比研究數量與三者的相關性更一致和更高。實質上，這是物理學獎勵機制第一個更大的具體指示承認物理學家的研究質量比其純粹的數量這是第一個具體的證據顯示物理領域的獎勵機制的運作是給予高質量以認可而不是純粹的高產量。。從程序的角度來看，表3表明，儘管只使用已發論文作為一項科學研究意義的尺度不會存在很大誤差，但是使用被引數更佳。
在表4中，我們通過按照四種類型的研究物理學家正式獎勵轉向識別的程度。我們應該首先指出，該表中的百分比的絕對大小在某種程度上看是抽樣框假象，抽樣框選擇的120個物理學家的以及用於對他們的研究進行分類的任意截斷值。一些在這裡分類為相對「低」的數量和質量的物理學家可能產生比一般的物理學家更多和更好的論文。發現的意義並不在於。說這些絕對百分比顯示我們的特定樣本群體中的物理學家們通過獎勵獲得了認可，它是在於百分比之間的差異的模式。這樣看來，故事是相當清楚的。研究的質量，而非純粹的量，才是最常獲得榮譽獎項認可的。雖然他們發表的文章比多產I型物理學家少，但是第三類（「完美主義者」）物理學家很容易被認可，這兩個質量生產者比第二類大量論文重複雷同的批量生產者更有可能獲得獎勵。
基於表4中的數據得出的結論由多元回歸分析的結果支持。正如我們已經指出的，獎勵數量和論文生產數量之間的零階相關係數為0.46。因此，論文數量釋了19％的獎項差異。當通過被引用數測量的工作質量帶入等式中時，百分比方差解釋率增加到45％。如果我們調換引入自變數的順序，質量單獨可解釋44%的差異值。再當我們引入數量時，解釋的方差量不增加。因此，一旦我們知道物理學家的研究的質量，我們不需要知道他們的研究量來預測他們的「卓越」。然而，如果我們只知道他們的研究的數量，了解該研究的質量情況對我們估計其是否「卓越」是很有幫助的。（順便提一下，還應當注意，回歸分析提供了比基於交叉列表的那些更可靠的發現，因為它們基於未分組的連續數據，而交叉列表中的類別取決於任意切割點。）
第二種獎勵是主要學術院系的職位。相信「不發表即滅亡」法則的人認為發表文量決定了崗位任命，即便是在一流大學的，發文很少的科學家，儘管很重要，但是也會不如發表了很多無用論文的大批量生產者。但是，表5顯示，我們的論文不支持這種觀點，第三種發表很少但質量很高論文的完美主義者最可能就職於頂尖院系（全國排名前十），甚至比第一種類型還多。但是第二種大批量生產者要遠遠不如發表質量很高論文的人。最頂尖的院系，傾向於依據研究質量而不是數量。
關於我們第三種認可形式的數據——熟悉某人的研究——通過調查近1300名物理學家對我們120人的主要樣本的知悉程度來獲得,我們稱之為「聲譽範圍」。如表6所示，相比大規模生產者II型物理學家，完美主義者III型物理學家更可能被同行知道。在所有三種認可形式中，聲譽範圍受數量影響最大。I型物理學家仍然比III型更可能被認識，II型物理學家比IV型更可能被認識。這正是我們所預測的。其他兩種認可的形式——接受獎勵和在頂級部門擔任職位——相比聲譽範圍，與科學家的工作的積極評價聯繫更加緊密。雖然聲譽範圍與質量高度相關（r = 0.63），但是大規模生產者通過持續暴露而不是使他的工作被積極評價，來擴大自己的聲譽範圍。
高生產者至少有一部分論文很可能會被閱讀，但他的影響範圍很難超越他已有的讀者圈子。我們可以把沒有讀過這位物理學家任何論文的物理學同行們分成兩組：聽說過他的人和沒有聽說過他的人。聽說過該物理學家的人數占所有不直接熟悉他的工作的人的百分比為他的「聲譽能見度」。因此，如果100個物理學家從來沒有讀過某位物理學家的作品，但這其中有50個物理學家至少聽說過，那麼他的聲譽可見度是50％。正如我們在表7中所看到的，質量超過了聲譽可見度的數量質量對於「聲譽可見度」的影響超越了數量。無論產出數量如何，已經獲得研究成果的物理學家的聲譽遠遠超出了國家物理學界的範圍。表7還表明，大規模生產者（II型）可能只有物理學家才能注意到，因為物理學家由於其專業而不得不查看他的一些工作。最後，第四類比較「沉默的物理學家」實際上是為國家物理學群體所未知的。
從表4-7中的數據可以看出，物理學科中的獎勵系統似乎，讓這三種認可方式都以 「有意義」的研究優先，無論其高產與否。已發表的研究的數量很少用於此類等效識別。在這種意義上，物理學科的獎勵系統接近於常表達的規範，「研究的卓越是真正重要的。」
數據還證實，高生產者傾向於發表更多相應的研究。至少有兩個基本因素在工作量和質量之間產生高度相關性。第一，從事很多研究在某種意義上是生產高質量工作的「必要」條件。正如第一位科學家提醒我們的，從事重要科學的研究是一個風險企業，充滿不確定性。很少可以保證研究計劃會產生重要的結果，並且很快能做好。物理學家會嘗試一個想法，有時它會有效，但更多的時候它不會。極少有科學家對關鍵問題的眼光敏銳到將自己的能量聚焦於對這些問題的研究上。即便是頂尖的科學家也必須進行許多實驗，才得到一個令人興奮的結果。我們認為，除非物理學家進行大量嘗試（即具有高生產力），否則他做出重大發現的概率將很低。
第二個解釋「質量和數量高度相關」的理由是獎勵體系驅使有創造力的科學家多發表而將創造性弱的科學家的精力分散到其他領域。在最後一部分，我們將分析獎勵體系通過什麼樣的過程來使得質量和數量的具有相關性並強化了這種相關關係。
通過獎勵機制加強研究活動
大多數物理學家都是在主要院系得到訓練的，1300個科學家中56%的人都是在15所頂尖院系中得到博士學位，44%的人來自頂尖的十所。我們假設，他們已經將這些院系流行的規範內化了。在拿到學位之後（或更早），這些年輕的物理學家考慮發表論文，不論是獨立或者作為研究團隊中的一員，他們的論文要先通過評價體系。最初關於著作的審閱是來自期刊的引用對論文的第一次檢視由期刊審閱人完成。 比如最好的期刊《物理評論》中有其獨特的引用論文的審校系統。審校標準很高，甚至有名的科學家的手稿有時也被拒絕。一旦論文通過這種篩選並公布，接著然後由國家和國際物理學家群體進行非正式評估。有的有時它被忽略，幾乎沒有引用它，或者有的它可以被認定識別為重要貢獻並且在許多其他公開的研究中使用。如果獎勵制度，通過引證的形式，確實影響研究生產力，我們假設物理學家對這些早期研究的更大的共同認可，他們將繼續生產的可能性越大。我們假設如果他們沒有獎勵，幾乎沒有科學家將繼續從事研究。
為了驗證測試這個假設，我們跟蹤了樣本中的120個物理學家樣本中的出版模式的順序。我們將它們分為兩大類：在博士後五年內出版三篇或更多論文的早期生產者，以及其他出版不到三篇的人。然後，我們審查了這些早期出版物的集體反應整體反饋，用通過在同一五年期間內收到的引用數量來衡量。最後，我們比較了在這些早年收到接受不同數量的認可的物理學家的後期生產力。結果顯示在表8中。四分之三的這些物理學家在博士後不久出版了至少三篇論文，開始了他們的職業生涯。有很少的「晚期發布者後起之秀」：84隻30個物理學家中只有五個開始慢慢地提高生產力高（每年平均1.5或更多的論文）。
接下來，考慮那些通過多產來開始他們的研究生涯的物理學家之間的出版模式的順序。他們早期工作收到的引用越多，他們越是繼續生產。只有30％的受訪者接受0-25加權引用，繼續保持高生產力，而76％的受訪者中有超過100個引用。這些研究結果表明，當科學家的工作被他的同行使用，他被鼓勵繼續研究，當一個科學家的工作被忽視，他的生產力將不了了之。當然，也許正如也在做質量工作的早期初學者所示，如果經常使用他們的研究，即使他們沒有得到承認，也會繼續生產。
這些發現表明了第二種發了很多但是被忽視的文章的類型很可能是從其他方式獲得獎勵的。因為，正如我們在前期提出和此刻更明確的看到的一樣，該體系中的標準並沒有均勻地滲透於每一個學術領域。表9顯示了研究產出的質量和數量之間的相關性在水平高院系比水平較低4院系的要強。在最好的10所院系中，85%的研究者完成了較高質量的論文，而水平中等和較弱的院系比例是62%和45%。
表9的結果可以用至少兩種方式來解釋。好的院系選拔更有能力發現重要研究問題的研究者，這造成表9的分布。一般來說，他們對這個領域有更大影響。而較弱的院系，沒有在科學進步的中心，更傾向於招收那些不處於科學前沿的且能力沒有那麼強的研究員，他們的論文也沒有那麼重要。一些人在這些機構中繼續發表論文，在這樣的機構中，大量論文發表量對於職位提升是很有幫助的，因此他們發現招錄想要繼續做研究的教員是很困難的。因此，在較弱院系的獎勵體系經常發生目標置換，可以用「不發表即滅亡」來表現。
表9的發現也可以解釋為由於科學界不完美的交流網導致的。這種假設科學信息的流動是單向的，是從主要科學中心流向較小的科學中心。在較弱院系的物理學家更容易知道較強院系科學家的工作，而較強院系科學家通常不知道較弱院系的。因此，同樣質量的論文，在不同排名院系被生產，也會得到不一樣的認可和引用。進一步說，頂尖物理期刊是由控制了頂尖排名院系的同一批人「掌控」的。這些期刊很容易發表「自己人」的研究，並且他們的學生也傾向於引用這些人的著作。這導致了學術價值相當卻出自不同層次院系的論文的引用率有差異。
為了進一步研究，我們追蹤了兩個線索。首先研究處於科學社會結構中不同位置的科學家的著作可見度的不同。比如，在高排名院系中的科學家是不是對於較低排名院系中質量很高的研究熟悉？再測量相反的情況。第二，這種獎勵體系有沒有對科學家的研究一視同仁地看待，不論其所在院系的排名？
關於這一點，一些初步證據表明在獎勵系統運行中的產生院系差異。當我們將榮譽獎作為因變數並將研究質量（加權引用）引入回歸等式時，我們可解釋方差的44％（如我們之前所述）。當我們將院系的等級導入方程時，我們將方差解釋率提高到為53%。這表明，同等可比的工作，高級別院系的人們比排名較低的院系的高質量研究更易以獎勵的形式得到承認。（當質量保持不變時，院系等級和獎勵數之間的部分相關性為0.41。）這個結果至少部分源於高級院系物理學家更廣泛的聲譽，因為當聲譽範圍被引入院系之前的回歸方程時，後一個變數僅解釋了獎勵數量的方差的額外的4％。這些初步結果的影響需要探求。
結論
研究的數量和質量之間是有關係的。但在著作的數量和質量之間存在不一致性，質量在物理學家獲得獎勵上是更重要的。獎勵的形式有三種：榮譽獎勵、任職於高排名院系的、研究為全國範圍的物理學家所知。一定程度上，獎勵體系會使有創造力的科學家繼續努力發表論文，從而強化了已經觀察到的數量和質量之間的相關性。然而，一些證據初步表明，獎勵體系並不是對所有學術院系的科學家一視同仁。在名望較低的院系，出版物的數量是晉陞的指標，在高排名的院系裡，物理學家高質量的研究才會被獎勵。
TAG:博士生培養 |