學好政治科學，你需要重複，再重複
文獻來源：Gary King.1995. 「Replication, Replication.」PS:Political Science and Politics, 28, pp. 444-452.
作者簡介：加里·金（Gary King），政治學家、統計學家，哈佛大學政府系韋瑟黑德三世（Albert J. Weatherhead III）講席教授（政觀註：哈佛大學所設立的26個著名校級講席之一，政治學巨擘亨廷頓生前也是該講席教授），量化社會科學研究中心（Institute for Quantitative Social Science）主任，美國科學院與美國藝術與科學學院院士，其著作等身，在社會科學方法論、選舉行為以及網路監管等研究領域做出大量貢獻，其與基歐漢（Robert Keohane）和維巴（Sidney Verba）合著的「KKV」（《社會科學中的研究設計》）在國內廣為流傳，是當下從事社會科學研究入門的必讀書目。
主頁：https://gking.harvard.edu/
在政治科學學術共同體內，以實證研究為導向的政治科學家需要獲取必要的數據來重複現有的研究，以了解、評估並以此為基礎開展下一步工作。但是遺憾的是，學界現行的規範並不鼓勵這樣做。在這篇文章中，作者旨在面向師生、論文作者、期刊編輯等群體提出重複驗證的規範建議。
如果你想要了解或者評估一項實證研究，最好的方法就是完全弄懂從數據產生到結果分析的完整、精確的過程，但是受制於一些條件制約，其或多或少面臨著實證研究的困境。對量化或者質性研究者來說，你需要回答以下這些問題：受訪者是如何選擇的？誰做了訪問？提問的順序是怎樣的？用了什麼樣的統計程序？哪些是原始編碼，哪些運用了轉碼？等等，顯然全部重複上面的所有問題是不切實際的。
然而對公開發表的量化研究作品來說，其遵循著一套相近的規範，因此模仿的要求就是能夠進行重複驗證，但它並不意味著要求每一個人都能重複整篇文章或者整本書的結論，而是要求在原則上能根據一篇文章使用的方法能重複出它的結論。這樣的重複驗證標準既適合定量研究也適合於定性研究。
事實上，簡化真實世界的研究涉及兩個過程，第一步是通過對必要的量化或質性數據描述來代表真實的世界；第二步是對這些數據展開分析。同時，政治科學研究者更多地通過自己搜集的數據而不是像經濟學研究者那樣更多依賴於政府公布的數據，因此就這點而言，政治科學家們的重複驗證將會是更加充實的。
當然，除此之外，還有一個自利性的重複理由，那就是越少能被重複驗證的文章的閱讀量會更少，引用率也會更低，其所涉及的主題也會被其他學者更少地研究。
由於學者、監管者、評論人與編輯在鼓勵或指定模仿標準中扮演著至關重要的角色，因此作者分別向這些群體提出如下可供參考的解決方案。
對作者來說，如果他們想要自己的作品能被閱讀、被理解，遵循重複驗證的規範是重要的一步，它也將有助於研究者即使忘記方法細節時也能繼續他們的工作。因此，能在文章、書籍或者論文中展現關於數據的搜集、編碼、分析以及報告可能是仿作的重要標準，然而遺憾的是，無論是既有的期刊還是書籍都未能有提供這些「財富」的空間，當然，電子檔案比紙質媒介傳播起來更好。在這方面，普渡大學的公共事務視頻檔案（Public Affairs Video Archive at Purdue University，PAVA）和密歇根大學的跨校政治與社會研究聯盟（Inter-University Consortium for Political and Social Research at the University of Michigan，ICPSR）能滿足搜集數據的標準。
重複驗證的第一部是建立需要重複驗證的資料庫（集）。對量化研究者來說，這其中可能包括了原始數據、專門電腦程序、編程代碼或者現有的公開、可摘錄的數據以及解釋性注釋（例如「read.me」類型的文檔）。如前所述，這些數據可以通過PAVA或者ICPSR兩大資料庫進行申請。
對終身教職與晉陞評審委員會而言，這一組織雖然是評判申請人在學術上的貢獻，但如果在評審過程中堅持納入重複驗證的標準將有助於他們更好地理解並擴展這些研究。
對研究生項目來說，納入重複驗證的標準將有助於強化他們從事學術研究的基本能力乃至激發他們的原創能力。比如，對大多數研究生來說，博士學位論文是其學術生涯中第一部作品，它本意致力於擴展學術共同體的原創貢獻。為了使這些效用最大化，研究生項目要採用要求學生提交能夠進行再次驗證的資料庫這一標準。以哈佛大學政府系來說，當學生應用量化數據寫作論文並申請博士學位時，必須提交可供驗證的資料庫。
對書籍與期刊的編輯以及評審人來說，堅持一個能重新驗證或者複製結論的標準能最大化其影響力。最簡單的方法就是要求作者在其作品的腳註之處寫明他們資料庫的來源與存儲地方以及它們能被獲得的時間。當然有些期刊的要求與投稿人的要求也會發生衝突，學界內在一定時間內公開數據存在著爭議，美國政治學會（American Political Science Association，APSA）的政治學方法論分會（Political MethodologySection）最長允許五年的數據保密期，而美國科學院（NationalAcademy of Sciences）統計學委員會則建議在論文評審的過程中就公開數據。
對待第一次發表或出版，你可以向主管機關申請數據保密的許可權和時間，但是這不應該是永久性和常態化的。根據仿作的規範，你有義務公布在發表論文中使用的數據。舉個例子，如果你用了300個數據中的10個，那麼你就應該公布這10個數據；如果你有5種類型的變項但只選用了其中兩種，你就應該提供重新編碼的這兩種數據。如果你有1500個觀察值並且在分析中用了這其中的1000個案例，你也需要提交這1000個數據。當然你也可以選擇提交所有的數據，這將使得你的工作對學術共同體來說更為寶貴。
目前來看，這些正式政策日益受到期刊和出版社的支持，近年來，美國政治學雜誌（American Journal of Political Science）、政治分析（Political Analysis）的主編們要求所有文章都必須在腳註中說明數據的來源，這項要求也幾乎沒有受到投稿人的抵制。此外，像《英國政治學雜誌》（British Journal of Political Science）以及《國際互動》（International Interactions）等期刊也採用了類似的政策。密歇根大學政治與法律出版社要求所有作者必須註明他們的數據來源，劍橋大學出版社中制度經濟學叢書業已採用此項規定。
美國國家科學基金會（National Science Foundation，NSF）政治學評審組也明確要求獲得資助的項目中這些數據在授權期滿一年後應當存檔在主管官員批准的資料庫中。此外，諸如國家司法研究所（National Institute of Justice，NIJ）等機構也有類似規定。
近年來，在政治科學學術圈內對能夠進行重複研究的政策進行了廣泛的討論。在政治學方法論研究者那裡，這項規定得到了熱烈的贊成和擁護。1994年，美國政治學會中的方法論分會一致通過了所有期刊都必須要求投稿人註明數據的獲得來源這一決定。同年，美國政治學會下屬的比較政治分會（Comparative PoliticsSection）在審慎的考慮過後也採用了類似的規定。
美國政治學會的編輯部門和其他分會對此也進行了廣泛的討論，從這些論壇的回應來看，在整個學科中對設立重複驗證這一標準的支持很強。許多富有洞察力的學者提出了實施重複驗證策略的具體方法。因此，作者在本文提出的建議也得到了極大的改進。
最後，作者在文末對一些問題進行了回答，政觀在此做部分摘編：
Q：制定重複驗證的標準之後會抑制研究個體搜集大型與複雜的數據意願嗎？
A：調查者通過搜集數據並向學術共同體提供這些數據來獲得認可，這種認可的形式是多樣的。因此學術界通過他們的貢獻去加以評判，所以通過貢獻一份能重複的數據來增加文章的重要性更能強化作者獲得的認可。但是也存在一些風險，這些風險相反並不是某人的觀點被竊取，而是在寫作中忽略了最常見的引用，這也是大概率的風險。因此，提交能夠重複驗證的數據能顯著地降低發生這種風險的可能性。而且正如前所述，作者可以選擇只提交所用到而並非全部的數據集，在其他情況下還可以申請在一定期限內對數據的保密。
Q：所有期刊和書籍在同一時間採用同一規定不是更好嗎？
A：這樣想法固然很好，但是每一本期刊都有不同的規定和制度，不同的風格，不同的標準乃至不同的方法論種類，也有不同的編輯，不同的審稿人，所以不應該對它們採取不同的規定感到詫異。
Q：如果期刊需要遵守可供複製相同研究的標準，那麼是否存在作者將作品投遞到其他刊物，或者在正式書稿準備好之前不予發表的可能？
A：對某些作者來說，這種情況可能是存在的，但就目前而言，在已經採用上述政策的期刊中還沒有遇到這種情況。此外，很多出版社採用同樣的規定，沒有哪一家能拒絕遵守NSF制定的規則。因此，一旦這項規定能被充分解釋，作者可能就會明白這符合他們的利益。
Q：如果我提供了數據，是不是你也可以有機會發現我的錯誤然後告訴每一個人？
A：誠然這種方式將導致我們更容易地暴露自己的錯誤。但是我們做政治科學研究是為了更深入地了解政府與政治。我們必須給其他人證明我們犯錯的機會，儘管不是所有的批評都會讓我們感到高興，但是這樣至少證明了我們的研究被認真對待。
Q：為什麼我們擔心自己可能會重複已有的成果呢？如果我們將相同的測量標準應用於新的領域、國家或時間段，是不是在探究更重要的問題？
A：好的科學研究需要我們能夠重複既有的研究成果，而且能夠讓其他學者在新的情境下採用相同的方法發現變化。後者雖然更為有趣，但是前者也格外重要。事實上，只要學者得出更為確定的結果，我們鼓勵他們在新的情境下展開探索。顯然，通過數據去重複先前的研究要比在新的條件下探索更為容易。更為重要的是，估計因果效應的標準做法是每次改變一種變項，以便我們能夠將個別變化與特定效應聯繫起來進行判斷。
編後記：在這篇文章中，Gary King教授旨在回答政治科學學習者如何進行量化練習乃至研究的困惑，也嘗試提供政治學界重複乃至檢視既有研究結論的準則。這篇文章雖然發表於1995年，迄今已有23年，但對當今國內從事政治學研究科學化訓練的青年師生來說仍然具有指明燈般的意義。
TAG:政文觀止 |