AER：我們能從實驗中學到什麼？

實驗可擴展性的威脅

政策制定者經常考慮人口規模或其他重大規模的干預措施，并力求將其決策納入科學研究。從學術的角度分析這種干預措施潛在影響方法是進行小規模的實驗研究，經常運用於旨在解決健康，教育和就業問題的方案。

常見的情況是這種研究計劃永遠不會進行規模調整（scale），或者當它們被調整時，項目（控制組）效應在大規模應用時大大減小，即這種可預測的變化在利益成本分析中沒有被考慮。我們將其稱為「可擴展性」問題。

本文討論了影響可擴展性的幾個重要因素。 在一系列研究中，我們對規模調整（sacle）問題進行建模，並利用這一理論探討經濟學家從醫學中學到的經驗教訓。

為了表徵可擴展性和突出某些相關威脅，我們將問題分為三個部分依次研究：數據收集的統計過程，樣本群體的代表性和情境的代表性。

統計推斷和可擴展性

Maniadis，Tufano和List（2014）提出了一個簡單的模型，即學者們在多個研究人員正在開展的研究領域中，解釋初步發現時所面臨的推論問題。 他們的關鍵理論結果集中在研究後概率（Post-Study-Probability）的概念：在滿足統計顯著性後，發表研究結論是真實的概率。 這可以解釋為一個「天真」的學者事後正確的可能性。

作者發現，研究某種關係的學者數量越多，PSP越小，意味著獨立運作的研究團隊之間的競爭將導致「天真」的學者在解釋初始的、統計上顯著的發現時提出更大的推理錯誤。出版偏差（publication bias），即編者們通常傾向於報告重大成果的研究，進一步惡化了這些問題，為研究人員提供了一個額外的動機來引導可疑推理。

幸運的是，與可擴展性的其他一些威脅不同，這些問題有補救措施。 在Maniadis，Tufano和List（2014）所考慮的抽象推理問題的情況下，有提出解決方案。 期刊編輯也應採用各種各樣的最佳做法來對付出版偏差，例如保證期刊對複製研究和不顯著的研究保留一定空間，以及要求研究在實施前提前宣布和註冊作為一種打擊選擇性呈現結果的方法（Young，Ionnidis和Al-Ubaydli，2008）。

群體代表性和可擴展性

參與研究的樣本在多大程度上代表了更廣泛的人口，這是經濟學家經常提出的一個問題。無論原始研究是基於自然發生的數據，實地實驗數據還是實驗室實驗，經濟學家正在尋求對調查結果進行調整（scale）。

事實上，關於這些數據來源類型在形成廣泛推論的基礎上具備的優勢和劣勢，學者們進行了很激烈的討論。

一個較少考慮的問題是所有形式的實驗研究受到固有偏差的影響，預估的因果效應會在調整（scale）下變化。

本文詳細介紹了不同類型的數據來源具有的特定偏差。

情境的代表性和擴展性

經濟學文獻中發表的大多數實驗研究由主要研究者或其助理人員（如研究生）進行管理。他們有強烈的動機遵守他們正在研究的任何協議，因為他們試圖最大限度地發揮研究潛在的科學價值，並確保儘可能高的可複製水平。

然而，當實驗範圍擴大的時候，由於機構的管轄範圍原因，主要調查人員不可能保持主管人員的角色。此外，即使保持總體控制，初級研究人員肯定不得不依賴不同地區的新人協助。

這些潛在威脅中的每一種都表明控制權減少，遵守原始協議的情況減少，因此觀察到的控制效果較差。 例如，健康青少年懷孕預防計劃與社區組織配合實施，但遇到障礙影響了最終的實施效果，比如設施不足，教室空間不一致，以及健康教育工作者和行政人員的招聘不足等問題。

結論

對話政策制定者，是幾個世紀以來經濟學家的一個主要目標。 這就要求實驗學者了解研究環境與大規模現實實施之間的相互作用。 學者在制定原始研究計劃時必須採用逆向歸納法，確保實施方案能夠迅速轉移到規模調整後的項目上。

論文原文

Al-Ubaydli O, List J A, Suskind D L. What Can We Learn from Experiments? Understanding the Threats to the Scalability of Experimental Results[J]. American Economic Review, 2017, 107(5): 282-286.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！