教育效果的評估（下）

引言

很多做教育干預項目的人，都有特別好的願望，希望通過項目幫助青少年獲得更好的發展。但是，當項目做完了，是不是就意味著事情做好了，項目中投入的大量資金以及人力物力產出了期望的效果？這個問題怎麼來回答，就涉及到教育效果的評估。在「看見未來」的分享論壇上，國內優秀的公益教育組織分享了他們的項目評估案例。我們遴選了其中一個案例與大家分享。

張林秀

農村教育行動項目（REAP）中方主任

王博

香港教育心理學博士

朱秋霞

上海真愛夢想公益基金會副秘書長

施建農

中國科學院心理研究所研究員

魏向東

香港嶺南大學社會科學學院院長、教授

評估協調者的親見視角

王博：各位嘉賓、各位老師大家好，我是王博，在評估團隊和真愛夢想開展的三四年評估項目中，我更多是做協調的工作，是一個評估協調者。簡單介紹下我的背景，我本科和碩士是在北師大讀的學習心理學，博士是在香港中文讀的教育心理學。我一直在基金會這邊做很多的課題，比如一些教師調研、學生的課程研發等等。2013年，真愛夢想基金會啟動這個評估項目以後，我就參與進來了。當時朱秋霞老師找到我，我對項目很了解，但是評估肯定不能自己評自己，要請第三方評估，而第三方可能對我們夢想課程開展的情況不太了解，包括老師、學生、學校情況。這就需要有個人跟他們協調一下，我熟悉項目又可以從專業上統計執行，就做了這個事情，做了評估協調者。

1.評估目的協調與評估工具確定很困難

張教授和他們團隊已經介紹了很多評估的方法以及怎麼做，這裡我想跟大家講一下微觀方面。評估真的是很難做的，沒有我們想像得那麼簡單。作為評估協調者，我首先要去跟咱們評估團隊溝通基金會的需求，「評估到底評什麼」，這個事情是最重要的，這些東西可能是落實到一些量表上，測量工具上。

但其實既要符合項目評估目的需求，又要符合科學傳統，又要考慮能否做比較，這樣的評估工具十分難找，我們需要從大量文獻、項目當中挖掘出來一些工具，所以當時前期協調這個工具協調了很長時間。包括當時基金會會問「你想評什麼」，他們自己內部也在討論「評什麼」。在過程中，我們發現如果基金會沒有啟動這個評估，項目組看起來是一直按一個項目方向做這個事情，但是當開始評估了，真正去問這個項目是幹什麼的，我們發現基金會自己的人都不能達成共識，或者說是有一些分歧，有些是更側重自信多一點，有些是側重多元參與多一點，這個目標的界定反過來也是推動基金會去把慈善工作做得更好。

2.調研對象常常不理解不配合

真正開展調研的時候，有很多現實問題。比如說我們去人家學校，人家學校憑什麼答應跟你做這個事情。有些學校答應了，然後人家給你一節課，45分鐘時間。但是你做調研以後你要有大量問卷帶回去，教育局的人和校長他們會以為你們是來檢查工作的，他們甚至有一些提前的準備，或者會有一些套路的回答。所以我們還要跟當地做很多解釋工作，基金會這邊也不太理解。

在過程中，樣本也會有一些損失。比如陝西的學校開課本身有一個三年開課計劃，如果學校分到對照組，就意味著三年都不能開課，但是這個學校說不行必須得開，這就是樣本損失。這個問題在現實當中要協調，包括他們所有的試測需要統一工具和時間，這裡面很多協調工作做起來很難。

這個過程當中對我衝擊最大、或者說是我學習到特別多的一點，就是不同學科之間的碰撞。張林秀老師他們的團隊，其實更多是做這種經濟學、宏觀評價，包括教育政策類及倡導的評價，是事實說話和大數據說話。我的背景是心理學，期望做到的是一些微觀的，比如怎麼設計一個課程能夠讓課堂更豐富，讓學生和老師體驗更強。

但是我也會發現當我們完全照顧微觀課程，照顧學生和老師感受的時候，宏觀評估就沒有辦法做了；按照宏觀把微觀生動東西轉化成冰冷的數字，你也會覺得那個結果會差很多。這個過程當中有蠻大的衝突或者是有蠻大的思考。

3.正視評估為一個改善項目的行動

我們到底怎麼看評估？我認同張老師講的，評估更看成是一個行動，或者是看成一項工作。我們通過評估中的工作，比如樣本調整、數據分析，樣本和數據有可能是不穩定，或者是前期階段不是很穩定，需要反覆核查結果，但是這個過程對基金會反思，包括對教育局、學校、真正開課的老師他們帶來的影響更重要。

4.評估的時間線如何把控？

最後，我想分析一點我自己對評估思考，教育的評估到底什麼時候做？我們現在說是三年，三年夠不夠，是不是足夠得長？咱們在座都是教育者，我想問我們可能給孩子講一個東西，然後他立刻就轉變嗎？我缺鐵補鐵，吃維生素就好了；肚子里有蟲，打一個葯可能就沒有；但是老師上課一句話對你可能不是一兩年能看出影響，尤其在心理層面，包括孩子意識層面、價值觀層面。所以成績是特別容易看到的東西，是很容易量化很容易看到，但是我們發現這次評估三年，很多心理指標包括老師心理行為幾乎沒有多大變化。那這個是真的沒有差異還是時間沒有醞釀夠？這裡面有很多因素都可以去分析。

我就想我們做一個教育評估，到底怎麼去看它是真正有效還是沒有效果，是追蹤3年還是30年？前一陣子哈佛有一個項目追蹤7年，幾代科學家一直做才找到了指標。我們三年就想找到一個東西可能又是非常難的，但是我們基金會不能等到有效再推進，這是一個思考。

我們都不想用成績指揮我們的工作，但確實成績是容易看到的，你只要做題這個成績就有變化，但是這個心態、價值觀、自信感這些東西可能很難一下子看到，究竟多久看到我也不知道，這是我的思考。

項目方的思考

朱秋霞：大家好，我是來自真愛夢想的朱秋霞。我在2012年受理事長委託，提交申請書啟動了評估項目。從2012年到今年（2016年）是第五年，這是非常考驗「堅持、毅力」這個非智力因素。

1.各個合作方有共同的目標十分重要

這是跟基金會第一次合作，對基金會來說開展影響評估也是第一次，兩個第一次加起來有很多碰撞。我們剛剛開始合作，就梳理了一個觀點，確立了同一個目標，「我們是為了中國的孩子讓他們上好學」，就這個理念幫助我們支撐了四五年，所以「同一個」團隊感覺非常重要。剛才的分享中，張林秀教授披露了一些調研結果，也提出了一些指導意見。從報告中，我們可以看到，雖然學生並沒有上滿一學期16節課，但是干預組的成績還是有所提高。我們的因果鏈非常長，這裡面除了項目方投資的資源和實施影響的環節，還需要我們的老師、校長、局長甚至是家長都來共同關注這個事情。如果我們真的把這些因素都充分調動起來，大家一起合作，讓孩子上足一個學期16節課甚至是更多，對孩子的影響可能就會更大，成績上升更快，對其他方面原來不顯著的影響可能也能顯著起來，這就是今天為什麼辦這個論壇，我們把各界力量集在一起，讓孩子看得見未來，這不是一家機構的努力，是需要各方面共同關注教育。

2.除了預案，還要對未知做好充分準備

今天跟大家說這個，尤其是其他同行和教育局將來想做影響力評估的，我想對大家說除了建立同一個團隊同一個目標，我們還要對未知做好充分的準備。這個評估項目啟動的時候我們對風險做了很多預案，但是未知永遠是充滿不可確定性，我們每年遇到不同的挑戰，跟團隊一起面對，因為我們同一個團隊都是為了孩子，所以我們都應對過去了，今年終於要結項了。

3.數據不能完全說明真實的發生

此外，我想講的是，所有的評估和數據都不能替代我們的體驗。今年很重要的一點是「入夢」，讓家長和學生走進「夢想中心」體驗這個課程。今天大家看到數據顯示成績提高兩分，金錢觀、權利觀都改善了，但這是你腦子看到的。真正體驗這個項目還要深入到跟孩子一起體驗課程，體會他們心理上發生什麼了變化。

4.大型評估項目成本效益如何優化？

最後，大型影響評估項目成本非常的高，我們投入的人力、精力是非常浩大的。在評估過程中，我們追蹤了三個點：基線評估、2015年第一輪評估，2016年第二輪評估。追蹤的時候我們減損了一些樣本，因為沒有足夠的資金追蹤所有的。我在想，有沒有可能在成本投入的時候讓我們的收益可以達到更高？這是拋給在座同仁和學者共同思考的。我們可能三五年只做這一個評估，但還是要持續關注孩子們有什麼變化；我們根據很多意見改進以後老師有變化了；在這中間有沒有成本再建的問題？這是我的一點思考。

專家點評

施建農：非常感謝張教授還有王博和朱秋霞，你們報告發言我聽了，首先是感動，但是感動之餘，我也確實有一些分享與思考。

分享1：評估應考慮抽樣、生態性和現實性

我們已經提到很多次，都覺得（「夢想中心」評估項目）這個成本、代價很高，勞動量很大。我們現在試圖做的事情是要把所有的項目、所有人納入到評估範圍之內，但是這是不可能的，而且從嚴格意義上來講也沒有這個必要。在研究上，實際上是有一個叫抽樣的要求，如果這個取樣很科學，很有代表性，那麼可以用1/10的樣本代表整體樣本的效果。

我是學習心理學的，說起來我還不是純心理學出身，我是本科學習化學，從化學轉到心理學，然後一直做心理學研究，我希望把心理學當成科學來對待，所以這方面比較重視。我想的就是簡單談一下我自己個人對項目評估的看法，特別是對教育項目，就是干預項目的評估。

我們要考慮到生態性、現實性，不能為了做實驗要隨機取樣，然後就這一半干預，另外一半不干預。有了這樣一些考慮，我們其實是沒有辦法真正做到實驗室那樣考慮樣本、控制條件的。我們還要考慮到現實。

我們經常講孩子的發展是第一重要的，只有在不影響孩子的發展，在不影響倫理道德的情況下，才可以說怎麼樣更好地設計實驗。

分享2：評估有四個方面「目標、內容、過程、效果」

一般來講，評估可以分解為四個方面。

第一，對項目方案的設計目標進行評估。作為第三方對項目進行評價，首先要看這個項目本身的設計、指導思想、方案和邏輯到底是否合理。有的時候指導思想是錯的，這個項目就很難往下做。舉一個例子我做超常兒童研究，大量研究證明超常兒童是客觀存在，在人群分布裡面是2%左右。如果有一個干預是早期教育，但干預方案設計目標是把所有孩子都教育成超常兒童。這個干預你要評價的時候，你會發現你就是做再多事情都可能是白乾了，這是邏輯上要考慮的。

第二，干預的內容。項目在干預過程當中到底做什麼，這是內容評估。干預項目對孩子們做什麼，對家長、老師們做什麼，做的這些具體內容到底是不是合理的，是不是科學的，是不是適合使用，我們都要評估。我們有一些內容對這個年齡段孩子合適，那個年齡段就不合適，作為項目設計者就要考慮選取什麼內容作為主要干預方面。

第三，實際上是實施的重要環節，也就是過程評估。這個項目不是一次性的，那個是一次性的，這個實施過程也是需要考慮。這個裡面還有時間段，干預是怎麼實施的，這裡包括每周幾次，每次怎麼操作，多長時間，誰來操作，操作過程當中控制條件是什麼。培訓老師的時候涉及到內在的，這些老師到他學校裡面又是怎麼去實施的，這些細節都會涉及到後期結果。這裡面是過程性評估，剛才張林秀教授提到培訓很多老師，實際上真正堅持下來很少，出現大量流失問題。還有實施的整個過程到底是怎麼操作的，有多少孩子參與了，參與程度怎麼樣，這都涉及過程評價。

最後一個才是效果評估。效果評估前面都分析了，效果一個是短期效果，還有一個中期效果，我們教育最終實際上是長期效果，我們講的是百年樹人，通過中小學時期干預，影響他成人甚至是一生受益，我們就要有長期效果評估，這裡面就來日方長，兩三年不足以說明這個項目效果有多好。

其實很多時候，有一些項目效果是長期容易看到。為什麼短期效果很難看到？教育本身做什麼，教育是要落實到行為，不光理念，還要有行為上改變，這個改變要形成一種習慣需要時間。比如說創造力，如果只是著眼於某一個事情上，讓它產生更多想法，很多人都能夠做到。但真的能夠提高創造力嗎？不一定，這次很努力，但是可能慢慢沒有這個習慣。真正反應到長期效果上，一定要養成良好的習慣，包括這個項目對老師是否產生很好的習慣。學生是不是在你的干預下形成良好的習慣，而且持之以恆做，家長是不是真的能夠有這樣的習慣，這一系列東西都會是我們需要評估的。

評估一方面是自己改變，另外一方面是改變了什麼。我們改變的，沒有改變，很有可能不希望改變的東西他改變了。為什麼希望改變的沒有改變，而希望不改變的卻改變了？這不見得不是好事情。就像本來我想看看這個筐子裡面能不能撿到一個芝麻，但是撿到了西瓜。做項目首先要達成我們的目標，除此以外再看有什麼收穫。

建議1：評估目標、指標的界定十分重要

剛才「夢想中心」項目談到了培養孩子過自信、從容、有尊嚴的生活，這裡面很多東西可以評價。比如說「自信」，我們是有自信表，心理學有很多這方面的工具，甚至為了特定項目也可研發一些工具，這個是可以做到的。「從容」，這裡面涉及到你怎麼定義，你怎麼界定，沒有界定不能測量，不能測量就很難評估。所以對從容要有一個界定。

我們現在很多的項目，包括咱們「夢想中心」的項目，提出口號的時候，往往是不會考慮這些口號需要怎麼清晰地界定，也不會想將來評估的時候怎麼評估。但是如果我們站在第三方評估的角度，或者是研究人員的角度，你首先要想提出這個目標本身是不是可以清晰界定，如果可以清晰界定，評估做起來就比較清楚；如果不能清晰界定就需要給一個界定，評估之前一定要給一個界定，這個是操作性定義。有了操作性定義，再設想怎麼評估。我們說有尊嚴地去活，尊嚴對孩子來說怎麼定義？家長、教師怎麼理解這個尊嚴？我相信不同人有不同的理解，我們可以給一個操作性定義，當時設計的時候是什麼框架，這個框架前提下我們再去評價會變得比較容易，至少爭議就少了。這麼大的項目，這麼大範圍工作，沒有爭議，沒有分歧是不可能的，但是有一個統一框架以後，至少能少一些分歧。

建議2：重視主觀評估

另外評估會涉及到一些主客觀的效果，其實在心理學和教育學，很多東西要談到主觀評價、主觀體驗。以前一直認為主觀不靠譜，但大家就是主觀的人，我們現實當中，同樣是物理刺激，同一個人看到不同物理測定，每一個人反應完全不一樣，主觀感受很真實，甚至就是客觀反應了，是你所面對這一群人本身的一種反應。所以我經常講在心理學評估裡面，還是要重視主觀評估、主觀體驗和主觀的反應。包括你問孩子、教師、家長感受，周圍人對這個事情看法，都是值得我們關注和評估過程當中收集的信息。

這是我個人的一個體會，也是一個回應，謝謝大家。

魏向東：我想回應評估重要性，各位都談到了評估是很難做，我們為什麼要做，要了解它的效應。其實我們在座不管NGO或者是研究者，我們做的那一點工作，或者是那一點投入，跟我們國家的教育相比，我們是滄海一粟，是非常小的。但是我們如果能夠通過一點點，能夠告訴政府，如果你能夠那樣做可能是有這個效果，然後政府能夠去改變行為做發展，這個受益就非常大了，這是我們的責任。我們要告訴他怎麼會有效果，效果到哪裡，這個是評估的重要性。為什麼Scott Rozelle講到墨西哥所有的政策先做評估，不做評估不讓你執行，也是因為這個道理，如果不了解清楚去做，實際上是不負責的。

建議1：將課程效果與實施效果分開

我對這個項目也有一個看法，看到「夢想中心」項目，感受到裡面兩個成分，一個是設計好的課程，另外一個是怎麼做的這個課程。現在評估是兩個一起做，你不可能分開，這個課程上了才知道有效果，但是實際上我們本身是很想知道兩個方面的效果：這個課程本身好不好，還有我們老師上的效果怎麼樣。我們現在可能碰到有一些好與不好，就算現在效果不是太明顯，本身不見得能夠否定這個課程不好。可能是執行問題，每周一次課變成了一個月一次，本身是很大折扣，這個反應了老師積極性還是不夠。如果說好是一周一次，結果弄成一個月一次，很多事情勉強做本身效果打折扣，好的課程不見得起到應有效果。

建議2：將評估學校數量減少

這裡有一個建議，你們做這個評估，工作量非常大。160多個學校，為什麼做這麼多學校呢？你們是用這麼多學校對比來做，如果這些學校數量降一點，去比較班級就不需要這麼多學校，這方面需要有一個黃金的準則來做這個事情。

建議3：先做示範課程和實驗班的評估

另外，我不知道這個課程，有沒有可能有一批種子老師，甚至是培訓人員主動去學校上一學期示範課程，一個禮拜上一次，就不用選擇那麼多一起學習了。這個班自然就是實驗班，這個好處就很大，你最後做測量也不需要做那麼多學生，調查範圍也降下來了。

建議4：關注參與學校校長意願這個因素

還有你現在做的這個過程，雖然去把這個學校跟學校做了對比，這裡面其實有一個影響因素是校長的意願。一開始這個校長是參與真愛夢想課程，可能是一個積極的校長，隨便抓一個校長可能是混日子的，這兩個校長本身就有區別。

疑問：評估指向的成績提高與夢想課程目標的自信什麼關係？

這是我小小產生的疑問，為什麼剛才看到評估效果沒有直接的幾項效果，夢想課程目的是讓學生樹立自信，這兩個可以對比的，你想上大學嗎，你想做什麼工作嗎，未來有什麼目標，這個沒有講出來不是太明顯，這個就有一點像施建農老師說的，你本來是要解決這個問題，本來避免走應試教育，是教給你別的一些能力和自信，這個是非常好，但是現在出那個效果，這是一個意外是好，如果校長問你為什麼成績提高了，我們還要多一點流程這個是怎麼來的，這個是不是真的驚喜還是什麼。

本文編輯

秦冬梅

——看見未來教育研究院——

聯結合作，倡導教育公平

發起促進，共創教育變革

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！