還在用大數據思維做培訓評估？小心掉進坑裡！
專欄作者/葉韜
用一生逗樂上帝的績效實踐者。
前些日子，在思齊論壇分享了一個案例《培訓開發的雙場景聚焦》，結束後有不少同行找到我，表示對於N司藉助全員能力掃描數據，實現學習項目的四級評估表示非常感興趣，特別是如何確證培訓與業績的因果關係感到好奇。很開心看到有那麼多同道中人都在關注培訓工作的價值證明。
同時，也有同行提出這樣的觀點：培訓評估不需要做到因果證明，只需要驗證相關性就可以了，並反覆提及大數據思維這一概念。
這種看法並不少見，我遇到幾個對培訓評估感興趣的同行與同事都有這樣的觀點。
我個人認為，這種觀點是對互聯網大數據思維的一種誤用，是一個未了解基本統計學邏輯的倉促的結論。
大數據思維的局限性
如今互聯網對於全民的影響已經深入骨髓，不僅更新了現代人的生活方式，也不斷顛覆了人們的思維方式，很多在IT圈流行的概念，會以極快的速度傳播到傳統行業，形成一輪又一輪的思想風暴，例如：「用戶使用場景」（我在演講中也引用了這個概念）「單點海量突破」「平台化思維」等等，「大數據思維」，也是其一。
互聯網的思維里，一個最底層的商業邏輯是「天下武功，唯快不破」，很多東西，有了想法就立刻造出原型，投入上市，通過不斷「迭代」的方式進展，馬太效應會讓先行者佔盡競爭優勢。
正是有了一樣一種最底層的商業邏輯，才有了大數據思維里一個重要的特點：
大數據思維認為在這個不確定的時代裡面，等我們去找到準確的因果關係，再去辦事的時候，這個事情早已經不值得辦了，找到相關性就可以立刻行動。
因此，大數據沒有必要找到原因，只需要知道，出現這種跡象的時候，我們就按照一般的情況，這個數據統計的高概率顯示它會有相應的結果，那麼我們只要發現這種跡象的時候，就可以去做一個決策怎麼做。
啤酒與尿不濕
最典型的案例莫過於「啤酒與尿不濕」「風暴與甜甜圈」了：誰也不知道，為什麼去超市買尿不濕的人大多會買一些啤酒，我們只需要把啤酒和尿不濕放在一起就可以方便顧客了；誰也不知道為什麼颶風來臨的時候，甜甜圈總是脫銷，我們只需要在天氣預報颶風時，加大甜甜圈供給量就可以了。
這兩個案例都看出來了大數據思維的一個特點：利用相關性的信號作用，出現了A，我預測很可能出現B，所以我對B做出提前反應。
而在培訓的四級評估里，如果僅僅尋求培訓評估與業績結果之間的相關性，則意味僅僅找到了一起出現的信號關係。
在沒有確證因果的情況下，至少你說不清楚以下幾種情況：銷售人員是因為業績好才被評為高能力評分，還是因為高能力在工作中展現所以得到了好業績？是因為完成了培訓，所以取得了好的業績改變，還是因為業績提升快，獎勵了一個培訓？
或者：某些員工被管理者長期關注，又給培訓又給輔導，業績也很好。實際上未必是培訓，可能是因為輔導，甚至是霍桑效應產生的業績結果。這種情況下，你好意思讓培訓去冒領這個功勞么？你無法排除一種可能：砍掉培訓，員工一樣業績飆升。
因此，僅僅抱著相關性，我再做一場類似的培訓，我不能確信是否還能帶來業績提升，我也不知如何改進培訓以改進業績結果。
在統計學應用上，相關性偏誤常有兩種表現：同一原因A，引起的結果B和C，BC之間有相關性，但是我們無法通過調整C來干預B，也無法通過調整C來干預B。
原因A引起了結果B，A和B在不確證因果關係之前，我們所知的是AB之間的相關性關係，我們不能通過調整B來干預A的。
培訓評估不是通過利用信號相關性來證明培訓價值或者持續改進培訓效果的，只有在確證或者儘可能證明的因果關係的情況下，才能有信心去證明價值和調整優化「干預」措施。
所以培訓評估，我們不尋求解釋因果的發生機制，但是還是需要找到因果關係的存在。
業績與培訓的因果性
如何盡量在評估中去尋求培訓與業績結果的因果性呢？
基於個人經驗，我認為至少有以下幾種辦法：
1. 拉開培訓與業績追蹤的時間差；
2. 設立對照組，既可以是空白對照組（培訓試點和未試點區域的對比）也可以是自身對照（培訓前的業績和培訓後的業績的對比，邏輯上不完美但是有比沒有好。）
3. 轉移焦點，到培訓課堂之外找因果關係。
例如，看輔導跟進是否帶來了真實業績提升，將業績結果的責任分攤轉移給輔導責任人。言外之意就是：同樣的一場培訓結束了，為什麼有的人員業績改變了，有的業績沒有改變，直線經理對他們的後續輔導跟進是不是有差別？
說到底，培訓本身就是一種干預，培訓評估不要泛用互聯網大數據思維。
思齊俱樂部——醫藥經理人自己的俱樂部
市場、銷售、醫學、SFE、培訓......
TAG:思齊俱樂部 |