在MOOC中運用學習分析的益處、壞處及可能失敗

【總第19期】評價MOOC中運用學習分析效果

在MOOC中運用學習分析的益處、壞處及可能失敗

說明：上周我們譯介了奧地利Mohammad Khalil等人的文章《用聚類分析方法勾勒MOOC學習者眾生相》，今天我們再譯介一篇Mohammad Khalil與另外兩位學者撰寫的評價MOOC中運用學習分析效果的文章（發表於2016年國際教育與創新會議）（譯文有刪節），供參考。

原文

ENGAGING LEARNINGANALYTICS IN MOOCS: THE GOOD, THE BAD,

AND THE UGLY

作者：Mohammad Khalil, Behnam Taraghi & Martin Ebner

Educational Technology, Graz University of Technology(Austria)

簡介

一般來說，MOOC課程主要採用視頻演講、多選題測驗或同伴評價、論壇討論和文檔等形式進行。課程通常每周推送一期，要求學生在該周內完成學習。此外，學生要完成一定量的作業，並在論壇或社交媒體上分享或討論他們的觀點。一些老師還會不斷張貼一些問題，並與學生保持聯繫，從而創造一種存在感。然而，不斷有研究和報告指出MOOC學習存在完成率低、缺乏互動、難以對學習者給予持續激勵等問題，甚至還在學習者中發現有玩弄學習規則的人。因此，挖掘學生在遠程學習環境中的活動數據，從而使教育者和研究人員了解學習行為，尋找激勵對策，逐漸受到關注。

近來教育大數據概念受到關注。有兩個研究領域致力於發現教育活動數據的意義：教育數據挖掘和學習分析。

本論文著重討論學習分析，特別是討論在MOOC中運用學習分析的潛力、局限乃至負面影響。該研究基於作者過去幾年中對奧地利MOOC學習領軍平台iMooX實施學習分析和戰略規劃的經驗。

在MOOC中應用學習分析的潛力（益處）

分析在線學習環境中的學生數據，從而揭示隱藏的模式，發現行為範式，被稱為學習分析。2011年，學習分析和研究協會將之定義為 「對與學習者相關的數據的測量、收集、分析和報告，目的是理解和優化學習及其所發生的環境。」

像MOOC這樣的在線遠程學習環境提供了豐富的知識挖掘機會。通過學生記錄滑鼠點擊、論壇活動、測驗表現、註冊頻率、花在作業上的時間，以及跟蹤其與視頻的交互情況，研究人員可以建立大量的數據日誌。這些信息資料庫，如果解釋得當，就能幫助從計算機科學、教育學到統計學，以及機器學習等多個領域的研究人員，為學習者成功學習提供一些干預措施。

在MOOC中學習分析的益處可以說是無限的，主要有：

預測：這是學習分析和教育數據挖掘最受歡迎的目標之一。用相關技術可預測一個學習者何時可能會輟學。通過分析該學生的行為、考試表現，以及觀看視頻時的跳過情況，就能做到這一點。存貯了大量之前學生的學習活動記錄後，就能幫助研究人員預測未來的活動，例如，預測輟學率，或發現處於輟學風險中的學生；還可以預測學生的成績和學習動機。觀看課程視頻或在討論區中活動的預測，也可以通可操作得。

推薦：挖掘MOOC平台上的活動可用於推薦目的。例如，MOOC課程提供者會基於學生之前選學的課程來推薦學習材料。同時，推薦還可用於鼓勵學生在論壇中回答特定的問題。

可視化：通過學習分析，跟蹤之前提到的學習活動，就能建立大量記錄，並進行可視化。通過可視化的方式分析數據，使研究人員可以揭示隱藏的模式，並向MOOC參與者提供反饋和反思。

娛樂：遊戲工具已經被認為是一種重要的學習分析技術。調查表明，遊戲能使MOOC上的學習更有趣，從而增加學習意願，提高學業完成率。像徽章、獎勵點、進步條或彩色刻度等，都屬於此類工具。

標杆管理：標杆管理法是一種學習過程，它利用學習分析評價課程、視頻、作業，以及MOOC平台的可獲得性。 因此，我們可以識別在線學習的困難和弱點，相應地，就可以產生建設性的反饋，以改進教育。

個性化：學習者可以塑造他們在MOOC上的學習體驗。開發人員通過不同類型的學習分析技術，可以在MOOC平台上建立一套個性化選件。例如，學生可以標識其最喜歡的視頻段落，或為一篇文章做書籤。此外，他（她）還可以為視頻定製通知，或加註釋。

增強參與度： 參與度近來已經成為MOOC研究中一個非常吸引人的題目。通過數據挖掘技術進行學習分析，如聚類分析，可以將學習者按照視頻互動程度、完成作業或測驗表現等進一步劃分為有近似行為特點組群，從而可以根據各群的不同學習需求設計特定學習策略或提供幫助。

交流信息：學習分析涉及從各種來源採集信息並進行處理，這就可以將相關信息以統計分析的形式進一步通報給MOOC平台的各利益相關方。例如，類似於網頁分析，學生可以查看他們的學習活動，評論一般統計信息，而老師和決策者們可以利用那些描述性的統計信息形成關於MOOC的總體認識。

節省費用：由於學習分析提供了數據分析工具，因而就打開了更廣闊的考試服務方式，能夠更好地判斷MOOC課程的弱點，從而使決策者更有效地分配資源。

在MOOC中運用學習分析的弊端

儘管事實表明將學習分析運用與教育數據流已經取得了一些收益，但最近也有研究指出了其會引發的不利方面，主要是大規模的數據採集和處理使得學習分析引發隱私權和道德方面的擔憂。主要有：

安全問題：學習分析應用程序中的資料庫中存貯的學生記錄，涉及學生的核心私人信息。因此，確保資料庫安全不僅僅受到有關組織的關注。畢竟機密信息泄露的事是有可能發生的。

隱私問題：學習分析會泄露學習者的個人信息。MOOC資料庫中存有大量敏感信息，如郵件地址、姓名或地址等。私人信息因而被視為學習分析的風險和限制。也有研究者提出了一些解決方案，如採用匿名方式、加密或提高使用許可權等。

所有權：人們關注MOOC上被分析的數據所有權歸誰？學習者希望他們的個人信息是機密的，當然一定程度的權利讓渡也為確保透明度所必須。人們希望MOOC提供者刪除或不去刻意識別其平台上的學習者個人信息。但MOOC提供者並不總是清晰說明將如何使用其所掌握的學習者信息，是否會提供給研究機構使用，甚至賣給第三方。

透明性：當學習分析用於教育數據集時，秘密處理過程可能會隱藏一些不公正的決策。出於同樣的原因，當對MOOC運用學習分析時，提供者應公開他們採集、分析和使用學習者數據的方式。同時，應當注意找到一個平衡點，確保學習分析演算法或工具是恰當的。

存儲：由於MOOC向公眾開放，一門課程可能吸引來成千上萬的學生。存儲和管理這些大數據的成本是高昂的，技術也是複雜的。

MOOC中運用學習分析的可能失敗（醜陋）

學習分析中所用的數據質量十分關鍵。當數據記錄中有不完整的片段或受污染的信息時，學習分析就可能受到很大影響，甚至得出錯誤結論。而且，對學生在在線學習的總體評價，並不能僅通過其在MOOC上留下的蹤跡來獲得。那麼能否確定學習分析結果的正確性？準確性又如何呢？

這裡我們列舉幾種在MOOC上運用學習分析可能產生的最糟糕的結論。

假正。如果分析者基於小數據集匆忙進行判斷，就可能得到「假正」的結果。相應地，後續決策的準確性也會受到影響。例如，如果一個群組中的學生都是玩弄規則的人，分析者基於MOOC上完成課程的總人數建立預測模型，就會誘發一個「假正」判斷。事實上，學習分析不僅基於數據和統計，研究者的判斷和意見也扮演很重要的角色。例如學生在論壇中的活躍程度與成績的關聯性。一些研究者認為在論壇中活躍度與其學業成績呈正向關係，另一些學者則持相反意見。由此可見，學習分析的結論並不總是準確的。

錯誤分析。學習分析可能會失敗，所以，錯誤的干預或預測也就會發生。失敗可能源自分析循環的主過程，也可能源自錯誤的數據採集、處理或過濾，以及錯誤的干預策略等。另外，在將分析結果以可視化方式呈現時，也可能發生偏差。可視化是報告信息的一種重要方式，但用3維圖形顯示的結果對最終用戶（學生、老師、決策者）也有一定的欺騙性。錯誤分析可能是意外造成而非有意的，但基於錯誤分析而對數據進行闡釋，對MOOC的不同利益相關方來說則是危險的，對MOOC商業來說是不經濟的。由於濫用學習分析工具而造成錯誤的分析，不僅損害研究者的聲譽，也浪費了其時間和精力。

偏見。學習分析雖然具有預測和建議的重要作用，它也能解決像論壇中的討論積極性與學業成績之間，或觀看視頻與通過MOOC考試之間關係的一些假設。但所謂「從採集到的數據能感覺到」，實際上返回的是研究者或決策者的主觀意願。這種導向一個特定的假設和要證明一個理論的內在決心，通常會導致帶有偏見的學習分析。

有意義的數據。有研究指出，學習分析通常會得出定量研究結果，但還需要用定性方法解釋重要結果的意義。如果學習分析不能提取出有意義的數據，則表明這一分析是失敗的和浪費時間精力的。有研究指出判斷數據有無意義的兩個依據：採集到的數據是否對於提高或改變教育毫無影響；是否有數據毫無意義的證據，如缺少關於獲得這些有意義信息將去測度什麼的說明。

結論

學習分析提供了各種工具，可用於優化學習。本文評論了在MOOC中運用學習分析的原則，討論了其能力（益處）、困境（壞處）和及可能的失敗（醜陋之處）。

圖1：在MOCC中運用學習分析的益處、壞處和可能的失敗

TAG:MOOC |

※發布會Face ID解鎖失敗很尷尬，蘋果稱純屬意外
※蘋果史上最失敗的iPhone手機，有人在用么？
※Intel移動處理器Atom徹底失敗：用戶瘋狂維權
※開發者測Core ML 識別初代Mac Pro失敗
※EDG無緣S7總決賽8強，iBoy直播這樣回應失敗原因
※關閉美會員服務EcoPass 但樂視仍不承認在美失敗
※拯救雅虎失敗的美女高管梅耶爾 可能出任Uber的下一任CEO
※機器學習應用在量化投資中失敗的7個主要原因
※關於MySQL的commit非規律性失敗案例的深入分析
※T-ara回歸失敗！MBK這是要把組合解散的髒水潑到成員身上嗎？
※蘋果、微軟的失敗案例告訴CIO，企業客戶管理要規避的五個重大失誤
※蘋果歷史上最失敗的一款手機，不是iPhone SE而是它
※LOL：SKT偷師LPL，結果被AFS血虐，SKT偷師失敗
※蘋果最失敗的2款小屏手機iPhone SE和5C？
※iPhone X的FaceID 會是一個失敗的用戶體驗嗎？
※IM戰隊繞後WE失敗被嘲諷 OMG中單：辣雞IM官博小學文憑
※XBOXONE在主機界到底屬不屬於失敗的遊戲機？為什麼現在還活的好好的呢？
※蘋果回應首次面部識別失敗：與FaceID無關
※水中分娩真的那麼完美？Ella水中分娩失敗，寶寶被迫呼吸治療