英國警方剛剛修改了他們的AI警務系統，原因是它「涉嫌」歧視窮人

一項旨在幫助英國警方做出羈押決定的演算法最近做了一些調整，原因是擔心它可能會歧視來自貧困地區的公民。回顧這項演算法工作的歷程，你會發現它做出的預測和人類預測有著巨大的差異。

過去五年，達勒姆警察局和計算機科學家們一直在開發「危害風險評估工具」（簡稱HART）。HART是一個人工智慧系統，它可以預測犯罪嫌疑人兩年內再犯的概率是較低、中等還是較高。

HART是英國警方最先採用的人工演算法之一。它不直接決定是否羈押犯罪嫌疑人，而是意在幫助警察決定是否將某個人列入一個叫做「Checkpoint」的康復計劃。這個康復計劃的初衷是調停訴訟，防止嫌疑人被送上法庭。

HART系統用到了34項個人數據（包括年齡、性別和犯罪史等）來評估犯罪風險的高低，其中包含了郵政編碼。不過警方目前正在剔除該AI系統中的郵政編碼信息的主要欄位，比如刪除達勒姆郵政編碼的前四位數。2017年9月發表的一篇學術論文草案在回顧對這項演算法的使用時寫道：「HART目前正在接受數據更新，目的是刪除兩個與郵政編碼相關的預測指標中的一個。」這篇論文的聯合作者之一是一位警方成員。

愛丁堡納皮爾大學犯罪司法系統專家Andrew Wooff說道：「我對於將郵政編碼前幾位作為預測指標心存憂慮。」他補充說，將地域和社會人口統計信息等作為預測指標，會加深警務決策和司法系統中的偏見。「如果系統預測某個郵編對應的地區具有犯罪高發風險，而且警方據此採取了行動，無疑會放大這種認知。」

這篇即將發表的學術論文，首次對HART進行了認真的審視。它指出，郵政編碼和社區的貧困程度可能有一定的相關性。住址信息之所以會成為預測犯罪的相關指標，可能是人為造成的結果。如果把郵政編碼作為建立再犯模型的依據，那麼這個模型就會使犯罪高發地區的居民備受關注。這篇論文強調，真正令人擔憂的不是模型本身，而是用來構建模型的預測因子。

該論文還強調，「人類和演算法的預測觀念存在明顯的分歧。」在該演算法的初始實驗階段，警方成員被要求模仿演算法的輸出結果，預測一個人的再犯幾率是較低、中等還是較高。差不多三分之二的情況下（63.5％），警員將罪犯的再犯幾率歸類為中等。論文中寫道，「模型和警員預測的吻合率只有56.2％。」

就修改演算法一事，外媒WIRED聯繫了達勒姆警察局，但截至發稿時間尚未收到對方答覆。

剖析HART演算法的內在機制

「您被邀請參加一項研究計劃」，一位達勒姆警官手中的邀請函這樣寫道。他被告知，「這項研究將徹底改變你的生活」，如果這項研究獲得成功，罪犯們將永不再犯。

Checkpoint計劃是達勒姆警察局和劍橋大學聯合主導的一項實驗。這項實驗希望通過研究為什麼有些人會吸毒、酗酒、無家可歸和出現心理問題來降低再犯罪率。

Checkpoint計劃的研究對象由HART演算法來提供。如果某人被HART演算法判定為具有中等再犯幾率，就會被列入Checkpoint計劃。而被系統判定為具有較低或較高再犯風險的人，則不會被列入計劃。

弗吉尼亞大學公共政策與經濟學教授Jennifer Doleac說道：「人們的生活被現狀所擾，但有沒有一種更好的處理犯罪的方式呢，這種方式更加公平，讓我們更加接近社會目標？」Checkpoin計劃曾被霍華德刑法改革聯盟授予獎項，後者稱讚了它試圖讓人們免受司法體系困擾的嘗試。

HART是一個使用R編程語言，通過隨機森林進行決策的機器學習系統。所謂隨機森林，是指一種基於一系列不同輸出進行預測的方法。

HART所做的每一個決策都是建立在歷史數據之上的，它通過分析歷史數據來預測未來。達勒姆警察局向HART的第一代模型提供了2008-2012年期間的104000起羈押時間的詳細信息。它從這些信息中提取出了包括位置數據在內的34個預測因子，並據此預測每個人的再犯幾率。HART的所有預測結果都是通過系統內部的509個投票得出的，投票分為低、中、高三個選項。

這項研究由達勒姆警察局的刑事司法主管Sheena Urwin領導，他發表的研究成果顯示，HART系統在真實世界中是行之有效的。HART系統的早期版本曾經預測一個24歲的男子具有高再犯幾率。該男子有過暴力犯罪史，警方掌握了他的22條犯罪記錄。HART系統內部投票時有414票投給了高再犯幾率，另有87票和8票分別投給了中等再犯幾率和低再犯幾率。後來該男子果然因為謀殺而被捕定罪。

以演算法為執法依據

雖然人工智慧在警察和執法機構中的應用仍處於早期階段，但對有志於開發AI演算法系統的警察機構來說，這個過程中已經暴露出了很多值得警惕的問題。

Pro Publica 2016年的一項調查研究曾被廣泛引用，該調查顯示，Northpointe開發的COMPAS軟體對黑人犯罪持有偏見。

喬治梅森法學教授Megan Stevenson在研究風險評估演算法Kentucky的作用時發現，該演算法並沒有起到多大的作用。通過分析一百多萬起刑事案件的資料，Stevenson得出結論，「它既沒有帶來風險評估演算法的擁躉們所期待的效率提升，也沒有像批評者們預言的那樣加深種族歧視。」研究結果還顯示，法官們使用Kentucky系統的風險評估法的時間越長，他們就越傾向於回到自己原有的工作方法和模式。

為了避免人類的種族和社會歧視滲透到HART演算法當中，達勒姆警察局專門為員工舉辦了圍繞「無意識歧視」的宣傳講座。警方還強調，這項演算法所使用的預測因子中並不包含種族，而且演算法輸出的結果只是一種輔助，它的目的在於幫助人類更好地作出決策。2017年12月，Urwin向國會議員解釋道：「雖然我不能告訴你具體的數字，但警員們確實不會完全按照演算法的預測行事，因為預測並非全部和最終的參考依據，它只是一種輔助而已。」

愛丁堡納皮爾大學的Wooff教授則表示，出於時間緊迫和集約資源的考慮，警方可能會讓警員們過度依賴AI生成的決定。他說道：「我可以想像，警員們可能更依賴於系統的決策而不是自己的思考。」 Wooff教授認為，書面記錄對需要做決策的警員們或許有所幫助，「這部分是因為，一旦出現了問題，你可以為自己的決策辯護。」

另一項聚焦於COMPAS軟體的準確性的研究發現，它和沒受過專業訓練的人類做出的決策沒什麼不同。這項研究的作者之一Julia Dressel說道：「COMPAS的預測並不比那些幾乎沒有任何刑事司法經驗的人，基於在線調查做出的預測更加準確。」 Julia Dressel現在已經成了一名蘋果工程師。

Dressel和達特茅斯學院教授Hany Farid付費讓人們使用亞馬遜的Amazon Mechanical Turk網站，預測罪犯是否會再次犯罪，並將預測結果和COMPAS的結果相比較。結果顯示，人類和演算法的預測準確率都在67%左右。Dressel說道：「我們不能憑空想像，認為一個工具運用了大數據就能準確地預測未來。我們需要讓它達到非常高的標準，而且要對它進行測試，讓它證明自己確實像標榜的那般準確有效。」

開誠布公，接受公眾監督

達勒姆警察局的演算法是一個「黑箱」，系統無法完全解釋自己是如何做出決策的，我們只知道它是基於模型內部的超過420萬個數據點。2017年9月，對HART的總結和反思得出一個結論，「不透明度似乎無可避免」。目前HART系統僅接入了達勒姆警局的數據，未來它可能還會接入地方議會或英國警察國家資料庫中的數據。

為了規避演算法不透明的問題，警方創建了一個框架，框架規定了演算法該在何種情況下被使用。這個框架被稱為「演算法注意事項」，裡面說道，演算法必須是合法、準確、可挑戰、負責人和可解釋的。

AI Now研究所的技術人員Dillon Reisman說道：「問責不能只是一個核對清單。很高興看到他們制定了「演算法注意事項」，但他們還應該思考優先使用演算法是否恰當。」 AI Now研究所主要的做事情是研究人工智慧對於社會產生的影響。

警方拒絕公布HART的底層代碼，認為這不符合大眾的利益，而且有可能將這個系統扼殺於研究階段。不過，警方表示他們願意將底層系統交給中央組織。

「達勒姆警察局將準備好向演算法監管機構公開HART演算法和相關的個人數據及羈押數據集，」警方被問及數據公開問題時如此回應道。

Reisman認為，僅僅公開這些數據還不夠，因為「光看代碼無法對演算法進行評估」。他說道：「你還等知道人們是如何根據演算法的決策採取行動的。」

在這些發生之前，AI警務系統的有效性仍值得商榷。2017年9月，一份由Urwin參與寫作的關於HART的審查報道，重點關注了演算法預測是否完全適用，以及種族等相關數據是否應該被納入警務系統這兩大課題。

COMPAS分析報告的聯合作者說道：「根據以往的行為準確預測一個人未來兩年會做些什麼是非常困難的。如果你無法做到那樣高的準確率，那麼就應該放棄這種方法，轉而尋找其他更簡單的途徑，並在公民的自由和社會穩定之間尋找平衡。」雷鋒網雷鋒網

viawired雷鋒網編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！