一款預測罪犯評估軟體竟然存在「機器偏見」，誰該負責？

法院、銀行和一些其他機構正在使用自動化數據分析系統做決策。然而最近的新聞報道稱，機器也會產生偏見。

ProPublica是一家非盈利新聞機構，也曾獲得普利策獎；COMPAS是一款預測罪犯可能會成為再犯的風險評估軟體，在它的幫助下，法官對被告和罪犯的未來情況，如保釋金額、判刑等做出決策。

GIF/982K

COMPAS曾經預測了佛羅里達州超過10000名罪犯是否會成為再犯的概率，ProPublica將該軟體的預測結果與實際結果進行了比較，結果表明:當演算法的預測結果與實際結果相同時，無論是對黑人和白人，演算法準確率大致相同。

然而，當演算法的預測結果與實際結果不相同時，演算法存在偏見——一方面，黑人被演算法標記為會成為再犯的風險遠高於白人，而實際上這些黑人並沒有成為再犯；另一方面，白人被標記為會成為再犯的風險很低，但實際上這些白人卻繼續犯罪。

使用像COMPAS這樣的風險評估系統是否合適，不僅僅是一個種族偏見的問題。以威斯康星州的一名罪犯為例，法官在做出判決的時候使用了COMPAS，這就使該罪犯的正當程序權利受到了侵犯。然而對被告而言，COMPAS風險評估軟體就是一個黑盒子，即使是專家都難以解釋它給出的結果。

在司法系統之外，也存在許多這樣的潛在問題。例如，基於在線人格測試，自動決策系統幫助決定一個人是否適合某項工作；信用評分演算法在幫助人們得到抵押貸款、信用卡等方面也起著至關重要的作用。

然而，使用像COMPAS這樣的風險評估系統並不一定是壞事。在許多情況下，自動決策系統的公平性可以提高。有時候，人類的決策一樣不合邏輯，有失公正，這就需要監管來使決策符合我們的正義標準。

一項研究表明，剛剛吃完飯後的法官很可能釋放犯人，這可能會帶來嚴重的後果，而自動決策系統可能會找出決策過程中的瑕疵，並解決這個問題。

但是，我們通常並不是很了解自動決策系統的工作原理，因此也不知道它們是否比人類更公正。部分原因是做決策的系統基於一定的基本假設，而即使是系統設計人員也不一定很清楚這些假設是否合理，不清楚哪些演算法可能會產生偏見。即使是答案看起來很清楚，事實上可能會很複雜。

立法者、法院、博學的人應該決定我們希望演算法優先考慮什麼。

我們應該怎樣做才能更好地利用自動決策系統?民主社會需要更多的監管。AlgorithmWatch是一家旨在幫助人們理解這些系統影響的非營利倡導組織，總部位於柏林，是筆者與一名計算機科學家、一名法律哲學家和一名記者聯合創辦的。

我們曾經說過，大多數自動決策系統都是黑盒子，這不符合自然規律，必須終止。然而，我們的觀點與許多批評者不同，因為我們恐懼的不是技術本身，而是這些技術的濫用。不僅僅是演算法開發者，許多群體都會影響自動決策系統的價值判斷。

COMPAS從對罪犯的問卷調查（問卷調查涉及被告的犯罪歷史和對犯罪的態度）中得出該罪犯可能成為再犯的風險分數。那麼，這種方式是否會產生有偏見的結果？

在ProPublica的調查之後， Northpointe（開發COMPAS的公司）對ProPublica的報道進行了駁斥，該公司認為是記者誤解了那些數據，三名刑事司法研究人員(其中一人來自於司法改革組織) 也認同Northpointe的觀點。那麼，到底誰才是正確的呢？是記者?還是這些研究人員？馬克斯·普朗克軟體系統研究所的網路系統研究組組長Krishna Gummadi給出了一個令人驚訝的答案：他們都是正確的。

Gummadi曾經廣泛地研究了演算法中的公正性問題，他表示，ProPublica和Northpointe的結果並不矛盾，不同的結果是因為它們採用了不同的公平措施。

如果自動化決策系統使用恰當，刑事司法演算法會向改革量刑方式、解除大規模監禁敞開一扇科學的大門。

想像一下，你正在設計一個預測哪些罪犯可能成為再犯的系統。一種選擇是去優化「真陽性」，這意味著你要讓系統儘可能多地識別出哪些罪犯可能會真正地成為再犯。這種優化方法存在一個問題，它往往會增加「假陽性」的數量，「假陽性」意味著會不公正地將罪犯預測為再犯。

雖然可以採取措施儘可能減少假陽性的數量，但是這經常會造成更多的「假陰性」——這意味著很可能成為再犯的罪犯沒能被系統發現。提高真陽性率或降低假陽性率都是提高被稱為「陽性預測值」或「PPV」的統計學方式。

ProPublica比較了黑人罪犯和白人罪犯是否會成為再犯的假陽性率和假陰性率，結果發現「演算法會對黑人產生偏見」的這一觀點。Northpointe則比較了不同種族的PPV，發現它們很相似。部分原因是白人和黑人的再犯率確實存在著差異，從數學角度來看，每個種族中真陽性率相似而假陰性率明顯不同是可能的。

這向我們提出了一個問題，立法者、法院，博學的人們應該決定我們的演算法到底應該優先解決什麼問題: 是儘可能地減少罪犯的保釋機會或再犯機會？為了確保公正和降低監禁的巨額社會代價，我們應該做出怎麼的抉擇？

不管我們如何選擇，基於統計的任何演算法都會產生偏差，這一點不可避免。但是我們仍然可以使用這樣的系統來指導人類做出更加公平、更加理智的決策。

富有爭議的紐約警察局「攔截盤查」項目能夠幫助我們解釋一些原因。在2004年1月～2012年6月這段時間裡，紐約市警方進行了多達440萬次的攔截檢查，這次行動允許警察可以對街上人員進行暫時扣留、質詢以及搜查武器和其他違禁品。

但實際上，其中有88%的攔截檢查並沒有發現異常，這說明絕大多數人並沒有做錯什麼，《紐約時報》在一篇社評中譴責了這個做法。更重要的是，在被攔截檢查的案例中，83%是黑人或西班牙裔人，儘管這兩種人僅佔了紐約總人口的一半左右。

數據分析表明，人類偏見的案例可以使自動化決策系統在刑事司法中發揮積極作用。Anthony Flores，Christopher Lowenkamp和Kristin Bechtel這三位研究人員發現了ProPublica用來分析COMPAS的方法存在缺陷，他們擔心ProPublica的誤解會使我們逐漸喪失使用此技術的機會。

但是，如果我們接受了「精心設計的演算法可能會使我們的生活更加公正」的觀點，我們又怎麼知道這樣的演算法是否能夠被設計出來？

民主社會現在應該努力確定出他們需要從自動化決策系統獲得的透明度。我們是否需要新的規定，以確保軟體能夠被合理監督？立法者、法官和公眾應該有發言權，即通過演算法優先考慮公正的措施。但是，如果演算法實際上並不反映這些價值判斷，誰又將被追究責任？

如果我們希望受益於演算法技術的進步，這些都是我們需要回答的難題。

本文作者Matthias Spielkamp是AlgorithmWatch的執行董事，AlgorithmWatch是一個倡導組織，分析自動決策的風險和機會。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！