這位數據科學家，認為演算法導致了世界上更多的不公正

「演算法不過就是讓現實里存在的偏見變得自動化了」

「 我這邊馬上就要上 TED 演講了，希望等會不要暈倒在舞台上，另一邊他們還在賣我的書《數學毀滅性武器》」數據科學家 Cathy O Neil 在登上今年的 TED 舞台以前，在 Twitter 上這樣打趣自己。

但她這次的演講主題很嚴肅，Cathy O Neil 想告訴人們那些看似有大量數據做支撐的演算法得出的結果，其實並不客觀。相反它背後是由人們的偏見所掌控的。但演算法如今在我們生活中實在是太常見了，從你繳納醫保費用的多少到申請一份工作，背後可能都是演算法在進行衡量。

Cathy O Neil 拿到哈佛大學數學系博士學位後，又在華爾街沖基金公司擔任量化策略分析師多年，了解金融機構內部運作機制之後，Cathy O Neil 對基金模型大失所望。發生全球金融危機之後，她成為了「佔領華爾街運動」的主要發起人之一，以此來反對大公司的貪婪與不公正。

在演講中，Cathy O Neil 通過大量事例證明了由演算法來得出的判斷可能是錯誤的。她引述了《紐約時報》曾報道過一位教師的例子，在紐約考核教師的演算法機制中，除了學生的學業表現，還要綜合考慮上 20-30 種變數。最後這個演算法對教師考評的結果讓這所學校最優秀的老師，得到了最差的評價等級。不僅是在績效考核領域，來自媒體調查機構 Propublica的一份數據也顯示，演算法歧視體現在各個領域，包括預判犯罪、評估汽車保險費用等。

通過預測模型，左邊的犯罪風險為高，右邊為低。但事實並非如此

Cathy O Neil 還假設，如果 Fox 新聞決定通過演算法來改變過去性虐待醜聞的負面形象，他們在制定這套演算法時，首先需要數據來進行大量的訓練。數據從哪兒來？ 從過往這家公司 20 年來的招聘資料庫里來。

Cathy O Neil 認為，這套演算法依然會對女性產生歧視，因為這些用來訓練演算法的數據在以往的招聘中就一直存在偏見，它所得出的演算法就不可能客觀。

「演算法並沒有讓事情變得更加公平。」 O Neil 說。

在她的《數學毀滅性武器》（《Weapons of Math Destruction》）一書中也詳細論述了大數據與機器模型的負面影響。總體來講，O Neil認為，這些模型對在社會中佔劣勢的人有負面的影響，同時讓富裕的人過得更輕鬆；同時，得出這些模型的過程並不是透明的，這讓人們難以理解並發現其中的問題。

O Neil 還告訴《好奇心日報》，在離開金融公司，轉型為一名社會活動家之後，將關注點放到了影響公眾的演算法上。比如 Google 的圖片識別技術為什麼會把黑人識別成猩猩呢，這就是因為在這個演算法的數據訓練庫當中，根本沒有放入過黑人的相冊進行測試。」

要如何解決這個問題？

O Neil 覺得不能指望市場來解決 「自由市場無法解決任何問題，因為人們對利益的追逐驅使演算法變得不公正。」

她的建議是，讓演算法數據也能得到審計，審計內容包括檢測數據公正性（分析用於構建演算法的數據是否含有偏見）、界定對於結果成功的定義（確保演算法支持的是一個不帶任何偏見色彩的目標）、檢查整體的準確度、控制演算法長期影響，避免數據的反饋迴路。

最後，O Neil 認為要靠政府監管者的力量確保這一切能夠得到實施。

但她又補了一句 「我並不指望川普政府。」

題圖來自 TED

TED 也談人和機器的衝突，都在談些什麼？ TED 2017 現場報道

LVMH 將以 65 億歐元收購 Dior，這個 70 歲的品牌到底賣的是什麼？

擁有1.3萬家門店，12個女鞋品牌的百麗集團可能要賤賣，為什麼百貨一樓的老牌女鞋不行了？

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！