微軟科學家談機器學習的公平性問題：對性別和種族避而不談並不是一個好方法

雷鋒網 AI 科技評論按：ACM Fellow、微軟傑出科學家和管理總監 Jennifer T. Chayes 近日以 ACM 的名義發表了一篇文章，介紹了機器學習中的公平性問題和現階段研究人員們的應對方式。雷鋒網 AI 科技評論編譯如下。

機器學習是計算機科學的一個分支，通過識別在數據中存在的模式來發展演算法。舉例來說，我們的個人助手，如Cortana, Siri 和 Alexa， 會學習如何識別我們在說什麼，並且運用與上百萬人的交流來學習如何最好地回應我們的問題。

當計算機變得越來越智能的時候，一些數據科學家會因為發現他們的演算法變得有性別歧視或者種族主義的傾向，而困惑不已。但是這樣的現象是不該令人驚訝的，因為這些演算法是經過社會數據的訓練而成的，所用到的社會數據本身就是帶有社會偏見，在訓練時所用的評估指標會讓演算法會放大這些偏見。

比如，如果一個人單純地訓練一款機器學習演算法來篩選簡歷，並且目標是根據一份工作之前的僱傭記錄來挑選最合適的候選人，那麼即使演算法被清晰明確地指示去忽略「受保護的屬性」比如種族和性別，結果還是可能會帶有種族偏見或者性別偏見的。這是因為種族和性別是與其他「未受保護」信息比如姓名有關聯的，而這些「未受保護」的信息是演算法可以使用的。在招聘過程中，我們知道招聘人員傾向於做出與演算法一樣的選擇，他們不會被告知申請者的性別，但是他們會認出一個女性名字並不會面試她，因為之前被僱傭的多數都是男性。

總體來講，設計周到的演算法時，即使訓練的數據是有偏見的，計算機仍舊可以變得比一般人類決策者更加的公平。就如不論我們的孩子見到什麼人做哪些工作，我們都會教導他們「任何人都有潛力做任何工作」，我們也可以教會智能的演算法如何去忽視訓練數據中的偏見。幸運的是，隨著計算機變得越來越聰明，教他們這樣的事情變得越來越簡單。計算機現在能夠理解什麼是種族，什麼是性別，並且社會數據也可以被用來自動地揭示和消除偏見。

目前的系統有時會表現出來非常強烈的偏見。當哈佛教授Latanya Sweeney將她自己的名字輸入搜索引擎的時候，她收到一則廣告寫著「Latanya Sweeney曾被逮捕過嗎？」並且會有償地提供背景調查。背景調查的結果是Sweeney博士沒有被捕記錄，就像大多數傑出的科學家那樣。這則廣告明顯是非常不合理的，並且是對Sweeney博士帶有歧視性質的。如果潛在的僱主把Sweeney博士的名字輸入搜索引擎中，他們也許會因為見到這則廣告而立刻就不再考慮僱傭她。此外，Sweeney博士證明了，如果搜索比如Latanya這樣更像黑人的名字，你會有比搜索不具種族特徵的名字時更大的機會被展示這則「被逮捕過嗎？」的廣告。

好消息是，我們有很多的計算機科學家都非常關心機器學習演算法的公平性，並且已經開發出了方法來讓這些演算法相比人類來的更不帶有偏見。幾年前，一組來自微軟研究員和波士頓大學的研究者發現了在許多搜索引擎中天生就存在的性別歧視現象。當被要求去完成以下句子時，「男人會是電腦程序員而女人會是_」，這個工具會產生「家庭主婦」這樣的答案。我們的團隊讓這個工具變得不那麼帶有偏見，從而使它產出性別中立的答案，這讓我們的演算法比人類來的更加公平。

一群來自微軟研究員和哈佛大學的研究者最近設計了一款智能演算法，這款演算法在學習的中間階段會直接讀取「受保護的屬性」比如種族或者性別，在這樣的情況下，這款演算法有時得出的決定會比人類判斷具有更少的偏見。假想我們要為我所在的組織招聘一位新的管理者。我們單純的招聘演算法會學習我們過去優秀的管理者，並且按照這些特徵來推薦候選人。假設招聘演算法發現我們的候選人曾經有過僱傭歷史的中斷，而這樣的中斷與「成為好的管理者」是呈現負相關的。因為我所採集的數據中絕大多數管理者都是男性，這樣得出的結論就會是有僱傭歷史中斷的男性會在管理崗位上表現的更差。

現在讓我們考慮一下如果候選人是女性的情況。大多數女性都有可能會花幾年的時間離開工作環境，來撫養孩子，並且在這個過程中她們學會如何平衡非常多的、互相間有競爭關係的事情，這樣的經歷會讓她們重返工作環境的時候成為更好的管理者。但是我們單純的招聘演算法不會在數據中發現這樣關於女性的細節，因為在訓練數據中的男性數據在數量上佔據著絕對的優勢。我們的研究者發現如果他們將單純幼稚的演算法分別使用在不同的、依照受保護屬性來劃分的群體上，演算法在做決定的過程中會顯示出更少的偏見。在這樣的情況中，演算法不會懲罰僱用歷史有中斷而又追求管理者工作的女性。目前的法律是不允許在做招聘決策的過程中使用性別這一信息的，但是這一最新的結果可以為未來的監管提供新的視角。

一些人認為消除演算法中的偏見是一件天生不能成功的事情，但是就像無可避免會牽涉到交通事故中的自動駕駛汽車那樣，第一步是要設計一套比人類更安全或者更不具偏見的系統。使用數學來定義「公平的」決策指標的過程也迫使我們需要精確地做出在公平和準確之間的取捨，這樣的取捨在以前有時會被決策者有意或無意的遮掩起來。這樣的過程讓我們重新審視什麼叫做公平對待一切群體 —— 在一些情況下，要想公平對待不同的群體，學習他們不同的群體特徵是必經之路。

在計算機科學，法律，道德的交匯處正在形成一個全新的領域。它不僅會引領我們創造更公平的演算法，並且會引領我們找到可以追蹤責任的演算法，這樣的演算法會使一個決定背後都有哪些影響因素變的更透明。我們有足夠的理由對這樣的演算法抱有期待！

via huffingtonpost，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！