我們拿什麼拯救正身處險境的孩子？演算法！

演算法正在幫助公共部門改善兒童的危險處境。從匹茲堡的早期運行效果來看，預測分析技術似乎是兒童保護領域在過去 20 年間最令人興奮的創新之一。

編譯 | 程耀彤、Rik

來源 | 紐約時報雜誌

2016 年感恩節後，周三下午 3 點 50 分，有人撥通了匹茲堡虐待和忽視兒童熱線。

在辦公室的小隔間中，Timothy Byrne 聽一位幼兒園老師講述了一個三歲孩子告訴他的事情。這裡以前是一家工廠，現在是阿勒格尼縣警察局以及兒童青少年和家庭服務工作辦公室（以下簡稱C.Y.F.）。

小女孩說，母親的一位男性朋友在她家中，「弄傷了頭，他在流血，還在地板和浴盆上搖晃。」據這位幼兒園老師說，他已經從新聞里得知這位男性朋友已經因為用藥過量，死在家中。

根據案件記錄，Byrne 搜索了部門的電腦資料庫，找到了有關這個家庭的一些資料。

有多項針對該家庭的指控，可以追溯到 2008 年：父母濫用藥物、衛生狀況不佳、家庭暴力、食物供給不足、身體護理和醫療疏忽以及來自叔叔的性虐待（涉及女孩兩個姐姐中的一個）。

不過，這些指控都沒有得到法律支持。

儘管發生了上面那件聳人聽聞的事情，但是，目前沒有法律要求社會工作人員前去調查家庭狀況。

關閉文檔之前，Byrne 不得不評估孩子未來生活狀況的風險指數。

像他這樣的工作人員，幾乎每天都能聽到比這更令人震驚的兒童身處危險的故事。他在計算機中輸入:「低風險」。

會不會威脅兒童的直接安全？他必須勾選一個選項，結果是「沒有安全威脅」。

如果這一結果完全由 Byrne 決定，故事可能就到此為止了。

過去，這些篩選人和司法轄區的主管人員有權作出最後決定。Byrne 本來會過濾掉這個電話。阿勒格尼縣每年會收到 14,000 份指控，大約有一半的指控都會被過濾掉，不被關注。電話指控中，有些可能涉及針對兒童身體的暴力行為，有些僅僅是一些心懷不滿的房東、無監護權父母或嘮叨鄰居的抱怨。

2015 年，全國共收到 400 萬項指控，有42% 案件涉及 720 萬名兒童）的指控被過濾掉。根據上，既有合理的法律推理，也會基於判斷、意見、偏見和信仰。

然而 2015 年，更多的美國兒童死於虐待和被忽視。據官方資料，死亡數字為 1670 人，但也有人說，實際人數是這個數字的兩倍，比死於癌症的兒童數量還要多。

這一次，決定指控是否被過濾掉，並不是 Byrne 一個人。

2016 年 8 月，阿勒格尼縣成為第一個吃螃蟹的司法轄區：他們允許預測分析演算法為每一通投訴電話的處理結果（選出還是 pass 掉），提供備選答案，以更好地識別出最需干預的家庭。在此之前，預測性分析多用於信用報告、股票的自動買賣等。

所以Byrne 的最後一個工作步驟，還需要點擊阿勒格尼家庭篩選工具的圖標。

幾秒鐘後，他的屏幕顯示了一個垂直的顏色條，底部綠色 1(最低風險)，頂部紅色 20(最高風險)。

評估建立在 4 年電話投訴統計分析基礎上，使用了監獄、精神病服務、公共福利、藥物和酒精治療中心等機構的 8 個資料庫中的 100 多個標準。

這個 3 歲孩子的家庭最終得分 19 分。

究竟哪些背景因素，導致了篩查工具將它標記為未來有虐待和忽視的風險，尚無法確定。但是，仔細閱讀這些文件，我們發現：

這位母親正在參加戒毒治療中心；曾被指控持有毒品而被捕入獄;小女孩的三個父親和她的兩個姐姐都有重大毒品或犯罪史，包括暴力指控;年長的兄弟姐妹有終身殘疾;兩個年幼的孩子已經被診斷出發育或心理健康問題。

在迷宮般的資料庫中找到有關這個家庭的所有信息會花費 Byrne 很多時間，但是，篩選員被要求在最多一個小時內做出決定。

篩選員無法知道哪些因素，或哪些因素的組合，最能預測未來的不良後果。然而，演算法在幾秒鐘內給出了得分。

現在，儘管 Byrne 最初持懷疑態度，但是，高的分數會促使他和上級標記這個案子，以便進一步的調查。24 小時內，一位 C.Y.F. 工作人員必須見見這位母親，看看 19 分的原因在哪裡。

幾十年來，關於如何保護兒童不受虐待和忽視的爭論，主要集中在哪些補救措施最有效：向父母提供服務，幫助他們解決問題？還是應該讓孩子儘快離開家? 如果父母被隔離了，孩子是否應該與親戚或養父母住在一起?

不過，兩個開創性的社會科學研究提出了另一個思路。

從 2012 年開始，南加州大學 Emily Putnam-Hornstein 和紐西蘭奧克蘭理工大學教授 Rhema Vaithianathan 提出的問題是：哪些家庭的風險最大，需要幫助?

「你知道嗎，你提供的服務很好，但是，你可能將服務提供給了錯誤的家庭，」Vaithianathan 告訴我。

Vaithianathan,50 歲出頭，小時候就從斯里蘭卡移民到紐西蘭; Putnam-Hornstein，比他小十歲，已經在加州生活了多年。

兩人都對使用公共資料庫為公眾服務的前景抱有熱情。

三年前，他們被要求調查預測分析，如何能夠提高阿勒格尼縣處理虐待指控的能力。最終，他們發現自己關注的是電話篩選過程。一系列悲劇之後，他們發現在這些悲劇中，孩子們大多在電話指控被 pass 掉後死去的。

這是每個兒童福利機構的噩夢。最嚴重的一次事故發生在 2011 年 6 月 30 日。

當時，消防員們接到了火警電話，大火發生在位於匹茲堡市東部 McKeesport Boulevard 的一個三層公寓大樓上。當消防隊員把鎖著的門砸開後，他們在卧室一堆衣服下面發現了 7 歲的 KiDonn pollford - Ford。顯然，他是在那裡躲避煙霧。

KiDonn 的四歲的弟弟，KrisDon williams - Pollard 躺在床下，沒有了呼吸。兩天後在醫院去世。

他們發現，孩子們被他們的母親，27 歲的 Kiaira Pollard 單獨留下了。那天晚上，她要去做脫衣舞娘。

鄰居們說，她是個好媽媽，大一點的男孩成績不錯。

對於 C.Y.F. 來說，這場悲劇中最讓人沮喪的部分是：該部門接到了無數關於這個家庭的電話，卻把電話都 pass 掉了，認為不值得對其進行全面調查。

是篩查員不稱職？不，Vaithianathan 說。

他花了幾個月的時間與 Putnam-Hornstein 一起挖掘這個縣的資料庫。基於 2010 年 4 月到 2014 年 4 月間的所有 76,964 項虐待指控，他們搭建出了演算法。

「篩查員有非常多的數據，但他們很難判斷哪些因素是最重要的。」她說。

一個打給 C.Y.F. 的電話中，可能涉及很多因素。比如，可能有兩個孩子，一個被指控的行兇者，還有媽媽，家裡可能還會有另一個成年人。所有這些人都有可供調查的歷史記錄，但是，人類大腦並不擅長駕馭和理解所有數據。

她和Putnam-Hornstein將數十個數據點聯繫在一起（電話指控出現之前，縣裡掌握的所有家庭每一個數據信息），預測孩子們的命運。

結果令人吃驚和不安：48% 的低風險家庭正在接收干預服務，而 27% 的高危家庭被過濾掉了。2010 年至 2014 年期間，在打給 C.Y.F. 的 18 個電話中，由於父母虐待而後來導致兒童死亡或嚴重受傷的，8 例（44％）被篩查為不值得調查。

Rachel Berger 是一名兒科醫生，也是國匹茲堡兒童醫院虐待兒童研究中心負責人，領導著一項旨在消除兒童虐待和忽視致死的聯邦委員會研究。

問題不在於大海撈針，而是在一堆針中找到合適的針，她認為。

「所有這些孩子都生活在混亂之中。如果面臨諸多危險因素，C.Y.F. 如何挑選出最危險的因素? 你肯定不會信任充滿大量主觀性的保護決策。這就是我喜歡預測分析技術的原因。它最終帶來了一些客觀和科學的決定，這些決定可能會難以置信地改變人的生活。」她說。

演算法促使 C.Y.F. 調查上述那位三歲小孩的家庭，之後，一位名叫 Emily Lankes 的工作人員敲響了她家的門。

這座飽經風霜的兩層磚砌建築周圍，環繞著許多被夷為平地用木板封起來的房屋。

沒有人回答。Lankes 接著開車去了孩子的幼兒園。小女孩看起來很好。Lankes 打電話給孩子媽媽。這個女人反覆問她為什麼要接受調查，但同意了第二天下午的走訪。

Lankes 再次來到小女孩家中，發現家裡沒有傢具，也沒有床，儘管這位 20 多歲的母親堅持她正在保護那些孩子，孩子們都睡在親戚家裡。

所有的電器都是好的，冰箱里有食物。母親的性格很亢奮且反覆無常，但她堅持認為自己沒有用過毒品，沒有去過治療中心。

這三個孩子都表示，不會擔心母親怎麼照顧自己。Lankes 仍然需要與這位母親的治療中心來確認相關事宜，但目前看來，演算法似乎被三振出局了。

為了避免公共政策中出現的預測錯誤，預測分析法應運而生。

然而在刑事司法中，分析法現在已經被確立為法官和假釋委員會的工具，這使得演算法運作本身的保密性激起了公眾更為強烈的不滿，因為大部分演算法是由私營公司所開發、銷售與嚴密保護的。

爭論矛頭主要指向佛羅里達州的 2 家公司：非營利組織 Eckerd Connects，及其營利性夥伴 MindShare Technology。他們的產品叫 Rapid Safety Feedback，是一種預測分析軟體包。

據該公司稱，其客戶包括康涅狄格州、路易斯安那州、緬因州、奧克拉荷馬州和田納西州的兒童福利機構。

上個月初，伊利諾斯州兒童與家庭服務部政府宣布，將停止使用該公司的產品，此前他們已經支付了 36.6 萬美元。項目終止的部分原因源自一樁兒童死亡案件，該公司的產品沒有將其標記為高風險事件，而 Eckerd 和 MindShare 在事故發生後拒絕透露有關產品演算法的部分細節。

不過，由 Vaithianathan 和 Putnam-Hornstein 所共同開發的 Allegheny 家庭篩選工具（Allegheny Family Screening Tool）則不然：它屬於 Allegheny 縣政府。其運作方式是公開的。其篩選標準可在學術出版物中查到，當地官員也會對它吹毛求疵。

在採用該系統前，政府在市中心匹茲堡舉行了一次公共會議，邀請了律師、兒童權利倡導者、為人父母者，甚至包括之前被收養過的兒童。他們的問題都很尖銳，不僅關於學術界，也與縣政府的管理者有關。

「我們試圖行事正確，做到公開透明，並與社會各界討論事情的進展，」Erin Dalton 說，她是該縣的人力資源部副主任，也是該縣數據分析部的負責人。

她同 Allegheny 項目的其他參與者都表示，公共機構在採購演算法時往往把控不嚴。

「這讓人擔心，」Dalton 告訴我，「因為那些公益性領導人生怕丟了工作，因而傾向於快速簽單。他們不會做那麼複雜的產品評估。」

聲討這類演算法的另一個著眼點落在了預測未來行為上。

反對者認為，對於哪些家庭應當受到調查，其評判標準應該僅立足於該家庭所受到的指控，而不是基於對未來事件走向的預測。

在 2016 年舉行的白宮會議上，紐約兒童服務機構的行政專員 Gladys CarrióN 就兒童寄養中心問題發表了講話，表達了對兒童保護機構使用預測分析軟體的擔憂。

她說：「這讓我害怕得不得了。」尤其是在公民自由權的潛在影響方面。「我擔心幫助兒童的初心會助長問題產品的擴散。」

但在匹茲堡，那些倡導父母、兒童和公民權利的受訪者都表示，C.Y.F. 對方案的實施考慮得很周全。甚至連賓夕法尼亞州的美國公民自由聯盟（ACLU）也不吝惜溢美之詞。

「我認為他們做了很深入的檢查工作。」Sara Rose 說，她是 ACLU 在匹茲堡的一名律師。

「他們只讓檢查員使用這些預測分析軟體，讓他們決定哪些電話需要調查，哪些兒童需要關注。去別人家裡做調查或有冒犯，但至少不需要強行將孩子帶走或強迫家庭接受服務。」

對預測分析在兒童福利方面的第三個指控是最為強烈而令人不安的。

表面上，這些演算法是為避免人為判斷失誤而設計的。但是，如果演算法使用了充滿偏見的數據，那該怎麼辦？

人們普遍認為，許多數據都暗含著對人種的根深蒂固的偏見。（就在上個月，紐約市議會投票決定，將對該市演算法使用中的偏見進行詳細研究。）然而，值得注意的是，Allegheny 的經驗表明，在權衡偏見方面，其篩選工具只是沒有人為檢查那麼糟糕而已，至少在某些方面是如此，比如預測哪些兒童最可能受到嚴重的危害。

「這是一個難題。」Dalton 說。

「演算法所依據的所有數據都是有偏差的。相對而言，我們的系統對黑人孩子的監視更多，對白人孩子的監視更少。我們的調查標準與虐待無關，與是否受到指控有關。」

2015 年，黑人兒童占 Allegheny 縣所有虐待熱線來電的 38%，按照我們之前根據其人口數量所做的預測，這一數字是其 2 倍。他們因虐待而被安置在家外的比例更是不成比例：2015 年，每 1000 個居住在該縣的黑人兒童中，就有 8 個被安置在家外，而白人兒童中只有 1.7 個。

聖路易斯州華盛頓大學社會學布朗學院教授 Brett Drake 的研究認為，在美國各州兒童福利機構所調查的黑人家庭中，導致黑人兒童更易流離失所的原因不能歸咎於偏見，而是因為其貧困率更高。

同樣，由 Putnam-Hornstein 等人在 2013 年所做的一項研究發現，在加利福尼亞州，黑人兒童被控受虐和被送去寄養的數量是白人兒童的兩倍多。

但是，在調整了社會經濟方面的因素後，她發現，相較於白人貧困兒童，貧窮的黑人兒童實際上更不可能成為受虐指控對象，或是被送往寄養家庭。

所有密切關注兒童福利問題的人都會同意，所有陷入兒童虐待或寄養危機的家庭，普遍都要歸於貧窮。

當我與社會工作者們一道，走訪家庭並參加家庭法院的聽證會時，我看到白人家長與黑人家長一樣多——而他們都很貧窮，生活在該縣最差的社區中。

較為貧窮的人更可能被納入刑事司法系統，也更需要公共援助，在公立診所接受心理健康和藥物上癮方面的治療——所有這些數據都由 Vaithianathan 和 Putnam-Hornstein 的預測分析演算法進行解析。

Allegheny 縣人力服務部主任 Marc Cherna 自 1996 年起就負責監督 C.Y.F.，比該縣任何官員的在職時間都長。

他承認，在他的工作中，偏見或許是不可避免的。在採用該產品前，他對預測分析項目進行了獨立的倫理審查。其結論是，實施該項目是合乎道德的，而不實施它才可能不道德。

報告中說：「如果使用的是最準確的預測工具，那麼很難想出一條倫理方面的反對論據。」通過在篩選過程中加入客觀的風險措施，該篩選工具被 Allegheny 縣的許多官員看作是一種減少偏見問題的工具。

「我們知道許多決策都存在種族偏見，」C.Y.F. 副主任 Walter Smith Jr. 說，他是一位黑人。

「存在各種各樣的偏見。如果我是一名篩選員，成長於一個酗酒之家，那麼我在檢查時可能會更加看重父母的酒精使用量。如果我的父母很暴力，我就可能會更加關心暴力問題。預測分析提供了一個機會，可以讓我們更加一視同仁地看待所有這些變數。」

2 個月前，Emily Lankes 造訪了一名兒童的家庭，該名兒童曾目睹一次藥物過量致死事件。從那之後，她便一再試圖重新聯繫上那位母親，以完成自己的調查。

她一遍又一遍地給他們打電話、發簡訊，甚至直接登門造訪。而這些嘗試都沒有成功。她還給治療中心打過 6 次電話，想確認該名母親是清醒的，但都無人接聽。

最終在 2 月 2 日的早晨，Lankes 撥出了第 7 通電話。她了解到，該名母親沒有通過最近三次的藥物試驗，她的尿液中含有可卡因和鴉片。

然後，Lankes 與她的導師 Liz Reiter，同 Reiter 的老闆及一個由其他管理人員與社會工作者醉成的小組，聚在一起商討解決辦法。

「將孩子從家裡接走，這從來都不是一個容易的決定，即使我們知道這樣做對他們最好，」Reiter 告訴我。

但是，她說，「當我們看到有人在使用多種藥物時，我們需要保證孩子們的安全。如果不能進到他們家裡，就會開始擔心事情的進展。這是一個警示。」

該小組決定向家庭法院的法官申請一份緊急監護授權書。到下午晚些時候，他們得到了授權，來到了那名兒童的家，一位警官在那裡與他們會面。

最大的孩子幫他們開了門。母親不在家，但三個孩子都在，他們和年邁的曾祖父在一起。在過去的 2 個月里，Lankes 終於聯繫上了他們的媽媽，電話那頭傳來一陣嚷嚷，聲稱她們隨意入侵別人的家庭。

不過，這名母親告訴了 Lankes 有哪些家庭成員可以暫時照看孩子們。打包衣物，穿上冬裝，孩子們跟 Lankes 上了車。就這樣，政府授權一個陌生人把他們從母親身邊接走了。

在第二天的一次聽證會上，首席官員命令那位母親在孩子們回來之前先戒毒。她參加的戒毒所建議她進行康復治療，但被她拒絕了。

「我們不能與她經常聯繫，「Reiter 最近告訴我，「很明顯，她現在不方便溝通。目前兩個最小的孩子正與他們的爸爸在一起。他們都表現得非常好。」他們 13 歲的哥哥與曾祖父住在一起。

12 月，距離 Allegheny 家庭篩選工具的使用已經過去了 16 個月，Cherna 的小組和我就預測分析程序如何影響篩選決策的問題，分享了一些初步情況。

到目前為止，他們發現，與實施該程序前相比，黑人和白人家庭之間基於風險評分所計算出的待遇差別降低了；而被推薦調查的低風險案件的比例，也已經從之前的將近一半下降到現在的大約三分之一。

這意味著，社會工作者在運轉良好的家庭調查方面花的時間更少，畢竟這些家庭不需要被政府機構介入。與此同時，高風險電話的篩選頻率增加了。雖然只提高了幾個百分點，但在兒童福利領域，這是巨大的進步。

為了確定這些調查結果能否經得起推敲，Cherna 找來了斯坦福大學衛生政策研究員 Jeremy Goldhaber Fiebert 來獨立評估該程序。

「到目前為止的初步分析顯示，該工具的作用範圍似乎並沒有越界，」Goldhaber Fiebert 說。特別是，他告訴我，被篩選出的孩子更可能有服務需求，「所以他們的篩選就像是在那些真正有風險的孩子之中進行的。」

由於第 1 年的運作情況較好，更多高風險案件被標記為待調查項，Allegheny 的家庭篩選工具吸引了全美各地的兒童保護機構。

科羅拉多州道格拉斯縣，位於丹佛和科羅拉多斯普林斯之間，正與 Vaithianathan 和 Putnam-Hornstein 展開合作，在當地部署預測分析程序；而加利福尼亞社會服務部則委託他們對全州進行初步分析。

「從匹茲堡的早期運營結果來看，預測分析技術似乎是兒童保護領域在過去 20 年間最令人興奮的創新之一。」華盛頓大學研究員 Drake 說。

他最近參與撰的寫一份研究報告顯示，三個美國兒童中就有一個會被兒童福利機構列為 18 歲以下的調查對象，他認為各機構必須盡一切可能來提高他們的關注度。

即使在伊利諾斯州也是如此，該州兒童與家庭服務部主任 B.J. Walker 正在終止與 Rapid Safety Feedback 的開發商合作。然而預測分析是不會結束的。

Walker 在 12 月告訴我：「我仍然認為這是一個很好的決策工具。」Walker 知道 Cherna 和 Dalton，也看到了他們在開發家庭篩選工具過程中的漫長探索。

「他們做得很細緻，」她說，「他們對於透明度的追求向來值得稱讚。而透明性也是一把雙刃劍，因為你也會犯錯，也會搞砸，你想要做出一些改變。」

Cherna 和 Dalton 已經開始監管 Allegheny 縣的演算法重組工作。到目前為止，他們已經將該程序在預測不良後果方面的準確率從 78% 左右提高到了 90% 以上。

此外，呼叫篩選員及其主管現在被賦予了更少的自行決定權，不能將個人意志凌駕於程序推薦之上，而是得根據其專業判斷，在過濾掉最低風險案件，不漏掉風險最高的案子。

「很難改變檢查員的思維定勢。」Dalton 告訴我。

「這是一種非常強大的、深入人心的文化。他們希望關注於直接的指控，而不是孩子們在未來一兩年內可能面臨的風險。他們稱之為臨床決策。我稱之為某人的觀點。需要時間才能讓他們相信，電腦屏幕上的分數是真實可靠的。」

機器之心推出「Synced Machine Intelligence Awards」2017，希望通過四大獎項記錄這一年人工智慧的發展與進步，傳遞行業啟示性價值。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！