美歐智能決策演算法安全管理要求及對我啟示
在社會數字化發展浪潮中，基於海量數據和機器學習的智能決策演算法廣泛應用成為不可逆趨勢。近日來，Uber無人駕駛汽車致行人死亡，攜程和滴滴被曝可能存在差異化定價殺熟行為，Facebook被指控干預美國大選等事件引發了公眾對智能決策演算法安全性和公平公正性的擔憂和焦慮。若不加以安全規制，任由演算法權利滋長，或將侵蝕國家公權力，危及個人合法權益。美國和歐洲國家較早地從風險預防、風險控制、侵權救濟、演算法設計規則四個維度探索對智能決策演算法安全管理的有效方式，並通過《通用數據保護條例》、《關於政府機構使用自動化決策系統的當地法》等法律法規予以明確和固化，對我國開展智能決策演算法安全管理有重要借鑒意義。本文以國家人工智慧發展戰略為指導，結合我國產業實際發展情況及安全保障需求，針對我國智能決策演算法安全管理提出具體建議。
一、數字化時代演算法權力興起
新一代信息技術驅動的數字經濟迅速崛起，人類開始全面邁入數字化時代。各行各業數字化進程中，基於海量數據和機器學習的智能決策演算法全面滲入到城市管理、社會服務、公共安全、企業運營以及人們工作、生活的每一個角落。
智能決策演算法廣泛應用成為數字化時代不可逆趨勢，演算法權力逐漸興起，以一種非常隱蔽的方式誘導個人行為、影響政府決策和司法判決。Facebook被指控干預美國大選事件表明，個性化信息推薦演算法不僅可以預測人們的所思、所喜、所需，還有能力將預測變成自我實現的預言，改變人們的世界觀、政治信仰和現實行為。在政府部門與擁有人工智慧技術的企業合作共同構建智慧城市、智慧政府、智慧法院的過程中，企業可通過其提供的智能決策演算法參與公共服務和社會管理。如果智能決策演算法受到企業主觀認識和利益因素的影響，可能引發危害社會管理和公共服務公平正義性的安全風險。若任由演算法決策權利肆意擴張，或將導致商業力量向政府公權力滲透，進一步危害國家利益和個人權益。
Uber自動駕駛致行人死亡、攜程和滴滴被曝可能存在差異化定價殺熟行為、百度魏則西等事件都不斷提醒人類社會對智能決策演算法進行安全規制的重要性。但是「演算法黑箱」或演算法不透明性引發演算法安全管理困境，人類無法對其不掌握、不了解的事項進行有效監督審查。演算法不透明性或演算法黑箱的主要原因有三方面。一是擁有演算法的公司或個人將演算法視為商業秘密或者私人財產，拒絕外外公開。二是即使對外公布演算法源代碼，普通公眾由於技術能力不足無法理解演算法的內在邏輯。三是由於演算法本身具有高度複雜性，即使是開發它的程序員也無法解釋演算法做出某個決定的依據和原因。
二、美歐智能決策演算法安全管理要求剖析
美國和歐洲國家由於智能決策演算法的應用時間早、使用範圍廣泛、引發的社會風險暴露更加充分等原因，較早開始從風險預防、風險控制、侵權救濟、演算法設計規則四個維度探索對智能決策演算法安全管理的有效方式。
（一）限制智能決策演算法應用範圍，預防不可承受的巨大風險。歐盟選取數據這個源頭作為切入點，杜絕可能帶來不可逆轉的巨大權利侵害的智能決策演算法。2018年5月生效的《通用數據保護條例》為智能決策的合法應用規定了極其嚴格的條件：經用戶明確同意，或是用戶和數據控制者之間簽訂、執行合同所必需，又或被歐盟或成員國法案明確授權；不滿足上述條件的無人工干預且對個人產生法律影響或者類似重大影響的智能決策應用將被禁止。而且，歐盟《通用數據保護條例》明確禁止基於種族或民族出身，政治觀點、宗教或哲學信仰，基因數據、生物特徵數據等個人敏感數據的處理分析行為。
（二）規範事前信息披露、鼓勵事後原因解釋，實現對決策演算法的風險評估和監督審查。對於政府部門使用智能決策演算法，美國紐約市《關於政府機構使用自動化決策系統的當地法》明確要求自動化決策工作組制定程序，確保政府向公眾提供「包括智能決策系統技術性信息在內的相關信息」，使得公眾可以有效獲悉智能決策演算法的運行原理以及政府對智能決策演算法的使用方式，並確保政府向受決策演算法影響的個人提供「做出決策的原因和依據」。對於商業領域影響個人法律權益的智能決策演算法，歐盟《通用數據保護條例》明確要求數據控制者在收集數據時向數據主體告知以下信息「自動決策的存在、有關自動決策內部邏輯的有意義信息、對數據主體的重要意義和設想的後果」，並且鼓勵數據控制者向數據主體解釋某項智能決策的具體原因。有關智能決策演算法的信息披露及事後原因解釋將為公眾及第三方機構提供有效途徑，以便對決策演算法本身以及演算法實現和使用的合理性、安全性進行風險評估和監督審查。
（三）強制事前備案和事中審計痕迹記錄，實現對決策演算法的風險管控和追責。對於金融行業，歐洲《金融工具市場指引法案》、德國《高頻交易監管法案》以及美國《商品交易法案》等均針對利用演算法交易的投資者制定了登記註冊制度，並要求對由決策演算法驅動的程序化交易活動的成交量、指令信息流等信息進行全程實時監控，以便對可能引發的市場風險進行及時管控。對於交通行業，德國《自動駕駛汽車法律指導方針》、英國《無人駕駛車路測規範》等要求自動駕駛汽車內部必須安裝類似飛機「黑匣子」的「數據記錄儀」，用於記錄與自動駕駛功能相關的感測器、控制系統以及車輛運動狀態等相關數據，以便明確交通事故責任。
（四）設立侵權救濟制度，保障個人合法權益。一是在安全至關重要領域通過社會保險方式提供救濟，例如英國《汽車技術和航空法案》要求汽車強制性保險覆蓋自動駕駛汽車，當自動駕駛汽車發生事故時，由保險公司先行賠付受害者。二是智能決策演算法應用機構提供救濟措施，例如歐盟《通用數據保護條例》要求 數據控制者實施適當的保護措施，保障受決策影響的個人至少可以獲得人為干預、表達意見、對決策提出異議的權利；美國紐約市《關亍政府機構使用自動化決策系統的當地法》要求自動化決策工作組制定程序 ，確保受害人可以獲得救濟。
（五）建立演算法設計安全及倫理規範，從源頭降低決策演算法安全風險。德國和美國都嘗試對智能決策演算法設計本身進行規制。德國交通部部長任命的倫理委員會針對自動駕駛決的演算法設計提出了20條倫理指導意見，核心是把人的生命放在首位。美國計算機協會（USACM）發布《演算法透明性和可責性》文件，對決策演算法設計提出涉及責任制、可審查性、數據來源、驗證和測試等在內的七項原則。此外，美國電氣和電子工程師協會（IEEE）成立了IEEE P7000TM 標準工作組，開展了有關演算法偏見的處理、自主系統的透明性、數據隱私的處理、失效安全設計標準、個人數據的AI代理標準等11項國際標準研製工作。
三、我國智能決策演算法安全管理建議
在我國，一方面基於人工智慧和大數據技術的智能決策演算法正加速向各行各業滲透，個性化推薦引擎、智能定價、智能投顧、自動駕駛、城市大腦、智慧醫療等以決策演算法為核心的智能產品或已經大規模應用，或亟待進入市場。另一方面現有法律法規無法對智能決策演算法進行有效安全規制，百度魏則西、攜程和滴滴「殺熟」行為、今日頭條推送「艷俗」直播等智能決策演算法引發的安全事件不斷發生。針對現狀，對我國有關智能決策演算法的安全管理提出以下建議：
（一）以保障社會數字化轉型為目的，明確智能決策演算法應用的限制條件。鑒於目前人工智慧技術在安全性、可解釋性以及符合人類社會倫理等方面的發展相對滯後，建議現階段將智能決策演算法的應用限制在取代一部分無需創造性和價值判斷的工作範圍內，而非任由智能決策演算法代替人做出事關人類福祉的最終決策。具體而言，在司法審判、公共治安、社會保障、信息傳播等政府管理和社會服務領域，以及涉及公民重大敏感利益的應用場景中，智能決策演算法只能為人類決策者提供參考和輔助，不能獨立做出最終決定。
（二）以國家人工智慧戰略為指導，分領域循序漸進建立智能決策演算法安全管理體系。根據國務院《新一代人工智慧發展規劃》中循序漸進建立人工智慧法律和倫理框架的戰略安排，「分步走」建立智能決策演算法安全管理體系。現階段，先行在自動駕駛、電子商務、金融、社交媒體、搜索引擎等領域智能決策演算法相對成熟的領域制定政策、建立規則。後續，其他領域在借鑒先前行業規制的基礎上，建立更完備的管理體系。為實現對不透明的智能決策演算法黑箱進行有效安全管理，建議一方面通過政策法規將透明、公開、程序正當、說明理由等原本對政府部門的要求延伸到企業和個人，使智能決策演算法不再是無法被問責的「黑箱」；另一方面通過國家和行業安全標準規範決策演算法設計研發過程，並鼓勵企業和個人通過技術手段不斷提升智能決策演算法的可解釋性；最後通過風險管控技術手段，實現對隱含巨大安全風險的智能決策演算法進行實時監測和及時管控。
（三）以安全和發展協調推進為原則，制定智能決策演算法全周期安全管理要求。借鑒美國和歐洲國家的先行經驗，結合我國實際情況，在智能決策演算法的研發應用中，同步落實全周期安全管理要求。在事前環節，通過法律法規及國家和行業標準規範智能決策演算法設計研發過程，保障設計、製造、測試和驗證、使用、維修等環節中的充分信息記錄以及有條件信息披露，破除「演算法黑箱」；建立由政府主導第三方機構實施的決策演算法評估審查制度，保障「有意義的」演算法透明度和可責性。在事中環節，建立針對智能決策的風險監測預警技術手段，對重點行業和領域的智能決策應用進行實時監測、風險預警和及時處置。在事後環節，鼓勵使用智能決策的機構向受影響個人解釋作出特定決策的原因和依據；要求使用智能決策的機構通過社會保險、內部救濟措施等多種方式向受害人提供保救濟，保障公民合法權益。
（作者：中國信息通信研究院安全研究所 景慧昀）
