布里斯托與牛津提出機器人「倫理黑匣子」！詳解EBB框架及實現

圖：pixabay

原文來源：researchgate

作者：Alan F.T. Winfield（英國西英格蘭大學布里斯托爾機器人實驗室）、Marina Jirotka（牛津大學計算機科學系）

「機器人圈」編譯：BaymaxZ 多啦A亮

本文提出，機器人及其相關自主系統，應配備類似飛機飛行數據記錄器的「黑匣子」，以持續記錄感測器以及相關內部狀態數據。我們稱之為「倫理黑匣子」。我們認為，倫理黑匣子對發現機器人為什麼以及如何造成事故的過程至關重要，因此該黑匣子是建立問責制和可靠制的重要組成部分。我們也認為，如果沒有倫理黑匣子提供透明度，機器人和自主系統很難贏得公眾的信任。

介紹

無人駕駛發生車禍就是頭條新聞！2016年5月，特斯拉致命事故引發全球媒體對該事故原因的猜測。但令人擔憂的是，在披露這些事件中，缺乏透明度。系統開發人員讓老百姓要放心，但人們可能懷疑他們已有既得利益，所以為事故在「潤色」。這便提出了如何保證機器人控制系統的透明度等關鍵問題，從而避免公眾擔憂，並確保機器人在人類社會中獲得高度的信任和接受度。雖然我們現有的問責制和可靠概念，由於半自主機器人，有所改變，但機器自主性的新高度，可能會徹底打破現有狀態，因此我們迫切需要尋求合適的新修訂。

在本文中，我們建議機器人或者相關自主系統應當配備相當于飛機飛行器數據的記錄器，以持續記錄感測器和相關的內部狀態數據。我們稱這是一個「倫理黑匣子」。我們認為，「倫理黑匣子」將在發現機器人為什麼和如何造成事故的過程中，發揮關鍵作用，因此它將是建立問責制和可靠的重要組成部分。我們也認為，如果沒有倫理黑盒子提供透明度，機器人和自主系統就不太可能贏得公眾的信任。

「黑匣子」與飛行數據記錄器

黑匣子或飛行數據記錄儀於1958年推出，用於較大的飛機。從那時起，飛行數據的數量大幅擴大。最初的飛行數據記錄器包括有關表面位置和駕駛員駕駛員控制運動的時間導航數據，還記錄了內部和外部環境的感測器數據，以及部件和系統的功能，還有人為的自動駕駛儀設置，如選定的方向、速度、高度等。第一個黑匣子可記錄5個飛行參數，而現代飛機上的數據記錄儀記錄了1000多個參數。

一個重要的創新是引入了駕駛艙錄音機（CVR）以捕獲飛行員的談話，幫助解釋飛行數據。雖然最初被抵制，但是CVR捕獲的對話最後被證明是重建事故情況的一個非常有價值的工具，它提供了一個有意的上下文，用於解釋飛行數據。空中事故調查有助於排除系統的失效模式，有助於保持乘客對航空公司的信任感，實現問責制，並生成有助於整體安全水平的教訓。

通常，空中事故造成影響的因素與日益增長的機器人在未來可能發生的事件相對應。空中事故通常是機組人員的意圖和行為、飛機系統的完整性和行為以及飛行的環境情況之間相互作用、不可預測的結果。相似的，我們預計，未來，機器人將受到類似的因素的影響。正如我們期望機器人為我們做更多的事情，它們必然會變得更加複雜，動作更自主，並且在無限制的環境中進行。這些更大的自由性伴隨著意外的因素的組合，增加了意外的風險，導致危險情況發生，或對實際造成危害。

我們不是要對這種事件可能發生的頻率做出判斷，如同空中災難一樣，重大的傷害可能很少，但是我們需要承認危險事件必然發生。因此，我們對機器人以新的方式為人類活動做出貢獻的勃勃雄心，意味著給予機器人新的能力和自由性，這反過來又增加機器人涉及重大危害和傷害的風險。雖然這可能會擴大對機器人的危害的總體評估，但我們認為，這是必要的。其實，將黑匣子概念轉移到飛機以外的想法並不新穎。汽車和公路運輸行業已經大量採用飛機內的黑匣子技術，並實現數據採集，也許與本文最相關的是，開發車載數據記錄器以研究駕駛員行為，從而更好地了解一般車禍的原因。

倫理治理與信任

「倫理」與「標準」和「規章」相連。標準將倫理原則正式化為一種可用於評估合規水平，更有用的話，也許符合倫理標準的結構，為設計者提供如何對給定的機器人的倫理風險評估進行指導，並減輕其識別到的風險。因此，倫理加強了標準。但標準有時也需要該系統被認證符合標準或標準的一部分。因此，倫理（或倫理原則）與標準和法規相關聯。儘管許多現行法律適用於機器人和自主系統，但毫無疑問，無人機、無人駕駛汽車和輔助機器人技術等迅速出現的高破壞性技術，一定需要新的法律法規和監管機構。

圖1 RRI框架

倫理和標準都符合更廣泛的可靠研究與創新框架（RRI）。RRI為倫理和標準提供了一個框架，如圖1所示。可靠創新通常要求研究要在基於倫理的基礎上進行，所以「倫理治理」將RRI與倫理聯繫起來。RRI還通過公共參與、科學和包容性原則直接與倫理聯繫起來。RRI的另一個關鍵原則是，系統地、透明地評價，以及比較系統功能的能力，通常採用標準化測試或基準。一般來說，如果它能夠帶來好處，同時也是安全的、管理良好的，而且在事故發生時能夠接受強有力的調查，那麼該技術是值得信賴的。例如，我們信任飛機的原因之一是，我們知道飛機是高度受管制的行業，並且具有良好的安全記錄。商業飛機如此安全的原因不僅僅是因為設計，也是因為嚴格的安全認證過程，當事情出錯時，強大而公開的空中事故調查過程。

監管機構要求監管機構要積極引導公眾參與，為監管流程的穩健性提供透明度和信心。所有這一切都會幫助建立公眾信任的過程，如圖1所示。然而，信任並不總是遵循（建議）的規定。最近，關於無人駕駛汽車決策的調查顯示了對無人駕駛汽車的偏好和監管的矛盾態度——「...參與者認可實用的無人車（乘客可獲得更大的收益），並希望其他人購買他們，但他們本身願意不惜一切代價坐在無人車裡。但是，研究參與者不贊成執行無人車的規定，也不願意購買這樣（執行了規定）的無人車。」

涉及安全的關鍵人工智慧技術和透明度

所有機器，包括機器人，都有潛在的危害。當今，可靠設計的機器人被設計為安全的，並避免意外或故意誤用的意外危害，正如用於個人護理的機器人。本文的人工智慧主要焦點是硬體的機器人和自主系統，而不是以人工智慧軟體形式呈現的機器人。在考慮機器人的安全性時，我們也必須關心對於機器人的人工智慧控制。機器人的三個重要類別是無人機、無人駕駛汽車和輔助機器人（包括護理或工作場所的助理機器人）；所有這些都將由具體的AI控制，具有一定程度的複雜性。然而，這些都是涉及安全的關鍵系統，其安全性從根本上依賴於那些具體的認證機構——認證機構可做出決策，這些決策會最終影響人類複製。

讓我們考慮一下透明度的問題，特別是兩個問題：

1.我們該如何信任人工智慧系統的決策，更廣泛地說，公眾如何對使用人工智慧系統進行決策有信心？我們認為，倫理治理是建立公眾信任的必要但（可能）不充分的因素。

2.如果一個AI系統作出的決定是錯誤的，那麼我們如何調查決策的過程呢？這個問題是倫理黑匣子的基礎。

對於不同的利益相關者而言，透明度必然意味著不同的事情——安全認證機構或事故調查員所要求的透明度顯然需要與系統用戶或運營商所要求的不同。但一個重要的基本原則是，應該總是有可能找出為什麼自主系統會作出特定的決定（尤其是如果這一決定已經造成損害）。提供這種透明度，特別是事故調查的技術，相當於一架飛機飛行數據記錄儀（FDR）。由於飛機FDR通常被稱為黑匣子，我們稱這種技術為「倫理黑匣子」，這樣的設備將支持機器人和機器人系統的倫理治理的整體，以及重要的物理組件。像其航空對手一樣，倫理黑匣子將不斷記錄感測器和相關的內部狀態數據，以便大大方便（儘管不能保證）發現機器人為什麼做出特定決定或一系列決策——特別是導致事故的決策。倫理黑匣子需要根據標準行業規範進行設計和認證，儘管每類機器人很有可能具有不同的標準；無人駕駛車一種、無人機又是另外一種，等等。

1、倫理黑匣子規範概要

圖二具有倫理黑匣子的機器人子系統和數據流

所有機器人都會收集感測數據，然後根據感測數據和一些內部決策過程（AI）向執行機構發送命令。這當然是簡化了的，實際上這將是一套複雜的連接系統和過程，但從抽象層面上看，所有智能機器人將具有如圖2所示的藍色的三個主要子系統。如果我們考慮使用無人駕駛汽車，其感測器通常包括光檢測和測距感測器（LIDAR）、攝像機以及多個短距離碰撞感測器以及GPS、環境溫度感測器、環境溫度等，以及用於燃油油位、發動機溫度的內部系統感測器等。執行器包括汽車的轉向、加速器和制動系統。倫理黑匣子（EBB）及其數據流，如圖2所示，需要收集和存儲來自所有三個機器人子系統的數據。感測器EBB需要收集採樣或壓縮的原始數據，以及通過感測器子系統的後處理（即「前方車輛、估計距離100m」）提取的特徵的數據。從AI系統中，EBB將需要作為最低級別的「狀態」數據，例如「制動」、「轉向左」、「停車」等，如果更理想的話，還需要更高水平，例如「在交叉路口向左轉」，並提醒諸如「左前方檢測到的行人—採取迴避動作」。從執行器系統來說，EBB需要收集執行機構的要求（即「轉向左10度」）以及所產生的效果（即轉向角）。所有這些數據都需要加上日期和時間標記，以及GPS的信息數據。

EBB可以存儲多少數據？有些報告報道，Google的無人駕駛汽車每秒產生1GByte的原始數據，如果我們（合理地）假設我們可以採樣（和/或）壓縮這個數據，以每秒100MB的速度，那麼配備1TByte固態硬碟的EBB將會允許它連續記錄數據大約3個小時的操作。EBB將像飛機飛行數據記錄器一樣，不斷覆蓋最早的數據記錄，以便EBB隨時可以存儲最近3個小時。鑒於需要記錄導致事故的事件，這似乎是足夠的。

明確指出EBB需要記錄哪些數據，超出了本文討論的範圍。然而，我們可以搞清楚這些數據是什麼：關鍵原則是，從EBB中記錄的數據可以重建在事故發生前和發生期間的時間線上，該時間線上標註有關鍵感測輸入、執行器需求、驅動執行器需求，以及更高的目標——警報和決策。完整的EBB規範將需要確定要記錄的數據，同樣重要的是，機器人子系統和EBB之間的介面的規範。介面規範必須包括硬體（連接器）、信令和協議。請注意，機器人子系統與EBB之間的數據流只有一條——就機器人而言，EBB必須是完全被動的子系統。

EBB規範還必須涵蓋物理和數據介面，允許事故調查員訪問EBB記錄的數據（如圖2下方所示）。EBB還有許多其他方面需要指定，包括EBB的物理形式，注意到，像飛機一樣，它將需要足夠堅固，才能在非常嚴重的事故中辛存下來。有些人會認為，EBB根本不需要一個物理組件，而應將所有數據流傳輸到安全雲存儲。然而，我們反駁說，大量的數據（特別是在大量例如無人駕駛汽車的環境中）可能使當地的無線基礎設施過載。當然，EBB還需要堅固、安全，同時具有防篡改屬性。

如這裡所建議的，EBB並不記錄具體AI的內部低級決策過程（正如FDR飛機不記錄車輛自動駕駛儀中的低級過程）。這樣做的原因是，不同的機器人AI可能具有非常不同的內部架構：一些可能是演算法的，其他的基於人工神經網路（ANN）。但是應注意的是，在機器人學習或適應的情況下，機器人操作期間發生變化的任何控制參數（如ANN中的連接權重）都需要定期保存在EBB中，從而能夠深入調查事故。因此，為了捕獲所有具體AI的低級別決策流程，找到一個通用規範是不可能的。相反，本文中所提出的透明度並不能通過EBB單獨實現，而是通過事故調查過程來實現，如下文第5節所述。

基於概述規範的EBB在多大程度上是一個實際的命題？我們建議，使用當前的固態硬碟（SSD）技術可以實現從機器人感測、AI和激活子系統記錄的最近3小時的數據。EBB中計算量最大的過程可能是數據壓縮，由於實時視頻壓縮在智能手機中很常見——表明類似的計算資源對EBB是足夠的。由於手機最耗電的子系統是其無線介面，所以EBB的整體功耗可能明顯低於智能手機。EBB的尺寸和質量主要由其強大的防篡改外殼和連接器決定。與堅固耐用的外部HDD（大約15 x 10 x 5 cm）相當的單位尺寸似乎既可以實現，也適合安裝在無人駕駛汽車或移動服務機器人中。輕型飛行機器人的EBB顯然將更具挑戰性，但鑒於飛行機器人需要無線介面，無線連接的外部EBB或基於雲的EBB可能會更實用。

對於所有機器人而言，沒法為所有機器人設定一個標準的EBB，或者所有EBB都有一個標準規範。最成功的數據傳輸標準是基於一個共同的核心規範，它具有足夠的靈活性，可以擴展以允許製造商或設備特定的數據，或基礎標準，然後可以使用一系列相關標準進行擴展。前者的一個例子是樂器數字介面（MIDI），其製造商指定了系統獨佔（Sys Ex），後者由IEEE 802系列的區域網標準完美詮釋，其中IEEE 802.11（Wi-Fi）無疑是最顯著的。EBB介面的共同核心規範在很大程度上還是個開放性問題，儘管我們認為，對於移動機器人類來說，這樣的核心規範是具有足夠的共同性。雖然目前有一個標準針對自主系統中可測試的透明度水平的——IEEE標準工作組P7001，但我們仍然不知如何設計這樣的規範。

2、道德機器的倫理黑匣子

本文證明，所有機器人應該配備一個倫理黑匣子。現在，我們考慮的是明確了倫理的機器人。很明顯，近期的一些自主系統，比如最顯著的無人駕駛汽車，就默認遵守倫理準則。無人駕駛汽車和輔助（即護理）機器人都會做出具有倫理後果的決策，即使這些機器人沒有被明確設計具體的倫理價值觀，並根據這些價值調整其選擇。可以說，所有的自主系統都隱含地反映了設計者的價值觀，或者甚至更可怕的是，訓練數據集（如AI系統摻入了人類的偏見）。

越來越多的共識是，在不久的將來，機器人需要設計為明確地反映其用戶以及社會的倫理和文化規範。除了在設計中合乎邏輯的價值觀之外，還需要向機器人提供倫理管理。也就是說，允許機器人評估其（或其他人）行為的後果，並根據一套倫理規則修改自己的行為的過程。發展倫理管理者仍然是基礎研究的主題，它提出了兩個高層次的挑戰：（1）以適應機器實施的格式形式化倫理的哲學問題，（2）在自主系統中實施倫理推理的工程問題。

解決第二個挑戰有兩種方法：

1.基於約束的方法——根據倫理規範明確地約束人工智慧系統的行為;

2.訓練方法——訓練人工智慧系統，以認識和正確應對倫理挑戰的情況。

擴展本文中針對配備倫理管理者的機器人概述的EBB，在原則上非常直接：EBB需要另外記錄倫理管理者做出的決定，以便事故調查員可以將這些決策導致事故的過程考慮在內。

機器人事故調查的過程

在飛機中，是調查而不是黑匣子數據等，給發生空中事故的原因下結論。我們認為，涉及機器人的事故也是如此，調查將在EBB數據和其他信息之間制定確定事故原因的信息。因此，除了在EBB中記錄的技術參數外，我們還要考慮如何將這些數據的解釋納入調查過程。空中事故調查是重建社會的過程，需要公正、穩健，我們認為這是一種封閉的形式，這樣使航空業不會在公眾意識中造成持久的不良影響。我們期望對機器人事故的調查能夠起到非常相似的作用。

以無人駕駛汽車為例，事故調查將彙集各種來源的數據和證據。本地情況無疑將在跟蹤事故原因方面發揮作用。雖然EBB目睹通常情況下將無法維持的事件，但無人駕駛汽車的活動很可能發生在有許多目擊者的人口密集的空間中，其中有些人將通過手機和其他設備記錄、分享並發布活動的細節，為可能發生的事情創造多個視角。因此，可能會有旁觀者、行人、乘客或其他司機對事件有什麼特殊的看法，並可能以各種方式展開事故。傳統的警方取證將以常規的方式對現場進行調查，例如道路上的滑行標記或碰撞對其他物體（牆壁、汽車）或人員的影響（例如，對碰撞數據的分析見）。這便提出了EBB數據的解釋如何與來自其他目擊者的證據的解釋並行的問題。

在這種情況下，作為相互依賴的可靠性網路的另一個關鍵部分，汽車的製造及其維護者很可能被要求加大投入。如果初步調查指出，汽車AI的內部低層決策過程可能是事故的原因，那麼這就尤為重要了。事實上，企業可能需要發布用於訓練在發生事故時駕駛這些系統的演算法的數據集；這一要求可能與公司從這些數據中獲得競爭優勢的願望相衝突。

一個明顯的問題，來自不同類型的目擊證據的數據是衝突的，該如何得出結論。很明顯，在無人駕駛汽車技術方面具有深厚專業知識的專家團隊，也許在道路交通調查機構的支持下，需要仔細權衡這些數據，並得出結論，做出建議。但無疑，EBB提供的數據恰好處於事故調查過程的中心，提供了所有其他證人賬戶重疊的關鍵且客觀的時間表。

總結討論

最近特斯拉事故報告指責為「人為」錯誤，這經常被引證為在核能源、空間探索和醫學等各種災難和事故中的主要原因或因素。但在這種情況下，我們回應傑克?斯蒂爾戈（Jack Stilgoe）在「衛報」中的發言，認為這一結論及其過程是一個錯失的機會，他認為我們可以從這樣的事件中學習關於野外這種自主系統的系統性質，還要開展更加透明和負可靠性的事故調查程序。據報道，在美國國家公路和運輸安全局（NHTSA）發布報告之後，許多媒體報道集中在這樣一個事實上，即沒有產品被召回，而將特斯拉的商業價值擺在頭位。但是，正如斯蒂爾戈所說，「隨著新技術的出現，對於政府來說，開放它們是至關重要的，以便決定如何發揮潛力，同時防範風險。」人為錯誤是一個常見的可避免錯誤，但是，「如果責怪個人用戶，那麼技術就是忽視系統性問題，這些問題在飛機上強加了很大的安全改進。當飛機墜毀時，監管機構的優先事項必須是收集數據，並從中學習。用戶錯誤應該被看作是設計不善的系統，而不是人類的「愚蠢」導致的。

RRI中的可靠性是有整個系統構成的，似乎與機器人和自主系統的設計、開發和使用中相互依賴的系統性質相當。雖然我們在本文中提出的EBB似乎側重於確定事故發生後的問責制，但實際上是對這些機器人技術應用預期治理的反思的結果。事故是不可避免的。在這一治理範圍內，至關重要的是，要考慮到哪些機構、流程和利益相關者需要做出確定事故原因的正確說明，並將EBB記錄作為其中一項證據。雖然過程本身可能看起來很簡單，但是由於當地情況和事故的性質，政治傾向、法律行為、國際差異和公司關注等問題，這一點將變得複雜。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！