矽谷至暗時刻的療毒：推出未來風險手冊，能成功避雷嗎？

本文轉自微信公眾號：全媒派（ID：quanmeipai）。虎嗅網獲授權轉載。

矽谷正在迎來至暗時刻。

從搜索引擎到社交平台，科技巨頭們在現代世界中的重要作用不可或缺，卻對自身平台的現狀視若無睹。

扎克伯格在哈佛宿舍里上線Facebook時，他還沒有意識到這個平台將被演算法宣發和過濾氣泡所充斥；YouTube不會料到自己會被陰謀論者操控，而Twitter也不知道，煽動性的仇恨言論將會主宰整個平台。

但他們應當承擔這些未知地責任嗎？一本新的指導手冊表明，通過預測未來人類與科技關係的變化，科技巨頭們可以調整產品方向以避免風險。本期全媒派（ID：quanmeipai）編譯《連線》對未來道德風險手冊Ethical OS的分析，並精編手冊內容，看矽谷應如何避免觸礁風險。

未來衝擊

Ethical OS由未來研究所、投資公司Omidyar Network和一家智庫聯合發起的技術與社會實驗室推出，這個研究項目為期一年，旨在關注科技與社會的交叉領域。

手冊概述

這份風險手冊被視作學者與科技巨頭之間溝通的橋樑，實驗室的一位負責人Paula Goldman說：「在這個新時代，隨著高科技的發展和普及，一系列意想不到的社會結果也會隨之出現。然而，科技公司還不能理解這種聯繫，更無法提前做出應對措施。Ethical OS的意義正在於此，幫助科技公司們思考科技迅猛發展的後果，並提出應對方案，確保產品對世界有利，對科技公司的長期收益有利。」

這份風險手冊闡述了從假新聞到多巴胺經濟的社會負面影響。作為工作手冊，這份指南為產品開發團隊、設計師和投資人提供自檢清單、實驗思路和基本解決方案。

未來風險場景

第一部分基於當今科技界的焦慮情緒，概述了14個在不遠的將來可能會發生的場景。例如，如果像Facebook這樣的公司收購一家大銀行，成為重要的社會信用提供者將會發生什麼？再比如說，如果面部識別技術成為主流工具，開發出一款將該技術與約會和購物等日常活動整合的APP，又會發生什麼？這份手冊鼓勵團隊討論每個可能會出現的場景，並將他們與現下開發的產品結合起來，討論可以避免風險的辦法。

這些場景都來自未來研究所認定的已經存在於當前社會的「信號」，例如「換臉」的deep fakes視頻、利用演算法來「預判」正義的軟體以及對技術成癮日益增長的擔憂。

「我們收集想法，來激發團隊的想像力。隨後我們會嘗試尋求發展的不同模式，採訪技術的發明者們以研究避險理論。」未來研究所的遊戲部研究主任和Ethical OS的研究負責人Jane McGonigal說。

八大風險區域

這份手冊的第二部分為科技企業們列出了一份風險自查表，划出八個風險區域，包括機器倫理和演算法偏差、數據資料使用與盈利等問題。

該指南旨在提醒技術團隊可能會出現的風險，並嘗試提出解決問題的方法，例如：技術是否強化、加深了偏見？如何設計產品才能提高用戶時間利用率？如果公司被收購或關閉，如何處理用戶數據？

以下是自查表中提出的八個風險區域的詳細內容。

真相，假消息和宣傳

真相正處在危險之中。

從假新聞傳播到政治宣傳的機器人，都在儘力模模擬實用戶的行為和口吻。危險的假消息數量正在增加，甚至以「deep fakes」的換臉視頻形式出現。這些虛假視頻的說服力非常高，憑藉技術改變視頻中人物的身份、言論和面部表情，為從未發生過的事情偽造證據。

許多個人和團體希望大規模顛覆真相，特別是在政治領域。新的媒體技術讓謠言傳播更加容易，公眾信任也更易傾塌。在接下來的十年中，還有什麼將會被新技術偽造？我們需要保護哪些真相？

風險手冊指出，企業應當著重排查以下問題：

用戶希望企業開放、計算或收集哪些種類的數據？

現有的哪些技術會被惡意利用以顛覆事實？平台現有的哪些內容有可能會成為假新聞、deep fakes視頻或水軍賬號？

現有的平台技術會被惡意利用以破壞公眾對社會機構（媒體、醫療機構等）的信任嗎？會被利用以捏造假消息、製造政治懷疑或社會動蕩嗎？

網路成癮與多巴胺經濟

Common Sense媒體機構研究發現，青少年每天花在媒介上的時間平均高達9個小時。事實上，花在電子設備上的時間之長越來越引起公眾的擔憂。人文科技中心的創始人Tristan Harris呼籲科技公司鼓勵用戶「善用時間」，建議產品設計師優化用戶在平台上所花費的時間，從而提高用戶的整體幸福感。

研究表明，Instagram和Snapchat這類手機應用的最佳使用時間是11分鐘，超過這個時間，用戶的幸福感就會下降。如何設計應用軟體，才能讓用戶更好地利用時間？才能優先考慮用戶的幸福感，而非儘可能長時間地佔據用戶注意力？

企業所選擇的商業模式是否受益於最大限度的用戶關注與參與？如果是，這對用戶的身心健康有何益處或危害？

成癮的平台用戶行為是什麼樣？適度使用、健康參與的用戶行為又是什麼樣？

如何設計鼓勵健康使用行為的系統？企業可以研發出比用戶成癮更能獲利的健康行為模式嗎？

如果平台中存在可以提升用戶參與度的有害內容，如陰謀論、宣傳洗腦等，企業可以採取哪些措施來解決這些內容的傳播？這些措施的力度是否足夠？

財富不均

根據Oxfam在2017年的數據，世界前8位富豪擁有的財產相當於最底層人口財產總和的一半。財富的集中與分配問題貫穿了整個現代史，但如今情況變得越來越糟。在美國，現在是資產集中從1928年以來最為嚴重的時期。科技可以讓人們獲得更多的機遇和收入，同時也會因為只照顧高收入群體、減少低等重複性勞動而加劇收入不平等。

對於科技公司來說，為了避免出現加劇貧富差距的問題，應當注意以下問題：

這項技術的受眾是什麼樣的群體？無法接觸到該技術的人群，會因此落後於受眾群體嗎？

該項技術可以創造或傳播什麼財富？（例如：健康數據、虛擬貨幣、深度人工智慧）誰有權使用該資產？誰有能力通過其盈利？該資產（或從中獲得的利潤）是否會參與公平分配？

企業是通過機器學習、機器人而非人工創造財富嗎？如果企業因此減少了人力招聘崗位，會如何影響整體經濟福祉和社會穩定？

機器倫理與演算法偏差

隨著人工智慧在社會福利、教育、就業和司法等關鍵領域的應用日益增加，由人工智慧引起、甚至放大的偏見令人擔憂。不論是帶有種族歧視色彩的警察面部識別系統，還是給予某些特徵更高權重的搜索引擎，都在表明科技本身並不是中立的。這是因為技術通常是人類行為的產物或是人類使用的工具——而從本質上來說，人類並不是客觀中立的。

依靠人工智慧來應對上述挑戰的解決方案常常忽視了這樣一個事實：人工智慧本身就是人類創造和使用的工具。在設計、使用和管理人工智慧技術方面採取多領域的交叉辦法，對於解決某些有意或無意的歧視仍然至關重要。

為了避免過度依賴人工智慧、導致演算法偏差，企業應當注意：

該技術是否利用了深度數據集和機器學習？如果是，數據中是否存在可能會影響結果公正性的任何缺陷？

是否了解過產品演算法中存在的偏見實例？如何防止或減輕偏見影響？

該技術是否強化了現有的歧視偏見？

負責該產品演算法開發的群體人員構成是什麼樣？是否缺乏多樣性？

產品演算法對於用戶是否透明？自認受到不公對待的人，是否有權進行追詢？

國家監管

一些利用水軍賬號攻擊意見相左者的事例表明，即使是出於良性目的的技術也有可能會被用來製造傷害。

在某些情況下，大量Twitter和Facebook水軍賬號會被用來針對那些公開提出反對觀點的記者、活動家，甚至普通公民。

與此同時，面部識別和社交媒體跟蹤系統的大量使用，使得政府能夠建立公民個人行為的深層記錄。「公民積分」收集的多年數據可以用來限制部分公民進入公共場所、獲得工作機會，這種積分體制本質上是基於公民先前的行為和言論，建立一種新型的不平等社會。

對於科技公司來說，在國家監管這一風險領域應當考慮以下問題：

政府或軍事機構會如何利用該技術提高其監督或侵犯公民權利的能力？

如果允許政府訪問平台數據，或是通過法律傳喚、要求訪問平台數據，政府可以做些什麼？

除了政府和軍事機構，還有誰可以利用企業旗下的工具或數據加強對公民的監管？

企業所創建的數據資料是否會跟隨用戶一輩子、並影響他們的個人名譽或未來機遇？會對個人的自由和名譽產生長期影響嗎？

企業不希望誰利用其用戶數據來監視用戶？能夠採取何種措施保護用戶隱私安全？

數據管控及盈利

未來，用戶也許能夠使用某些工具，用於獲取、共享、解釋和驗證個人及其生活環境信息。在披露會損害其權益的情況下，他們將保留維護個人和機構數據隱私的權利。除此之外，用戶還有望控制對其個人數據的訪問路徑，並有選擇地分享這些資料，與創建、使用這些數據資料的科技公司一道從中受益。

風險手冊提出，科技公司應當能夠回答：

企業收集了哪些用戶數據？確實有收集的必要嗎？會出售這些數據嗎？出售給什麼樣的機構組織呢？用戶會知道企業出售行為嗎？如何使其更加透明？

平台用戶是否有權訪問企業所收集的數據資料？如果無權訪問，如何提高用戶知情度？

如果企業從用戶數據的使用或銷售中獲利，用戶是否可以分成？如何分成？

是否有方法讓用戶獨立從個人數據中獲利？

如果用戶資料被惡意利用，會引發什麼樣的後果？如果數據丟失或被盜，所能導致的最嚴重損失是什麼？

如果公司被收購或關閉，用戶資料如何處理？是否有相應措施？

用戶的盲目信任與理解

數據濫用是個嚴重的問題，但同樣麻煩的是，許多用戶並不能充分認識應用軟體和平台是如何工作的，他們不了解自己的參與是如何一步步被優化，也不知道平台跟蹤和收集的資料究竟是什麼。多數平台的服務條款非常晦澀，用戶往往很難弄懂，並在不了解的情況下就授予平台各種許可權。

未來，如果在用戶難以閱讀艱深晦澀的服務條款的情況下，科技公司推出的產品或其職員違背條約內容，科技公司有可能面臨更為強烈地指責。

因此，科技公司應當注意以下幾點：

企業推出的技術是否為用戶提供了明確的許可權要求？服務條款是否易於閱讀、訪問和理解？

如果用戶不想簽署服務協議，是否有其他可使用的產品版本？

產品是否會在用戶不知情的情況下做出某些舉措？當用戶發現時，是否會感到出乎意料？如果是，為何不向用戶明確提出該要求？

如果用戶反對公司從用戶行為中獲取經濟利益或是將用戶資料賣給特定組織，但是他們仍然想使用這個平台，用戶有何選擇？企業是否會創建替代產品來建立用戶信任？

是否所有用戶都能受到平等對待？如果不是，平台演算法和預測技術將優先考慮某些信息，或為不同用戶設定階梯價格和訪問許可權，如此，公司將如何處理用戶需求？如何遵守用戶平等的行政規定？

惡意行為

2017年8月12日，在弗吉尼亞州一場名為「團結右派」的集會上，一名與白人至上主義組織有關聯的男子開車撞向人群。據悉這次集會是通過Facebook組織的，儘管惡意報復社會的犯罪行為並不是什麼新鮮事，但是互聯網軟體能夠以前所未有的速度在全球範圍內傳遞信息，讓那些希望傳播仇恨的人也可以輕易達到目的。

由於科技的發展，網路霸凌、激進言論、釣魚行為等大量惡意行為迅速增長。對於在此種環境中的用戶來說，減少或阻止負面體驗幾乎是不可能的。風險手冊為企業提出的避雷指南如下：

用戶如何利用平台及技術霸凌、跟蹤或騷擾他人？

是否可以利用該技術進行綁架、盜竊、金融犯罪、欺詐或其他非法活動？

技術開發者是否具有阻止惡意行為的道德責任？

反社會組織是否可以利用該技術傳播仇恨言論、招募新成員？

該技術如果被當做武器會有何風險？公司承擔了何種阻止其被利用的責任？如何制定防止技術武器化的規章或國際條約？

實際應用

到目前為止，已經有將近20家公司、初創企業和學校對這份手冊進行了試驗，利用其促進道德規範管理或指導具體的產品決策。例如，在全國各地運行40多個創業加速項目的Techstars公司，已經開始使用Ethical OS框架來決定投資哪些初創企業。

「這種類型的決策在科技界並不常見。」技術與社會實驗室常駐企業家Raina Kumra說，「此前我為自己的創業公司找投資時，我和一百多家風投機構的負責人交談過，沒有一次提到道德風險。」

在達特茅斯研究行為與科技交叉問題的研究員Luke Stark說：「正因為如此，這樣的指南非常受歡迎，而且早就應該完成。學者們關注這些問題已經很久了，所以看到這些內容終於被應用於技術開發團隊，十分令人激動。」

Stark說，在Ethical OS中關注的領域方向是「絕對正確的」。但是，由於這是一份面向技術開發團隊和投資者的指南，所以其中提出的一些解決方案更看重經濟利益而非社會需求。

Goldman把Ethical OS看作是企業思考未來影響的第一步，她把這份指南稱之為「腳手架」——一個旨在構建更有深度、時效更長、更嚴肅的對話的企業框架。不僅僅在科技界，其他行業如醫藥行業，也有類似處理道德風險的準則。

這種未來避險模式能否成為產品開發守則？目前還有待觀察。但是Goldman和Kumra表示，科技公司對此表示出了前所未有的興趣。矽谷剛剛開始應用這份未來風險手冊，並且希望將其做得更好。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！