科技反噬論：人類蝸居「雲端」，演算法蠶食世界

科技 06-20

編譯 | 羅伯特

編輯 | 小LV

微信 | ai_xingqiu

網址 | 51aistar.com

卧室里，那個語音操控的小玩意兒（暗指亞馬遜Alexa音箱）突然發出一陣陣滲人的笑聲，還偷偷地把你與對象間的枕邊談話發送給了你的同事；前一秒，你的孩子還在Youtube上看著小豬佩奇的動畫片，下一秒屏幕上的畫面就變成了殺戮和流血事件；還有，你曾經用來和老朋友溝通聯繫的聊天軟體，竟然變成了政客們操縱選舉和煽動政變的工具。

我們的思維方式產生了異變，這個世界也變得更奇怪了。我們開始相信，世界上的一切都可以計算，我們能通過新的技術來解決任何問題。

然而，這些技術並非完全中立：它們反映了我們的政治傾向和偏見，它們超越了國家和法律的管控範圍；甚至於，連技術的創造者都開始無法理解自己的發明。最終，我們對這個世界了解得越來越少，因為這些強大的技術正在逐步掌控我們的生活。

新技術不僅能增強我們的能力，還能重塑以及指導這種能力，讓我們在科學、政治、教育、戰爭、商業等領域有所建樹。當然，情況有好有壞。如果我們沒辦法理解複雜技術的確切功能，那麼這些技術就會被自私的企業和個人加以濫用。這種例子，在我們身邊不勝枚舉。我們每天所遇到的不透明制度、歧視事件、暴力、民粹主義等問題都與之存在著因果關係。

我們所身處的，不再是技術光芒所加持的烏托邦世界，而是充滿了詭異及不可預見事件的黑暗時代。廣泛傳播信息的啟蒙理想並沒有讓我們獲得更多的相互理解與和平；相反，其似乎正在助長社會分裂、不信任、陰謀論和虛假政治。為了看清事實，我想是時候要了解技術的發展過程，以及我們對其寄予厚望的原因了。

在20世紀50年代，電氣工程師所繪製的系統圖表裡出現了一個新的符號，一個模糊的圓圈。慢慢地，這個圓圈逐漸變成了一朵雲的形狀。不管工程師的工作內容是什麼，他們都可以把其連接到這個雲上。還有一個雲，它則是一個動力系統，或是數據交換中心，當然也能被稱為計算機網路。

簡單來說，雲是一種降低複雜性的做法，讓用戶能夠專心去做手頭上的事情。隨著時間的推移，網路規模轉擴大，互聯網程度也逐漸提高，雲的重要性也就越發明顯。雲變為了一個流行語和商業賣點；它跳出了工程師的速記圖表，搖身一變，成為了一個象徵。

今天，雲作為互聯網的核心，是一個由強大的能量組成的全球系統。但是，其仍保留著一個神秘的光環 —— 幾乎不可能被完全掌控。我們在雲里工作，在雲里存儲和取回東西；我們一直在體驗雲，卻從沒真正理解雲。

雲並不是一個只有水和無線電波、讓你整日不停工作的遙遠秘境。它是一個確切的物理基礎設施，囊括了電話線、光纖、衛星、海底電纜，以及計算機倉庫。

雲被應用到許多光鮮亮麗大建築里，我們在那購物、存取錢、社交……正因為我們被表面的那些浮華生活蒙蔽，所以就不那麼注意到背後的雲。因為不顯眼，所以它也就不容易受到批評、調查，以及監管的影響。

在過去的幾十年里，世界各地的交易大廳變得越來越安靜，因為人類工作人員已經被自動化的數字交易銀行所取代。數字化意味著股票交易所內的交易活動越來越頻繁。機器處理交易工作時，它們能夠立即做出反應。人們還開發了一種被稱為高頻交易演算法（High-Frequency Trading ，簡稱HFT）的技術，能夠在一天之內處理幾百萬次交易，甚至能夠在每筆交易中賺個一兩分錢。

在這種高速的運轉的市場中，怪事不斷。2010年5月6日，道瓊斯指數開盤低於前一天。過了幾個小時之後，由於受到希臘債務危機事件的影響，該指數開始緩慢下跌。然後，到了下午2：42分，道瓊斯指數開始迅速下跌。在不到5分鐘的時間裡，股市就被抹掉了600多個點；其最低峰值要比前一天的平均數低了將近1000個點，幾乎相當於總市值的10%，而且突破了歷史單日跌幅記錄。但是，在3：07分的時候，其開始迅速上升。在不到25分鐘的時間裡，其將近回復了600個點。

在這混亂的25分鐘里，價值560億美元的20億股票幾經易手。更糟糕的是，其中的許多交易訂單都被美國證券交易委員會（Securities Exchange Commission，簡稱SEC）判定為了「不實價格」——要麼低至1便士，要麼高至10萬美元。這起事件後被人們稱為「閃電崩盤」，多年後仍被調查討論。

監管機構的一份報告顯示，高頻交易技術是導致價格波動異常的原因。許多的HFT項目應用都有這樣一個設置：當價格到達特定的數字時，系統會自動賣出股票。所以，一旦股價下跌，那麼就會有大批應用被同時觸發，大量拋售股票。隨後，價格下降時又觸發了另一組演算法，產生了一個連鎖反應，導致更多的股票被拋售。結果，連人類交易員也無法控制局勢。

還有人認為，這其實是演算法引發的危機。人們發現了這樣的一種情況，HFT應用向交易所發送了大量「不可執行」的訂單；這些訂單因為價格波動太大，以至於被交易所忽視。但是，其真實的目的是為了抬空系統，以便在混亂中執行其他交易。

無獨有偶，「閃電崩盤」並不是演算法導致的唯一亂局。2016年10月，英國脫歐時，英美匯率也經歷了一次快跌閃回。2012年10月，美國股市總交易量中4%的訂單被某種演算法迅速買入賣出，一名評論人挖苦道：「這些演算法的動機真是難以理解。」

2013年4月23日，《美聯社》（Associated Press）遭到黑客入侵，發布了一條虛假新聞：「白宮發生兩起爆炸，奧巴馬重傷」。雖然《美聯社》記者迅速做出了澄清，但是演算法還是造成了股市動蕩。

當日下午1：08分，距離假新聞發布僅相隔1分鐘，道瓊斯指數下降了150個點，隨後又回彈到了之前的水平。在此期間，1360億美元的股票市場價值蒸發。

2015年，三星推出了一款智能冰箱；其集成了谷歌的日曆服務，讓用戶能夠在廚房直接訂購雜貨。但這也意味著，黑客能夠入侵該設備，盜取用戶的郵箱密碼。

德國的研究人員發現，飛利浦的一款彩色燈泡能被惡意代碼侵入，影響範圍可從單個裝置蔓延到整個城市；嚴重的話，甚至會觸發感光性癲癇。這種情況昔日只會出現在小說情節裡面；但現如今，物聯網已經把這種虛構的夢魘帶到了現實之中。

在Kim Stanley Robinson的小說《極光》（Aurora）中，他描述了一艘負責把人類送到恆星上的智能飛船。由於這段旅程耗時過長，這個飛船最大的任務，就是要確保人類還清醒地活著；為此，這艘飛船無所不用其極：其能通過感測器監視各方、隨意開關密封艙門、發出造成生理疼痛的噪音，以及用消防設備降低船艙含氧量，等等。

有趣的是，Google Home也提供了許多類似的功能：聯網攝像頭、智能門鎖、智能恆溫器、安防警報系統……說實話，只要某個黑客有點能耐，他就能像那艘飛船一樣，把住在裡面的人類耍得團團轉。

在摒棄這種瘋狂小說情節之前，我們再來好好思考一下演算法在證券交易所的所作所為。這些事件並非個例，而是複雜系統中的日常情況。現在的問題是，這種流氓演算法在更廣泛的現實中又會是什麼樣子的呢？

流氓演算法，會是病毒嗎？2016年10月21日，一個叫做Mirai的病毒軟體橫空出世。受它影響，大部分的互聯網服務遭侵蝕長達數小時。當研究人員深入了解Mirai時，他們發現，這一病毒軟體主要針對那些安全性能較差的聯網設備（比如安防攝像頭，或是電子錄像機），並把他們變成一群機器人。僅僅數周，Mirai就感染了50萬台設備。

此外，還有2010年的Stuxnet，這是在工業控制系統內發現的另一種病毒。事實上，這個病毒已經達到了軍用武器的級別。研究人員分析後發現，Stuxnet專門針對的是西門子離心機。

直到今天，人們仍然沒有弄清楚Stuxnet和Mirai的確切來源，以及開發者。但是，它們可能現在就在你辦公室的攝像機里，或是你廚房的智能水壺中偷偷繁殖著。

或者說，流氓演算法是眾人真實的夢魘？2015年夏天，雅典的債務危機繁重，舉國動蕩。在那兒的一家醫院裡，醫生和護士要比平日里更加繁忙。因為，當時住在裡面的人，都是頂尖的政治家和公務員，他們正遭遇著嚴重的睡眠問題。

然而，陪伴這些政要每日入睡的，都是身邊的那些醫療機器。這些機器記載著他們的呼吸、行動狀況，夜半低語，然後把這些信息一同發送回北歐製造商的資料庫里。當然，一同被發送過去的，還有政要們的詳細醫療記錄。那麼，誰又知道會不會有人從中做手腳呢？

如今的時代，我們有各式各樣的可穿戴設備。我們天真地認為，自己的身體能夠像這些設備一樣，被升級、被優化。這些設備記錄著我們的位置、心跳，甚至是腦電波。

廠商不停地勸說，讓我們在睡覺的時候也戴著這些手錶、手環，以便記錄睡眠數據。那麼，這些數據都去哪兒了，它們到底屬於誰，什麼時候才會被公布？我們清晨的夢境、午夜的恐懼、奔跑時的汗水…那個沒有防備下的自我本質，如今變成了系統升級的佐料；而我們自己，卻對此一無所知。

或者說，流氓演算法無處不在。貧富差距加劇、國家解體、邊境軍事化、個人自由被削弱、極右翼團隊的崛起、自然環境的退化……這些也許不是新技術帶來的直接影響；但是，正是因為我們無法正確認識技術增強的複雜性，加速了個人和公司行為的廣泛性和網路性，於是才導致了這些後果。

1997年的紐約，世界象棋冠軍Garry Kasparov與IBM設計的深藍（Deep Blue）第二次對弈。當Kasparov落敗時，他表示，深藍的一些動作聰明且充滿創意，必定是人為干預的結果。然而，事實並非如此。

深藍的一舉一動，靠的是那塊擁有1.4萬超並行結構的晶元，能夠每秒分析出2億個棋盤落子點。即使Kasparov深謀遠慮，然而一柄長槍難敵一營火炮。

時間線來到了2016年，谷歌的AlphaGo迎戰韓國專業選手李世石。在第二場比賽時，AlphaGo做了一個讓對手頗為吃驚的舉動，其將子落在了距離棋盤中心相對較遠的位置。評論員說道：「這個舉動太奇怪了。」曾敗在AlphaGo手上的Fan Hui表示：「我還以為是系統出錯了，一般人類不會這麼下。」

後來，AlphaGo贏得了這場比賽，以及後來的系列賽事。AlphaGo內嵌一個神經網路，裡面擁有數百萬個專業棋手的落子數據。此外，工程師還讓Alphago自我練習數百萬次。因此，其生成的落子策略會優於人類棋手。但是，Alphago自己是很難分辨清楚這些策略的：我們知道它落子的位置，卻不知道它落子的原因。

谷歌翻譯是在2006年推出的，其採用的是一種名為統計語言推理（statistical language inference）的技術。該系統並沒有嘗試去理解語言的構造原理，而是直接吸收運用大量現有的譯文。簡單來說，谷歌翻譯並沒有用人類的思維來理解語言，而是靠數據驅動，直接處理映射單詞。

正因如此，谷歌翻譯造成的錯誤比比皆是，讓人啼笑皆非。但在2016年，系統開始採用谷歌大腦（Google Brain）開發的神經網路，翻譯能力呈指數級提高。其不再交叉引用文本，而是建立了一個自己的模型。

同年，谷歌大腦的其他研究員開發了另外三個網路，分別稱為Alice、Bob，以及Eve，專門用來學習如何加密信息。過程如下：Alice和Bob手上有一個加密數字要是，但是Eve不知道；接著，Alice會執行文本操作，然後發送給Bob和Eve。如果Bob破解信息，那麼Alice就加一分；如果Eve破解信息，那麼Alice就扣一分。

經過數千次的測試和迭代，Alice和Bob最終能夠在Eve無法破解信息的情況下溝通；這有點兒像我們今天用的私密郵件一般。但關鍵的是，我們並不了解這種加密工作，具體的操作被網路層層阻隔。Eve不知道的東西，我們也不知道；機器正在學會保守秘密。