人工智慧新書life3.0 生命3.0 簡析內容17

大家好，我是老男孩聊科技，繼續為各位呈現我關於生命3.0一書的讀書筆記。

想像有這麼一個人工智慧系統，它的智能正逐漸從人類變成超過人類，最初你比它強大的多，所以它不能阻止你關閉它，並替換關於目標的軟體和數據，但在這個階段，他其實完全不理解你的目標，而到了後來，它比你聰明得多，能夠完美的理解你的目標，但這時候你關閉不了它了，當然也無法替換它的目標。

換言之，你可以將目標載入到AI中的時間窗口啊可能相當短，要不因為太笨不理解了，要不因為太聰明不讓載入，所以讓他理解並採納人類目標的合適時間或許只有短短几天甚至幾個小時。一些研究人員正在尋求一種使機器採用我們目標的替代方法，那就是給予一個原始的AI這樣的一個目標系統。

該系統對於你偶爾關閉它並修改它的目標完全不在乎。假如這一方法可行，那麼你可以放心地開發出超人工智慧，然後關閉電源安裝你的目標運行一段時間，如果對於結果不滿意，那就關機重裝，但是即使你建立了一個能夠了解和採納我們目標的AI，你仍然沒有解決目標校準的問題，那就是如果人工智慧變得更聰明，他的目標會如何演化？

AI研究專家史蒂夫指出，無論AI的終極目標是什麼，都會通向某些可以預測的子目標。首先，AI一方面會提高自己實現終極目標的能力，另一方面它要確保自己即使在能力更強的情況下也能保留這些終極目標，

這個聽起來貌似很合理吧？這就好比你肯定不會在大腦里植入一個能夠大幅提升你智商的東西，假如你知道這個東西會讓你想要殺掉你自己的親人。基於這個觀點，一些人認為如果我們設法讓AI通過了解和採納我們的目標，成為友好的AI，那一切就萬事大吉了，因為AI會永遠保持對人類的友好，真的嗎？讓我們繼續沿著這一邏輯思考下去。剛才說了AI一方面會提高自己實現終極目標的能力，那麼他當然會不斷改進自己的硬體軟體以及關於世界的模型，這就好比一個想成為世界上最好的網球運動員的女孩子，第一會改善自己的肌肉系統，第二會改善自己關於網球的神經系統。第三會完善自己對於世界的認知，以便更好地預測對手的行為。

AI也是一樣，優化其硬體的子目標既包含更好地利用當前資源，也包括獲取更多的資源，這也就意味著自我保護的渴望。因為破壞或關閉都意味著硬體的退化，剛才說的可能有點枯燥了。

我們舉個例子，比如現在有一個機器人，他的終極目標是從狼的嘴邊就出更多的羊，它要經過一個類似迷宮的區域才能住到陽，其中最短的路徑安放著一顆炸彈，而在兩個角落則放著一把槍和一瓶可以使它跑得更快的藥水。

那麼拯救洋這個終極目標必然導致機器人發展出幾個字目標:第一是自我保護能力，比如避開炸彈。第二是探索能力，比如找到捷徑。第三是資源獲取能力，比如讓他跑得更快的藥水和可以射殺膛的槍。

如果你為超人工智慧設定的唯一目標是自我毀滅，他當然會很愉快的執行。然而如果你給予機器任何需要保持運轉才能完成的目標，它將阻止別人關閉它。比如，如果AI的唯一目標是減少對人類的傷害，那麼它就會防止被關閉。因為他知道假如缺席的話，人類未來會通過戰爭或其他方式傷害彼此。

同樣的，如果擁有更多的資源，那麼它可以更好地完成幾乎所有的目標。如果超人工智慧的唯一目標是全力以赴的下好圍棋，那麼它會把太陽系整合成為一個巨大的電腦，並且繼續向宇宙拓展，尋求更多的計算能力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！