Dawn SONG：安全是AI應用最大挑戰 需強健的防禦系統

4月27日，由長城會和騰訊汽車共同承辦的「AI」生萬物·全球未來出行峰會在北京舉辦，活動現場，加州大學伯克利分校計算機系教授Dawn SONG發表了主題演講。

Dawn SONG教授認為，安全將會成為在AI應用方面最大的挑戰，它需要整個行業的努力，需要更多的資金投入，「如何更好的理解，對於AI學習系統來說什麼是安全，當這個學習系統被欺騙的時候，我們如何識別，如何有更強大的保證建立起一個具有韌性的體系。」

以下是發言實錄：

Dawn SONG：我們知道深度學習已經在全世界起到了重要作用，比如說AlphaGo已經贏得了世界冠軍，深度學習之後我們會為日常用品提供動力，所以我們看到整個深度學習已經成為了市場中不可磨滅的一部分。

人工智慧需要更多的資金投入，使得人工智慧更的快發展。隨著人工智慧控制越來越多的系統，攻擊者將會獲得更高的激勵，但是，當人工智慧變得越來越有能力的時候，攻擊者濫用的後果將會變得更加嚴重。

給大家舉幾個例子，是關於深度學習導致的一些問題。在右邊圖中所示可以看到一些例子，這些圖片是由原始圖片以及待處理的圖片結合起來的，通過人眼你可以看到這些例子，而人眼是無法分辨出來原始圖片和被處理圖片之間的不同，因為原始圖片和處理過的圖片經過人眼識別後，它們對人眼前產生的效應是相同的，所以他們能夠愚弄整個人的視覺系統，導致人的學習系統癱瘓，這種情況下，就會產生一些誤導。

Google在早期深度學習中發現了一些問題，剛開始就會發現這些AI很容易被愚弄，我們為什麼要在乎這些東西呢？如果我們要實現無人駕駛的話，我們必須要觀測周圍的環境，例如說要識別公共交通信號，這樣你才能夠安全的在馬路上駕駛。

所以在圖片上可以看到，這裡有一些交通標示，對於人類眼睛來說，你可以識別這些「停止」的標誌，但是假設它是機器人呢？AI是否能夠很好的識別呢？而人類識別這些是沒有問題的，但是機器是否能識別確實是一個問題。因為這些停車標誌在不同的地方會有一些微調，導致機器識別產生困難。

所以，在真實世界中，在物理世界中，我們可以看到已經發現了這些標誌的不同，所以我們發現在物理世界中這些標誌在產生變化的情況下，如何讓機器人不被誤導，是我們亟待要解決的問題。。

下面給大家播放一段視頻，這個視頻有兩個小邊框，可以看到右邊的那張圖是原始的交通標誌，左邊的這張圖是原始的交通標誌經過了微調的效果。是否能夠正確的分辨出兩個交通標誌的不同？當車駛過交通標誌的時候，可以看到原始的，而那個被微調過的交通標誌，整個系統就錯誤的忽略了這個交通標誌的意義，最終導致了車禍。這就表明了物理世界中的例子，能夠在實際生活中有非常嚴重的錯誤，特別是在那些待處理的物理世界中。

我們已經有很多這樣的例子，在不同的區域，在不同深度學習的過程中，我們都學習到了這些東西。我的結論就是，這些例子在深度學習中非常具有普遍性，並且也很容易識別。在其他的深度學習系統中，比如說生成模型、圖畫到代碼之間的轉化，這些都需要深度學習。可以看到一個中介訓練深度學習，做一個遊戲的設計，這是非常流行的技術，AlphaGo就是用這個技術訓練的，我們可以看到同樣的中介訓練，這個中介訓練的非常成功，但是在中間的那一欄（圖），我們加入了一些調整過的模型，可以看到在這裡訓練，如果對抗樣本出現的時候，加入了整個樣本，操作系統就完全錯誤的判斷了遊戲的進程，並且失敗了。所以可以看到，抗樣本在這方面的影響有多麼的大。

由於對抗樣本的重要性，我們做了很多研究，研究如何去避免對抗樣本對結果產生的不良影響，現在我們已經可以避免機器學習帶來的一些逆反作用，同樣我們也可以訓練一個語言安裝電子郵件數據，並且培訓一種語言模型，該模型會包含真實的智慧安全卡和信用卡，所以在深度學習中我們需要去了解這些微調的例子。

剛剛給大家舉了一些例子，關於如何來防止操作系統被愚弄，黑客們同樣也能夠給大家帶來一些其他的困擾，通過攻擊你自己的學習系統。

這些攻擊者的目的幾乎都是相同的，他們要獲取你的秘密。比如說你收集了一些數據，你的數據是駕駛汽車的數據，或者說是通過測試出來的數據，他們需要攻擊，並且能夠取得這些數據，這些數據非常敏感，這些攻擊者能通過攻擊來獲取你的數據嗎？所以在日常生活中我們進行了一項研究，我們的研究表明，通過我們訓練的語言模型，對郵件數據集中進行了語言模型的訓練，數據集裡面包括非常敏感的信息，包括人的信用卡和社保號，結果表明通過這樣一個模型，哪怕是我們不了解的細節，通過這次攻擊，攻擊者可以竊取社保號、信用卡號，但是，如果我們要有不同的機器學習的模型來保護隱私，我們就可以使得攻擊變得非常的困難。

我們要保證雲端的機器學習，保護好用戶的敏感信息，特別是在我們關注機器學習系統的時候，有幾種不同類型的威脅，需要我們非常謹慎的處理。一種是在機器學習的系統當中，用戶的信息被收集起來了，進行了分析，項目的運行，這個項目將會執行和預測最後的結果。在這個情景當中，有兩種類型的信息需要關注，一種是非信任的機器學習，機器本身不需要得到信任，也許他在襲擊之下，分析師的賬戶受到了威脅，同時計算的基礎設施也會受到威脅，最後計算的結果也許會展示之前輸入的敏感信息，就像我剛才講到的郵件數據的例子。

從這幾個例子中可以看到，我們開發了不同的技術，包括基本的程序撰寫和要保證那些不可信的項目得到識別，使得這個程序能夠滿足安全要求。我們要使用安全的硬體，保證安全的競爭，能夠有一個非常值得信任的計算基礎設施，我們可以通過區分式的隱私措施保證在最終的輸入當中不會讓我們產出敏感的輸出信息。

利用各種各樣的技術，就可以建立起安全和隱私保護的平台。 總結一下，我們有非常多的開放式的挑戰來部署機器學習，比如說，如何更好的理解，對於AI學習系統來說什麼是安全，當這個學習系統被欺騙的時候，我們如何識別，如何有更強大的保證建立起一個具有韌性的體系。我認為，安全將會成為在AI應用方面最大的挑戰，它需要整個行業的努力，我們要共同應對這個挑戰。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！