人工智慧時代的安全博弈：與黑產進行攻守對抗
本報記者 白楊 北京報道
近年來，隨著雲計算、大數據以及深度學習等技術的快速發展，人工智慧技術也日益成熟，並開始在各個領域落地應用。
但是，人工智慧在推動產業發展的同時，也給安全領域帶來了巨大的挑戰。在日前召開的2018中國人工智慧移動安全高峰論壇上，來自不同領域的安全專家圍繞「AI與安全」的話題展開了討論。
工信部網路安全管理局副局長楊宇燕表示，保障人工智慧的安全使用是一項複雜的系統工程，目前，這一工程還存在安全意識不足、制度落實不到位等問題。
為了應對人工智慧安全的發展，楊宇燕認為應該從四個方面發力。首先是突破核心技術，其次是加強標準的制定，然後是建立網路威脅信息共享機制，最後是加強應急處置和評測體系的建設。
百度首席安全科學家韋韜則認為，人工智慧的演進速度太快，背後隱藏的安全風險給安全防護工作帶來巨大壓力，「如果防護方不提前把控風險，黑產一定會把它們利用到極致，並對社會造成巨大的災害。」
系統漏洞
李康去年剛剛從學術圈轉到產業界，現在是360智能安全研究院的負責人。他主要的研究方向是攻防對抗里的安全技術，其中便包括人工智慧對抗方面的研究。
在李康看來，人工智慧系統中存在非常多的漏洞，其中遇到最多的安全問題是「逃逸攻擊」。這也被形容為「騙人攻擊」，因為其主要目的就是欺騙人工智慧應用，最典型的案例就是人臉識別系統將A認作是B。
形成這種攻擊的主要原因是深度學習模型在做數據培訓時，通常是採用固定的維度，比如圖像訓練，所有圖像資料都會被進行維度處理，調整至同樣的格式呈現給機器。但在這個變維的過程中，也成為攻擊者進行「數據投毒」，欺騙人工智慧的場景。
「原來是一張羊的圖片，但維度變化後，機器看到的並不是羊，而是狼。」李康表示，這種情況下，攻擊者可能使用的手段也通常出乎意料。
此外，相對於欺騙人工智慧的「騙人攻擊」，還存在一種偷取人工智慧的「偷人攻擊」。這種情況下，攻擊者的目的是複製人工智慧模型、數據和參數，獲得模型後，攻擊者可以自行訓練數據，更危險的是還有可能推導出原來用的是什麼數據。
「目前面臨的一個重要問題是，安全分析員沒有意識到有這麼多安全問題，主要還是因為現在的程序複雜度太高，越複雜的系統潛在的安全風險也越多。」李康表示，「這也要求業界要多關心自身模型、數據的安全，AI是一個有巨大價值的東西，但它如果很輕易就能被別人『偷走』的話，就是一個巨大風險。」
AI「雙刃劍」
從事網路安全工作多年的安賽科技高級諮詢顧問於忠臣向21世紀經濟報道記者表示，人工智慧技術對安全產業起到了極大的促進作用，「在之前，攻擊者可以對一個漏洞進行反覆利用，甚至可以交叉利用多個漏洞去攻擊用戶，但AI技術幫助防護方在極短時間內發現漏洞，並進行全網修復。」
但同時，於忠臣也指出，任何新興技術都是一把雙刃劍，AI技術在助力防護方的同時，也成為很多攻擊者的一把利器。
北京大學郭耀教授表示，他目前正在用人工智慧技術解決很多應用安全的問題，比如安全分析、廣告欺詐監測、隱私分析等。
「應用在訪問用戶數據前會有一個非常長的條款，利用人工智慧技術就可以對此進行聚類分析，然後對比相似功能的應用，如果100個應用做同樣的事情，其他的都不需要電話號碼，而有一個需要，那肯定是有問題的。」 郭耀說。
而騰訊移動安全防病毒負責人王佳斌指出，從攻擊者角度來說，他們實施攻擊的第一步是選擇攻擊對象，而人工智慧可幫助攻擊者更精準的尋找目標。
有研究表明，通過人工智慧的方式對被攻擊人的行為進行訓練，可以實現在一些合適的節點進行釣魚攻擊，從實際效果來看，這種方式的成功率可達30%，而普通的廣撒網方式則只有5%-14%的成功率。
除此之外，王佳斌還提到了「數據污染」。在實際檢測到的一些病毒中，已經發現一些黑產通過正規的申訴通道，投遞出與病毒非常接近的文件。這些文件的敏感惡意行為被去掉了，改動也很小，但將它標記為安全進行訓練後，卻會產生很多問題。
面對來自黑產的對抗，王佳斌提出了兩種應對方案。第一種是對黑產提交過來的污染樣本進行鑒定，並從訓練集里剔除，保證訓練數據的純潔性；第二種是尋找更多的對抗樣本，找到它們與訓練數據的差異性，提前補充到訓練數據的特徵工程中，這樣污染樣本過來時，就能快速區別。
平衡發展
對於AI和安全的關係，長虹信息安全燈塔實驗室首席科學家唐博認為可以為三個發展階段。第一個階段，是用AI的方法可以解決一些安全問題，比如用AI的方法來識別攻擊、用大數據分析識別一些異常流量或者一些攻擊的行為。
第二個階段是用安全來保護人工智慧。在人工智慧的模型被「偷」，被「騙」的過程，需要對其進行安全保護。
第三個階段，是當人工智慧的安全達到一定程度時，它可能會出現跨界或者跨平台的應用，效率也得到進一步提升。而這些過程中，安全和AI是一個相輔相成的過程。
中國信通院泰爾終端實驗室副主任馬鑫則認為，技術本沒有對錯之分，只有先進落後之分。正常的技術發展都需要有一個周期，而且人工智慧和其他技術不同，如果把其他技術比作潮水，那人工智慧則像海嘯。
AI是一個大系統，系統越複雜，它的安全越需要關注。在一些應用場景比較簡單的情況下，它的安全性比較容易得到滿足和保障，而在一些複雜的場景下，則需要對其安全性進行研究。而在整個技術發展過程中，面對的是一個平衡的問題。
（白楊）
