【新智元導讀】AI造假技術終究還是被濫用了。美聯社報道稱，一名間諜使用 AI 生成的個人資料和圖片在知名全球職場社交平台LinkedIn上欺騙聯繫人，包括政治專家和政治內部人士。目前在網路引發了激烈了的討論。

科技是把雙刃劍：令人擔心的事情還是發生了。

自DeepFakes技術誕生以來，造假臉、假視頻的惡搞消息不斷，而基於GAN的相關技術讓這種惡搞「更上一層樓」——真人？假人？傻傻分不清。

先來看下兩個例子。

2015年，教皇方濟各 (Pope Francis) 訪美期間，「一個出人意料之舉」震驚了世界：只見他在向聖壇禮拜後，轉身順手將桌布一抽，上演了一出絕妙的「抽桌布」戲法，動作之行雲流水，令人膜拜。

相關視頻很快火遍了全美乃至全世界。但是，這是一個假視頻。

2015年現任教皇訪美，上演絕妙「抽桌布」戲法，美國主教看後表示不爽。當然，這段視頻是假造的，但這並不影響其流行。

今年2月，英偉達StyleGAN開源，而後一波「造假熱潮」來了——假貓、假人、假房源網站如「雨後春筍般」崛起。人們不禁感嘆：實在太逼真了！

但在驚嘆之餘，人們不禁對諸如此類的AI技術表示擔憂：若是被濫用，會嚴重影響人們的安全和隱私。

事情還是發生了。

根據美聯社報道，一名間諜使用 AI 生成的個人資料和圖片在知名全球職場社交平台LinkedIn上欺騙聯繫人！

文章地址：

https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d

據稱，凱蒂·瓊斯(Katie Jones)在一個高級智庫工作, 與政治專家和政治內部人士聯繫在一起。其中包括一些零散的政府人物，如參議員的助手、副助理國務卿，以及目前正在考慮加入美聯儲的經濟學家保羅?溫弗里(Paul Winfree)。

但其實，她並不存在。

圖靈獎得主、Facebook首席科學家Yann Lecun對此發推表示：

顯然，GAN在LinkedIn上被用來創建虛假的個人資料照片，並用於國際工業間諜活動。

人類被戲謔：這個AI間諜堪比007，釣到不少「大V」

Katie Jones似乎很關注華盛頓的政治局勢。

這位30歲的紅髮女郎聲稱在一個頂級智庫工作，是美國國際戰略研究中心（CSIS）的研究員。她與美國的一位副助理國務卿、一位參議員的高級助理以及正在考慮擔任美聯儲席位的經濟學家Paul Winfree均有聯繫。

但是美聯社已經確定，Katie Jones並不存在。

相反，這個人是隱藏在專業社交網站LinkedIn上的大量幻影資料之一。美聯社聯繫的幾位專家表示，Jones的個人資料照片似乎是由一個計算機程序創建的。

CSIS航空安全項目和國防預算分析主任Todd Harrison發推表示：

現在我開始懷疑我的 CSIS 同事中有多少是真正的人類, 而不是 AI 產生的。

他還調侃道：「Sam，你是真人嗎？」

「我相信這是一張假臉，」Mario Klingemann表示。Mario是一位德國藝術家，多年來一直在試驗人工生成的肖像，他說自己已經審查了數萬張這樣的肖像圖。「這張頭像有所有的特徵。」

看了Jones個人資料和活動的LinkedIn專家表示，這是職業社交網站間諜活動的典型表現。作為全球名片簿，LinkedIn成為吸引間諜的強大磁鐵。

丹麥民主聯盟基金會智囊團的項目主任Jonas Parello Plesner說，「它看起來像某種國營業務。」幾年前，Jonas是LinkedIn上間諜活動的目標。

與Facebook的朋友和家庭聚焦點不同，LinkedIn面向求職者和獵頭，這些人通常會放出簡歷，建立龐大的聯繫網，向陌生人推銷項目。這種「把他們都聯繫起來」的方式有助於填補網站上數百萬個招聘職位的空缺，但它也為間諜提供了一個豐富的獵場。

過去幾年，英國、法國和德國官員都發出警告，詳細說明外國間諜如何利用LinkedIn與數千人取得聯繫。

在一份聲明中，LinkedIn表示它經常對假帳戶採取行動，在2019年的前三個月中對其中數千個帳戶進行了處理。它還說「我們建議您與您認識和信任的人聯繫，而非任何人。」

Katie Jones的個人資料規模不大，有52個聯繫人。

但是這些聯繫人具有足夠大的影響力，接受Jones邀請的一些人也會因此對她信任。美聯社在今年3月初至4月初期間與其他大約40名與瓊斯有聯繫的人進行了交談，其中許多人說他們經常接受他們不認識的人的邀請。

「我可能是LinkedIn歷史上最糟糕的用戶，」特朗普總統的國內政策委員會前副主任Winfree說，他在3月28日確認了與Jones的聯繫。

上個月，聯邦儲備委員會理事會的一個職位空缺，Winfree的名字出現了，他表示，自己很少登錄LinkedIn並傾向於批准他所有堆積的邀請。「我真的接受了我的每一個朋友邀請，」Winfree說。

在日內瓦韋伯斯特大學教東亞事務的Lionel Fatton說，他不認識Jones的事實讓他在3月份與她聯繫時有短暫停頓。「我記得猶豫不決，」他說：「然後我想，"有什麼害處？"」

Parello-Plesner指出，潛在的傷害可能是微妙的：連接到像Jones這樣的個人資料邀請意味著與背後的人進行一對一的對話，網站上的其他用戶可以將連接視為一種認可。他說：「你降低了自己的警惕，也讓別人放鬆警惕。」

Jones的個人資料首先由倫敦Chatham House智囊團的俄羅斯專家Keir Giles舉報。Giles最近陷入了針對俄羅斯反病毒公司卡巴斯基實驗室的批評者的完全獨立的間諜活動。所以當他收到Katie Jones在LinkedIn上的邀請時，他很懷疑。

Jones聲稱自己多年來一直在華盛頓戰略與國際研究中心擔任「俄羅斯和歐亞大陸研究員」，但Giles表示，如果這是真的，「我應該聽說過她。」

CSIS發言人Andrew Schwartz告訴美聯社，「沒有一位名叫Katie Jones的人為我們工作。」

Jones還聲稱已獲得密歇根大學俄羅斯研究學位，但學校表示「無法找到任何一個以此名字從大學獲得這一學位的學生。」

在美聯社聯繫網路尋求評論後不久，Jones賬戶就從LinkedIn上消失了。通過LinkedIn和相關的AOL電子郵箱帳戶發送給Jones本人的郵件也沒有回復。

美聯社採訪的眾多專家表示，Katie Jones最吸引人的地方可能是她的臉，他們說這似乎是人為創造的。

Klingemann和其他專家說，這張照片—— 一張藍綠色眼睛、褐色頭髮和神秘微笑的女人的肖像——似乎是使用稱為生成對抗網路（GAN）的一系列計算機程序創建的，這可以創造出想像出來的人的逼真面孔。

GAN，有時被描述為一種人工智慧形式，已經受到越來越政策制定者的關注，儘管他們已經在努力處理數字虛假信息了。周四，美國立法者舉行了他們的第一次聽證會，主要討論人為生成圖像的威脅。

南加利福尼亞大學創意技術研究所負責圖形實驗室願景的Hao Li發布了一份數字報告清單，他認為Jones的照片是由計算機程序創建的，包括Jones眼周圍的不一致、她頭髮周圍的光和左臉頰上留下污跡。

基於GAN生成的圖像：逼真到可怕，能生成世間萬物

這個造假技術到底有多厲害？

基於GAN的架構一個又一個推出，英偉達StyleGAN就是其中一個，多上幾張圖有助於你回憶：

這個模型並不完美，但確實有效，而且不僅僅可用於人類，還能用於汽車、貓、風景圖像的生成。

英偉達研究人員在論文中寫道，他們提出的新架構可以完成自動學習，無監督地分離高級屬性（例如在人臉上訓練時的姿勢和身份），以及生成圖像中的隨機變化，並且可以對合成進行更直觀且特定於比例的控制。

換句話說，這種新一代GAN在生成和混合圖像，特別是人臉圖像時，可以更好地感知圖像之間有意義的變化，並且在各種尺度上針對這些變化做出引導。

例如，在上面的動圖中，其實面部已經完全變了，但「源」和「樣式」的明顯標記顯然都得到了保留。為什麼會這樣？請注意，所有這些都是完全可變的，這裡說的變數不僅僅是A + B = C，而且A和B的所有方面都可以存在/不存在，具體取決於設置的調整方式。

而StyleGAN之所以強大，就在於它使用了基於風格遷移的全新生成器架構：

在傳統方式中，隱碼(latent code)是通過輸入層提供給生成器的，即前饋網路的第一層(上圖中的a部分)。而英偉達團隊完全省略了輸入層，從一個學習的常量(learned constant)開始，從而脫離了傳統的設計(圖1b，右)。在輸入隱空間Z中，給定一個隱碼z，一個非線性網路 f：Z→W首先生成w∈W(圖1b，左)。

英偉達團隊的生成器架構可以通過對樣式進行特定尺度的修改來控制圖像合成。可以將映射網路和仿射變換看作是一種從學習分布(learned distribution)中為每種樣式繪製樣本的方法，而將合成網路看作是一種基於樣式集合生成新圖像的方法。修改樣式的特定子集可能只會影響圖像的某些方面。

面對假臉生成演算法，現有人臉識別系統幾乎束手無策

之前，大多數研究都集中在如何提高「換臉」技術上，也就是如何讓計算機生成超逼真的人臉。

誰料，這種技術發展的濫用造成了反效果，也即所謂的「DeepFake」。現在，DeepFake已被用於指代所有看起來或聽起來像真的一樣的假視頻或假音頻。

針對 Deepfake 視頻中人臉識別的漏洞，兩人在論文中對基於VGG和Facenet的人臉識別系統做了漏洞分析，還使用SVM方法評估了 DeepFake 的幾種檢測方法，包括嘴唇動作同步法和圖像質量指標檢測等。

結果令人遺憾——

無論是基於VGG還是基於Facenet的系統，都不能有效區分GAN生成假臉與原始人臉。而且，越先進的Facenet系統越容易受到攻擊。

VGG模型是2014年ILSVRC競賽的第二名，第一名是GoogLeNet。但是VGG模型在多個遷移學習任務中的表現要優於googLeNet。而且，從圖像中提取CNN特徵，VGG模型是首選演算法。它的缺點在於，參數量有140M之多，需要更大的存儲空間。但是這個模型很有研究價值。Facenet該模型沒有用傳統的softmax的方式去進行分類學習，而是抽取其中某一層作為特徵，學習一個從圖像到歐式空間的編碼方法，然後基於這個編碼再做人臉識別、人臉驗證和人臉聚類等。

直方圖顯示了基於VGG和Facenet的人臉識別在高質量人臉交換中的漏洞。

檢測Deepfake視頻

他們還考慮了幾種基線Deepfake檢測系統，包括使用視聽數據檢測唇動和語音之間不一致的系統，以及幾種單獨基於圖像的系統變體。這種系統的各個階段包括從視頻和音頻模態中提取特徵，處理這些特徵，然後訓練兩個分類器，將篡改的視頻與真實視頻分開。

所有檢測系統的檢測結果如下表所示。

說明一下表格中各種「符號」和數字的意思，你也可以直接跳過看本節最後結論：

在本系統中，使用MFCCs作為語音特徵，以mouth landmarks之間的距離作為視覺特徵。將主成分分析(PCA)應用於聯合音視頻特徵，降低特徵塊的維數，訓練長短期記憶(long short-term memory, LSTM)網路，將篡改和非篡改視頻進行分離。

作為基於圖像的系統，實現了以下功能:

• Pixels+PCA+LDA：使用PCA-LDA分類器將原始人臉作為特徵，保留99%的方差，得到446維變換矩陣。
• IQM+PCA+LDA：IQM特徵與PCA-LDA分類器結合，具有95％保留方差，導致2維變換矩陣。
• IQM + SVM：具有SVM分類器的IQM功能，每個視頻具有20幀的平均分數。

基於圖像質量測度(IQM)的系統借鑒了表示域(domain of presentation )的攻擊檢測，表現出了較好的性能。作為IQM特徵向量，使用129個圖像質量度量，其中包括信噪比，鏡面反射率，模糊度等測量。

下圖為兩種不同換臉版本中性能最好的IQM+SVM系統的檢測誤差權衡(DET)曲線。

IQM + SVM Deepfake檢測

結果表明：

首先，基於唇部同步的演算法不能檢測人臉交換，因為GAN能夠生成與語音匹配的高質量面部表情；因此，目前只有基於圖像的方法才能有效檢測Deepfake視頻。

其次，IQM+SVM系統對Deepfake視頻的檢測準確率較高，但使用HQ模型生成的視頻具有更大的挑戰性，這意味著越先進的人臉交換技術將愈發難以檢測。

AI研究發表和模型開源，真的該制定一個規範了

Yann LeCun於2月在Twitter上提問：

講真，要是當初知道卷積神經網路(CNN)會催生DeepFake，我們還要不要發表CNN？

LeCun說：「問個嚴肅的問題：卷積神經網路(CNN)被用於(或開發)各種各樣的應用。很多這樣的應用對世界起到了積極影響，例如，醫療影像、汽車安全、內容過濾、環境監控等等。

「但有的應用則可能起到負面的效果，或者說侵犯隱私，例如，公眾場所的人臉識別系統、進攻性武器，以及有偏見的「過濾」系統……

「那麼，假設在上世紀80年代那時我們能夠預見CNN的這些負面影響，我們該不該把CNN模型保密不公開呢？「

幾點想法：

• 最終，CNN(或者類似的東西)還是會被其他人發明出來(實際上，有些人可以說差不多已經做到了)。其實，福島邦彥就跟我說，他80年代末的時候正在研究一種用BP訓練的新認知機(Neocogitron)，但看到我們1898年發表的神經計算論文「大感震驚」(shocked)，然後停止了他的項目。
• 開源CNN或深度學習軟體平台直到2002年才出現(CNN是20世紀90年代早期商業軟體包SN和2002年開源的Lush軟體包的一項功能。20世紀90年代中後期才開始有OSS分發)。因此，在某種程度上，CNN直到2002年才完全發表(released)。但那時基本沒有什麼人關注CNN，或者想到用Lush來訓練CNN。」

LeCun的這番話，可以說是為他此前的「表態」做出了完美的解釋。是的，這裡說的還是關於OpenAI模型開源的那件事。

但是，通過此次事件來看，OpenAI覺得由於模型過於強大而不開源的擔憂興許是正確。

當然，現在業界的重點已經從最初的口水戰聚焦到AI研究發表和開源政策的討論上來。

現在能夠肯定的是，關於AI研究發表和模型開源，相關的政策真的需要制定了。OpenAI在擔心模型被濫用時舉了DeepFake為例，DeepFake是基於CNN構建的圖像生成模型，由於強大的圖像生成能力，能夠生成以假亂真的人臉，甚至騙過先進的人臉識別模型。

那麼，還是回到那個嚴肅的問題：

你認為強大的技術是否該開源呢？

歡迎留言給出你的意見。

PS：

你能辨別真臉和假臉嗎？不妨到這個網站測試一下：

http://www.whichfaceisreal.com/

參考鏈接：

美聯社：https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d

The Verge：https://www.theverge.com/2019/6/13/18677341/ai-generated-fake-faces-spy-linked-in-contacts-associated-press

Twitter：https://twitter.com/search?q=katie%20jones&src=typd

StyleGAN：https://github.com/NVlabs/stylegan

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！