人工智慧成功抄襲梵高風格,高大上畫風隨手拍
對於大多數人來說,當我們看到梵高的《星空》、畢加索的立體主義、蒙克的《尖叫》……雖然沒法像藝術史教授那樣分析每一位畫家的技術,但是都會一看就感覺到,每位藝術家都有一種強烈、獨特的個人風格。即使不知道作者是誰,也會感覺「恩,這幅畫感覺很梵高」。那麼機器人看畫展會是什麼感覺呢?深度神經網路正在改變機器識別和解讀世界的方式。
機器視覺現在已經能在某些任務上超過人類,例如物品和面部識別,這在幾年前還是不可想像的。
最近,機器也開始嘗試理解藝術風格,並玩了一把山寨。我們還不知道這項技術能做到多少。例如,能不能給機器一張圖片,然後將圖片風格複製到另一個視頻中?並且,維持良好順暢的視覺體驗?
今天,德國弗萊堡大學的Manuel Ruder及夥伴們成功了。他們複製了梵高的《星空》和蒙克的《尖叫》等著名作品中的風格,粘貼至各種電影和電視劇的視頻片段中,例如超萌的動畫電影《冰川世紀》,以及由作家阿加莎·克里斯蒂小說改編而成的英國懸疑犯罪電視劇《馬普爾小姐》。項目帶來了超級驚艷的視頻,讓我們看到,幾乎任何你能想到的視覺風格都可以複製粘貼。
圖片來源 MIT Tech Review
深度神經網路由許多層組成,每一層從圖像中抽取信息,然後將剩餘信息傳遞給下一層。第一層抽取顏色等較明顯的模式,越深的層所抽取的信息越細節化,以此實現視覺識別。比較深的層所抽取的信息非常重要,這實際上就是圖像減去例如顏色、材質等等所有環境信息。從某種意義上來說,這就是電腦在畫簡筆畫。
去年,德國圖賓根大學的Leon Gatys及夥伴們開始用這種方式研究藝術風格。他們發現,要抓住藝術風格的本質不一定得了解每一層所抓取的信息,而是研究各層之間的關聯性。藝術家畫人臉的方式,與他或她畫一棵樹、一棟房子或者星星月亮的方式應該是有關聯的。抓住了關聯性,也就是抓住了風格的本質。
不過,他們的關鍵發現是,圖像的內容可以完全與其藝術風格分離。他們還發現,藝術風格可以被複制粘貼,放到隨便什麼其他圖像上去。
所以提升逼格的利器來了!你可以拍一張你家喵星人的睡姿,然後把它變成高大上的現代抽象主義康定斯基畫風。或者來一張蒙克尖叫式的自拍也行。除了搞笑,這項技術還可以玩些啥呢?
還可以將畫風粘貼到連續的圖像上,做一個視頻。但這引起了別的問題。連續幀之間的小差異,有可以導致藝術風格全盤崩壞,甚至讓整個視頻看起來磕磕碰碰、毫不連貫。其中一個問題就是物體在移動或被遮蔽時,如何處理物體的邊緣。
現在,Ruder和同事們解決了這個問題。「基於一個藝術圖像,我們可以成功將其風格轉化到整個視頻中去。」他們說。他們的方法是使用一個演算法來分析連續處理幀之間的差異,避免大的變化,同時忽略畫面中被遮蔽的部分。他們說:「這讓我們可以重建取消遮蔽的區域和變形的移動邊界,同時保留圖像中其餘部分的樣子。」
結果超級神奇。團隊使用演算法來從各種不同的藝術作品中抽取出藝術風格,包括康定斯基、畢加索、馬蒂斯、特納以及人氣最高的蒙克和梵高。他們用1024 x 436像素的NVIDIA TITAN X GPU處理系列中的每一個圖像,以及一個CPU在同時平行運行。剛開始,處理每一幀需要8分鐘。但是經過優化之後,處理每一幀只需要3分鐘。團隊的方法在計算方面變得越來越強大。
當然,還是有一些可以改進的地方。如果幀與幀之間的變化非常快速或非常大,演算法的表現還是差強人意。而且,計算時間應該還可以進一步優化降低。不過這些問題不影響我們欣賞視頻里的驚艷效果。
人們不禁思考,這項技術還有哪些應用空間。我們可以想到的是,也許之後會有一些基於雲端的APP,讓你可以用你的手機拍視頻,然後加入藝術風格。但是,有沒有可能將蒙克的《尖叫》風格轉化到3D空間,通過虛擬現實(VR)實現出來呢?
另一方面,這項技術也為攝影和藝術領域打開了新的可能性。如果藝術風格變成了一種商品,人們可以購買下來,然後複製粘貼到不同的圖像上,那麼藝術家本身的價值是否會改變?甚至,我們還可以買下幾個不同的風格,混搭起來再進行編輯,也許又會有新的玩法。
到那時,我們可以掏出手機或者VR設備,來一張古典主義+野獸派+超現實主義+立體主義+未來主義+波普藝術(什麼鬼)的混搭風格自拍。
※冷艷高級灰,最搶手的設計風格
※宮廷復古田園風 打造出高雅別緻的風格
※簡歐風格設計,客廳高大上,歐式風格就是大氣!
※盤點國產動畫十大經典戰鬥場景:秦時明月戰鬥風格力壓全職高手?
※蔣欣帥出時尚風格,高雅有范兒的裝扮,魅力四射
※中式裝修風格才高大上,喜歡傳統文化的有眼福了!
※藝術風格博大, 蘊含著人格的力量
※尾隨硬漢風格,了解軍工智能手環!
※戛納電影節最具魅力的紅毯走秀風格大賞
※賽事點評:市場風格快速切換 高手搶先布局人工智慧
※鉛筆褲風靡大眾真時尚 風格多變氣質佳
※畫風簡直霸氣側漏!丹麥畫師極具動感和張力的魔幻風格插畫!
※清華出身的藝術家手繪大量上古神獸,畫風格外清奇
※新品報到| 運動風遇上都市風格,但依然有女生氣質
※你的家居風格不是只有北歐風,熱帶風才是高格調
※風格
※音樂節輪流轉,穿衣風格大拼盤
※運動風繼續發酵,跟著鹿晗劉雯變換風格
※這幅畫能看到吳湖帆藝術風格的轉變