機器學習照進藝術史，這個AI可以鑒別名畫

選自Nature

作者：David Adam

參與：胡曦月、路

機器學習正在幫助專家找出哪位畫家畫了哪幅作品。

今年三月，一夥藝術品大盜闖入義大利西北部的一座教堂，他們以為自己偷竊的是佛蘭德斯畫派大師小彼得·勃魯蓋爾（Pieter Brueghel the Younger）的十七世紀作品。然而事實上，當地警察早已得到消息，並將價值三百萬歐元的作品《耶穌受難像》（Crucifixion）替換成了廉價的複製品。

公平地說，勃魯蓋爾許多作品確實看起來幾乎可以互換，在賓夕法尼亞州的費城藝術博物館中就懸掛著同樣歸於他名下的一幅同名相似畫作。而且，這兩幅畫很有可能是小勃魯蓋爾從他獨具開創性的父親老彼得·勃魯蓋爾（Pieter Bruegel the Elder）的另一幅畫複製而來，而老勃魯蓋爾的畫作同樣也嚴重影響了他另外一個兒子老揚·勃魯蓋爾（Jan Brueghel the Elder）。在那個藝術家多產的世代，藝術家們複製彼此甚至自己的作品，以至於尋找畫作的歸屬簡直是噩夢。

加州大學伯克利分校藝術史學家 Elizabeth Honig 致力於研究這些複雜的問題，以揭示北方文藝復興時期藝術中某個畫家創作了哪些作品，以及他又影響了哪些人。現在，她開始尋求計算機的幫助了。

Honig 擁有一個包含 1500 余幅勃魯蓋爾家族畫作數字複製品的資料庫，而這些作品大部分都被歸到 Jan 的名下。2016 年，她與法國和美國的人工智慧研究者發起了一個不同尋常的合作，他們部署了一個當時最先進的計算機視覺系統來逐個追蹤這些作品，並分析作品之間的相似性。其他藝術史學家也看到了這其中的機會，利用機器學習為之前局限於觀看者主觀視角的理論和觀點提供經驗支持。

Honig 稱，計算機可以「更容易地獲取更多細節」。以風車為例：她的 Breughel 資料庫中包含了數百張包含這一元素的畫作。演算法從多幅畫作中獲取相同的結構圖像，甚至是翻轉的情況。它還可以精確定位獅子、狗和其他人物的副本。許多文藝復興時期藝術家的工作室是聯合創作空間，因此計算機技術還可以幫助 Honig 了解不同藝術家之間的合作方式（無論他們是否屬於同一家族）。Honig 說：「彼得·保羅·魯本斯畫了一些人物，然後老揚·勃魯蓋爾畫馬、狗和獅子，最後將它們結合起來。」

基於歷史記錄和對作品的近距離觀察，許多藝術史學家推測小彼得·勃魯蓋爾和老揚·勃魯蓋爾的許多畫作都是按照這種方式完成的。而計算機可以幫助證明這一點。Honig 說：「它解決了關於作品創作過程的許多問題。」

在這個項目中，計算機科學家也有自己的考慮。對於他們而言，Honig 的收藏是一個用來擴展演算法的完美數據集。法國國立路橋學校（écoledesPonts ParisTech）的計算機視覺和深度學習專家 Mathieu Aubry 稱，用演算法處理畫作挑戰了程序的模式匹配能力。其困難取決於媒介和顏色的差異。他解釋道：「在未經訓練的情況下，計算機視覺無法識別出素描和油畫中的房子是一樣的。」素描線條清晰，而油畫的邊緣較為模糊，這種差異可能會使演算法混淆。

標註相同對象或者教計算機尋找形狀等特定相似性需要耗費大量時間。因此，Aubry 及其同事使用無監督深度學習技術，令演算法在輸入圖片後自行尋找相似性。他認為得到的結果還可以用於 AI 視覺相關的實際應用中，如自動駕駛汽車等。

今年 3 月，他的團隊在 arXiv 上發表了相關研究（https://arxiv.org/abs/1903.02678），該研究被 CVPR 2019 接收。Aubry 表示，儘管無監督深度學習通常需要消耗大量算力，但它可以免受人類先入之見的影響。因此，它可以很好地避免偏見，比如只關注圖像主要特徵。

計算機辨別趨勢

新澤西州立羅格斯大學（皮斯卡特維校區）正在使用類似的技術，描繪不同藝術家的風格如何隨著時間而定義和發展。藝術史學家 Marian Mazzone 是羅格斯藝術與人工智慧實驗室的成員，她說：「我們有一些無法證明的理論，計算機科學也許可以幫助我得到關於這些問題的經驗性答案。」她與實驗室負責人 Ahmed Elgammal 合作，對文藝復興時期至流行藝術五個世紀以來的 77,000 件藝術品進行了數字分析（相關研究參見：https://arxiv.org/abs/1801.07729）。令團隊驚訝的是，計算機使用無監督學習可以將這些藝術作品按時間順序排列。

該項目證實了二十世紀著名藝術史學家 Heinrich Wolffin 的理論。他認為，藝術風格的轉變可以根據五種二元特徵進行分析和分類。其中之一是作品是「線描」（輪廓主導，如 Sandro Botticelli 的作品）還是「圖繪」（更多地依賴於描繪光和影的筆觸，如 Tintoretto 的畫作）。羅格斯藝術與人工智慧實驗室負責人 Elgammal 認為，AI 首次使藝術史成為將理論與觀察進行對比的預測性科學。

在其他地方，AI 正在用於解決藝術史物質遺產長期以來遭受的問題：損壞。例如，來自加拿大溫哥華初創公司 Arius Technology 的 Verus Art 系統正在部署一個 3D 掃描列印系統，對藝術品進行精確複製，甚至可以複製紋理筆觸和顏料色調。該系統最初設計目的是研究達芬奇作品《蒙娜麗莎》的損壞。對於教育、外展和存檔而言，「備份」畫作可能還有另外一種用途：挫敗那些比看不出複製品的盜賊眼光更加敏銳的賊。

論文：Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning

論文鏈接：https://arxiv.org/abs/1903.02678

摘要：該研究的目的是從大量藝術品中發現幾乎重複的圖案模式。由於藝術媒介（油畫、粉彩畫、素描等）的差異以及複製過程中的固有偏差，這一目標比標準實例挖掘難度更大。其中的關鍵技術在於通過使用自監督學習，在特定藝術收藏上對標準深度特徵進行微調，使其適應這一任務，具體來說就是使用相鄰特徵匹配之間的空間一致性作為監督微調信號。經過調整的特徵可以實現更精確的匹配（不受風格差異的影響），並且可以與基於幾何驗證的標準模式發現方法一起使用，以識別數據集中的重複模式。

該方法在多個不同的數據集上進行評估，並顯示出了非常好的定性發現結果。而在定量評估方面，研究者在老揚·勃魯蓋爾及其工作室的 1587 件藝術品的數據集中標註了 273 個近似重複的細節。除了藝術作品，研究者還展示了演算法在 Oxford5K 照片數據集的定位上以及在 LTLL（Large Time Lags Location）數據集上的歷史照片定位方面的改進。

圖 1：演算法自動發現的重複視覺圖案示例。

圖 2：該方法的特徵學習策略。

圖 5：訓練特徵在勃魯蓋爾數據集上的檢測示例。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！