暮光之城女主角發表學術論文

當電影《暮光之城》的女主角 Kristen Stewart 在機器學習論文上作為作者出現時，研究人員都是感到很震驚的。這位 90 後著名影星最近作為聯合作者在 arXiv 上（由康奈爾大學運營的在線研究資料庫）發表了一篇論文。

Stewart 和其他作者發布的這篇文章主要是涉及「神經風格遷移」，並將其應用到 Stewart 製作並導演的電影短片《Come Swim》中。這部影片是「充滿詩意的，心碎人在水下的印象派畫像」，它使用風格遷移技術，使電影看上去就好像是畫作一樣。

「我們通過神經風格遷移（Neural Style Transfer）重新繪製了電影中的關鍵場景（以手繪風格表現），從而為故事添加上一些藝術手法，這些實現基本上是逐幀轉換的，它支撐起了整個電影。」

「繪畫本身會激起個人在醒來第一時間的冥思（夢中與現實記憶之間的退卻），所以將技術應用到關鍵場景將令我們想喚起的情緒映射到演算法中。」

Stewart 希望利用風格轉移技術完成一種新穎和優美的影片，她在論文描述了更多的技術細節，還有電影人如何才能夠實現這一點。

風格遷移是一種有趣的技術，涉及使用卷積神經網路來實時地改變視頻。要做到這一點，基本上你需要做的就是將你的演算法應用到圖像上（如梵高的畫），然後再訓練你的系統學習繪畫手法並應用到任何常規圖像上。該論文簡短有力描述如何通過神經風格轉化將印象派帶入到所製作的作品 Come Swim 中。

早在論文《A Neural Algorithm of Artistic Style》中，研究者 Gatys、Ecker 和 Bethge 介紹了一種使用深度卷積神經網路（CNN）分類器的方法。其 pastiche 圖像是通過優化（optimization）找到的：該演算法會尋找一張給出了該 CNN 的底層中同種類型激活（activation）的圖像，這些底層會獲取風格輸入（寬筆觸和立體美感等等）的整體粗糙美感；該演算法還會在更高層產生激活，這是獲取能使對象可被識別出來的東西，這接近於那些由內容圖像所得出來的東西。從某個起始點（如：隨機雜訊或內容圖像本身）開始，該 pastiche 會逐漸細化，直到這些要求都得到滿足。

另外在十月份谷歌《A Learned Representation For Artistic Style》論文中，研究者們探討了如何構建單個、可延展深度網路，能夠貪婪地捕捉不同派別的藝術風格。

李飛飛十月份也作為《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》的作者討論過風格遷移。她們的系統在訓練之後，前饋網路能以比 Gatys 等人提出的基於優化的方法（optimization-based method）快數百倍的速度為圖像改變風格。

論文：《Bringing Impressionism to Life with Neural Style Transfer in Come Swim》

摘要：神經風格遷移是近期開發出的先進技術，它使用神經網路藝術性的重繪（redraw) 原圖像的風格。本論文探索了在製作環境中的技術應用，使用神經風格遷移用印象派繪畫風格重繪電影短片《Come Swim》中的關鍵場景。我們記錄了該技術如何在互動式的創造流程框架中進行部署，從而能獲得想要的效果，也提出了一種將廣闊的參數空間映射到創造性控制的關鍵設定的方式。我們希望這種映射方式能為未來的研究提供啟發。