谷歌有隻AI，自動給黑白視頻上色，走到哪它都認識你

五色栗 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

輸入黑白，生成色彩

谷歌培育了一隻AI，是一隻自動給視頻上色的AI。

從彩色視頻里，截取某一幀作參考。再把所有幀都變成黑白，AI僅僅依靠參考幀的顏色，便可以還原整段視頻的色彩了。

把影像從灰暗變到新鮮，只用了下面這一張圖。

並且，沒有人告訴AI，哪裡是人，哪裡是柜子。

走到哪，都認識你

這是一個自我監督(Self-Supervised) 的物體追蹤模型。

所以，研究人員餵給神經網路的是，大量的無標記視頻數據。

模型要學會預測，黑白視頻中，物體的顏色。

最關鍵的步驟，就是物體跟蹤。

比如，AI看到了一輛汽車，沒有人告訴它那是汽車。

但在黑白的圖像里，它還是要準確找到這輛車所在的區域，把參考幀里相應區域的紅色填過去。

雖然，模型沒有用參考標準標記 (Ground Truth Labels) 訓練過。但從結果上看，神經網路依然學成了人類喜聞樂見的樣子。

麵包上的奶油，即便塗好的樣子不同了，AI也依然記得。

姿勢也可以追蹤

另外，研究人員發現，這個模型還可以用來追蹤人類的姿勢。

對於主角是人類的視頻，神經網路只有了解他們的一舉一動，才能更順暢地為人類上色。

畢竟，他們動作比較多，還喜歡給自己加戲。你看——

你讓我坐下？

我就不坐下。

我很厲害吧。

再不鼓掌我…

只要輸入一幀帶有骨架的圖。

AI就可以推斷出，視頻里其他幀的姿勢了。

那麼，追蹤功夫姿勢的話，一定會更燃吧。

然而，並沒有，可能只會更佛系，因為——

你的黃色，不，是你的黃色

這是太極的上色效果。

注意，二者清晰度不同，不是AI的問題，是微信動圖只支持2MB以內，的後果。

論文傳送門：

https://arxiv.org/pdf/1806.09594.pdf

—完—

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！