當前位置:
首頁 > 科技 > 體積減半畫質翻倍,他用TensorFlow實現了這個圖像極度壓縮模型

體積減半畫質翻倍,他用TensorFlow實現了這個圖像極度壓縮模型

林鱗 編譯整理

量子位 出品 | 公眾號 QbitAI

體積小,但清晰度高。

就有這麼一種基於生成式對抗網路(GAN)的極度圖像壓縮框架,經它之手的圖像雖然體積被壓縮不少,但解析度著實感人。和同類框架相比,它的效果尤為驚艷。

此演算法(2379 Bytes)和BPG(2565 Bytes)畫質對比

此演算法(2379 Bytes)和WebP(6066 Bytes)畫質對比

此演算法(2379 Bytes)和JPEG2000(2447 Bytes)畫質對比

此演算法(2379 Bytes)和原圖畫質對比

就是這樣一個體積小一半但畫質高一倍的演算法,自上個月在arXiv出現後便引發關注。

看了研究論文Generative Adversarial Networks for Extreme Learned Image Compression後,網友大呼希望這群來自蘇黎世聯邦理工學院的程序員們開個源。

作者團隊

好消息是,近日,Github網友Justin-Tan用TensorFlow實現了這項研究,我們一起看看這個爆火的壓縮大法實現~

實現用法及結果

實現的第一步得準備工具,也是就是TensorFlow 1.8。

TensorFlow 1.8地址:

https://github.com/tensorflow/tensorflow

在batch size是1的情況下訓練,每經過一定的步數中 (默認值為128),重建的樣例/summary就會被定期寫入,每10次迭代後保存檢查點。

這些全局壓縮的圖像來自於Cityscapes中leftImg8bit數據集,總體來看,效果還比較好。

C=8 channel,多規格鑒別器

下圖是量化的C=4、8、16 channel圖像比較——

實現細節/擴展

你可以在下找到預訓練模型,它在C=8的channel bottleneck和多規格鑒別器損失進行全局壓縮。這個模型已經用Cityscapes中的leftIma8bit訓練了64次。

這個網路的架構是基於論文 Perceptual Losses for Real-Time Style Transfer and Super-Resolution中的附錄中提供的描述完成的,項目中最初提到的多規格鑒別器的損失是基於論文 High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs完成的。

如果你還想增加擴展,可以在Network分類下新寫一個@staticmethod版塊,類似下面這樣:

如果想更改超參數和toggle feature,可在config.py中設置。

相關地址和資料

如果你對這個壓縮大法感興趣,這剛好有幾份資料可以拿去用:

論文Generative Adversarial Networks for Extreme Learned Image Compression地址:

https://arxiv.org/pdf/1804.02958.pdf

項目首頁:

https://data.vision.ee.ethz.ch/aeirikur/extremecompression/#publication

復現項目地址:

https://github.com/Justin-Tan/generative-compression

論文Perceptual Losses for Real-Time Style Transfer

and Super-Resolution地址:

https://cs.stanford.edu/people/jcjohns/eccv16/

論文High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs地址:

https://tcwang0509.github.io/pix2pixHD/

加入社群

量子位AI社群16群開始招募啦,歡迎對AI感興趣的同學,加小助手微信qbitbot7入群;

此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。

進群請加小助手微信號qbitbot6,並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。(專業群審核較嚴,敬請諒解)

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 量子位 的精彩文章:

GMIC人工智慧公開課重磅回歸,報名通道開啟
小扎展示Facebook十年產品路線圖,跳票的智能音箱又有新爆料

TAG:量子位 |