體積減半畫質翻倍,他用TensorFlow實現了這個圖像極度壓縮模型
林鱗 編譯整理
量子位 出品 | 公眾號 QbitAI
體積小,但清晰度高。
就有這麼一種基於生成式對抗網路(GAN)的極度圖像壓縮框架,經它之手的圖像雖然體積被壓縮不少,但解析度著實感人。和同類框架相比,它的效果尤為驚艷。
此演算法(2379 Bytes)和BPG(2565 Bytes)畫質對比
此演算法(2379 Bytes)和WebP(6066 Bytes)畫質對比
此演算法(2379 Bytes)和JPEG2000(2447 Bytes)畫質對比
此演算法(2379 Bytes)和原圖畫質對比
就是這樣一個體積小一半但畫質高一倍的演算法,自上個月在arXiv出現後便引發關注。
看了研究論文Generative Adversarial Networks for Extreme Learned Image Compression後,網友大呼希望這群來自蘇黎世聯邦理工學院的程序員們開個源。
作者團隊
好消息是,近日,Github網友Justin-Tan用TensorFlow實現了這項研究,我們一起看看這個爆火的壓縮大法實現~
實現用法及結果
實現的第一步得準備工具,也是就是TensorFlow 1.8。
TensorFlow 1.8地址:
https://github.com/tensorflow/tensorflow
在batch size是1的情況下訓練,每經過一定的步數中 (默認值為128),重建的樣例/summary就會被定期寫入,每10次迭代後保存檢查點。
這些全局壓縮的圖像來自於Cityscapes中leftImg8bit數據集,總體來看,效果還比較好。
C=8 channel,多規格鑒別器
下圖是量化的C=4、8、16 channel圖像比較——
實現細節/擴展
你可以在下找到預訓練模型,它在C=8的channel bottleneck和多規格鑒別器損失進行全局壓縮。這個模型已經用Cityscapes中的leftIma8bit訓練了64次。
這個網路的架構是基於論文 Perceptual Losses for Real-Time Style Transfer and Super-Resolution中的附錄中提供的描述完成的,項目中最初提到的多規格鑒別器的損失是基於論文 High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs完成的。
如果你還想增加擴展,可以在Network分類下新寫一個@staticmethod版塊,類似下面這樣:
如果想更改超參數和toggle feature,可在config.py中設置。
相關地址和資料
如果你對這個壓縮大法感興趣,這剛好有幾份資料可以拿去用:
論文Generative Adversarial Networks for Extreme Learned Image Compression地址:
https://arxiv.org/pdf/1804.02958.pdf
項目首頁:
https://data.vision.ee.ethz.ch/aeirikur/extremecompression/#publication
復現項目地址:
https://github.com/Justin-Tan/generative-compression
論文Perceptual Losses for Real-Time Style Transfer
and Super-Resolution地址:
https://cs.stanford.edu/people/jcjohns/eccv16/
論文High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs地址:
https://tcwang0509.github.io/pix2pixHD/
—完—
加入社群
量子位AI社群16群開始招募啦,歡迎對AI感興趣的同學,加小助手微信qbitbot7入群;
此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。
進群請加小助手微信號qbitbot6,並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。(專業群審核較嚴,敬請諒解)
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。
※GMIC人工智慧公開課重磅回歸,報名通道開啟
※小扎展示Facebook十年產品路線圖,跳票的智能音箱又有新爆料
TAG:量子位 |