Reddit一致好評的David Blei新作，其實有兩大硬傷亟待斟酌

venturebeat

最近 David Blei 組提交了一篇論文《Deep and Hierarchical Implicit Models》，而此文也在 Reddit 上引起了不少討論，而且呈現驚人的零差評。

為何 Blei 組的動態會如此快地受到關注？畢竟發文的三位個個皆非等閑之輩：

Dustin Tran 是哥倫比亞大學計算機科學博士生，師從 David Blei 和 Andrew Gelman。本科與碩士分別在伯克利大學及哈佛大學攻讀。Tran 的主要關注方向包括貝葉斯統計、機器學習及深度學習。出於對概率模型的濃厚興趣，Tran 搭建了 Edward，一個兼容 TF Slim 和 Keras 的概率編程庫。

二作是普林斯頓大學的 Rajesh Ranganath，目前與 David Blei 共事。此前曾經與百度首席科學家吳恩達一同在斯坦福 AI 實驗室研發深度學習，並與 Dan Jurafsky 一同在斯坦福 NLP 團隊從事對話與社交動機的監測。

而David Blei自不必說，他是哥倫比亞大學的數據科學及計算機科學教授，主要關注機器學習及貝葉斯統計，研究領域包括主題模型、概率建模及近似貝葉斯推斷。

在論文發布後，雷鋒網了解到Dustin Tran 在博客上表示：

帶著私心地評論，我認為這篇論文的想法簡單，但影響卻非常深刻。

舉一個實用的例子，我們只需要將雜訊輸入隱藏層，就能夠將任何的標準神經網路轉換為一個深層的隱含模型。此外，誘導的潛變數呈現驚人的靈活性。沒有比這更簡單的深度生成模型了！

此外 Reddit 上也是好評一片，雷鋒網進行了一些評論的整理：

@fhuszar 認為，這篇文章將很多內容很好地整合在了一起。

「今年的 ICML 有不少關於隱式模型變分推斷的論文，但此論文大概是最具綜合性兼實用性的一篇了。此外，論文中的一些例子是在 Edward 上搭建的（你說為啥偏要用 Edward？因為就是 Dustin Tran 一手開發的呀）。

我最喜歡的部分是論文通過前向模型的全局參數進行概率處理和變分推斷，而不是通過在 GAN 或 VAE 中完成 SGD 優化。總體而言，這使演算法呈現一致性，並以相同的方式工作。」

@heartastack 表示，看到是用 Edward 搭建的之後，「非常期待拜讀一番。」

@abojchevski 也發來賀電：「很棒的論文，繼續加油！」

@ bronzestick 則認為，這篇論文寫得太好了。

然而，在 Reddit 上受到如此好評的這篇大作，是否真的名副其實呢？雷鋒網 AI 科技評論聯繫上了在知乎上討論該論文的兩位知友，一位是商湯科技的陳默，另一位是來自中山大學的鄭華濱。他們並不像 Reddit 用戶一樣全面讚美，而是提出了這篇論文的不少問題。

不過首先，雷鋒網 AI 科技評論還得從顯式概率模型（explicit probability model）與隱式概率模型（implicit probability model）開始說起。

在生成模型中，對概率分布一般的建模方式是所謂的顯式概率模型，它能夠寫出一個顯式的概率密度函數（density）或似然函數（likelihood）。

而隱式概率模型又該如何理解呢？我們可以用拋硬幣來舉例。研究者們都知道，硬幣的正反面完全受物理學定律的控制（比如拋擲的角度和施加於硬幣的壓力），因此，硬幣結果的隨機性不是因潛在的概率，而會受到很多嘈雜初始參數的影響。這種模型結合了物理學，也能夠更好地捕獲生成過程。此外，該模型是隱式的（模擬器），研究者能夠從生成過程中採樣數據，但無法計算密度。

而這篇論文的最大亮點就在於它試圖將層次概率模型和變分後驗分布都建模成隱式概率模型，這是因為隱式概率模型只能從這個概率分布中採樣，但是不要求能夠計算某個樣本的似然函數，被認為可以更好、更靈活地反映真實世界的物理過程。

然而，由於難以對隱式概率模型構建準確、可規模化的貝葉斯推斷，所以以往的隱式概率模型用得並不多。為了解決這一問題，研究者受到比率估計的啟發，設計了一種名為 LFVI（likelihood-free variational inference）的推斷方式，作為該模型的近似求解演算法。

研究者也在論文中提到，這項工作具有廣泛的應用範圍。具體包括：

1. 分析近似貝葉斯計算（ABC）的經典問題，採用傳統方法無法駕馭的大規模數據；

2. 分析貝葉斯 GAN，它能夠讓 GANs 量化不確定性，並提升數據的有效性。

3. 分析深層隱含模型的文本與 RNN，能夠推進大範圍的隱式模型，並推進建模設計。

陳默在知乎上肯定了論文的創新性。在貝葉斯框架上對一個網路進行訓練，通常手段是將網路轉化為概率圖模型的對應形式，再用貝葉斯的推斷手段進行訓練。「而這篇 paper 的思路，是我們不需要做這樣的轉化，只需要把給定 network 的每層作為一個 implicit function g，然後我們在每層加一個簡單的 generate 項

，整個網路就是 probabilistic 的了。」

鄭華濱在接受 AI 科技評論採訪時也指出，論文採用了隱式建模的方法，認為這更能反映真實世界的情況。他在知乎上指出，「作者利用了一個名為 ratio estimation 的技術，通過直接對

進行近似求值，進而計算梯度。」

但是，兩位都認為這篇論文不論是從求解思路還是實用角度上，都有很多需要斟酌的地方。

陳默列出了一些疑問。首先是分解式的推導存在合理性問題：

對 marginal distribution，這個分解

是一定不成立的，所以我對 (5) 到 (6) 的合理性有疑問。

對於 (7) 的解貌似是近似的 density ratio:，而並不是 expectation:

。

其次是近似解的合理性問題。

「論文中 GAN 的 target 近似解了 Bayesian lower bound，我覺得這個近似有點扯，並且太刻意。而恰恰用哪個分布對 log ratio 求期望才是 Bayesian 和 non Bayesian 的分界嶺（對 p 求期望實際上就是 maximium likelihood，對 q 求期望是 Bayesian，而 GAN 是即對 p 求又對 q 求，兩項加起來。實際上當樣本無窮大時候，三個 estimator 都收斂到真實分布，可以說互相都是近似，但這個近似根本沒啥意義。）雖然說，以上兩點反正是近似，也不是很有所謂。但這樣隨意的近似對我來說實在是有點無厘頭。」鄭華濱在與陳默討論之時，也贊同了推導過程有問題的觀點。

此外在實用性上，雙方都認為任重道遠。在鄭華濱看來，除了 VAE 等少數模型之外，目前還很少看貝葉斯深度學習這類研究在大數據集中奏效，而這篇論文也沒有跳出這一桎梏，比如它的文本 GAN 實驗也是在四則運算序列這種極度特定的數據上做的。不過他認為同樣是四則運算序列，這篇論文相對於之前的 Gumbel-Softmax GAN 而言還是有所突破的。

陳默認為對貝葉斯方法持觀望狀態，認為目前還處於不實用階段，還是得先解決推斷演算法的 underestimate 問題。「類似於 mean filed+sampling 的 inference 演算法再怎麼搞也很難走通，畢竟獨立性 assumption 過強導致的 underestimate 是 fundamental problem，對於深度網路尤其嚴重，網路越複雜問題越嚴重，而 sampling 讓近似有效性問題變的更嚴重，而且收斂速度必然很慢。」

AI 科技評論也將持續關注貝葉斯機器學習的研究進展，期待有一天能出現實驗結果更好的推斷演算法。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！