谷歌推出開源 Python 庫「Tangent」，支持前向模式自動微分

日前，Google Research Blog 推出開源 Python 庫「Tangent」。據介紹，這個庫與現有的機器學習庫相比，存在諸多優勢，可以大大改善了用戶的使用體驗。

AI研習社編譯整理如下：

Tangent 是一個全新的免費開源 Python 庫，可以用於自動微分。與其他現有的機器學習庫相比，Tangent屬於源到源（source-to-source）系統，可以用 Python f 函數調用新的 Python 函數，計算出 f 的梯度。對用戶來說，這大大改善了梯度計算的可見性，更易於編輯和調試。當調試和設計機器學習模型時，Tangent 增加了許多新功能:

易於調試反向傳遞（backward pass）

快速進行梯度surgery

前向模式自動微分

高效的Hessian-vector product

代碼優化

本文概述了Tangent API介面，包括如何使用Tangent 來生成易於解釋、調試和修改的Python梯度代碼。

在圖像、視頻、音頻和文本機器學習模型中，神經網路(NNs)的出現帶來了巨大的進步。其實在這些任務中，訓練神經網路的基本概念已經存在30年了，我們通常稱之為反向模式自動微分（reverse-mode automatic differentiation）或者反向傳播（backpropagation）。它包括在神經網路中的兩次傳遞：首先運行「前向傳遞（forward pass）」來計算每個節點的輸出值，然後再運行「反向傳遞」來計算一系列的導數，從而確定如何更新權重，以提高模型的準確度。

在訓練神經網路、研究新的架構的過程中，我們要能正確、高效、輕鬆地計算出導數值。此外，當模型還沒訓練好或者想要構建一些連自己都不太理解的新東西時，也要能夠調試這些導數。自動微分也稱為「autodiff」，是一種計算電腦程序導數（數學上的函數）的技術，幾乎所有的機器學習庫都會用到它。

現有的庫通過跟蹤程序的執行過程來實現自動微分（如 TF Eager, PyTorch 和 Autograd），或者通過構建動態數據流圖來進行微分(如 TensorFlow)。與此相反， Tangent 可以通過 Python 源代碼提前自動微分，還可以生成Python源代碼作為輸出。

因此，你最終能像讀取程序的剩餘部分一樣讀取自動微分代碼。對那些既想用 Python 編寫模型，又想在讀取和調試自動微分代碼時不犧牲速度和靈活性的研究人員和學生來說，Tangent 非常有用。

在Tangent 中構建模型不需要特殊的工具或間接方法，非常易於檢查和調試。Tangent 基於一個非常大並且正在增長的 Python 子集，能支持其他 Python 深度學習庫所不具備的自動微分特性，性能高效，並能與 TensorFlow 和 NumPy 兼容。

Python代碼自動微分

如何自動生成Python代碼的導數? 像 tf.exp 和 tf.log 這些數學函數已經含有能幫助我們建立反向傳遞的導數了，同樣，子程序、條件和循環等句段也具有反向傳遞版本。Tangent 支持為每個 Python 句法生成導數代碼，也能調用許多 NumPy 和 TensorFlow 函數。

Tangent 具備單一功能 API：

下面是一張動圖，它描述了調用 tangent.grad 之後執行的操作。

GIF/567K

可以運行如下代碼輸出求導結果：

執行命令後，tangent.grad 首先抓取傳來的 Python 函數源代碼。Tangent 有一個龐大的 Python 句法求導方法庫，類似於 TensorFlow Eager 函數。然後，tangent.grad 函數會反向走查代碼，查找匹配的反向傳遞方法，並將其添加到導函數的末尾。這種反序處理過程所用的技術就叫反向模式自動微分（reverse-mode automatic differentiation）。

上面的 df 函數只適用於標量(非數組)輸入。Tangent 也支持以下功能：

使用 TensorFlow Eager 函數處理陣列

子程序

控制流

雖然一開始就能利用 TensorFlow Eager，但 Tangent 並沒有與數值庫相關聯，我們也很樂意看到 PyTorch 或 MXNet 求導方法的添加請求。

下一步

Tangent現在已經在github.com/google/tangent開源了，大家可以點擊下載，按照說明安裝。因為仍在實驗階段，所以難免有一些 bug。如果大家發現了 bug 並在 GitHub 上說明，我們會儘快解決。

我們正從 Python 的多個層面為 Tangent 提供支持(例如閉包、內聯函數定義、類、更多的 NumPy 和 TensorFlow 函數)。我們還希望在未來添加更高級的自動微分和編譯器功能，比如在內存和計算之間自動平衡(Griewank and Walther 2000（http://t.cn/RlB8z5o）；Gruslys et al., 2016（http://t.cn/RlBQus2）)、更高效的優化、lambda lifting等。

我們希望能將Tangent社群發展壯大，歡迎大家踴躍提出修補和新特性的方面的需求。

via：Google Research Blog（http://t.cn/RlBQoOj）

新人福利

關注 AI 研習社（okweiwu），回復1領取

【超過 1000G 神經網路 / AI / 大數據，教程，論文】

一文詳解神經網路 BP 演算法原理及 Python 實現

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 AI研習社 的精彩文章: