「TensorFlow重大升級」自動將Python代碼轉為TF Graph，大幅簡化動態圖處理！

新智元編譯

來源：Medium

作者：Alex Wiltschko, Dan Moldovan, Wolff Dobson

編譯：聞菲、金磊、克雷格

【新智元導讀】TensorFlow發布重大功能改進AutoGraph，能自動將Python代碼轉換為TensorFlow Graph，TF動態圖處理速度大幅提升！

今天，TensorFlow團隊發布新功能「AutoGraph」，能自動將Python代碼（包括控制流，print () 和其他Python原生特徵）轉換為純TensorFlow圖代碼（pure TensorFlow graph code）。

不使用 Eager Execution編寫TensorFlow代碼需要進行一些元編程（metaprogramming） ——先編寫一個創建圖（Graph）的程序，稍後再執行這個Graph。這可能令人困惑，尤其是對開發者新手來說。一些特別棘手的情況涉及更複雜的模型，比如要使用 if 和 while 的模型，或者有 print 等副作用或接受結構化輸入的模型。

為什麼我們需要Graph呢？Graph允許各種優化，例如刪除常見的子表達式和融合內核（fusing kernel）。再者，Graph簡化了分散式訓練和部署到各種環境的過程，因為它們形成了獨立於平台的模型計算過程。這對於模型在多個GPU或TPU上的分散式訓練尤為重要，如果你通過TensorFlow Lite、移動端、物聯網等其他平台分發模型，Graph也很重要。

下面是一個很簡單的、你可能希望添加到Graph里的操作：

def huber_loss(a):
if tf.abs(a) <= delta:
loss = a * a / 2
else:
loss = delta * (tf.abs(a) - delta / 2)
return loss


通過Eager Execution，只是能做到這一點，但是由於Python解釋器開銷（interpreter overheads）或錯過的程序優化機會，此類操作可能會很慢。

為了準備執行Graph，你需要重寫這個以使用像 tf.cond 這樣的結構，但那樣實現起來可能會耗時耗力而且很困難。AutoGraph可以為自動執行此類轉換，將動態圖編程的簡易性保持很低的同時，獲得基於Graph執行的性能優勢。

在示例中，我們可以使用 autograph.convert 來修飾函數，AutoGraph將自動生成 graph-ready 的代碼。

使用AutoGraph，這段代碼：

@autograph.convert
def huber_loss(a):
if tf.abs(a) <= delta:
loss = a * a / 2
else:
loss = delta * (tf.abs(a) - delta / 2)
return loss


在執行時將變成這種樣子：

def tf__huber_loss(a):
with tf.name_scope("huber_loss"):

def if_false:
with tf.name_scope("if_false"):
loss = delta * (tf.abs(a) - delta / 2)
return loss,
loss = ag__.utils.run_cond(tf.less_equal(tf.abs(a), delta), if_true,
if_false)
return loss


你可以直接調用代碼，就像TensorFlow op一樣：

with tf.Graph.as_default:
x_tensor = tf.constant(9.0)

with tf.Session as sess:
print("TensorFlow result: %2.2f
" % sess.run(huber_loss_tensor))


綜上，AutoGraph填補了Eager Execution和Graph之間的空白。AutoGraph 將你的 eager-style Python 代碼自動轉換為動態圖生成（graph-generating）代碼。

AutoGraph不僅僅是一組有用的宏指令(macro); 它涵蓋Python語言的任何部分(利用源代碼轉換)，包括控制流、函數應用程序和賦值、生成模板代碼以及重構常用的Python讓它易於轉換為圖形。

對於任何編譯器，都會擔心報錯信息的可讀性; 為此，AutoGraph創建了報錯消息和堆棧跟蹤，用來顯示原始源代碼中的錯誤源，而不僅僅是顯示對生成的代碼的參考。

可運行的例子

那麼，AutoGraph可以為你做什麼呢？ 以下是一些代碼示例，它可以直接轉換為圖形代碼而無需任何更改。 如果你想查看完整的代碼，我們有一個notebook，你可以在Colab或GitHub上查看。

在這裡，我們使用循環和分支檢測Collatz猜想。 注意，我們使用AutoGraph的.to_graph函數將其轉換為圖形的原因，是為了多樣性而不是為了裝飾。

def collatz(a):
counter = 0
while a != 1:
if a % 2 == 0:
a = a // 2
else:
a = 3 * a + 1
counter = counter + 1
return counter

collatz_tensor = graph_mode_collatz(tf.constant(n))


AutoGraph可以支持任意嵌套控制流，例如：

def f(n):
if n >= 0:
while n < 5:
n += 1
print(n)
return n


AutoGraph允許你將元素追加到循環內的數組中。 為了達到這個要求，我們使用一些AutoGraph助手，例如set_element_type 和 stack。

def f(n):
z =
# We ask you to tell us the element dtype of the list
autograph.set_element_type(z, tf.int32)
for i in range(n):
z.append(i)
# when you"re done with the list, stack it
# (this is just like np.stack)
return autograph.stack(z)


我們還支持像break，continue，甚至print和assert這樣的結構。 轉換後，該片段的Python將轉換為圖形(使用恰當的tf.Assert)。

def f(x):
assert x != 0, "Do not pass zero!"
return x * x


能夠輕鬆地添加循環，控制流程以及更多圖表意味著可以輕鬆地將訓練循環移動到圖形中。 這個例子可以在這個notebook中找到，我們採用RNN訓練循環並用一個sess.run調用執行它。 在需要將整個訓練循環傳遞給加速器而不是通過CPU控制器管理訓練的情況下，這可能是很有用的。

AutoGraph開闢了構建和訓練模型的新思路。我們期待根據開發者社區的建議為AutoGraph添加更多功能，所以請提出你的建議和問題吧！

AutoGraph和Eager Execution

在使用eager execution時，你仍然可以通過tf.contrib.eager.defun對代碼的某些部分使用圖執行。這要求你使用TensorFlow圖形操作，如tf.cond。 將來，AutoGraph將與defun無縫集成，以允許在簡單的eager 風格的Python中創作圖形代碼。 當該實現可用時，你可以通過選擇性地將eager代碼轉換為graph fragments來使用AutoGraph加速熱點。

結論

AutoGraph是一款工具，可讓你輕鬆構建直觀，複雜的模型，在TensorFlow圖中輕鬆運行。 這是一個現在在contrib中的實驗工具，但我們希望儘快將其轉移到核心TensorFlow中。

告訴我們您使用AutoGraph的經歷！ 如果你有反饋，建議或想法，請提交問題並向TensorFlow開發人員小組發送消息。

原文鏈接：https://medium.com/tensorflow/autograph-converts-python-into-tensorflow-graphs-b2a871f87ec7

即日起到8月19日，新智元限量發售若干早鳥票，點擊閱讀原文購票，與全球AI領袖近距離交流，見證全球人工智慧產業跨越發展。

• 新智元官網：http://www.aiera.com.cn/

• 大會官網：http://aiworld2018.com/

• 活動行購票鏈接：

  http://www.huodongxing.com/event/6449053775000

• 活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！