當前位置:
首頁 > 新聞 > PyTorch v1.1 重大更新,TensorBoard已加入豪華套餐

PyTorch v1.1 重大更新,TensorBoard已加入豪華套餐

PyTorch v1.1 重大更新,TensorBoard已加入豪華套餐

雷鋒網 AI 科技評論按:Facebook 對人工智慧相關技術的長期大規模投入盡人皆知。這些技術不僅構成了 Facebook 獲得盈利的技術基礎,Facebook 也宣稱它們可以幫助 Facebook 成為一個更安全、更具包容性、更公平的平台。Facebook 對 AI 方面的成果也相當慷慨,不僅秉持著學術研究成果全面開放的作風,他們開發的深度學習框架 PyTorch 也易用、親民,在工業級應用領域大有趕超谷歌 TensorFlow 之勢。

近日在 2019 年 Facebook 開發者大會「F8」上,Facebook 公布了 PyTorch 的重大更新 1.1 版本,同時還發布並開源了其它多個開發工具,繼續降低機器學習/深度學習模型開發調試以及深度學習專用硬體設計的門檻。雷鋒網 AI 科技評論把更新主要內容介紹如下。

更新更強的 PyTorch v1.1

PyTorch v1.1 重大更新,TensorBoard已加入豪華套餐

PyTorch 在設計之初就兼顧了科研需要的靈活性、模塊性,以及工業級應用部署需要的穩定性和後續支持,它也具有類似 Python 的快速執行特性以及靈活的網路結構動態調整功能。隨著 PyTorch 1.0 版本在去年 12 月發布,它也支持了基於圖(Graph)的運行、前後端模塊間的無縫混合運行、分散式訓練、高效移動端部署等功能,此外還可以使用 PyTorch JIT(即時彙編)在圖模式和動態圖模式之間靈活切換。據 Facebook 介紹,許多企業已經把 AI 科研以及計算機視覺、對話系統、工業優化、自動駕駛等應用遷移到了 PyTorch 平台上運行。

如今 Facebook 正式宣布了 PyTorch v1.1 版本即將到來,包含性能提升、提升易用性的新的理解和視覺工具、新的 API 等。具體更新項目如下:

  • TensorBoard:TensorBoard 是一個web 應用套件,含有多種針對訓練過程以及圖的檢查理解工具。PyTorch 1.1 中提供了優秀的原生支持,可以把 TensorBoard 用於可視化以及模型 debug。由於是原生支持,只需要一句簡單的「from torch.utils.tensorboard import SummaryWriter」指令就可以調用。

  • JIT 編譯器:針對即時彙編進行了多項改進,包括多項 bug 修復,增加了 TorchScript 中的多項功能(比如支持辭典、用戶自定義類以及屬性)。

  • 新的 API:支持布爾類型張量,以及對用戶自定義的循環神經網路提供更好的支持。

  • 分散式訓練:提升了 CNN 之類常見模型的性能,增加了多設備模塊的支持,包括在使用分散式數據並行化(DDP)的同時為不同的 GPU 指定不同的模型,而且開始支持並不是在每次迭代中都使用所有參數的模型(比如控制流、自適應 softmax 等等)

Facebook 也和機器學習社區內的多個機構合作,孵化更多幫助機器學習工程師們更高效地工作的項目,涉及的方面從提升理解模型的能力一直到用 AutoML 之類的方法自動調節模型。

更多生產和科研輔助工具

在宣布 PyTorch v1.1 版本的同時,Facebook 也一併介紹了幾個新的開源工具。它們都是已經在 Facebook 大規模部署的成熟項目,有 Facebook 自己開發的工具,也有和谷歌等業界領路人一同開發的產品和服務,都為開放、合作式的機器學習大家庭貢獻了一份力量。其中最為重要的是 BoTorch 和 Ax,Facebook 有一篇單獨的介紹。

  • BoTorch:這是一個用於貝葉斯優化科研的基於 PyTorch 的開發庫。BoTorch 使用了模塊化設計,並且同時使用了基於蒙特卡洛的採集功能和 PyTorch 中的自動微分功能,可以極大提升開發效率。BoTorch 可以和任何 PyTorch 模型集成,這給同時使用貝葉斯優化和深度學習的科研帶來了極高的靈活性。另外,貝葉斯優化的樣本效率很高,很適合用於測試成本很高的黑盒功能的序列優化。

  • Ax:Ax 是一個便於使用、通用目的設計的適應性試驗平台,它可以管理、部署、自動化機器學習試驗。Ax 會使用 BoTorch 中的最新功能,為開發者優化產品、優化技術基礎設施提供更多便捷。Ax 也降低了貝葉斯優化、多臂抽獎問題(multiarmed bandit)以及其他複雜試驗技巧的使用門檻,幫助研究人員們更好地把科研想法引入到生產中。

  • PyTorch-BigGraph:這是一個為含有數十億個節點、數千億個邊的超大規模圖生成嵌入的分散式系統。它可以支持分片和逆向採樣,並且提供了基於維基百科數據嵌入的使用示例。

  • Google AI Platform Notebooks:這是一個基於谷歌雲平台的新的託管 JupyterLab 服務。數據科學家們可以快速創建支持運行 JupyterLab 的虛擬機,其中還預安裝好了最新的 PyTorch。它也和 BigQuery、Cloud Dataproc、Could Dataflow、AI Factory 等 GCP 服務緊密整合,開發者幾乎不需要離開 JupyterLab 就可以運行完成的機器學習全流程。

更多 PyTorch 學習資源

隨著 PyTorch 漸入佳境,越來越多的教育平台也開始提供基於 PyTorch 的學習資源;況且 PyTorch 靈活動態的編程環境以及大家熟悉的 Python 界面都讓它適合快速實驗上手。谷歌 Colab 如今已經提供了互動式的 Jupyter Notebook 環境,為 PyTorch 提供了原生支持,開發者們可以在免費的 CPU 和 GPU 資源上運行任何 PyTorch 教程。斯坦福自然語言處理小組(Stanford NLP)、加州大學伯克利分校計算機視覺小組、加州理工大學機器人課程中都開始把 PyTorch 作為機器學習編程教學平台,MOOC 課程中更是讓成千上萬的 PyTorch 開發者得以快速學習。

和新版本、新工具一起,Facebook 宣布他們和優達學城(Udacity)建立合作,將在其中的深度學習入門課程中加入 PyTorch 教學,Facebook 還會提供為繼續學習完整機器學習學位的參加者提供獎學金。Fast.ai 也將於今年 6 月提供新的使用 PyTorch 的深度學習課程。作為課程內容的一部分,fast.ai 還會更新包括 fastai.audio 庫在內的新庫作為 PyTorch 模塊。

via https://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/,雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 雷鋒網 的精彩文章:

雲廠商的細分戰場——Serverless
Intel 手機基帶往事:因蘋果而始,為蘋果而終

TAG:雷鋒網 |