PyTorch Hub：圖靈獎得主 Yann LeCun 強推！一行代碼輕鬆復現主流模型

雷鋒網 AI 科技評論按：6 月 11 日，Facebook 宣布推出 PyTorch Hub。這是一個簡單的 API 和工作流程，包含計算機視覺、自然語言處理領域的諸多經典模型的聚合中心，為機器學習研究的復現提供了基礎的構建模塊。無論是 ResNet、BERT、GPT、VGG、PGAN，還是 MobileNet 等經典模型，只需輸入一行代碼，就能實現一鍵調用。

圖靈獎得主 Yann LeCun 強烈推薦

關於 PyTorch Hub

可復現性是許多研究領域的基本要求，包括基於機器學習技術的研究領域。然而，許多機器學習出版物要麼不可復現，要麼難以復現。隨著研究出版物數量的持續增長，包括目前在 arXiv 上的數萬份論文以及歷史大會投稿，研究的可復現性比以往重要得多。雖然其中很多出版物都附上了有用的代碼以及訓練有素的模型，但仍為用戶留下了一些需要自行解決的步驟。

所以 PyTorch 團隊推出了 PyTorch Hub：一個簡單的 API 和工作流程，為機器學習研究的復現提供了基礎的構建模塊。它由一個經過預先訓練的模型存儲庫組成，專門設計用於協助研究的可復現性並實現新的研究。它還內置了支持 Colab，集成 Papers With Code 網站，目前已有一組預訓練模型，包括 Classification、Segmentation、Generative 和 Transformer 等等。

[所有者] 發布模型

PyTorch Hub 可通過添加一個簡單的 hubconf.py 文件，實現將預訓練模型 (模型定義和預訓練權重) 發布到 GitHub 存儲庫。這提供了所支持模型的枚舉以及運行模型所需的依賴項列表。用戶可以在 torchvision，huggingface-bert 和 gan-model-zoo 存儲庫中找到示例。

最簡單的案例：torchvision"s hubconf.py：

在 torchvision，模型具有以下屬性：

• 每個模型文件都可以獨立正常執行

• 無需要除 PyTorch 以外的任何包（在 hubconf.py 中：dependencies["torch"]）

• 無需單獨模型入口，因為模型一旦創建，即可無縫提取使用

將包依賴最小化，可減少用戶導入模型後需要立即進行實驗時出現的各類問題。一個更直觀的案例是 HuggingFace"s BERT 模型，其 hubconf.py 文件如下：

每個模型都需要創建一個模型入口，下面是一個代碼段，指定了 bertForMaskedLM 模型入口，並返回預先訓練的模型權重。

這些模型入口可以作為複雜模型的包裝器，它們可以提供注釋文檔或其他幫助函數，具有支持下載預訓練權重的功能 (例如通過 pretrained=True)，或者具有其他特定功能，如可視化。

有了 hubconf.py，研究者就可以去 PyTorch Hub 的 GitHub 頁發送拉取請求。若該模型符合高質量、易復現、最有益的要求，Facebook 官方將會與你合作；若模型質量較低，也有被拒絕發布的可能。但拉取請求一旦被接受，該模型將很快出現在 PyTorch Hub 官方網頁上，供所有用戶瀏覽。

[用戶] 流程

PyTorch Hub 允許用戶對已發布的模型執行以下操作：

1、查看可用的模型

用戶可以使用 torch.hub.list API 查看存儲庫內所有可用的模型入口。

PyTorch Hub 還允許使用除預訓練模型的其它輔助模型，例如在 BERT 模型中進行預處理時加入 bertTokenizer，這會使工作流更順暢。

2、載入模型

已知了其中提供的模型，用戶可以使用 torch.hub.loadAPI 載入模型入口。這隻需要一個命令，而不需要安裝其它的 wheel。此外，torch.hub.helpAPI 可以提供有關如何使用預訓練模型演示的有用信息。

模型發布者通常後續也會不斷添加錯誤修復和性能改進，用戶通過調用也可以非常簡單地獲取更新，確保自己用到的是最新版本：

這將有助於減輕模型發布者重複發布包的負擔，從而使他們更加專註於研究。同時它還可確保，作為用戶獲得的是最新的可用模型。

而另一方面如果用戶更在意穩定性，模型發布者則會提供一些特定的分支或標記 (而不是主分支)，以確保代碼的穩定性。例如 pytorch_GAN_zoo 的 hub 分支：

3、了解模型可用方法

載入了模型後，可以使用 dir(model) 找出該模型所支持的可用方法，以 bertForMaskedLM 模型為例：

help(model.forward) 則可提供運行該方法所需的參數，幫助用戶進行更深入的了解。

其他

PyTorch Hub 中提供的模型也支持 Colab，並直接鏈接在 Papers With Code 中，用戶可以一鍵進入 Colab 運行模型 Demo。

原文鏈接：

https://pytorch.org/blog/towards-reproducible-research-with-pytorch-hub/

雷鋒網 AI 科技評論 雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！