免費!Google Colab現已支持英偉達T4 GPU
【新智元導讀】Google Colab現在提供免費的T4 GPU。Colab是Google的一項免費雲端機器學習服務,T4GPU耗能僅為70瓦,是面向現有數據中心基礎設施而設計的,可加速AI訓練和推理、機器學習、數據分析和虛擬桌面。
Google Colab是Google內部Jupyter Notebook的互動式Python環境,不需要在本地做多餘配置,完全雲端運行,存儲在GoogleDrive中,可以多人共享,簡直跟操作Google Sheets一樣簡單。之前只提供英偉達Tesla K80,現在已經支持TPU了!英偉達T4 GPU耗能僅為70瓦,是面向現有數據中心基礎設施而設計的,可加速AI訓練和推理、機器學習、數據分析和虛擬桌面。
運行一下命令
!nvidia-smi
有Reddit網友表示Colab TPU比本地GTX 1080Ti的速度慢了將近2倍。
Google關於使用TPU的教程:
https://colab.research.google.com/notebooks/tpu.ipynb#scrollTo=71iSWtsXe36x
Google Colab介紹
Google Colab不需要安裝配置Python,並可以在Python 2和Python 3之間快速切換,支持Google全家桶:TensorFlow、BigQuery、GoogleDrive等,支持pip安裝任意自定義庫,支持apt-get安裝依賴。
它最大的好處是為廣大的AI開發者提供了免費的GPU和TPU,供大家進行機器學習的開發和研究。GPU的型號正是Tesla K80,可以在上面輕鬆地跑Keras、Tensorflow、Pytorch等框架;最近新增加的TPU是英偉達T4,可以在更廣闊的天地大有作為了。
當然還有一個好處:不需要前期環境配置。相信很多人對前期環境配置過程中,遇到的各種奇奇怪怪問題深有體會:Anaconda套件該選擇哪個版本?路徑沒設置好導致Jupyter Notebook調不出來等等。而Google Colab直接配置好一個環境,即插即用。
Colab的文檔使用我們最喜愛的Markdown格式,並且提供預覽模式可以直接看到輸出文檔的最終樣式。
雖然說目前為止一直免費,一次最多可以免費使用12小時。但不確定是否未來會收費。所謂早體驗早享受;晚體驗有可能要等折扣了。
Colab官網:https://colab.research.google.com
預備工作
首先我們需要在Google Drive上新建一個文件夾:
然後從下拉菜單里直接進入Colab即可。
接下來需要做一些簡單的配置。比如你可以選擇使用Python 2或者3筆記本,然後選擇硬體加速器,接下來就可以愉快的敲代碼了。
或者你也可以直接wget一個共享的zip包。例如下載並解壓Udacity的花朵數據:
創建/打開一個筆記本
在Colab里創建/打開筆記本很簡單,直接點擊新建/打開即可:
創建的時候會提示你選擇GPU或者TPU。如果你沒有選,或者你想給現有的項目更換硬體加速器,那麼都可以通過Edit→Notebook Settings,或者Runtime→Change rumtime type重新選擇,即時生效。
更換硬體加速器類型後,運行以下代碼檢查是否使用了GPU或者TPU:
from tensorflow.python.client import device_lib device_lib.list_local_devices()
如果返回結果中沒有GPU或者TPU字樣只有CPU字樣,那麼說明沒有使用到二者。
注意上圖裡的Github標籤,超棒對不對!
還有一點需要注意的是,因為Colab運行在雲端,所以一定要記住隨時保存,請把保存按鈕當做vim里的esc來對待。
當然也可以把文件下載到本地或者上傳到雲端。
庫的安裝和使用
Colab自帶Tensorflow、Matplotlib、Numpy、Pandas等深度學習基礎庫,直接import即可,目前連PyTorch也能直接import了。
某些庫可能需要先安裝後才能使用,比如keras
安裝PyTorch:
除了pip,還支持apt-get。安裝OpenCV:
安裝XGBoost:
有的第三方Python庫可能需要依賴Java或是其他軟體才能運行,安裝過程稍微複雜一點:
注意--yes這個小操作很關鍵,如果沒有系統可能會卡住(有興趣的讀者可以嘗試一下)。其他軟體也類似,注意最後加上--yes。
安裝有版權的oracle-java-installer,需要有同意協議的操作:
設置系統默認jdk:
測試Java是否安裝成功:
2個小技巧
1. 免費用GPU
在筆記本設置中,確保硬體加速選擇了GPU。檢查是否真的開啟了 GPU(即當前連接到了GPU實例),可以直接在Jupyter Notebook中運行以下命令:
import tensorflow as tf
device_name = tf.test.gpu_device_name()
if device_name != "/device:GPU:0":
raise SystemError("GPU device not found")
print("Found GPU at: {}".format(device_name))
順利的話會出現:
Found GPU at: /device:GPU:0
不順利的話:
谷歌允許你一次最多持續使用12小時的免費 GPU。
2. 上傳並使用數據文件
除了使用菜單里的上傳按鈕外,我們還可以通過代碼調用筆記本中的文件選擇器:
from google.colab import files
uploaded = files.upload()
之後,我們就會發現單元 cell 下出現了「選擇文件」按鈕:
然後就可以直接上傳文件了
參考鏈接:
- https://www.reddit.com/r/MachineLearning/comments/bglwhy/n_google_colab_now_comes_with_free_t4_gpus/
- https://towardsdatascience.com/getting-started-with-google-colab-f2fff97f594c
- https://www.jianshu.com/p/000d2a9d36a0
- https://www.kdnuggets.com/2018/02/essential-google-colaboratory-tips-tricks.html
※視頻跟蹤新思路,完全無需手工標註
※經典ResNet結果不能復現?何愷明回應:它經受住了時間的考驗
TAG:新智元 |