Nvidia發布Tesla V100計算卡：Volta架構，恐怖的5120個CUDA

昨晚NVIDIA CEO黃仁勛下GTC 2017大會上發布了基於Volta架構的旗艦計算卡 Tesla V100，為了應付日益龐大的AI以及高性能計算需求，Tesla V100擁有超越上一代的5120個CUDA單元，晶體管數目足足有210億，核心頻率為1455MHz，16GB HBM2顯存，浮點性能更是達到單精度浮點15 TFLOPS，雙精度浮點7.5 TFLOPS。

對比上一代Tesla P100，Tesla V100最大變化就是增加了與深度學習高度相關的Tensor核心，Tensor性能可以達到120 TFLOPS；而且CUDA數目暴增，由3584個增至5120個，增長了42%；全新的台積電12nm FFN工藝製造有史以來最大的815mm2 GPU核心（16nm的第四代改良版本，更高的晶體管密度，更低的功耗；管中窺豹，估計Volta遊戲卡都是使用這個工藝了）；雖然依然是4096bit 16GB的HBM2顯存，但是帶寬已經Tesla P100 720GB/s提升至900GB/s水平。

除了CUDA單元數量增加，Tesla V100繼續提升高性能計算，繼續增加二級緩存及寄存器大小，L2緩存由Tesla P100的4096KB增加到了6144KB，每組SM單元的寄存器文件大小總數從14336KB增加到了20480KB。

NVIDIA計算卡專享的NVLink是一種高帶寬的互聯技術，能夠在CPU-GPU和GPU-GPU之間實現超高速的數據傳輸。誕生之初就獲得傳統PCIe3.0數據傳輸速度的5-12倍，能夠大幅提升應用程序的處理速度。現在NVIDIA將其提升至300GB/s水平，當然了這個技術主要還是用在高性能計算上，估計不會下放至遊戲卡上。

Tesla V100架構：

6組GPC單元，每組GPC單元由14組SM單元構成，滿血版應該是6 x 14 = 84組SM單元，但Tesla V100隻有80組，每組SM單元64個CUDA單元，因此共同構成80 x 64 = 5120個CUDA單元。每組SM單元中，FP32：FP64：Tensor單元比例為8:4:1。

這個核彈太厲害了，CUDA數不過來，密密麻麻

那麼問題來了，強大如斯的Tesla V100究竟用在哪裡？NVIDIA表示將會率先更新用於深度學習超算DGX-1上，內部同樣集成了8張Tesla V100，提供960 TFLOPS Tensor深度計算性能，能夠在8小時完成TITAN X需時8天的計算量，極大地節約科研人員等待深度計算結果時間。就當然啦，擁有8張真·核彈的新DGX-1售價並不便宜，149000美元，摺合人民幣102萬元。