一文淺析NVMe over Fabric技術發展簡史

NVMe over Fabric將如何改變存儲環境？開篇之前，還是有必要介紹下背景。隨著光纖通道技術的廣泛採用，存儲網路在20世紀90年代末和21世紀初開始流行起來。對於那些不想花費安裝專用光纖通道硬體的人來說，幾年之後，iSCSI協議提供了一種可靠的基於乙太網的替代方案。這兩種傳輸都依賴於使用SCSI作為源(啟動器)和存儲(目標器)之間通信的存儲協議。隨著存儲行業開始採用快閃記憶體作為持久存儲介質，我們開始看到了SCSI遇到的性能問題。

這導致了NVMe或非易失性存儲器快速發展，NVMe是一種旨在超越SCSI並解決性能問題的新協議。我們來看看NVMe以及它與其他協議的不同之處。在文章中，我們還將探索NVMe如何改變存儲網路的格局。

介質技術遇到瓶頸

存儲網路技術是基於存儲硬體的發展和集中存儲的需求不斷演進的。我們可以將光纖通道的起源追溯到大型機上的ESCON，這是一種基於光纖的連接協議。另一方面，SCSI是基於伺服器內硬碟的物理連接。

SCSI最初是一種並行通信協議——任何熟悉將磁碟安裝到伺服器中的人都會記得帶狀電纜。隨著SAS的發展，它轉變為一個串列介面。與其對應的個人電腦先進主機控制器介面(AHCI)也展成了SATA。或許您可以在當前硬碟驅動器和固態硬碟上找到這兩種協議。

光纖通道或乙太網給伺服器和存儲之間提供了物理連接，SCSI仍然充當高級存儲通信協議。然而，業界開發的SCSI與HDD一起工作導致響應時間比系統內存和處理器慢幾個數量級。因此，雖然我們可能認為SSD硬碟速度很快，但我們發現內部硬碟存在嚴重的性能問題。大多數SATA驅動器仍然基於SATA 3.0規範，介面限制為6 Gbps和600 MBps的吞吐量。SAS驅動器已開始轉向提供12 GBps吞吐量的SAS 3.0，但許多仍使用6 Gbps連接。

然而，對SAS和SATA來說，最主要的問題還是單個設備的並發I / O處理能力。看看硬碟的幾何形狀，很容易看出處理多個並發I/O請求的能力困難以至於不可能。對性能的提升也是出於偶然性，讀/寫頭或許可以對齊多個請求；或使用一些緩衝，但它不是一個可擴展的選項。SAS和SATA都不是用來處理多個I / O隊列的。AHCI有一個深度只有32個命令的單一隊列。根據實施情況，SCSI相對好些，可以提供128到256個命令的單個隊列。

單隊列但來的負面影響就是延遲。隨著隊列大小的增加，新請求延遲遇到的延時更大，因為他們必須等待其他請求完成。因為沒有機械移動部件，固態硬碟驅動器的問題相對較少，單個I/O延遲較低，但單個隊列是固態介質的瓶頸。

初探NVMe技術

業界對介面問題的回答是NVMe在設備和網路層面取代SCSI。非易失性存儲器使用PCIe匯流排(而不是專用存儲匯流排)為內部連接的磁碟設備提供更大的帶寬和更低的延遲連接。一個PCIe 3.0*4 Lane的設備，具有大約4 Gbps的帶寬。

NVMe最大的變化是存儲協議的優化。串列化I / O訪問所需的內部鎖定已經減少，而中斷處理的效率已經提高。此外，NVMe最多支持65535個隊列，每個隊列的隊列深度為65535個。因此，NVMe不只有一個隊列，還為連接設備的I/O提供了大規模的並行性。想想現代處理器中的內核數量。在並行完成大量工作的IT環境中我們可以看到多個I/O隊列並發處理帶來的好處，以及這將如何改善外部I / O吞吐量。

NVM Express工作組是一個由約90家公司組成的聯盟，於2012年開發了NVMe規範。該工作組於7月份發布了NVMe規範1.3版，增加了安全性，資源共享和SSD耐久性管理問題的功能。

什麼是NVMe over Fabrics

如果NVMe替代設備連接中的存儲協議，則不難看出NVMe也可以用iSCSI和光纖通道協議替代SCSI。這正是NVMe over Fabric標準的發展情況，該標準始於2014年，並於去年發布。

關於NVMe over Fabric，有兩種類型的傳輸正在開發中，使用遠程直接內存訪問(RDMA)的NVMe over Fabric和使用光纖通道(FC-NVMe)的面向NVMe over Fabric。

RDMA支持在不涉及處理器的情況下將數據傳輸到兩台計算機的應用程序內存，並提供低延遲和快速數據傳輸。RDMA實施包括融合乙太網上的Infiniband，iWARP和RDMA，或RoCE(發音為「rocky」)。像Mellanox這樣的供應商提供適用於Infiniband和乙太網的速度可達100 Gbps的適配卡，其中包括NVMe over Fabrics卸載。

NVMe允許對SSD設備進行大規模並行訪問，從而充分利用SSD性能， 3D XPoint的應用更是一個遊戲規則改變者的表現。

基於光纖通道的NVMe使用當前可升級的光纖通道技術，以支持SCSI和NVMe存儲傳輸。這意味著客戶只需通過適當的固件升級交換機即可使用他們現有的技術。在主機系統，主機匯流排適配器(HBA)必須支持NVMe—通常為16 Gbps或32 Gbps顯然，存儲設備也必須能夠支持NVMe。

如何實施NVMe

隨著NVMe在數據中心的應用，最明顯的選擇是在伺服器中使用NVMe設備。供應商早已將支持NVMe的伺服器推向市場，並提供物理連接器和BIOS支持。大多數現代操作系統已經支持NVMe，就像VMware vSphere等管理程序平台，VMware的vSAN平台早已經支持NVMe設備。

另一種選擇是支持NVMe作為存儲設備中的後端存儲連接。存儲供應商已經開始向SAS過渡作為後端介面，隨著時間的推移，取代了光纖通道仲裁環路和並行SCSI。NVMe將取代SAS作為存儲陣列的主要內部協議。在優良的架構產品中，這一變化將導致顯著的性能改進，因為快閃記憶體的好處被發揮了。

部署NVMe可以為快閃記憶體設備提供快速，低延遲的連接，並且在高效存儲操作系統代碼的情況下顯著提高陣列性能。迄今為止，我們已經看到HPE宣布支持3PAR的NVMe，NetApp將NVMe作為FlashCache中的讀取緩存引入，Pure Storage將其提供給其FlashArray//X平台等等。

具有NVMe的Pure Storage的FlashArray//X聲稱可以提供前一代延遲的一半，並具有兩倍的寫入帶寬。但是，這些規格不包括基於主機的NVMe over Fabrics支持，所以仍然有潛在的性能提升。

NVMe面對的選擇

NVMe技術的全面採用意味著使用NVMe實現整個SAN服務架構，這正是NVMe over Fabrics所提供的。潛在的客戶都採用上述兩種實施方案。並有可能轉換為適用於基礎設施的數據中心的FC-NVMe。思科宣布其高端MDS 9710光纖通道Director支持FC-NVMe。Brocade已經在其Gen6 32 Gbps交換機中支持NVMe，包括最近宣布的G610。

遷移到NVMe的客戶可以避免對光纖通道設備進行翻新和更換。對於已經支持32 Gbps連接的數據中心來說，情況確實如此; 但是，對可能不使用32 Gbps HBA卡伺服器來說，情況並非如此。

支持NVMe的存儲陣列出現時，客戶可能不必一次升級到NVMe，因為SCSI和NVMe可以共存於同一基礎架構上。從管理和運營的角度來看，熟悉光纖通道的數據中心和IT部門可能會發現轉型過程比轉向融合乙太網更容易，因為融合乙太網由於更換硬體需要花費而從未真正替換。

NVMe over Fabrics可以在光纖通道第六代技術及以後的環境共存。這允許將存儲陣列轉換為支持NVMe的Fabrics，並且比通過乙太網遷移到NVMe所需的拆分和替換方法更容易。

光纖通道的替代方案是將NVMe用於RDMA，並以可擴展性為代價實現新的存儲網路，以獲得略高的性能。一些供應商使用這種方法提產品。初創公司E8 Storage開發了一種基於NVMe的存儲陣列，該陣列使用100 G乙太網(GbE)融合交換機和RDMA網路介面卡實施高性能SAN。該公司宣稱多達1000萬次讀取和200萬次寫入IOPS，讀取時間為100微秒(μs)，寫入延遲時間為40微秒。

另一家創業公司Excelero已經開發出一款稱為NVMesh的軟體產品，該產品使用支持NVMe的伺服器網格來創建分散式計算和存儲結構，以實現一系列系統，例如超融合計算環境。該公司已與美光公司合作生產基於Micron 3.2 TB固態硬碟和Mellanox乙太網RoCE交換機的名為SolidScale的平台。

該公司宣布支持面向NVMe的NVMe，作為其FlashStack參考架構的一部分。這將包括FlashArray//X，Cisco MDS 9700導向器和思科UCS，或具有32 Gbps HBA的C系列交換機。

還有一家新興公司Apeiron Data Systems正在開發基於40 GbE的NVMe陣列體系結構和一種外部化的超融合設計，實現存儲和計算能夠獨立擴展。

NVMe的未來

我們將NVMe替代SCSI和SAS作為SSD設備的默認連接。高端部署將使用NVMe over Fabrics，在現有的陣列平台中使用NVMe將會保留了快照，複製，壓縮和重複數據刪除等功能，並採用了像Excelero和Apeiron這樣的新平台體系結構。過去，這些功能的缺乏使得基於NVMe的產品沒有受到關注。然而，隨著時間的推移，NVMe肯定會取代傳統全快閃記憶體技術中存在的傳統架構。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！