詳解伺服器性能測試基準體系

20世紀90年代，TPC(Transaction Processing Performance Council，事務處理性能委員會)成立，Benchmark(基準測試)隨之走上歷史舞台，企業採購伺服器時，除主觀三圍指標之外，理性的光芒開始閃耀。

TPC單位為tpmC，對系統在線事務處理能力進行評價，表示每分鐘內系統處理新訂單的個數，主要模擬企業的MIS、ERP等系統來考驗伺服器聯機業務處理能力。

SPEC(標準性能評估機構)是另一個全球性的、權威的第三方應用性能測試組織，它旨在確立、修改和認證一系列伺服器應用性能評估的標準。目前主要包括：

針對CPU性能的SPECCPU2000、SPEC CPU2006

針對Web伺服器的SPECWeb2005

針對高性能計算的SPEC HPC2002與SPEC MPI2006

針對Java應用的SPECjAppServer2004與SPEC JBB2005，以及對圖形、網路、郵件伺服器的測試指標。

此外，還有常見的四大應用中的基準測試和專用基準測試：

1)高性能計算（HPC）：Linpack…

2)在線事務處理（OLTP）：TPC-C…

3)Web服務：SPEC Web2005、TPC-W

4)Java應用伺服器：SPECjbb2005

專用基準測試：

1) Oracle基準測試

2) SAP基準測試等

SPEC基準測試介紹

SPEC是一個全球性的、權威的第三方應用性能測試組織，它旨在確立、修改以及認定一系列伺服器應用性能評估的標準。由於它體現了軟、硬體平台的性能和成本指標，被金融、電信、證券等關鍵行業用戶作為選擇IT系統一項權威的選型指標。

SPEC組織始建於1988年，當時是由幾個計算機設備供應商為了開發和支持大範圍的計算機系統的性能測試程序而成立的，今天這個組織有60多家知名公司加入和支持，如：Intel、AMD、IBM、HP等公司。

SPEC提供用於評估郵件伺服器、WEB伺服器、文件伺服器、超級計算機和計算機集群、CPU、專業圖形應用等方面的評估軟體。SPEC組織提供的相關性能基準在計算機領域被廣泛認可。

SPEC組織針對伺服器應用性能制定了10大測試基準、幾十多種測試模型。最常用的測試模型有SPEC CPU、SPEC WEB、SPEC Power等。

SPEC伺服器應用性能測試的測試成績可以為如下行業應用的系統採購提供重要的參考指標。

1. 銀行：銀行綜合業務系統、銀行證券交易系統、信用卡業務系統、綜合業務計算機網路系統等

2. 金融證券：國稅統一稅收征管系統、基金註冊和交易系統平台建設、證券集中交易系統

3. 保險：保險公司綜合業務系統建設

4. 電信：電信計費系統、綜合計費帳務系統、客服系統平台建設、用戶認證和管理系統、移動計費營業系統、聯通綜合客服系統、寬頻運維繫統

5. 政府：大中型電子政務系統

SPEC基準測試模型分類

以CPU為例說明SPEC模型分類，SPEC CPU測試按照編譯器優化方式分為基本測試base和最優化測試peak兩種。

基本測試base結果包括：SPECint_base2006、SPECfp_base2006、SPECint_rate_base2006、SPECfp_rate_base2006四種類型。

最優化測試peak結果包括：SPECint2006、SPECfp2006、SPECint_rate2006、SPECfp_rate2006四種類型。

SPEC CPU按照測試方法分為speed測試和rate測試兩種，speed測試主要關注完成一項工作需要多少時間，考驗的是CPU單線程任務處理能力；而rate測試主要關注一定時間內完成多少工作，考驗的是CPU並發處理能力。

speed結果包括：SPECint_base2006、SPECfp_base2006、SPECint2006、SPECfp2006四種類型；

rate測試結果包括：SPECint_rate_base2006、SPECfp_rate_base2006、SPECint_rate2006、SPECfp_rate2006四種類型。

SPEC文件系統測試模型

SPECsfs2008是針對文件服務應用的核心測評基準，衡量NAS系統中文件訪問的吞吐量和響應時間。已有近近百家主流NAS製造商通過該評測基準的驗證。

在文件系統中，SPEC測試取得高性能（以500萬為例）的OPS（OperationPer Second）意味著客戶可以得到更高的性能和擴展性支撐不斷增長的業務需要，一秒鐘同時瀏覽60萬張淘寶圖片（更高的利潤），一秒鐘完成45萬個電子票據的保存（更高的效率），一秒鐘同時支持1750個高清電視頻（更優的體驗），一秒鐘完成高解析度衛星影像。

對存儲廠商自身而言，這也是驗證產品能力的方案之一，是存儲廠商能力的體現。整個系統的設計需要多種軟硬體技術的融合之美。例如：採用元數據和業務服務的動態擴展技術、數據分布的均衡設計、全IP互聯設計；內存保電加速技術、RDMA over TCP加速；自動熱點數據識別技術、靈活的分級存儲技術等。

SEPC測試測試結果查詢

在項目實踐中，我們不僅需要提供具體的測試值，還需要提供權威的第三方測試報告給客戶。在這裡以CPU的CINT2006rate為例，簡單介紹下如何查詢伺服器SPEC測試報告。

1) 首先登陸SPEC官方的查詢系統SPEC/OSG Result Search Engine，在AvailableConfigurations的下拉菜單中，選擇需要查詢的測試類型。

2) 在該系統中，提供了豐富的查詢類別，如硬體供應商，CPU型號等，根據需要查詢的具體伺服器信息可以進行精細或模糊查詢。

3) 對副本和發布日期也可以做限定，之後可以根據需要選擇輸出的類型和格式。

4) 完成後，選擇FetchResults查詢結果。查詢結果如下所示，可以通過右側鏈接下載不同格式的第三方官方測試報告。

TPC基準測試模型介紹

TPC(Transaction Processing Performance Council，事務處理性能委員會)是由數十家會員公司創建的非盈利組織，總部設在美國。TPC的成員主要是計算機軟硬體廠家，而非計算機用戶，其功能是制定商務應用基準程序的標準規範、性能和價格度量，並管理測試結果的發布。

TPC不給出基準程序的代碼，而只給出基準程序的標準規範。任何廠家或其他測試者都可以根據規範，最優地構造出自己的測試系統(測試平台和測試程序)。為保證測試結果的完整性，被測試者(通常是廠家)必須提交給TPC一套完整的報告(Full Disclosure Report)，包括被測系統的詳細配置、分類價格和包含5年維護費用在內的總價格。該報告必須由TPC授權的審核員核實(TPC本身並不做審計)。 TPC在全球只有不到10名審核員，全部在美國。

TPC基準測試規範說明

TPC-C使用三種性能和價格度量，針對資料庫不同的使用場景TPC組織發布了多項測試標準。其中被業界廣泛接受和使用的有TPC-C 、TPC-H和TPC-DS。

其中性能由tpmC（transactions per minute，tpm）衡量，C指TPC中的C基準程序。它的定義是每分鐘內系統處理的新訂單個數。TPC-C是針對OLTP的測試，TPC-H和TPC-DS則是針對OLAP的測試

TPC-C值評估原則

評估原則1：同等配置下，不同廠家設備的TPMC性能是相當的。

評估原則2：tpmC值與SPECint_rate_base值呈正比。

評估原值3：tpmC值與CPU個數呈正比

在tpmC官網上查詢一款CPU對應的tpmC值；查詢這款CPU的SPECint_rate_base，用tpmC/ SPECint_ rate_base得到一個比例係數；根據需要求得tpmC值的CPU的SPECint_rate_base值乘以步驟2的係數可得tpmC值。

TPC-C還經常以系統性能價格比的方式體現，單位是$/tpmC，即以系統的總價格（單位是美元）/tpmC數值得出。這類系統具有比較鮮明的特點，這些規範特點主要表現如下：

1、多種事務處理並發執行，充分體現了事務處理的複雜性；

2、在線與離線的事務執行模式；

3、多個在線會話終端；

4、適中的系統運行時間和應用程序運行時間；

5、大量的磁碟I/O數據流；

6、強調事務的完整性要求（ACID);

7、對於非一致的資料庫分布，使用主鍵和從鍵進行訪問；

8、資料庫由許多大小不一、屬性多樣，而又相互關聯的數據表組成；

9、存在較多數據訪問和更新之間的資源爭奪。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！