多年來，我們這些存儲行業人士依賴于各種標桿來衡量存儲系統在不同條件下的相對性能。隨著存儲系統包含新的技術，包含數據縮減技術和作為高速緩存或自動分層的閃存記憶體，我們現有標桿組合的報告結果開始不能直接用于比較新一代存儲系統在實際世界中的性能。

　　最常用的存儲標桿是IOmeter。這個標桿原來是英特爾開發的，從2001年開始成為SourceForge上的開源項目。IOmeter可以執行不同大小的隨機和順序I/O操作，匯報IOPs(每秒輸入輸出)數字、吞吐率和系統延遲時間。IOmeter的優點是免費和便于使用。因此，我們已經開發出各種IOmeter訪問模式，混合了不同大小的IO請求以及隨機/順序訪問模式來模仿文件、網絡和數據庫服務器。

　　這幾年我們聽到應用程序廠商告訴我們說存儲系統高速緩存的影響應該減少到最小，我們調整了我們的測試套件來衡量實際的磁盤性能，將存儲系統RAM(隨機存取記憶體)高速緩存的影響最小化。由于即使今天的RAM高速緩存也只有數GB而已，因此在數據集或卷上運行幾次高速緩存大小的標桿測試可以確保我們不會將一個快速的高速緩存看成一個快速的存儲系統。

　　可是一旦我們開始測試以閃存為高速緩存或自動存儲層的存儲系統，系統將不再提供測試數據集上持續的性能。在運行實際應用程序的時候，數據一些部分，比如索引，將成為“熱數據”并由閃存提供訪問服務，而數據集的其他部分，比如事務日志或銷售記錄，只會被訪問一次或兩次。這些更冷的數據將由磁盤提供訪問服務。

　　問題是當IOmeter進行隨機IO操作的時候，它的IO請求是平均分布在被測試卷上的。和實際的應用程序不同，IOmeter不會創建熱點，因此，IOmeter的結果不會顯示出實際應用程序加入閃存后顯著的性能提升。

　　為了從復合存儲系統中獲得有意義的測試結果，我們的標桿需要按照實際應用程序訪問存儲的方式來訪問存儲。TPC-C和SPECsfs這樣的標桿基于的是實際用戶和應用程序的IO模式，因此它們會在測試數據上創建熱區域和冷區域，它們的結果比起IOmeter與真實世界的性能更加具有相關性。問題是這些標桿的獲取和運行很貴，因此廠商們一般都傾向于只匯報專門調整過的使用大量小型磁盤驅動器的高端存儲系統或其他在真實世界中比較罕見的配置方案的測試結果。

　　如果這還不夠讓人沮喪的話，那么另一個令人沮喪的情況是即使最先進的標桿也是寫入同樣的或隨機的數據來創建整個數據集。雖然磁盤驅動器和大多數SSD(固態驅動器)無論你給它們寫入什么數據都是一樣的性能，但是如果存儲系統配置有數據縮減技術(比如數據壓縮或重復數據刪除)的話，情況就不一樣了。如果我們測試一個執行在線重復數據刪除的存儲系統，比如來自Pure Storage、Nimbus Data或Solidfire的新一代全固態系統，那么使用一個持續按固定數據模式寫入的標桿，系統會在幾MB的記憶體里存儲到100GB的測試文件，排除幾乎所有到后端磁盤驅動器或閃存的IO，提供從理論上來說毫不實際的性能數據。

　　我們在Demartek的競爭對手最近貼出了由幾個流行標桿創建的數據文件，你可以看到問題的嚴重性。

　　創建一個可以在實際地點存儲實際數據的標桿是一個重要的任務。這個標桿必須從某種形式的目錄中讀取數據然后將數據寫入到測試系統。為了給一個500GB閃存的企業級存儲陣列創建足夠的傳輸流，我們將必須讓幾個服務器協同工作，讓它們從一個存儲系統中讀取源數據，而這個源數據存儲系統的速度至少必須和運行標桿測試的系統的順序IO速度一致。我確實很希望有人可以很快提出一個好解決方案。

原文鏈接：http://storage.it168.com/a2011/1222/1292/000001292470.shtml