大型企業的存儲管理員可以借鑒全球主要的超大規模云計算提供商的基礎設施設計原則來優化自己的存儲系統和操作。
為超大規模云平臺提供動力的數據中心和IT系統代表了IT基礎設施設計和實施的頂峰。它們提供超出企業需要的可擴展性、可靠性和吞吐量水平。
也就是說，包括存儲管理員在內的企業IT團隊可以從Google、AWS和其他全球主要公有云提供商那里學到很多東西。通過采用某些超大規模數據中心設計原則，存儲管理員可以致力于打造更具可擴展性、彈性和自動化的IT存儲系統。
關鍵的相似性和差異
超大規模云計算提供商和企業IT運營商都在努力適應數據的爆炸式增長。在支出方面，他們也有相似之處。在構建服務器和存儲系統時，這些支出對云計算運營商和在線服務提供商都很重要，由于IT系統中的設備數以萬計，看似很小的成本將會積少成多。雖然有些企業不太關注這樣的成本，并且愿意為值得信賴的云計算供應商的產品支付更多費用，但沒有任何IT組織愿意浪費。
為了最大限度地降低運營成本(這是IT成本優化的一個關鍵方面)，超大規模云計算提供商并不需要人工監督的每項任務實現自動化。任務自動化的關鍵是軟件，在云計算基礎設施的背景下，它需要用可以在標準服務器上運行的可擴展軟件替換特定功能的硬件。
超大規模云計算運營商的這些和其他要求以多種方式重塑了服務器、網絡和存儲行業，其中包括：
•分布式冗余和可擴展性的新技術；
•專注于由商品組件構建的靈活硬件；
•伴隨著從專用設備到在易于更換的標準服務器上運行的軟件定義服務的轉變。
一旦IT組織和工程師采用云計算方法來處理，它就將所有IT服務(無論是計算資源還是存儲池)轉換為軟件處理。
超大規模數據中心設計和存儲影響
雖然傳統企業和公有云基礎設施之間存在相似之處，但這種類比并不適合。例如，傳統架構往往涉及IT團隊必須人工管理和修改的高成本基礎設施。這些架構也往往具有少量固定數量的組件。然而，這種傳統的固定基礎設施對于公有云來說沒有意義，因為云計算具有按次付費模式;如果企業減少其基礎設施足跡，就可以降低成本。公有云資源也會自動擴展。因此，隨需應變的云服務屬性不適用于私有基礎設施。
盡管如此，IT團隊可以應用以下超大規模數據中心設計原則來優化企業存儲：
(1)采用軟件抽象層
服務器是第一個虛擬化的基礎設施層，在物理硬件和邏輯資源之間有一個軟件抽象層。虛擬機(VM)成為企業應用程序的標準運行時環境。在過去的十年中，隨著虛擬機演變為容器，軟件虛擬化已經遍布整個數據中心。軟件定義網絡催生了軟件定義廣域網、網絡功能虛擬化和虛擬網絡覆蓋。軟件定義存儲(SDS)已將數據存儲設備與信息管理和數據放置控制平臺分離。
最初的軟件定義存儲(SDS)平臺是為特定用途而設計的，例如為虛擬機實例和數據庫提供塊卷。最近的產品變得與格式和協議無關，能夠跨多個節點分片數據并將其呈現為邏輯卷、網絡文件共享或對象存儲。為了提供硬件的靈活性，軟件定義存儲(SDS)還可以與具有集成JBODSSD、HDD硬盤和NVMe設備的標準服務器配套使用。
(2)構建服務而不是基礎設施
通過將資源與物理硬件隔離，軟件抽象層提供了混合和匹配硬件的靈活性，可以讓團隊將資源打包為服務而不是原始基礎設施。企業從超大規模云計算提供商那里獲得啟發，使用軟件定義存儲(SDS)提供對象、文件或卷服務，這些服務不僅包括容量，還包括備份、長期存檔、版本控制和質量保證(QoS)級別等具有價值的輔助功能。
交付服務而不是基礎設施也為基礎設施設計和相關服務的打包提供了靈活性。它可以在不更改交付和計費模型的情況下實現功能和性能升級。借助存儲即服務，管理員還可以使用具有不同性能和成本特征的服務器和驅動器來提供不同的服務層，以及將數據分布在多個數據中心和區域之間以獲得更高的可用性。
(3)自動化設計
用軟件定義的數據和信息管理服務代替原始存儲也促進了任務自動化。這反過來又降低了運營支出，減少了配置時間，并提高了可靠性。軟件定義存儲(SDS)支持編程控制，因為它公開了大量用于存儲配置、部署、軟件更新和用戶配置的API。如果希望像超大規模云計算提供商一樣提供存儲，可以在Terraform、Ansible、SaltStack或VMwarevRealizeAutomation等自動化和基礎設施即代碼平臺中使用軟件定義存儲(SDS)產品公開的API，因為這會將人工流程轉換為可編程腳本。
(4)計劃失敗
服務器和存儲設備經常宕機。而對于擁有數十萬臺服務器和數百萬個驅動器的云計算提供商來說，發生故障屢見不鮮。應該為應對失敗進行設計，確保宕機的驅動器或服務器不會破壞存儲卷或對象blob。一種標準技術涉及將文件、blob或卷分片為在多個驅動器、節點和數據中心之間復制和分布的塊，使用糾刪碼、散列或類似算法來保證數據完整性。
有些故障不涉及數據破壞，而是損壞或性能損失。云計算運營商可以持續監控此類事件，并使用自動通知系統和腳本來修復或減輕損害，而無需人工干預——并且希望在用戶注意到之前解決。監控還可以確定任何損壞或中斷的程度，并將傳入的存儲請求路由到完整的副本和未受影響的數據中心。
(5)強調可擴展性
IT團隊一直在努力滿足存儲容量需求。但是如今，加速的數據增長已經在許多企業中帶來了危機。要像超大規模云平臺一樣構建存儲，需要按照摩爾定律類型的增長進行設計。管理員應該能夠添加存儲節點和JBOD陣列以無中斷地擴展橫向擴展系統。
軟件定義存儲(SDS)對此類設計至關重要，因為它將控制平臺(卷、文件和節點管理和配置)與數據平臺(存儲節點和陣列)分開。因此，向分布式系統添加容量不需要刪除和遷移卷。相反，IT人員可以添加節點，并使系統能夠在新的可用容量之間自動重新分配數據。
與傳統的基于SAN的企業存儲設計不同，超大規模云平臺不會縱向擴展和整合——它們橫向擴展和分布。他們還使用監控遙測和預測機器學習算法來確定容量增加的擴展配置文件，其目標是在不浪費太多預留空間的情況下擁有足夠的容量。
(6)記住機器是可替代的
與傳統存儲系統相比，運行軟件定義存儲(SDS)堆棧的標準服務器可以節省資金。企業可以采用廉價的商品服務器替代昂貴的專有存儲硬件。然而，這些服務器是可替代的，由于每個文件或數據塊都在多個節點上的驅動器之間復制，因此一兩個系統的故障不會影響整個數據量。機器互換性和數據冗余還讓IT人員可以在方便的時間批量進行維修或更換。
企業的IT組織必須能夠證明橫向擴展分布式設計所需的系統數量是合理的。
