【作者】陳萍春，現就職于保險行業，擁有多年的系統、存儲以及數據備份等運維工作經驗。
1. 概述
隨著互聯網類新興業務的激增、業務數據快速增長，使得企業數據中心存儲系統面臨新的挑戰：大數據、云計算等新技術應用帶來了新的存儲應用場景；海量數據存儲沖擊著傳統存儲架構，性能容量成為瓶頸；存儲系統擴容和新建周期長，無法滿足業務敏捷需求。
云存儲技術應運而生，敏捷、資源可彈性部署、按需獲取的特性很好地滿足了數據中心海量數據和新興業務快速上線的存儲需求。
2. 云存儲技術分析
顧名思義，云存儲是在云計算基礎上衍生和發展出來的，通過網絡將大量異構存儲設備構成了統一的存儲資源池，在集中式存儲技術基礎上，融合了分布式存儲、多租戶共享、軟件定義存儲等多種云存儲技術。
新技術應用都有其兩面性，在設計構建云存儲架構框架之前，有必要詳細了解和剖析云存儲技術，這樣才能結合自身需求做好規劃。下文將從云存儲通用框架、存儲硬件架構以及分布式底層存儲技術這三方面展開敘述。
2.1 云存儲通用框架
相比于傳統存儲來說，云存儲系統是一種層次化的體系結構，其通用框架可參考圖 1 分為云存儲服務和云存儲資源池兩種，其中云存儲資源池是云存儲最為核心的部分。
圖 1.云存儲通用框架圖
云存儲資源池又可細分為數據存儲層、存儲抽象層和存儲接口層。數據存儲層是云存儲的基礎，由不同類型的硬件設備組成，提供多種 IO 性能的存儲資源；存儲抽象層實現了不同類型的存儲設備的邏輯虛擬化管理，為上層應用提供不同存儲資源的抽象，實現存儲資源的靈活調配；存儲接口層提供了不同類型的存儲接口，實現存儲系統與外部應用的數據傳輸。
云存儲服務為用戶提供統一的協議和編程接口，提供云數據盤和對象存儲服務，是云存儲資源調度控制的入口，授權用戶可以公共應用接口訪問云存儲。
2.2 云存儲硬件架構
數據存儲層可根據差異化的需求、細分行業以及不同的應用場景，部署不同架構的數據存儲，這也是存儲硬件選型的關鍵。一般可分為集中式和分布式兩種存儲架構，其中分布式存儲中又可以依據計算與存儲是否解耦，再細分為獨立部署與超融合兩種架構，下文將對這三種架構存儲進行評估。
2.2.1 集中式存儲
集中式存儲的代表是傳統 SAN 存儲或 NAS 存儲，使用專用硬件和存儲控制器。其架構如圖 2 所示，存儲控制器采用雙控或多控互聯架構，包含 RAID 功能和大容量 Cache 。控制器后端連接到磁盤柜，磁盤柜包含了多個 RAID 組，每個 RAID 組又包含多塊磁盤，這就組成了集中式的磁盤陣列。
圖 2.集中式存儲硬件架構示意圖
集中式存儲一般提供塊存儲或文件存儲接口服務，其優點可總結為：
性能：IO 分片粒度小，數據 IO 傳輸路徑短，表現為低時延和高 IOPS ；
可靠性高 ：專有硬件和存儲控制器的可靠性高，基于 RAID 和硬件冗余等技術也較成熟；
數據強一致性： 控制器、磁盤間的集中式互聯架構最大限度地保證了數據的強一致性。
當然傳統集中式存儲也有其劣勢，這也是分布式架構興起的原因，表現在：
擴展性差： 集中式存儲是無法無限制地擴展磁盤柜的，受限于存儲控制器的擴展能力；
成本較高： 集中式存儲的高可靠專有硬件也會帶來更高的設備采購成本和維保成本。
2.2.2 分布式存儲 - 獨立部署架構
分布式存儲采用可擴展的系統結構，通過網絡將數據分散存儲在多臺獨立的存儲節點上，其架構如圖 3 所示，分布式存儲 - 獨立部署架構由多個專門的存儲節點組成，對外提供各種存儲服務。
圖 3.分布式存儲 -獨立部署架構示意圖
分布式存儲不再依賴于傳統專用硬件，大部分部署在通用服務器之上，通過軟件定義的方式來實現核心存儲邏輯，其優勢在于：
靈活迭代： 相比于硬件的迭代，軟件版本迭代周期更快更靈活；
硬件成本低： 消除了專有硬件依賴，硬件成本低；
易擴展： 分布式架構易于橫向擴展，性能容量線性擴展。
而分布式存儲的劣勢在于：
復雜度高： 相比于集中式單體架構來說，分布式運維復雜度高；
穩定性低： 部分產品技術成熟度不夠，硬件故障或系統異常場景下，存儲性能易受影響。
2.2.3 分布式存儲 - 超融合架構
超融合架構是一個包含計算、網絡、存儲的整體架構解決方案，其存儲本身也是分布式存儲。在超融合形態中，計算與存儲是同一軟件堆棧運行在通用服務器中的，其架構如圖 4 所示，大多數超融合產品在其節點上會部署控制器虛擬機 CVM ， CVM 會承擔存儲服務功能，而普通的虛擬機需與 CVM 通信才可訪問數據存儲。
圖 4.分布式存儲 -超融合架構示意圖
超融合傾向于計算層和存儲層可以很好耦合的設計理念，除了分布式存儲的優點外，其優勢還包括：
降低運維復雜度： 通過架構設計、部署、日常運維管理的簡化，單一廠商可提供所有軟硬件的支持。
而分布式存儲的獨立部署架構的優勢在于資源自由調配、計算與存儲層可獨立部署擴展。這樣來看，超融合的劣勢如下：
新的資源孤島： 無法與外部做資源共享，會帶來資源利用率和統一管理問題；
性能問題： 計算與和存儲會爭搶服務器硬件資源和網絡帶寬，性能問題會更明顯；
橫向擴展性不足： 性能風險也間接帶來了無法大規模部署的問題；
系統內部復雜性： 系統架構的簡化帶來了更高的內部復雜性。
2.3 分布式底層存儲技術
相比于集中式存儲，分布式存儲的復雜性更高，但更適應大規模的云部署場景，有必要深入了解其底層原理。分布式存儲存在著獨立部署和超融合的硬件架構差異，而從邏輯層面來看，不管是獨立部署還是超融合架構，又主要分為分布式文件系統（ DFS ）和分布式鍵值（ k-v ）存儲這兩種存儲技術。
2.3.1 分布式文件系統
云存儲技術的復雜性還在于存儲虛擬化技術，它屏蔽了數據 IO 與底層數據存儲的映射與實現細節。如圖 5 所示，分布式文件系統（ DFS ）是一種虛擬文件系統，本身有著文件目錄結構特征。而 DFS 對外提供的存儲單元則是由文件組成，這些文件又會被邏輯分片，再按照多數據副本分布算法分布到不同數據節點上。
圖 5.基于 DFS的云存儲底層原理示意圖
基于 DFS 的云存儲邏輯清晰，也有著比較廣的應用范圍，比如 GFS 、 HDFS 等典型應用，包括一些超融合底層存儲也是基于 DFS 來實現的，但也存在著明顯缺陷：
擴展性受限： 基于目錄結構的文件系統，會成為 DFS 大規模擴展的瓶頸；
性能方面： 文件目錄信息可以通過緩存到內存中來提高定位數據的速度，但是當文件數量達到一定量級時，硬件無法滿足時，性能會急劇下降。
2.3.2 分布式鍵值存儲
分布式文件系統的文件目錄管理遵循著 map-reduce 的設計思路，化大為小，分而治之，再合并處理，其架構中需要元數據管理節點來協調，本質上還是一種中心化；分布式鍵值（ k-v ）存儲是一種無中心化架構，解決了主節點本身的瓶頸，其架構設計思路則是均衡設計，所有節點的地位都是對等的，通過數據布局算法均衡分布在不同節點上。一致性 hash 算法和虛擬節點是一種通用做法，不同于簡單散列 hash 將數據分布在一條直線上，而是采用首尾相連，將整個哈希值空間組織成一個虛擬圓環。
ceph 是一種典型基于分布式鍵值的存儲系統，其 object 數據分布采用的是 crush 算法，是在一致性 hash 算法基礎上，充分考慮多副本、故障域隔離等約束設計而來，其實現原理如圖 6 所示。
圖 6.基于分布式 KV的云存儲底層原理示意圖
與基于 DFS 的云存儲相比，基于分布式 KV 的云存儲可以支持更好的擴展性，但是也存在如下缺陷：
復雜度高： 基于分布式 KV 的云存儲又增加了一層存儲抽象，系統設計和運維復雜度都很高；
性能方面： 寫入延時增加，多數據副本寫入的時延更高一些；
3. 云存儲架構框架設計
3.1 總體設計原則和方法
云存儲總體設計應堅持以下三項原則：
合適原則： 應與具體所處行業和應用場景相適應，考慮企業實際業務應用情況，注重成本、收益、風險三方面的平衡；
簡單原則： 云存儲架構框架本身具有很高的復雜度，架構設計和實際落地過程中更應注意循序漸進，化繁為簡；
前瞻性原則： 應采用業界主流云存儲技術，保持技術的先進性，考慮架構的擴展能力。
云存儲分析設計包括兩種思維方法：
1)自頂向下
自頂向下方法是從云計算的整體架構出發，逐步求精，去分析設計云存儲通用框架及其組成元素。該設計分析方法既需要對問題域有清晰的了解，對行業未來一段時間內的應用場景有清晰的認識，又需要能把控住求解域，對云存儲技術發展和應用有深刻的認識。
2)自底向上
自底向上方法則相反，針對實際需要解決的問題，去做云存儲產品的技術選型，逐步搭建云存儲架構框架，從具體到抽象。
云存儲架構框架設計采用哪種方法是需要根據企業實際情況來定的，自頂向下方法需要更高的技術把控力，也需要更多的項目預算，落地前需要謀而后動，充分測試；而自底向上的方法則追求快速應用落地，但需要注意技術應用的連貫性，也需要考慮架構框架最終目標。
而以我司實際情況來看，更適合采用自低向上的方法，根據各種業務應用場景，去評估落地適合的云存儲方案，降低試錯成本，在不斷的實踐過程中，去推進云存儲架構框架的演進。
3.2 需求分析
3.2.1 應用場景分析
不同行業、業務場景往往決定了云存儲不同的應用場景，傳統行業和互聯網行業之間往往也有著明顯差異：
核心業務應用場景： 傳統行業核心業務邏輯的變化不頻繁，核心系統的業務量增長是規律的，可預估的，系統架構穩定；而互聯網行業來說，業務系統追求敏捷迭代，業務量起伏變化較大，系統架構從簡單到復雜，要求彈性伸縮；
互聯網業務應用場景： 對于傳統行業來說，互聯網是一種新的業務拓展渠道，是業務轉型的方向，需要逐步試點開放的；
非結構化數據場景： 非結構化數據場景也有很大差異，在部分場景下，非結構化數據多是系統產生或收集的臨時數據，一次寫入多次讀取，要求 IO 性能穩定，如個人網盤場景；另外一些場景下，非結構化數據要求長期存放，一次寫入很少讀取，逐漸成為冷數據，典型的如銀行保險業務雙錄場景；
數據災備與安全： 無論是傳統行業還是互聯網行業，都需要考慮業務連續性需求，建立數據災備體系和敏感數據保護方案。而金融行業還有著更加嚴格的國家法律法規和金融監管部門要求，業務系統的 RTO 、 RPO 要求更加明確，重要、敏感數據需要安全可控，一般會審慎選擇云存儲的部署模式。
3.2.2 數據存儲需求
- 部署模式
敏感數據情況決定了云存儲的部署模式，對于涉及敏感數據較多的系統，一般采用私有部署模式；對于非敏感數據，云存儲的成本往往是一個是重要的考慮點，公有云部署除了考慮數據存儲費用外，也還需考慮存儲流量費用。
綜合考慮我司的業務應用場景，云存儲排除了公有云模式，而是采用了私有部署模式。
- 存儲訪問接口
存儲訪問接口對應的是云存儲的功能需求，對于我司來說，包括塊存儲、 NAS 存儲接口和對象存儲 S3 接口。塊存儲對應于云服務器硬盤需求， NAS 存儲對應于多個云服務器間的文件共享需求，對象存儲 S3 接口對應于互聯網類業務非結構化數據存儲和冷數據歸檔需求。
- 數據存儲分級
數據存儲分級可以在滿足不同業務系統存儲需求的基礎上，降低整體云存儲成本，結合我司業務情況分為：a). 核心業務類型系統及其數據庫，需要最高的存儲性能和可靠性；b). 其他輕量級數據庫，需要較高的存儲性能和可靠性；c). 互聯網類新業務和其他非關鍵類應用，需要一定的存儲性能和較好的擴展性；d). 非結構化類型業務數據，需要較高的擴展性，存儲性能要求不高；e). 數據備份與歸檔，數據存儲冷熱分層；f). 開發測試系統，利舊存儲。
3.3 云存儲總體架構
從行業發展趨勢和企業 IT 戰略轉型方向看，我司傳統業務依然處于基礎性的重要地位，這也決定了集中式存儲架構將與分布式存儲架構長期并存的狀態。分布式存儲架構主要用于新的線上業務場景，集中式 SAN 存儲和 NAS 存儲在傳統業務場景依然占據重要地位。
最終確立了統一納管異構存儲資源，提供多種類型數據接口、面向海量數據場景的云存儲架構，如圖 7 所示 . 可通過引入超融合架構來構建私有云 IaaS 平臺，實現 IT 基礎架構云化轉型，分別構建開發測試、互聯網類新業務應用等超融合集群。而海量的半結構化和非結構化數據需要通過分布式對象存儲來構建可彈性擴容的數據湖，采用基于策略的數據全生命周期管理，提供熱、溫、冷不同資源池，實現數據在不同資源池以及云平臺間的流動和分層。
圖 7.云存儲架構示意圖
3.4 架構設計評估
云存儲架構設計是否合理，需要從敏感點、權衡點以及架構風險點這三個方面去評估：
- 敏感點
敏感點對應于不同數據存儲的共有的一些特性，比如存儲的軟硬件成本、可靠性、存儲 IO 性能、架構復雜度、靈活擴展能力、資源孤島、故障域隔離和可管理性等屬性；
- 權衡點
權衡點則是影響多個架構質量屬性的敏感點，需要架構師評估取舍的部分。比如存儲架構是集中式還是分布式決定了存儲的架構復雜度和靈活擴展能力；存儲的軟硬件成本也很大程度上決定了存儲的可靠性和性能；資源孤島雖然會造成資源浪費，但合理規劃好，也是故障域隔離的前提。
- 風險點
對于架構師來說，最需要關注的往往是架構中的風險點，是架構設計成敗的關鍵。分布式存儲架構存在著復雜度高、新技術引入風險以及版本迭代速度快等風險點；超融合架構還面臨著擴展性受限、資源孤島等風險；而傳統存儲架構主要風險點在于難以應對海量數據存儲擴展，成本較高，與新技術的適配度也不高。
對應于我司的云存儲架構設計，傳統 SAN 存儲性能穩定， IO 延時低，成本高，不易擴展，但適合于核心業務場景；NAS 存儲性能不高，但易于使用和文件共享，成本也不高，適合于絕大多數文件共享訪問場景；分布式對象存儲性能一般，架構復雜度高，但可以靈活擴展，支持海量數據存儲，成本低，適合于海量結構化數據存儲和互聯網業務場景；而超融合架構可以很好地與計算資源融合，架構簡單，成本低，雖然有擴展性受限和資源孤島問題，但結合公司業務和計算資源配比建立不同超融合集群，可以做好數據存儲分級，隔離不同的故障域。
3.5 技術選型
按照云存儲架構設計評估，我司還需要分別引入分布式對象存儲和超融合兩種不同硬件架構的云存儲方案。結合云存儲底層存儲技術的分析，分布式對象存儲更適宜采用基于分布式鍵值存儲的產品，性能需求不高，擴展性更強；超融合則傾向于基于分布式文件系統的產品，邏輯架構更加清晰，并不追求超大規模部署，而小規模部署下性能更有優勢。
對于傳統行業來說，開源云存儲技術并不能拿來即用，是不適應不同業務系統的存儲需求的。要在云存儲這樣的基礎架構領域做到技術自主是非常困難的，也缺乏相應的技術積累、人才隊伍建設和研發資源投入。因此大多數傳統企業都需要選擇不同廠商的云存儲產品，做技術選型也就是在篩選不同廠商產品。
不同廠商的分布式存儲都會有其清晰的市場定位和優勢場景，其中廠商對于存儲產品核心技術的把控能力是最重要的，其次是廠商的售后服務水平，當然還要看產品的定價水平。對于我司這樣的中小企業來說，更傾向于跟隨策略，篩選市場份額前列、有大規模的同行業落地案例的廠商產品。
在篩選出了廠商產品之后，技術層面還需要做好 POC 測試，來驗證技術選型。對于云存儲產品來說，選型測試還需要考慮以下六點：
- 業務應用場景
業務類型決定了數據存儲分級標準，數據類型決定了使用存儲連接方式以及云存儲產品類型等功能需求，數據容量則決定了云存儲的擴展性能力要求；
- 兼容性
對于云存儲產品來說，軟硬件的兼容性是一個重要指標，包括通用服務器選型、設備微碼驅動版本、操作系統版本、不同虛擬化平臺等的兼容性；
- IO性能
IO 性能也是云存儲是產品是否適配業務應用場景的另一個重要考量點，相比于通用的存儲性能指標數據，業務場景下的測試更有說服力；
- 高可靠性
通過開展破壞性測試，來驗證云存儲產品的高可靠性；
- 易管理性
分布式架構復雜度高，云存儲的易管理性關系到運維人員是否能很好地管控云存儲；
- 數據保護和容災
數據保護和容災會增加成本，但依然需要考慮數據多維度的安全。
