本文從分布式存儲架構特點引入云環境下提供分布式存儲的使用場景，以及銀行業中適合承載的業務類型。并對分布式存儲在云環境下的基本部署進行描述。希望能夠加深大家對云環境中分布式存儲應用管理的理解，以充分利用分布式存儲實現塊存儲、文件存儲、對象存儲的方式和特點，補充集中式企業存儲的短板，針對PB級別海量非結構化數據等典型場景，體現存調優勢。
隨著互聯網數據規模越來越大，并發請求越來越高，傳統的關系數據庫系統在性能、價格、可擴展性方面已經不能很好地滿足需求。谷歌、亞馬遜等互聯公司率先在后臺基礎設施中引入超大規模分布式存儲系統，用來解決海量數據的存儲問題。與傳統的集中式存儲技術不同，分布式存儲沒有將數據存儲在某個特定節點上，而是通過網絡將各個節點分散的存儲資源匯聚成一個虛擬的存儲備，將數據分散在各處。相較于集中存儲，分布式存儲成本低，擴展性好，弱化了關系數據模型，可以得到高并發和高性能。
1分布式存儲概念及特點
分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。隨著各行業數字化轉型的加速，越來越多的數據被生產出來，分布式存儲成為我們應對海量數據挑戰的重要助力。從20世紀80年代開始，歷經幾十年的演進，分布式存儲已經走過了四個階段：第一階段是1980年代的網絡文件系統，通過少量服務器實現網絡環境下的簡單文件共享；第二階段是1990年代的共享SAN文件系統，已經能夠外接SAN設備實現更大的文件系統；第三階段是2000年代的Share-Nothing存儲，開始利用通用服務器構建起高擴展的存儲系統；第四階段是2010年代逐步產生的企業級云存儲，這類存儲開始具備豐富的企業特性，存儲性能、效率和數據保護能力有了顯著的增強，開始在各行各業中廣泛應用。
此外，不同類型的數據需要用不同的分布式存儲系統去處理。圖片、視頻等非結構化數據，由于個體相互之間沒有關聯，體積大，采用二級制，通常使用分布式文件系統進行存儲；自描述的數據結構和內容混在一起的半結構化數據，比較簡單的可以用分布式鍵值系統存儲，較為復雜的一般采用分布式表格系統來存儲區；結構化數據由分布式數據庫存儲。
2云計算的概念及特點
云計算是網格計算、分布式計算(Distributed Computing)、并行計算(Parallel Computing)、效用計算(Utility Computing)、網絡存儲、虛擬化(Virtualization)、負載均衡(Load Balance)等傳統計算機和網絡技術發展融合的產物。廣義云計算指服務的交付和使用模式，指通過網絡以按需要、易擴展的方式獲得服務。這種服務可以是IT軟件和互聯網相關服務，也可以是其他服務。狹義云計算指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需資源。總體來說云計算具有以下幾個特點：1)超大規模：“云”具有相當的規模，企業私有云一般擁有數百上千臺服務器并且能夠橫向平滑擴展，“云”賦予了用戶前所未有的計算能力；2)虛擬化：云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”，而不是固定的有形的實體。應用在“云”中某處運行，但實際上用戶無需了解、也不用擔心應用運行的具體位置；3)高可靠性：“云”使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性；4)通用性：云計算不針對特定的應用，在“云”的支撐下可以構造出千變萬化的應用，同一個“云”可以同時支撐不同的應用運行；5)高可擴展性：“云”的規模可以動態伸縮，滿足應用和用戶規模增長的需要；6)按需服務：“云”是一個龐大的資源池，你按需購買；7)廉價性：由于“云”的自動化集中式管理使大量企業無需負擔日益高昂的數據中心管理成本，“云”的通用性使資源的利用率較之傳統系統大幅提升，因此用戶可以充分享受“云”的低成本優勢。
3分布式存儲在云環境下的應用場景
3.1分布式存儲系統架構
云和AI時代，數據迎來海量增長。高速5G通信、高清8K視頻、自動駕駛和大數據分析等越來越多的新興應用正逐步推高對數據存儲的需求。企業不斷擴展業務邊界，整合云場景存儲資源，以更低TCO（Total Cost of Ownership)、更靈活的彈性部署應對非結構化數據快速增長。在這樣的背景下，分布式存儲架構成為了首選。各存儲廠家紛紛推出自己的分布式存儲產品，通過存儲系統軟件將每個硬件節點的本地存儲資源組織起來，按需為上層應用提供文件存儲、對象存儲、大數據存儲和塊存儲服務。實現海量數據儲存更經濟、多樣性數據使用更高效、在線業務承載更可靠。其系統架構如圖1。
目前大多分布式存儲產品都會提供基于三層的分布式存儲架構，會融合分布式文件、對象、大數據和塊多個服務形態，支持文件、對象、大數據服務部署在一個集群，并統一管理，整體功能架構由存儲接口層、存儲服務層、存儲引擎層和存儲管理組成，如圖2所示，此外還會提供一些殺毒、異構開源存儲管理的特色功能。
分布式存儲系統具有海量數據儲存更經濟、多樣性數據使用更高效、在線業務承載更可靠等優勢，已被廣泛應用于如下場景：
1)HPC（High Performance Computing)場景：在氣象、基因、石油等HPC高性能計算場景，應用對分布式存儲的性能要求高。文件服務提供的DPC可減少跨網絡傳輸延遲，并提供標準接口給應用，在不修改應用的情況下提供比標準協議更高的性能。
2)內容存儲、備份歸檔場景：高性能、高可靠的企業級對象存儲資源池可滿足互聯網數據、在線音頻/視頻、企業網盤等實時在線業務吞吐量大、熱點數據頻繁訪問的業務需求，以及長期保存、在線訪問需求。例如應用于金融電子票據影像、雙錄（錄音/錄像)，醫療影像、政企電子文檔和車聯網場景存儲、備份或歸檔。
3)大數據分析場景：大數據計算存儲分離解決方案可整合傳統數據孤島，構建統一的企業大數據資源池，結合大比例EC、存儲和計算分離按需部署和擴容等企業級能力，實現大數據業務效率提升及TCO降低。例如應用于金融大數據分析、運營商日志留存大數據和政務大數據等。
4)云/虛擬化場景：為云和虛擬化提供按需獲取、彈性擴展的海量存儲資源池，基于通用服務器大幅提升存儲資源的部署、擴展和運維效率。例如應用于金融互聯網渠道接入云、開發測試云，運營商BOM域業務云化、B2B云資源池、政務云等。
5)關鍵業務數據庫場景：通過分布式Active-Active雙活、穩定低時延等企業級能力，保障OLAP或OLTP類關鍵業務數據庫、數據倉庫高效穩定運行。
3.2云環境下分布式存儲的應用場景
用戶訪問層是基于云存儲開發的應用程序的入口，授權用戶可以通過標準的公共應用接口登錄云存儲系統，享受云存儲服務。云存儲產品服務商不同，云存儲提供的訪問類型和訪問手段也不同。
數據服務層是利用云存儲資源進行應用開發的關鍵部分，云存儲平臺通過數據服務層為用戶提供統一的協議和編程接口，進行應用程序的開發。應用接口層是云存儲最靈活多變的部分。不同的云存儲運營機構可以根據實際業務類型開發不同的應用服務接口，提供不同的應用服務。
數據管理層是云存儲最為核心的部分，也是最復雜的部分。數據管理層采用集群技術、分布式存儲技術，實現多存儲設備之間的協同工作，對外提供高可用性、可擴展性的服務，同時還負責數據加密、備份、容災以及必要的計費等任務。
數據存儲層是云存儲最基礎的部分，由不同類型的存儲設備和網絡設備組成。數據存儲層實現海量數據的統一管理、存儲設備管理、狀態監控等。存儲層位于云存儲的最下層，它是云存儲中最基礎的部分。存儲設備的選擇多種多樣各種存儲設備都可以用來構建這一層。云存儲中的存儲設備通常數量眾多且分布在多個不同位置，彼此之間通過互聯網或者光纖通道等把各種網絡連接在一起。分布在存儲設備之上的是一個統一的存儲硬件設備管理系統，通過這一層可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態監控和故障維護。
在行內分布式存儲主要以分布式SAN為虛擬化資源池提供服務，以分布式文件為媒體/視頻監控/HPC提供服務、以分布式對象為備份歸檔提供服務，以分布式數據庫為大數據服務。
3.2.1為云平臺底座提供基礎存儲資源
云環境下，分布式存儲系統能夠實現計算資源和存儲資源的單獨橫向擴展，計算資源不足時直接擴容計算節點，存儲空間不足時只需擴容存儲節點，極大地節省硬件資源降低成本。對于云平臺中部署的輕量級企業關鍵應用程序，可選用中等性能的磁盤類型，滿足性能要求不高但是要求具有豐富的企業級特性場景，例如普通數據庫、應用VM、中間件VM等數據存儲需求。通過云硬盤的形式掛載給虛擬機或裸金屬服務器使用，滿足企業用戶應用數據的存儲需求。
分布式存儲在云平臺提供基礎存儲服務，通過彈性云硬盤的形式提供給應用虛擬機和裸金屬使用，在應用對性能要求不高的情況下，通常在初期用于渠道類應用、各類外圍應用、灰度發布應用、容器技術應用、桌面以及開發測試環境，采用分布式存儲做云平臺底座存儲設備，提供彈性擴展、存算分離、存儲類型可選、EC糾刪可靠和高并發等便捷場景服務的作為結合點。
為了應對互聯網金融帶來的業務浪涌，除核心賬務系統采用集中式高端全閃存儲外，外圍業務以及海量非結構化數據業務場景已經全面向分布式存儲過渡。憑借分布式存儲的彈性資源分配能力，金融行業的新業務開發和部署效率相比傳統存儲都有所提升和加速，突發資源獲取周期從過去的天級縮短到小時級，資源池化后，存儲效率得到顯著提升，運維費用也不斷降低，整體TCO實現有效壓降。
銀行的七大類業務系統（賬務處理類、業務處理類、渠道服務類、服務支撐類、外聯三方類、數據服務類、辦公管理類），在與金融云平臺和分布式存儲架構功能特點的結合中，我們對各類系統的資源需求變動、業務迭代速度、數據一致性要求、并發要求進行分析，得出云平臺中適用的業務系統類型，如表1所示，進而為選擇和配置云平臺中各區域分布式存儲提供依據。
3.2.2為云平臺提供分布式數據庫存儲資源
在云計算平臺中，傳統數據庫以Oracle、DB2或者MySql的關系型數據庫為主，但是當單表數據量爆炸或者單個數據庫無法承受高強度I/O時，集中式數據庫是無法解決性能和數據處理瓶頸問題的，難以應對應用層的高并發數據訪問。業務核心數據庫使用場景需要支持應用高峰期的密集訪問，要求磁盤具有持續穩定的高性能和低時延，通過選用超高性能的磁盤類型，可以實現超強性能與超高可靠性的集合，滿足關系型數據庫等數據密集型場景下低時延、高I/O性能密度的嚴苛性能要求。
在基于MySQL的分布式數據庫中，分表支持動態漂移，隨著表的熱度和大小進行動態的擴容和伸縮，保證資源分配最優化；而分布式存儲節點可以無限水平擴展，從而提供可動態無限擴展的存儲容量；性能隨節點擴展而線性增長，滿足云計算平臺對容量和性能的需求，具備云服務所有的彈性、敏捷、按需和輕運維特性。因此，采用分布式存儲優化后用于數據庫的數據存儲，提高性能的同時確保了數據的安全性。
在金融及其他領域，基于分布式存儲加速多域融合，實現降本增效。通過對非關鍵業務進行云化部署，并使用分布式存儲構建統一的云資源池，實現多域融合。云資源池替換傳統存儲的煙囪化建設，大幅提升了存儲資源的利用率，業務上線時間也大幅降低，為金融行業降本節支提供了很大助力。
4分布式存儲在云環境下的部署
國內分布式存儲相對于集中式存儲而言是一種分布式技術，是在規格維度上按照擴展性進行分類的，國際上則是按照架構將存儲分為企業級存儲和軟件定義存儲，不論企業選擇存儲產品的資本與管理支出模式，也不論存儲廠商是否能夠真正做到分布式存儲的軟、硬件解耦，本文暫定已經完成了對比集中式存儲的全面而細致的選型評估過程，結合企業自身情況對分布式存儲能夠物善其用的前提下進行下面的實施與部署，對冷熱數據分層、數據湖建設需求以及高可用性要求能夠充分考慮，如果多個AZ在百TB級別以上，建議進行較為合理的規劃。
在云基礎架構中，分布式存儲有兩種部署形態，融合部署和分離部署，融合部署多用于云平臺管理區域服務的使用，分布式存儲多用于用戶業務使用。根據交換機組網形態分多種組網形態和部署方案，如存儲節點前后端共享網絡和前后端獨立網絡部署方案，以前后端獨立部署為例，按照前后端網口的類型又可分為10GE、25GE、100GE、IB網絡四種類型（10GE前端+10GE后端、25GE前端+25GE后端等)，本文以10GE前端+10GE后端獨立組網為例，闡述云平臺內分布式存儲系統的部署方式。
4.1組網規劃
規劃云平臺各網絡平面時，對分布式存儲業務網絡平面、存儲網絡平面和管理網絡平面進行合理規劃，如圖4和圖5所示，針對各個網絡平面進行規劃設計。同時，針對物理硬件設備進行角色梳理和機柜位置合理規劃，管理節點（管理分布式事務進程的服務器，負責塊存儲服務的告警、監控、日志、配置等操作維護功能)、存儲節點（提供存儲資源的服務器)、計算節點（運行應用系統的服務器)，根據不通功能角色規劃不同網絡平面地址。
1)業務網絡（iSCSI網絡)：用于計算節點和VBS之間通過iSCSI協議進行通信。
2)BMC/管理網絡：BMC網絡，用于接入節點Mgmt接口，提供遠程硬件設備帶外管理功能。
3)存儲網絡：用于VBS和OSD間或者OSD和OSD間數據通信。
4)容災復制網絡：用于主端存儲系統和從端存儲系統間網絡的數據傳輸。
4.2節點網口規劃
根據組網規劃，分別對計算節點、存儲節點的網口進行規劃，保持同一類型的節點網口位置和功能一致，方便實施和后續運維。計算節點按實際需要進行環境規劃各計算節點接口的用途和上行鏈路。對存儲節點的規劃，可根據服務器物理接口，如圖6所示：
規劃各存儲節點接口的用途和上行鏈路，以表2為例建立計算和存儲節點的節點總網絡規劃。
4.3硬件安裝和軟件部署
根據規劃的接口和連線規則，進行物理設備的加電、連線、網絡配置和測試，物理硬件初始化完成后進行分布式軟件系統的安裝部署，期間硬件安裝的如圖7所示。
根據分布式存儲軟件的安裝指南，進行分布式存儲系統的安裝，以華為OceanStor Pacific分布式存儲在華為云環境下的部署為例，主要安裝流程如圖8所示，主要流程如下。
1）分布式存儲系統安裝前準備
檢查交換機是否已經根據網絡規劃配置完成，并準備相關的軟件包、安裝工具和安裝指導文檔。
2）準備管理虛擬機
在對接云平臺時，通過Web-UI方式在云平臺虛擬化底座中安裝管理節點虛擬機，以便后續為管理節點安裝管理軟件。
3)配置Fusionstorage-Block角色
通過云平臺底座虛擬化系統的安裝部署界面，為計算節點配置Fusionstorage-Block角色，并保證網絡通信正常。
4)配置各節點BMC管理面IP并檢查存儲節點各檢查項指標
配置各節點BMC管理面IP，通過該遠程管理系統可以對硬件進行高可靠的監測和管理。同時，安裝前對存儲節點服務器的固件版本、操作系統版本、操作系統是否安全加固、系統盤緩存策略、JBOD功能、SMMU功能、設備固件驅動版本以及查硬盤背板的兼容性。
5)配置節點管理網絡
按照網絡規劃，對存儲節點進行管理節點網口IP配置。
6）安裝分布式存儲軟件
按照安裝流程，進行分布式存儲軟件部署（安裝管理節點、增加存儲節點、配置存儲網絡、安裝存儲節點、創建控制集群)。
根據技術能力和實際場景可部署GFS、Ceph等開源分布式存儲軟件，以Hadoop集群為例，由云平臺進行統一納管，則在基礎配置之后（配置jdk環境、配置集群環境變量、關閉防火墻、修改主機名、master和slave的IP地址、配置SSH免密登錄），進入HDFS集群配置（安裝master和slave的hadoop文件、配置core-site文件調優、集群環境變量、并啟動集群和web管理），完成與云平臺的對接。對于存量的Hadoop/HDFS集群，而且存有多種格式數據量大的情況，可考慮利用類似DI on Hadoop的遷云工具進行對接。
7)配置交換機流控并加載存儲License
當存儲網絡使用RoCE組網時需要配置交換機流控，對后端網絡進行流量閾值監控，同時加載分布式存儲授權license，并登錄云平臺管理面使用分布式存儲提供的彈性云硬盤服務。
4.4分布式存儲測試與上線
在分布式存儲部署完成之后，通過設備常規檢驗測試、兼容性測試、功能測試、性能測試、穩定性和可靠性測試，以及運維管理功能等非功能方面的測試，全面驗證分布式存儲各方面特性，之后在云管平臺中實現對基礎設施中存儲資源進行納管與上線，各企業都有成熟的流程規范，在此不再贅述。
5總結
本文從云和分布式存儲各自特點出發，從分布式存儲架構特點引入云環境下提供分布式存儲的使用場景和銀行業中適合承載的業務類型。后續對分布式存儲在云環境下的基本部署進行描述，希望能夠加深云環境中分布式存儲應用管理的理解，充分利用分布式存儲實現塊存儲、文件存儲、對象存儲的方式和特點，補充集中式企業存儲的短板，針對PB級別海量非結構化數據等典型場景，體現存調優勢，為云環境提供有力資源保障的同時，分布式架構為運維能力和技術水平提出了更高的要求標準和規范。
物聯網、人工智能、區塊鏈等新技術的不斷產生和迭代，會給云計算帶來顛覆性的改變，數字資產的安全保障，態勢感知等技術發展都是應運而生的必然產物。在元宇宙的時代，萬物皆有虛擬化身，而云計算作為數字化的基礎設施，勢必準備好為元宇宙提供高性價比、高可靠、高兼容性、高擴展性、高運算速度的特性，最終實現打破時間和空間的界限，實現社交、游戲、辦公等場景的虛擬和現實的融合。
