HPC（高性能計(jì)算）話題備受矚目，不僅因?yàn)楸就料到y(tǒng)在業(yè)界博得好評(píng)，更重要的是高性能計(jì)算逐漸走進(jìn)每個(gè)人的生活，并且發(fā)揮著不可或缺的作用。比如說(shuō)金融、氣象、能源、制造等行業(yè)中的很多企事業(yè)都在應(yīng)用高性能計(jì)算，作為普通百姓的衣食住行，我們?cè)谒⒖ㄙ?gòu)物、打電話、聽(tīng)天氣預(yù)報(bào)、出門坐車時(shí)也已經(jīng)在享受高性能計(jì)算所帶來(lái)的準(zhǔn)確與方便。
談到HPC，大家最關(guān)注的總是計(jì)算性能，卻鮮有人談到HPC的存儲(chǔ)系統(tǒng)，即并行文件系統(tǒng)。在近期舉辦的一次溝通會(huì)上，中國(guó)氣象局正研級(jí)高工洪文董、中國(guó)高性能計(jì)算TOP100排行榜發(fā)起人袁國(guó)興、中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專業(yè)委員會(huì)秘書(shū)長(zhǎng)張?jiān)迫獛孜籋PC領(lǐng)域的專家，不約而同地就HPC領(lǐng)域并行文件系統(tǒng)的重要價(jià)值闡述了各自的觀點(diǎn)。
并行文件系統(tǒng)是HPC實(shí)現(xiàn)資源調(diào)度和性能優(yōu)化的關(guān)鍵因素
在高性能計(jì)算領(lǐng)域，尤其以氣象部門為例，很多天氣預(yù)報(bào)的模式都是將任務(wù)分成多個(gè)小任務(wù)，最后通過(guò)網(wǎng)絡(luò)將其歸結(jié)到一起。并行計(jì)算快速進(jìn)行，而相應(yīng)的數(shù)據(jù)量也隨之激增，這就需要有并行文件系統(tǒng)進(jìn)行處理。
中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專業(yè)委員會(huì)秘書(shū)長(zhǎng)張?jiān)迫跍贤〞?huì)上表示，在高性能計(jì)算領(lǐng)域，需要通過(guò)并行來(lái)實(shí)現(xiàn)加速，而這樣的加速對(duì)于高性能計(jì)算來(lái)說(shuō)，有著重大的意義。
中國(guó)氣象局正研級(jí)高工洪文董說(shuō)，“要實(shí)現(xiàn)HPC系統(tǒng)的科學(xué)計(jì)算的效能，就一定需要一個(gè)并行的文件系統(tǒng)。CPU需要通過(guò)并行文件系統(tǒng)將眾多的存儲(chǔ)硬件管理起來(lái)，尤其在氣象領(lǐng)域，數(shù)據(jù)相互之間是有關(guān)聯(lián)的，計(jì)算的結(jié)果之間要進(jìn)行交換，這對(duì)于并行文件系統(tǒng)的要求就更高。”
因此，洪文董認(rèn)為，一般的開(kāi)源并行文件操作系統(tǒng)并不能滿足科學(xué)計(jì)算領(lǐng)域HPC系統(tǒng)的需求，因?yàn)樵诳茖W(xué)計(jì)算領(lǐng)域，大多數(shù)時(shí)候文件系統(tǒng)存儲(chǔ)的數(shù)據(jù)相互之間是需要相互影響的，即它們是分布共享并行文件系統(tǒng)，不像社會(huì)計(jì)算領(lǐng)域，如電信、網(wǎng)絡(luò)、物流等，每個(gè)文件系統(tǒng)的數(shù)據(jù)相互之間沒(méi)有關(guān)系，它們是分布并行文件系統(tǒng)。這兩種模式對(duì)于文件系統(tǒng)的要求是完全不一樣的。
中國(guó)高性能計(jì)算TOP100排行榜發(fā)起人袁國(guó)興也認(rèn)為，在HPC系統(tǒng)中，存儲(chǔ)系統(tǒng)的響應(yīng)速度必須要盡可能地高，同時(shí)并行文件系統(tǒng)也需要盡可能地高效，否則，系統(tǒng)產(chǎn)生的數(shù)據(jù)量激增，即便計(jì)算系統(tǒng)速度再快，如果并行文件系統(tǒng)無(wú)法快速響應(yīng)，那么也會(huì)急劇降低HPC整體系統(tǒng)的性能。
并行文件系統(tǒng)可以把多個(gè)結(jié)點(diǎn)上的磁盤組織成為一個(gè)大的存儲(chǔ)系統(tǒng)，提供更大的存儲(chǔ)容量和聚集的I/O帶寬，并隨系統(tǒng)規(guī)模的擴(kuò)大而擴(kuò)展，在多種存儲(chǔ)環(huán)境下發(fā)揮著重要的作用，尤其是集群結(jié)構(gòu)的高性能計(jì)算領(lǐng)域。
同時(shí)，張?jiān)迫J(rèn)為，現(xiàn)在大數(shù)據(jù)的發(fā)展，使得HPC的研究有了新的用武之地，產(chǎn)生了眾多的新興交叉學(xué)科。無(wú)論對(duì)于深度學(xué)習(xí)還是大數(shù)據(jù)分析、在線游戲而言，各種全新的應(yīng)用對(duì)于HPC提出了全新的需求，這些對(duì)于HPC的存儲(chǔ)系統(tǒng)，尤其是并行文件系統(tǒng)提出了各種挑戰(zhàn)。
從高性能上看，GPFS即現(xiàn)在的IBM Spectrum Scale，通過(guò)將I/O分布在多個(gè)硬盤提高性能，能夠高效工作在1個(gè)節(jié)點(diǎn)到4000多個(gè)節(jié)點(diǎn)的集群環(huán)境中，也能夠很好地支持SSD盤和閃存陣列。
同時(shí)，可靠性是高性能運(yùn)算的重中之重，在GPFS環(huán)境中，某一節(jié)點(diǎn)的硬盤連接丟失，不會(huì)影響到其他的節(jié)點(diǎn)，GPFS使用RSCT的功能持續(xù)監(jiān)控不同文件模塊的健康狀態(tài)，當(dāng)任 一錯(cuò)誤被檢測(cè)到時(shí)，相應(yīng)的恢復(fù)動(dòng)作將自動(dòng)執(zhí)行。GPFS還提供了額外的日志和恢復(fù)功能，可以維持元數(shù)據(jù)的一致性。最大三副本，可支持節(jié)點(diǎn)的自動(dòng)Failover。相較于開(kāi)源的CEPH，作為商用系統(tǒng)代表的GPFS，經(jīng)歷了大量的實(shí)踐和檢驗(yàn)，相對(duì)來(lái)說(shuō)更加穩(wěn)定和可靠。
洪文董認(rèn)為，“從商用軟件的角度來(lái)說(shuō)，IBM的GPFS是并行文件系統(tǒng)中做得最成功的，也是業(yè)界做得最好的。”
IBM Spectrum Scale，以商業(yè)的可靠性滿足多方高性能存儲(chǔ)需求
軟件定義存儲(chǔ)時(shí)代，高性能計(jì)算面臨著不同時(shí)代、不同品牌的存儲(chǔ)設(shè)備和解決方案的整合的問(wèn)題，IBM整合了自身所有跟存儲(chǔ)相關(guān)的軟件，推出光譜存儲(chǔ)家族，以幫助企業(yè)和機(jī)構(gòu)應(yīng)對(duì)高性能計(jì)算時(shí)代出現(xiàn)的新問(wèn)題。光譜家族的Spectrum Scale, 即廣為人知的IBM并行文件系統(tǒng)明星產(chǎn)品GPFS，也就是HPC領(lǐng)域備受推崇的并行文件系統(tǒng)的商用軟件，在2013年的全球top500超級(jí)計(jì)算機(jī)有超過(guò)150臺(tái)的集群使用GPFS文件系統(tǒng)。
如同IBM軟件定義解決方案的銷售顧問(wèn)蔣軍華在溝通會(huì)上所介紹的，IBM光譜家族的Spectrum Scale，是一個(gè)為高性能計(jì)算設(shè)計(jì)的高可靠性并行文件系統(tǒng)，它不僅可以在一個(gè)高性能計(jì)算集群中實(shí)現(xiàn)多個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)快速存取，還能夠?qū)崿F(xiàn)跨廣域網(wǎng)的存儲(chǔ)整合與數(shù)據(jù)共享，幫助用戶形成統(tǒng)一的存儲(chǔ)資源池，同時(shí)，它還解決了數(shù)據(jù)存儲(chǔ)經(jīng)濟(jì)性的問(wèn)題，依靠信息生命周期管理功能幫助用戶實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)分層管理，保證存儲(chǔ)資源的高效利用。這些對(duì)于高性能計(jì)算領(lǐng)域尤其是類似于氣象預(yù)報(bào)等科學(xué)計(jì)算領(lǐng)域，有著非常重要的價(jià)值。
IBM Spectrum Scale是經(jīng)驗(yàn)證、可擴(kuò)展且高性能的數(shù)據(jù)及文件管理解決方案（基于 IBM General Parallel File System 或 GPFS，之前被稱作代碼名稱 Elastic Storage）。 IBM Spectrum Scale 提供世界級(jí)的存儲(chǔ)管理功能，具有極致的可擴(kuò)展性、閃存加速性能，以及基于策略的自動(dòng)存儲(chǔ)分層功能（從閃存、磁盤到磁帶）。IBM Spectrum Scale可以幫助客戶減少 90% 的存儲(chǔ)成本，同時(shí)提高云、大數(shù)據(jù)和分析環(huán)境中的安全性和管理效率。
首先，IBM Spectrum Scale解決的是數(shù)據(jù)高可靠性和高可用性。憑借去中心化的系統(tǒng)架構(gòu)設(shè)計(jì)，GPFS文件系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)都采用分布式架構(gòu)存儲(chǔ)，不論管理節(jié)點(diǎn)、文件系統(tǒng)節(jié)點(diǎn)或是元數(shù)據(jù)節(jié)點(diǎn)失效后都能恢復(fù)，不存在單一故障點(diǎn)，保證了系統(tǒng)的使用。隨著高性能計(jì)算集群規(guī)模和文件系統(tǒng)的增長(zhǎng)，元數(shù)據(jù)的訪問(wèn)也不會(huì)成為系統(tǒng)瓶頸。
其次，IBM Spectrum Scale解決的是跨廣域網(wǎng)的存儲(chǔ)和數(shù)據(jù)資源整合，幫助用戶形成統(tǒng)一的全局文件命名和數(shù)據(jù)管理。比如，廣州遇到南方的暴雨天氣期間，由于氣象預(yù)報(bào)計(jì)算需求的增加，它需要借助北京的超級(jí)計(jì)算機(jī)計(jì)算南方的天氣，這其中就涉及到數(shù)據(jù)的傳輸和同步。通過(guò)Spectrum Scale軟件全面整合后能夠策略化地去定義數(shù)據(jù)存放，根據(jù)每個(gè)氣象計(jì)算算例后面附帶數(shù)據(jù)量的大小，結(jié)合IBM Platform LSF調(diào)度軟件決定該計(jì)算任務(wù)是在本地計(jì)算還是調(diào)度到遠(yuǎn)端計(jì)算，快速獲取計(jì)算結(jié)果。
最后，IBM Spectrum Scale可以在生產(chǎn)環(huán)境下實(shí)現(xiàn)磁盤空間動(dòng)態(tài)擴(kuò)展及壓縮。由于IBM Spectrum Scale通過(guò)將節(jié)點(diǎn)內(nèi)讀寫操作分布到多個(gè)磁盤上，大大增加了文件系統(tǒng)的帶寬，通過(guò)整個(gè)系統(tǒng)的負(fù)載均衡避免了某個(gè)磁盤過(guò)大的讀寫。此外，IBM Spectrum Scale可以動(dòng)態(tài)調(diào)整添加或者刪除硬盤。系統(tǒng)處于相對(duì)空閑時(shí)，用戶可以在已配置的硬盤上重新均衡文件系統(tǒng)以提高吞吐量。
