企業(yè)在不同時期增加的系統(tǒng)設(shè)備以及基于不同平臺的各種應(yīng)用系統(tǒng)帶來管理、安全、兼容性等問題，導(dǎo)致IT支持的可用性降低、 能耗偏高、管理困難。一個能夠解決成本、效能、安全、管理等問題的數(shù)據(jù)中心，逐漸成為中國金融企業(yè)的必然選擇。本文以農(nóng)業(yè)銀行數(shù)據(jù)中心建設(shè)實例為參考，探 討新一代數(shù)據(jù)中心建設(shè)的相關(guān)技術(shù)及管理問題。

一、數(shù)據(jù)中心的技術(shù)架構(gòu)設(shè)計與實施

         數(shù)據(jù)中心IT技術(shù)體系架構(gòu)主要包含網(wǎng)絡(luò)技術(shù)體系、主機系統(tǒng)體系、業(yè)務(wù)系統(tǒng)體系。

 網(wǎng)絡(luò)技 術(shù)體系結(jié)構(gòu)定義了數(shù)據(jù)中心信息系統(tǒng)的技術(shù)環(huán)境和基礎(chǔ)結(jié)構(gòu)。數(shù)據(jù)中心的各種IT資源數(shù)量龐大、管理復(fù)雜，因此必須通過具前瞻性及經(jīng)過實踐的IT構(gòu)建策略，采 用先進的產(chǎn)品技術(shù)，以動態(tài)、優(yōu)化的基礎(chǔ)架構(gòu)改變落后、低效的資源管理，最大化利用資源，提高業(yè)務(wù)系統(tǒng)的效率和靈活性。農(nóng)行數(shù)據(jù)中心利用模塊化設(shè)計思路，采 用網(wǎng)絡(luò)分區(qū)、功能分層、應(yīng)用分級的設(shè)計方法，實現(xiàn)數(shù)據(jù)中心邏輯功能的模塊分區(qū)設(shè)計。標(biāo)準化數(shù)據(jù)中心架構(gòu)層次清晰，實現(xiàn)了數(shù)據(jù)中心高可靠、高性能、易管理、 易擴展的目標(biāo)。網(wǎng)絡(luò)分區(qū)包括生產(chǎn)業(yè)務(wù)區(qū)、運行管理區(qū)、生產(chǎn)外聯(lián)區(qū)、廣域網(wǎng)接入?yún)^(qū)、OA接入?yún)^(qū)、上線前測試區(qū)、MIS服務(wù)區(qū)等。功能分層包含核心層、分布 層、接入層。應(yīng)用分級為Web服務(wù)器級、APP服務(wù)器級、DB服務(wù)器級。數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)體系結(jié)構(gòu)如圖1所示。

 主機系統(tǒng)是金融業(yè)務(wù)處理的核心資源，也是數(shù)據(jù)中心風(fēng)險的集中點。農(nóng)業(yè)銀行核心業(yè)務(wù)系統(tǒng)主機采用先進的并行耦合系統(tǒng)、中間 件耦合系統(tǒng)、數(shù)據(jù)庫共享以及高可用集群、負載均衡等智能化技術(shù)，構(gòu)成高效率、高穩(wěn)定性、高可靠性的生產(chǎn)環(huán)境。生產(chǎn)運行主機系統(tǒng)架構(gòu)設(shè)計實施N+1冗余，系 統(tǒng)存儲采用對等遠程拷貝（PPRC/HYPESWAP）和擴展遠程拷貝（XRC）技術(shù)架構(gòu)，通過遠程數(shù)據(jù)復(fù)制技術(shù)實現(xiàn)實時數(shù)據(jù)傳輸。同時引進下一代主機存 儲，應(yīng)用存儲硬件PAV技術(shù)，解決運行規(guī)模增長帶來的容量問題。

 業(yè)務(wù)系統(tǒng)體系結(jié)構(gòu)采用結(jié)構(gòu)化設(shè)計方法，充 分考慮統(tǒng)一、開放、靈活的需求，實現(xiàn)在業(yè)務(wù)戰(zhàn)略和技術(shù)規(guī)劃之間的平滑連接，快速響應(yīng)業(yè)務(wù)變化的需求。農(nóng)業(yè)銀行業(yè)務(wù)系統(tǒng)由運行在大型機的核心業(yè)務(wù)系統(tǒng)、貸記 卡系統(tǒng)和運行在開放平臺的現(xiàn)金管理平臺、投資業(yè)務(wù)平臺等40多個應(yīng)用系統(tǒng)組成。核心業(yè)務(wù)系統(tǒng)采用面向服務(wù)架構(gòu)（SOA），通過構(gòu)建企業(yè)服務(wù)總 線 (ESB)的標(biāo)準化接口來完成集成的面向服務(wù)的應(yīng)用整合及信息交換體系。同時，多系統(tǒng)同步并進，統(tǒng)一應(yīng)用運行框架、開發(fā)模型和工具，涵蓋現(xiàn)代商業(yè)銀行 業(yè)務(wù)經(jīng)營管理方面的應(yīng)用數(shù)據(jù)項，經(jīng)過架構(gòu)整合和性能升級，最終形成一套以核心業(yè)務(wù)系統(tǒng)為主體，統(tǒng)一、規(guī)范、開放、靈活的業(yè)務(wù)大集成系統(tǒng)。

二、數(shù)據(jù)中心的安全體系建設(shè)

數(shù)據(jù)中心的建立不僅對金融業(yè)務(wù)創(chuàng)新和發(fā)展提供了有力保障，同時也為金融業(yè)務(wù)操作風(fēng)險的有效控制創(chuàng)造了條件。

1.建立風(fēng)險防控責(zé)任體系

農(nóng)業(yè)銀行數(shù)據(jù)中心按照“覆蓋數(shù)據(jù)中心所有業(yè)務(wù)和崗位、制度健全、責(zé)任到位、監(jiān)督有效、考核嚴格”的要求，建 立“操作落實到人，布置落實到組，檢查落實到處，監(jiān)督落實到安全部門，考評落實到數(shù)據(jù)中心”的風(fēng)險防控五級責(zé)任體系，將安全生產(chǎn)責(zé)任落實到人、落實到崗。 并且建立起從風(fēng)險識別、評估、處置、控制和事件反應(yīng)的管理流程，實現(xiàn)全面的風(fēng)險管理。

2.建設(shè)多層次安全技術(shù)平臺

平臺橫向涵蓋系統(tǒng)、網(wǎng)絡(luò)、通信、數(shù)據(jù)和管理安全；縱向跨越風(fēng)險預(yù)防、監(jiān)控預(yù)警、應(yīng)急處理、災(zāi)難恢復(fù)；同時覆 蓋數(shù)據(jù)中心邊界防護、生產(chǎn)與辦公分區(qū)互聯(lián)邊界防護、分區(qū)內(nèi)細化安全控制、網(wǎng)上銀行Internet出口安全防護、流量清洗、辦公網(wǎng)Internet出口安 全防護和終端準入控制等。搭設(shè)隔離區(qū)（DMZ），把所有對外部訪問的服務(wù)器和網(wǎng)絡(luò)設(shè)備都放入該區(qū)域，通過外部防火墻和內(nèi)部防火墻有策略地隔離。將核心交換 服務(wù)器通過交換機單獨劃分為一個區(qū)域，不同的局域網(wǎng)只能訪問和自己工作相關(guān)的網(wǎng)絡(luò)。嚴格控制內(nèi)部網(wǎng)絡(luò)訪問，并通過多種方式實現(xiàn)防計算機病毒傳播、未授權(quán)訪 問、DDoS攻擊等內(nèi)部網(wǎng)絡(luò)安全隱患。防病毒系統(tǒng)與桌面安全管理系統(tǒng)對接整合為一套服務(wù)臺界面向終端用戶提供安全技術(shù)支持服務(wù)，實現(xiàn)數(shù)據(jù)中心全局智能端到 端的安全防護。

3.加強生產(chǎn)運行災(zāi)備建設(shè)

金融數(shù)據(jù)中心與災(zāi)備中心的運行環(huán)境和數(shù)據(jù)環(huán)境采用同步備份機制，確保備份實時有效。在生產(chǎn)中心和災(zāi)難備份中心之間制訂包括 備份恢復(fù)方案和切換流程在內(nèi)的業(yè)務(wù)連續(xù)性計劃，定期組織演練，保障業(yè)務(wù)持續(xù)運行。

4.完善實體安全建設(shè)

數(shù)據(jù)中心對機房環(huán)境、主機系統(tǒng)、數(shù)據(jù)存儲等實體安全管理非常重視。一是采用分級安全區(qū)域管理，生產(chǎn)與工作區(qū) 域嚴格分開，不同安全區(qū)域只有具備相應(yīng)安全級別的人經(jīng)過身份識別才能進入。二是在涉及機房承重加固、電力、空調(diào)、消防等方面通過采用先進的監(jiān)控系統(tǒng)和技術(shù) 防范措施，全面控制風(fēng)險。如機房采用分層布置的主動式及早期火災(zāi)探測系統(tǒng)和氣體滅火系統(tǒng)，在核心區(qū)域采用生物技術(shù)的掌紋儀、防尾隨門和雙人審核系統(tǒng)等。三 是通過高冗余設(shè)計，保障鏈路安全可用。所有鏈路包括供電、通訊、網(wǎng)絡(luò)均采用冗余設(shè)計，且每條鏈路均從不同的供應(yīng)商引入。四是完善應(yīng)急預(yù)案，加強演練。農(nóng)業(yè) 銀行數(shù)據(jù)中心組織了多次內(nèi)部和與武警合作的消防演練，開展了與公安110的報警響應(yīng)演練。

三、數(shù)據(jù)中心的管理體系建設(shè)

農(nóng)業(yè)銀行數(shù)據(jù)中心的建設(shè)規(guī)模、環(huán)境條件和硬件設(shè)施都達到業(yè)內(nèi)領(lǐng)先水平，但大集中后的數(shù)據(jù)中心通常面臨規(guī)模與 管理水平、管理手段不對等的問題，怎樣更好更有效率地管理好數(shù)據(jù)中心；如何降低管理風(fēng)險，消除管理盲區(qū)，成為數(shù)據(jù)中心管理者思考的重點。為全面提升IT服 務(wù)管理能力，農(nóng)業(yè)銀行數(shù)據(jù)中心初步建立起以ISO20000標(biāo)準為框架，符合ITIL“最佳實踐”的IT服務(wù)管理體系。借助自動化管理工具，監(jiān)控IT服務(wù) 的運行狀況，建立健全標(biāo)準流程，建立適當(dāng)?shù)娜肆Y源管理機制，確保員工能夠持續(xù)勝任所分配的工作和職責(zé)，將技術(shù)、流程、人員三者有效結(jié)合，為客戶交付高質(zhì) 量的服務(wù)。

農(nóng)業(yè)銀行數(shù)據(jù)中心優(yōu)化和新建了一系列相互關(guān)聯(lián)的服務(wù)管理過程，識別過程之間的關(guān)系和其在組織內(nèi)的應(yīng)用，制訂 服務(wù)管理的方針目標(biāo)和控制措施。主要分為服務(wù)支持和服務(wù)交付兩大部分。服務(wù)支持涉及數(shù)據(jù)中心日常生產(chǎn)運行工作中經(jīng)常用到的內(nèi)容，如事件管理、問題管理、配 置管理、變更管理和發(fā)布管理等。服務(wù)交付過程定義了服務(wù)的長期計劃和改進，更具戰(zhàn)略意義，包括服務(wù)級別管理、可用性管理、服務(wù)連續(xù)性管理、信息安全管理、 容量管理以及IT服務(wù)的財務(wù)管理。通過實施ISO20000，改變傳統(tǒng)慣性思維模式，改造各項工作流程，從傳統(tǒng)的“救火”型向“量體裁衣”預(yù)防型轉(zhuǎn)變。完 善了以服務(wù)為核心的管理流程和報告體系，建立起以安全生產(chǎn)為核心的生產(chǎn)運行長效機制。通過建立PDCA改進機制，持續(xù)提高IT服務(wù)管理水平，滿足銀行業(yè)務(wù) 發(fā)展要求，提升客戶滿意度。

在此基礎(chǔ)上，數(shù)據(jù)中心積極運用、推進生產(chǎn)運行自動化、信息化，全面提升數(shù)據(jù)中心自動化管理水平，有效防控運行風(fēng)險，保障安 全生產(chǎn)。通過中央控制中心（ECC）和逐步建設(shè)的運行集中監(jiān)控、操作管理平臺，在用戶權(quán)限受控和可管理的安全管理前提下，實現(xiàn)對生產(chǎn)運行系統(tǒng)、生產(chǎn)設(shè)備、 生產(chǎn)網(wǎng)絡(luò)、生產(chǎn)機房、環(huán)境設(shè)施、安全保障和園區(qū)智能化系統(tǒng)的集中控制、維護、指揮、調(diào)度和管理。端對端自動化不僅將數(shù)據(jù)中心的工作效率提升10倍以上，還 替代易出錯的手動任務(wù)以及重復(fù)的 IT 資源容量管理任務(wù)，加強對數(shù)據(jù)維護的審查和審計，提高風(fēng)險防范能力，有效控制操作風(fēng)險。同時，將優(yōu)化或新建的管理 流程與工具平臺整合，在實現(xiàn)系統(tǒng)監(jiān)控和管理的基礎(chǔ)上，進一步完成IT基礎(chǔ)系統(tǒng)與設(shè)施的全生命周期管理。IT基礎(chǔ)設(shè)施的復(fù)雜性已被隱藏起來并完成自動化和優(yōu) 化處理。此外還能通過服務(wù)管理來實現(xiàn)標(biāo)準化以及策略和流程的自動執(zhí)行，以此提高運行效率。農(nóng)業(yè)銀行數(shù)據(jù)中心運維流程管理如圖2所示。

四、數(shù)據(jù)中心的環(huán)保節(jié)能考慮

一項由國際正常運行時間協(xié)會的調(diào)查顯示，在全球大多數(shù)數(shù)據(jù)中心，能耗是主要的運維成本，占50%以上，而其 中將近63%的能耗與IT設(shè)備的散熱有關(guān)。農(nóng)業(yè)銀行數(shù)據(jù)中心在規(guī)劃設(shè)計之初就對投入的IT設(shè)備的功耗與散熱系統(tǒng)進行科學(xué)評估，并從四方面著手實現(xiàn)節(jié)能降耗 的目標(biāo)。
首先，貫徹節(jié)能建筑理念。在數(shù)據(jù)中心整體規(guī)劃中，按照不同使用功能進行分區(qū)，建造獨立建筑，各功能區(qū)可根據(jù)實際需要安排能耗及散熱管理。數(shù)據(jù)中心建筑的外 立面均采用玻璃幕墻，在玻璃幕墻外設(shè)置機械驅(qū)動的垂直遮陽百葉。百葉以組為單位配備電動馬達和控制單元，可根據(jù)陽光的強度或時間自動調(diào)整百葉轉(zhuǎn)動的角度， 在兼顧美觀的同時，充分利用自然資源降低能耗。

其次，合理規(guī)劃機房內(nèi)部整體布局。提高制冷效率最有效的辦法是建立更好的冷熱通道。這與機房的機柜擺放、布 線、高架地板等機房整體設(shè)計密切相關(guān)。機房采用80CM的高架地板，通過地板下線槽的走向與機柜平行，空調(diào)擺設(shè)與機柜位置垂直。合理的布局大幅降低機房不 良氣流循環(huán)，通過控制氣流生成、配送、返回等環(huán)節(jié)，實現(xiàn)散熱的冷/熱通道分區(qū)。在冷通道上機柜面對面擺放，熱通道上機柜背對背擺放。將制冷系統(tǒng)緊貼機柜等 熱源，以最大限度減少對周圍環(huán)境制冷帶來的能源消耗。
再次，運用動態(tài)監(jiān)測、智能調(diào)節(jié)技術(shù)。機房溫度變化隨工作負荷的增減動態(tài)變化。在機房內(nèi)部通過精密制冷系統(tǒng)靈活地調(diào)節(jié)IT微環(huán)境的溫度，由系統(tǒng)自動監(jiān)測機房 的溫度、濕度是否適宜。通過動態(tài)監(jiān)測，制冷精確到每一個節(jié)點。為延長制冷設(shè)備的使用壽命和工作效率，采取制冷系統(tǒng)群組模式，以及群組內(nèi)制冷設(shè)備輪流運行的 方式，使機房熱量管理實現(xiàn)高效節(jié)能與智能化的“按需調(diào)配”。

最后，提升IT設(shè)備效能比。農(nóng)業(yè)銀行數(shù)據(jù)中心在服務(wù)器、網(wǎng)絡(luò)存儲等IT設(shè)備選型時將節(jié)能作為重要參考依據(jù)。 目前使用的數(shù)據(jù)中心交換機每端口的耗電量是22瓦，不足最初萬兆網(wǎng)絡(luò)交換機的20%。此外數(shù)據(jù)中心嘗試用服務(wù)器虛擬化技術(shù)進行服務(wù)器整合，把在大量使用率 較低的低端服務(wù)器上運行的應(yīng)用程序，合并到少量高端服務(wù)器上，提高服務(wù)器的使用率，降低能耗。同時為機房節(jié)約了空間，增加了IT設(shè)備的容量。