01引言

　　隨著“十四五”規(guī)劃提出發(fā)展數(shù)字經(jīng)濟，推動數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，各商業(yè)銀行正處于數(shù)字化轉(zhuǎn)型的深水區(qū)，在加速金融科技數(shù)字化、智能化、服務化的過程中，各領(lǐng)域都有原始的數(shù)據(jù)積累。以銀行金融科技運維為例，配置管理建立后數(shù)據(jù)使用價值不高，數(shù)據(jù)問題也愈積愈多，其核心問題是要同步做好數(shù)據(jù)管理，數(shù)據(jù)管理區(qū)別于上層的數(shù)據(jù)治理，更側(cè)重于具體方法、流程、機制和措施等。這里結(jié)合運維領(lǐng)域，具體說明進行數(shù)據(jù)管理的方法和實踐。

　　02運維數(shù)據(jù)管理面臨的問題

　　首先說明下對數(shù)據(jù)治理的理解，數(shù)據(jù)治理是專注于將數(shù)據(jù)作為商業(yè)資產(chǎn)進行應用和管理的一套機制，能消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應用標準，提高組織的數(shù)據(jù)質(zhì)量，實現(xiàn)廣泛應用和共享，發(fā)揮數(shù)據(jù)的商業(yè)價值。那么其具體的數(shù)據(jù)管理要解決什么問題呢？結(jié)合我們實際問題，總結(jié)有四個字“堵”，“獨”，“滯”，“漏”。這里以G行運維配置數(shù)據(jù)作為管理對象，對其他銀行科技領(lǐng)域數(shù)據(jù)管理有一定代表性。


　　03數(shù)據(jù)管理的“道”,“法”,“術(shù)”,“器”

　　大家可能有疑問，解決以上問題建立數(shù)據(jù)中臺不是最好的解決方案嗎？有不少企業(yè)在數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)管理完全依賴數(shù)據(jù)中臺建設，沒有搞清數(shù)據(jù)管理基礎要做什么，導致中臺也建成了空中樓閣。正如阿里的onedata方法論體系，是先建立一套數(shù)據(jù)標準，用統(tǒng)一建模的方法梳理整合數(shù)據(jù)，再利用數(shù)據(jù)中臺工具對數(shù)據(jù)進行匯總加工，因為有統(tǒng)一標準和建模，數(shù)據(jù)才能在中臺只實現(xiàn)一次順暢加工流轉(zhuǎn)。所以這里不談中臺建設，只說數(shù)據(jù)管理的具體思考和實踐。基于以上問題，我們結(jié)合DAMA的數(shù)據(jù)治理框架及方法論，制定了具體的數(shù)據(jù)管理方法，也引用數(shù)據(jù)治理專家們總結(jié)的數(shù)據(jù)管理的經(jīng)驗，按“道”，“法”，“術(shù)”，“器”結(jié)合具體實踐工作，對運維數(shù)據(jù)管理遇到的問題有一定指導作用。


　　道

　　（一）”道”：這里引用DAMA-DMBOK2的數(shù)據(jù)治理之道，主要包含數(shù)據(jù)戰(zhàn)略，組織機制和數(shù)據(jù)文化。如果數(shù)據(jù)治理好比我們驅(qū)車到達遠方的一項任務，那么“道“就是我們行駛的方向，以及可以利用的政策和可規(guī)避的風險。

　　數(shù)據(jù)戰(zhàn)略好比數(shù)字化轉(zhuǎn)型的燈塔，由制度流程、組織人員和技術(shù)工具為數(shù)據(jù)戰(zhàn)略提供指導，數(shù)據(jù)戰(zhàn)略是為企業(yè)發(fā)展和運營目標提供支撐。通常制定為五個主要步驟：環(huán)境因素分析，確定戰(zhàn)略目標，制定行動方案，落實保障措施，戰(zhàn)略評估優(yōu)化，其核心是建立數(shù)據(jù)思維。數(shù)據(jù)思維建立方法可通過自上而下的推動，營造數(shù)據(jù)驅(qū)動的文化氛圍，以及建立循序漸進的培訓機制等。不只是從企業(yè)做起，是需要從每個人做起，建立“我為人人，人人為我”的數(shù)據(jù)服務思維。G行數(shù)據(jù)治理總體框架包括“統(tǒng)一管理、合規(guī)底線、協(xié)同共建、創(chuàng)新驅(qū)動”四個方面。有三個要點：抓重點，善于簡化；求精確，注重量化；明不知，追求細化。

　　法

　　（二）“法”：主要是數(shù)據(jù)管理的一些方法和策略，好比我們驅(qū)車到達目的地的可選路徑，這些需要前期規(guī)劃好，結(jié)合流程確保管理策略能落地。

　　G行主要分為事前預防手段，事中控制技術(shù)，事后改進措施。事前包括數(shù)據(jù)標準定義，校驗規(guī)范，流程制度優(yōu)化，組織人員培訓保持認知一致；事中包括控制源頭，規(guī)范標準輸入輸出，控制流轉(zhuǎn)，質(zhì)量校驗，精準定位，預警機制；事后包括數(shù)據(jù)質(zhì)量探查和評估，數(shù)據(jù)問題匯總，根因分析，問題修復，流程和模型優(yōu)化。這里最重要的是數(shù)據(jù)標準的制定、推廣和跟蹤，數(shù)據(jù)標準其實可以分為基礎數(shù)據(jù)標準，分析和校驗數(shù)據(jù)標準和實施標準，然后通過組織、制度和流程將其管理規(guī)范貫穿起來，通過流程和制度監(jiān)督標準的執(zhí)行，有效地閉環(huán)管理。我們也是首先統(tǒng)一并制定了數(shù)據(jù)標準，利用ITSM流程工具結(jié)合CMDB發(fā)現(xiàn)的問題，逐一溯源，消滅數(shù)據(jù)問題，形成閉環(huán)跟蹤，持續(xù)監(jiān)督提高數(shù)據(jù)質(zhì)量。

　　術(shù)

　　（三）“術(shù)”：這里指數(shù)據(jù)管理的一些技術(shù)方法，好比我們驅(qū)車到達目的地的駕駛經(jīng)驗。

　　主要涉及元數(shù)據(jù)，主數(shù)據(jù)和參考數(shù)據(jù)的一些管理技術(shù)，我們主要通過DAMA數(shù)據(jù)定義標準的學習，對系統(tǒng)運維領(lǐng)域的數(shù)據(jù)做了元數(shù)據(jù)和主數(shù)據(jù)的劃分。元數(shù)據(jù)可以理解為定義和描述其它數(shù)據(jù)的數(shù)據(jù)，包括技術(shù)和業(yè)務流程、數(shù)據(jù)規(guī)則和約束，還包括邏輯數(shù)據(jù)結(jié)構(gòu)與物理數(shù)據(jù)結(jié)構(gòu)等。主數(shù)據(jù)可以理解為與業(yè)務活動相關(guān)或提供業(yè)務活動語境，系統(tǒng)間共享的數(shù)據(jù)，包括業(yè)務交易中涉及的內(nèi)外部對象的詳細信息。元數(shù)據(jù)就像我們數(shù)據(jù)庫中定義的基表結(jié)構(gòu)，主數(shù)據(jù)是表里存儲共享的實際數(shù)據(jù)，或者好比元數(shù)據(jù)像一本書的目錄和索引，主數(shù)據(jù)就是書中的正文。很多金融企業(yè)的運維數(shù)據(jù)在前期都是按運維需求建立起來的，并沒有事先區(qū)分元數(shù)據(jù)與主數(shù)據(jù)，我們之前也是已經(jīng)定義的運維相關(guān)的運營配置數(shù)據(jù)、運營性能數(shù)據(jù)和運營管理數(shù)據(jù)，所以管理過程主要在之前數(shù)據(jù)需求劃分的基礎上，再按元數(shù)據(jù)和主數(shù)據(jù)進行劃分，這樣劃分后的好處更有的放矢，更清晰我們的數(shù)據(jù)分類管理策略，更好地為我們的onedata數(shù)據(jù)中臺體系服務。我們對運維領(lǐng)域元數(shù)據(jù)和主數(shù)據(jù)是按以下過程進行管理：摸底、優(yōu)化、標準、整合、運營。


　　大部分運維的配置類描述元數(shù)據(jù)都是未標準定義，或引用后再定義的，比如服務器硬件配置信息、操作系統(tǒng)信息、應用軟件信息、IP信息等。這些信息我們都是在CMDB收集時直接采集，往往沒有制定標準，在之后的消費過程就可能出現(xiàn)歧義、遺漏或無法關(guān)聯(lián)等問題。元數(shù)據(jù)就是數(shù)據(jù)標準的基礎，企業(yè)在制定數(shù)據(jù)標準的時候最先需要明確的就是數(shù)據(jù)業(yè)務屬性、技術(shù)屬性和管理屬性，而這三類屬性就是我們所說的業(yè)務元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)，元數(shù)據(jù)如果不進行規(guī)范化約束，就無法成為數(shù)據(jù)標準。我們針對元數(shù)據(jù)的梳理主要是分類了業(yè)務、技術(shù)和管理三類，并制定了配置數(shù)據(jù)管理標準規(guī)范，具體有三項措施：

　　1.梳理出關(guān)鍵數(shù)據(jù)，將這些數(shù)據(jù)做埋點，以便后續(xù)進行數(shù)據(jù)血緣跟蹤和分析；

　　2.統(tǒng)一表結(jié)構(gòu)，將各類數(shù)據(jù)表形成統(tǒng)一結(jié)構(gòu)規(guī)范，層級管理，比如第一層基本信息，第二層關(guān)聯(lián)信息，第三層特殊信息；

　　3.統(tǒng)一字段名規(guī)范，建立數(shù)據(jù)字典統(tǒng)一命名規(guī)范，再確定各個表來源和優(yōu)先級。

　　這些措施保障了理解數(shù)據(jù)準確和標準的一致性，并提供統(tǒng)一訪問途徑，以便推廣技術(shù)元數(shù)據(jù)標準和應用。在主數(shù)據(jù)管理方面，主要是按元數(shù)據(jù)定義的標準，對數(shù)據(jù)值和標識符進行控制和校驗，經(jīng)過管理的主數(shù)據(jù)應是關(guān)鍵業(yè)務實體唯一的、權(quán)威的、最準確的數(shù)據(jù)，更方便數(shù)據(jù)共享。在主數(shù)據(jù)規(guī)范管理后，我們更多關(guān)注系統(tǒng)之間的數(shù)據(jù)流轉(zhuǎn)、訪問關(guān)系、共享應用等，更多地挖掘運維消費場景，實現(xiàn)數(shù)據(jù)服務。

　　器

　　（四）“器”：是在數(shù)據(jù)管理技術(shù)的基礎上，實現(xiàn)具體工作的工具，好比我們驅(qū)車到達目的地的主要交通工具。所謂“工欲善其事，必先利其器”，在定義梳理這些元數(shù)據(jù)和主數(shù)據(jù)后，必然會用到兩個最常用的方法工具，建立模型和數(shù)據(jù)血緣。數(shù)據(jù)建模是最重要也是最常用的，是發(fā)現(xiàn)、分析和確定數(shù)據(jù)需求的過程，用數(shù)據(jù)模型的精確形式表示和傳遞這些數(shù)據(jù)需求。建立系統(tǒng)或平臺前期一般都會建立數(shù)據(jù)模型，其模型核心內(nèi)容是數(shù)據(jù)結(jié)構(gòu)、約束關(guān)系和數(shù)據(jù)操作這三部分，形成概念、邏輯和物理模型成果物，但建立和維護的過程是循環(huán)迭代的。我們按照以前CMDB系統(tǒng)建立的模型，進行了重新梳理，發(fā)現(xiàn)有一些數(shù)據(jù)結(jié)構(gòu)已經(jīng)過期需要優(yōu)化調(diào)整，還有一些一直存在缺失，需補充數(shù)據(jù)結(jié)構(gòu)，也同步更新了約束關(guān)系和數(shù)據(jù)流向的定義，具體是按以下六個方面進行全面梳理:


　　數(shù)據(jù)建模工作我們是這樣具體實施的：關(guān)于數(shù)據(jù)結(jié)構(gòu)，重新收集數(shù)據(jù)有關(guān)需求，定義數(shù)據(jù)類型、結(jié)構(gòu)等信息，實現(xiàn)配置項結(jié)構(gòu)、字典（具體元數(shù)據(jù)）的建立；約束關(guān)系，梳理各團隊內(nèi)部數(shù)據(jù)，定義數(shù)據(jù)的唯一標識符，確定數(shù)據(jù)間關(guān)聯(lián)約束和驗證關(guān)系；數(shù)據(jù)操作：協(xié)商定義各運維團隊之間的接口規(guī)范和數(shù)據(jù)流向，明確數(shù)據(jù)操作和流向的消費場景。除了數(shù)據(jù)模型的三個核心內(nèi)容外，我們還制定了接口傳輸方式，同步周期和接口負責人。首先根據(jù)數(shù)據(jù)量大小、重要程度以及數(shù)據(jù)時效性等要求，規(guī)范定義不同的接口同步方式，再次明確各運維團隊接口數(shù)據(jù)采集和同步周期，保證提供接口數(shù)據(jù)的完整和時效性，最終指定接口負責人溝通同步需求，確認接口數(shù)據(jù)質(zhì)量，由負責人跟蹤推進接口同步實現(xiàn)和問題解決，實現(xiàn)數(shù)據(jù)問題閉環(huán)處理。

　　04應用實踐

　　（一）具體應用場景：

　　G行通過系統(tǒng)運維配置管理平臺（SMDB）和網(wǎng)絡安全自動化合規(guī)管理平臺（INS）實現(xiàn)基于底層的配置數(shù)據(jù)管理，通過應用配置管理平臺（AMDB）實現(xiàn)應用路書、系統(tǒng)交易信息和檔案管理等應用場景管理，為CMDB提供數(shù)據(jù)消費，規(guī)范數(shù)據(jù)標準，整合數(shù)據(jù)需求，去重尋源等優(yōu)化，增加數(shù)據(jù)校驗，實現(xiàn)閉環(huán)管理。通過平臺，結(jié)合數(shù)據(jù)采集匯總分析，以及相關(guān)操作工具，實現(xiàn)日常運維配置管理、系統(tǒng)自動巡檢、系統(tǒng)檔案和運維報表等運維自動化消費場景。




　　此外我們還結(jié)合數(shù)據(jù)血緣流向圖，提供多平臺互聯(lián)的消費場景。在運維環(huán)境隨著云計算和大數(shù)據(jù)的發(fā)展，集成化程度越來越高，系統(tǒng)全局性風險的可能和危害越來越大，我們利用梳理的數(shù)據(jù)流向，和日常故障處理場景，重點為一線團隊開發(fā)應急故障查詢和應急場景發(fā)布工具。一線同事在處理全局性故障時，能及時準確地查詢相關(guān)信息并第一時間關(guān)聯(lián)處置，實現(xiàn)運維的“手眼”并用。


　　（二）解決數(shù)據(jù)問題：

　　針對已經(jīng)建立的CMDB，我們?nèi)绾问崂泶嬖诘臄?shù)據(jù)問題呢？我們主要從兩個方面進行梳理檢查：一是日常事件處理、問題分析等發(fā)現(xiàn)的數(shù)據(jù)問題，統(tǒng)一記錄、分析和整改跟蹤；二是通過數(shù)據(jù)模型的度量指標進行反向檢查：1.模型多大程度上反映了實際使用需求？2.模型的完整性如何？3.模型的結(jié)構(gòu)通用性如何？4.模型遵循命名標準的情況如何？5.模型的清晰、完整、準確性如何？基于以上自查不難發(fā)現(xiàn)數(shù)據(jù)模型的問題，可以重新定義、梳理和規(guī)范數(shù)據(jù)模型，數(shù)據(jù)模型是數(shù)據(jù)規(guī)范標準的核心底座，是絕對值得花費精力打造優(yōu)化的。

　　其實解決數(shù)據(jù)問題更多要源于數(shù)據(jù)訴求，對數(shù)據(jù)流向的管理無論從業(yè)務還是運維管理都已經(jīng)變得非常重要。通過數(shù)據(jù)血緣分析能滿足元數(shù)據(jù)管理的需求，滿足監(jiān)管需求，影響分析和數(shù)據(jù)質(zhì)量問題分析等，針對運維最有效的還可以系統(tǒng)遷移時參考數(shù)據(jù)血緣，減少系統(tǒng)遷移工作量。通常建立數(shù)據(jù)血緣的步驟是先梳理出元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系建立模型，再以此為基礎整理所需的數(shù)據(jù)，并將數(shù)據(jù)加載進數(shù)據(jù)庫，設計關(guān)系進行鏈路匹配查詢分析，我們主要針對CMDB的數(shù)據(jù)進行反向步驟的梳理，重點結(jié)合目前數(shù)據(jù)和應用場景，抽取數(shù)據(jù)流向和關(guān)系，再根據(jù)關(guān)系檢查驗證以前的模型，對錯誤和遺漏的問題進行修正和補充。

　　比如我們梳理的數(shù)據(jù)血緣關(guān)系，制作了以下數(shù)據(jù)流向圖，便于梳理和解決數(shù)據(jù)問題，具體包含以下內(nèi)容：


　　1.數(shù)據(jù)節(jié)點（包括數(shù)據(jù)流入節(jié)點，主節(jié)點，數(shù)據(jù)流出節(jié)點），數(shù)據(jù)節(jié)點信息一般用來做可視化展示。

　　2.數(shù)據(jù)流轉(zhuǎn)線路，數(shù)據(jù)流轉(zhuǎn)線路表現(xiàn)三個維度的信息，分別是方向、唯一標識、數(shù)據(jù)更新頻次。

　　3.清洗過濾規(guī)則，數(shù)據(jù)接受方會根據(jù)自己對數(shù)據(jù)的要求過濾接入的數(shù)據(jù)，這些要求就形成數(shù)據(jù)標準，依據(jù)這些標準選擇數(shù)據(jù)清洗。

　　4.轉(zhuǎn)換和關(guān)聯(lián)規(guī)則，從數(shù)據(jù)提供方出來的數(shù)據(jù)，有時需要特殊處理才能接入到數(shù)據(jù)需求方，按唯一標識建立關(guān)聯(lián)并維持生命周期，到期后需要做歸檔或清除等處理。我們設計的血緣關(guān)系，能較清晰地表達數(shù)據(jù)間關(guān)聯(lián)關(guān)系，對組織數(shù)據(jù)的完整性、準確性管理和溯源分析有一定幫助。

　　通過數(shù)據(jù)流向的血緣分析還可以糾偏數(shù)據(jù)和挖掘更多的應用場景。方法通常有：自動解析，系統(tǒng)跟蹤，手工收集和機器學習等，我們主要使用的是自動解析結(jié)合手工收集，重點排查CMDB平臺原有的SQL語句和存儲過程，找出核心數(shù)據(jù)的來源和目標流向，這些數(shù)據(jù)覆蓋約70%的流向關(guān)系，我們也按重點、熱點數(shù)據(jù)進行收集，梳理過程主要還靠人員整理，雖然比較繁瑣，但是最大的好處是更加明確數(shù)據(jù)流向和應用場景。還有一些數(shù)據(jù)是基于流程或手工更新的，我們采用手工收集方式，這些數(shù)據(jù)要確定好唯一數(shù)據(jù)源，能優(yōu)化流程的盡量自動化處理，必須手工處理的增加校驗機制來確保及時性和準確性。

　　05總結(jié)展望

　　以上是我們結(jié)合數(shù)據(jù)管理方法，針對運維數(shù)據(jù)的一些管理實踐。“在危機中育新機，于變局中開新局”，“十四五”規(guī)劃提出發(fā)展數(shù)字經(jīng)濟，G行也積極推進數(shù)字化轉(zhuǎn)型工作，實現(xiàn)科技為業(yè)務賦能，運維數(shù)據(jù)管理工作就是我們要重點開拓的新局。數(shù)據(jù)管理實踐是一項有既有挑戰(zhàn)又有意義的工作，而且需要不斷持續(xù)優(yōu)化，它即是一門科學，更是一門藝術(shù)，我們要深入學習以上“道”，“法”，“術(shù)”，“器”的方法論，再結(jié)合工作中的具體場景，不斷深耕實踐，讓運維之手和運維之眼有數(shù)可依，更加高效、從容地實現(xiàn)自動化、智能化運維，全面實現(xiàn)科技賦能。我們將踔厲奮發(fā)、篤行不怠，持續(xù)推動數(shù)字化轉(zhuǎn)型工作更上一層樓，把一流財富管理銀行推向前進！