國信證券數據治理負責人左銀康在“國信證券數據治理生態(tài)化應用實踐”的主題演講中介紹了數據治理的行業(yè)現(xiàn)狀和挑戰(zhàn)，以及國信證券在數據標準、數據質量、元數據等領域的數據治理應用實踐。
數據治理的必要性和目標
證券行業(yè)數據治理的必要性和工作目標包括監(jiān)管合規(guī)、風險可控和內部經營管理三個方面。
第一，運營合規(guī)。
證券行業(yè)的數據治理，與法律法規(guī)以及監(jiān)管要求的發(fā)展趨勢密不可分。
2016年證監(jiān)會在《證券公司全面風險管理規(guī)范》中明確提出證券公司應當建立健全數據治理和質量控制機制等數據治理相關要求，這是行業(yè)內首次提出數據治理要求。
2018年12月證監(jiān)會發(fā)布了《證券基金經營機構信息技術管理辦法》，明確要求證券基金公司應結合企業(yè)發(fā)展戰(zhàn)略，建立全面科學有效的數據治理組織架構和管理機制。同時發(fā)布了《證券期貨業(yè)數據分類分級指引》，對證券行業(yè)的數據資產和數據模型進行了進一步規(guī)范。
因此證券行業(yè)數據治理的第一個目標是建立符合法律法規(guī)和行業(yè)監(jiān)管的數據運營管理體系。
第二，風險可控。
證券行業(yè)數據量巨大，數據使用和交換的場景復雜，數據敏感度和價值都非常高，建立覆蓋數據全生命周期的風險管控機制，保障數據在產生、傳輸、存儲、使用、備份和銷毀各個階段的安全、準確、及時非常關鍵。
第三，價值實現(xiàn)。
證券行業(yè)在各個領域都需要廣泛的數據支撐。例如：在經營分析方面，需要通過業(yè)績報表進行業(yè)績考核和業(yè)績督導;在營銷服務方面，需要借助一些渠道引流和智能營銷的數據進行拓客和展業(yè);在投資研究領域，需要基于大量數據進行量化分析和資產配置。
證券行業(yè)數據治理的四大問題與挑戰(zhàn)
數據治理的落地需要從管控走向服務，與各個業(yè)務、開發(fā)流程相結合，實現(xiàn)數據治理的場景化和服務化，目前多數證券公司已經建立了數據治理的組織架構和制度體系。
來自證券業(yè)協(xié)會的數據治理調研數據顯示，目前8成以上的證券公司建立了數據治理的組織架構，7成以上的證券公司形成了數據治理的制度體系和治理流程，發(fā)布了相應的管理辦法和細則。
但是，證券行業(yè)在數據治理平臺、實施路徑和人才培養(yǎng)(專職崗位)等方面存在較大差異，大多數證券公司處于嘗試和摸索的階段，正在圍繞數據標準建設、數據質量建設、元數據建設等方面進行探索，在落地的過程中存在一些問題和挑戰(zhàn)。
首先，在數據標準方面，大多數證券公司已經制定了相應的數據標準的管理規(guī)范，發(fā)布了基礎數據標準和指標數據標準，但是這些數據標準往往缺乏應用場景，業(yè)務和技術人員可能沒有主動維護的驅動力或者需求，造成數據標準過時或者不準確，喪失了數據標準的權威性，導致標準無法繼續(xù)施行。
第二，在元數據管控方面，由于證券公司有一些外購系統(tǒng)或合作開發(fā)的系統(tǒng)，使元數據變更管控很難完全覆蓋，必須對元數據的管控流程提出要求，進行元數據的版本管理和元數據的評審，結合一些開發(fā)管理工具來加強管控能力。
第三，在數據質量方面，傳統(tǒng)的數據質量管理是從技術人員的角度出發(fā)，建立數據質量的監(jiān)測規(guī)則，難以支持業(yè)務人員從業(yè)務視角提前監(jiān)控和發(fā)現(xiàn)數據質量問題，與此同時數據質量的覆蓋率和有效性也有待提升。
第四，在人員配置方面，由于行業(yè)中的數據治理人才緊缺，很多企業(yè)通過開發(fā)人員轉型或兼職的方式推動數據治理工作，導致很多數據治理工作流于形式，效果不理想。
國信證券數據治理應用四大實踐策略
針對上述困境和挑戰(zhàn)，國信證券通過持續(xù)的探索和實踐取得了一些初步成效。
第一，在組織架構方面，設置數據治理專職崗位，支撐數據治理在數據標準、數據質量，元數據安全等各領域的流程運營。
第二，在數據標準方面，為了解決數據標準缺乏維護場景、標準維護不夠及時的難點，將數據標準與數據中臺以及前端的數據應用(例如報表平臺)相結合，支撐數據標準的落標和推廣。
第三，在數據質量方面，探索和建立統(tǒng)一的數據質量檢核引擎，通過數據質量檢核的可配置化，提升數據質量檢核規(guī)則的配置效率和覆蓋率。
第四，在元數據方面，在元數據的變更管理中引入預發(fā)布庫，從而做到元數據的全流程管控，提升元數據的規(guī)范性以及有效性。
一、將數據標準與數據中臺、數據應用融合
數據標準涉及三大平臺：數據服務平臺、數據管控平臺和數據應用平臺。
其中，數據管控平臺管理國信證券內部所有的基礎數據標準和指標數據標準，采集各個應用系統(tǒng)以及報表平臺的元數據;數據服務平臺通過集成各個數倉以及數據應用系統(tǒng)，提供數據API接口服務;數據應用平臺面向業(yè)務人員以及分支機構展示不同的數據報表。
國信證券基于融合打通的理念將這三大平臺的數據標準打通，將數據標準融合到企業(yè)數據中臺，跨平臺實現(xiàn)數據標準的對外輸出和統(tǒng)一。破解了數據口徑不清晰、不同人員理解不一致，以及數據標準、數據治理成果缺乏應用和推廣的痛點。
二、建立統(tǒng)一的數據質量檢核引擎提升質量檢核規(guī)則配置效率
在業(yè)務規(guī)則復雜多樣、數據源對象差異大的需求背景下，為了實現(xiàn)數據檢核的低代碼甚至無代碼，支持自主配置數據質量監(jiān)控，國信證券基于四個方面設計了統(tǒng)一數據質量檢核引擎。
1)檢核對象的可配置化
檢核對象指建立每一條檢核規(guī)則時，都會指定相應的數據庫以及數據庫中的表和字段來對其進行監(jiān)控，這樣的表格字段往往需要技術人員寫SQL進行數據庫查詢，才能得知具體的表格字段。為此，國信證券將各關鍵系統(tǒng)的表格字段梳理成數據模型，以勾選配置化的方式在前端展現(xiàn)，從而實現(xiàn)低代碼化配置，即使是業(yè)務人員也可以自己通過勾選每一張報表進行配置。
2)檢核常量的可配置化
檢核常量指每一條檢核規(guī)則，特別是數據類的質量檢核規(guī)則，例如同比波動超過20%會被認為是異常的，這個20%是一個常量，以往需要技術人員寫SQL置換。如今，在國信證券的檢核引擎界面，每一個檢核常量都可以由業(yè)務人員通過手工輸入直接進行修改。
3)檢核規(guī)則的可配置化
檢核規(guī)則其實非常復雜，既有單表檢核、跨表檢核，也有跨庫檢核。國信證券針對這些檢核規(guī)則配置了單表、跨表、跨庫等一些通用的檢核規(guī)則模板，目前已經梳理并上線了十余個模板，對應300余條檢核規(guī)則，實現(xiàn)每日的運行監(jiān)控。
4)執(zhí)行計劃的可配置化
執(zhí)行計劃是指檢核對象、檢核常量以及檢核規(guī)則等配置完成后，檢測任務在何時執(zhí)行?調度頻率是多久等等。在數據質量檢核引擎界面，業(yè)務人員可以通過勾選的方式，實現(xiàn)執(zhí)行計劃的調度配置。
通過數據質量檢核規(guī)則的可配置和檢核任務的可配置，實現(xiàn)了統(tǒng)一部署，定期檢核，并且可以出具相應的數據質量檢核報告，形成數據質量管理的閉環(huán)。
三、元數據變更管理中引入預發(fā)布庫實現(xiàn)全流程管控
在元數據管理方面，國信證券在數據管控平臺引入了預發(fā)布庫模塊，實現(xiàn)了元數據的全流程管控，并且可以在線上發(fā)送影響通知。
數據管控平臺的第一個模塊是元數據采集與版本管理模塊，采集國信證券各業(yè)務系統(tǒng)、數倉和數據集市、資訊信息以及應用日志等元數據，進行版本管理。第二個模塊是元數據管理流程，從需求收集到上線流程中，嵌入數據標準的規(guī)范性評審環(huán)節(jié)來管控元數據。
與此同時，國信證券引入了預發(fā)布庫管理模塊，各個系統(tǒng)在上線前進行元數據評審時，會同時審核其預發(fā)布庫，如果檢核到預發(fā)庫和生產庫不一致，將進行比對，從而分析具體變更，然后基于血緣關系解析模塊解析元數據來源和影響，在有變更時通知關聯(lián)方。
數據管控平臺實現(xiàn)了元數據變更的自動化管理，變更前可以及時通知下游，避免了上游變動下游未及時變更造成的生產事故。數據管控平臺的管理流程已與數據模型管理、數據標準管理以及數據質量管理相融合，并在元數據輸出與應用的過程中進行數據標準的評審，通過數據質量檢核實現(xiàn)元數據的監(jiān)控與告警。例如，當系統(tǒng)中的元數據未在預發(fā)布庫變更卻直接在生產庫變更的情況，會通過監(jiān)控告警，告知系統(tǒng)負責人以及下游。
四、設置數據治理專職崗位保障和支持各項流程運營
國信證券在數據治理工作小組下設立四類專職崗位，包括：數據治理崗，數據標準管理崗，數據質量管理崗和元數據管理崗。
數據治理崗主要負責數據治理體系建設，完善并推動組織、制度、流程與考核的落地。
數據標準管理崗負責基礎數據標準和指標數據標準的管理，以及數據標準的落標檢查。
數據質量崗負責對接公司各個業(yè)務線進行具體的數據問題整改，進行質量監(jiān)督。
元數據管理崗負責開展元數據采集和元數據評審，梳理公司的數據資產。
