國(guó)信證券數(shù)據(jù)治理負(fù)責(zé)人左銀康在“國(guó)信證券數(shù)據(jù)治理生態(tài)化應(yīng)用實(shí)踐”的主題演講中介紹了數(shù)據(jù)治理的行業(yè)現(xiàn)狀和挑戰(zhàn)，以及國(guó)信證券在數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)等領(lǐng)域的數(shù)據(jù)治理應(yīng)用實(shí)踐。
數(shù)據(jù)治理的必要性和目標(biāo)
證券行業(yè)數(shù)據(jù)治理的必要性和工作目標(biāo)包括監(jiān)管合規(guī)、風(fēng)險(xiǎn)可控和內(nèi)部經(jīng)營(yíng)管理三個(gè)方面。
第一，運(yùn)營(yíng)合規(guī)。
證券行業(yè)的數(shù)據(jù)治理，與法律法規(guī)以及監(jiān)管要求的發(fā)展趨勢(shì)密不可分。
2016年證監(jiān)會(huì)在《證券公司全面風(fēng)險(xiǎn)管理規(guī)范》中明確提出證券公司應(yīng)當(dāng)建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制等數(shù)據(jù)治理相關(guān)要求，這是行業(yè)內(nèi)首次提出數(shù)據(jù)治理要求。
2018年12月證監(jiān)會(huì)發(fā)布了《證券基金經(jīng)營(yíng)機(jī)構(gòu)信息技術(shù)管理辦法》，明確要求證券基金公司應(yīng)結(jié)合企業(yè)發(fā)展戰(zhàn)略，建立全面科學(xué)有效的數(shù)據(jù)治理組織架構(gòu)和管理機(jī)制。同時(shí)發(fā)布了《證券期貨業(yè)數(shù)據(jù)分類分級(jí)指引》，對(duì)證券行業(yè)的數(shù)據(jù)資產(chǎn)和數(shù)據(jù)模型進(jìn)行了進(jìn)一步規(guī)范。
因此證券行業(yè)數(shù)據(jù)治理的第一個(gè)目標(biāo)是建立符合法律法規(guī)和行業(yè)監(jiān)管的數(shù)據(jù)運(yùn)營(yíng)管理體系。
第二，風(fēng)險(xiǎn)可控。
證券行業(yè)數(shù)據(jù)量巨大，數(shù)據(jù)使用和交換的場(chǎng)景復(fù)雜，數(shù)據(jù)敏感度和價(jià)值都非常高，建立覆蓋數(shù)據(jù)全生命周期的風(fēng)險(xiǎn)管控機(jī)制，保障數(shù)據(jù)在產(chǎn)生、傳輸、存儲(chǔ)、使用、備份和銷毀各個(gè)階段的安全、準(zhǔn)確、及時(shí)非常關(guān)鍵。
第三，價(jià)值實(shí)現(xiàn)。
證券行業(yè)在各個(gè)領(lǐng)域都需要廣泛的數(shù)據(jù)支撐。例如：在經(jīng)營(yíng)分析方面，需要通過(guò)業(yè)績(jī)報(bào)表進(jìn)行業(yè)績(jī)考核和業(yè)績(jī)督導(dǎo);在營(yíng)銷服務(wù)方面，需要借助一些渠道引流和智能營(yíng)銷的數(shù)據(jù)進(jìn)行拓客和展業(yè);在投資研究領(lǐng)域，需要基于大量數(shù)據(jù)進(jìn)行量化分析和資產(chǎn)配置。
證券行業(yè)數(shù)據(jù)治理的四大問(wèn)題與挑戰(zhàn)
數(shù)據(jù)治理的落地需要從管控走向服務(wù)，與各個(gè)業(yè)務(wù)、開發(fā)流程相結(jié)合，實(shí)現(xiàn)數(shù)據(jù)治理的場(chǎng)景化和服務(wù)化，目前多數(shù)證券公司已經(jīng)建立了數(shù)據(jù)治理的組織架構(gòu)和制度體系。
來(lái)自證券業(yè)協(xié)會(huì)的數(shù)據(jù)治理調(diào)研數(shù)據(jù)顯示，目前8成以上的證券公司建立了數(shù)據(jù)治理的組織架構(gòu)，7成以上的證券公司形成了數(shù)據(jù)治理的制度體系和治理流程，發(fā)布了相應(yīng)的管理辦法和細(xì)則。
但是，證券行業(yè)在數(shù)據(jù)治理平臺(tái)、實(shí)施路徑和人才培養(yǎng)(專職崗位)等方面存在較大差異，大多數(shù)證券公司處于嘗試和摸索的階段，正在圍繞數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)、數(shù)據(jù)質(zhì)量建設(shè)、元數(shù)據(jù)建設(shè)等方面進(jìn)行探索，在落地的過(guò)程中存在一些問(wèn)題和挑戰(zhàn)。
首先，在數(shù)據(jù)標(biāo)準(zhǔn)方面，大多數(shù)證券公司已經(jīng)制定了相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)的管理規(guī)范，發(fā)布了基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)，但是這些數(shù)據(jù)標(biāo)準(zhǔn)往往缺乏應(yīng)用場(chǎng)景，業(yè)務(wù)和技術(shù)人員可能沒(méi)有主動(dòng)維護(hù)的驅(qū)動(dòng)力或者需求，造成數(shù)據(jù)標(biāo)準(zhǔn)過(guò)時(shí)或者不準(zhǔn)確，喪失了數(shù)據(jù)標(biāo)準(zhǔn)的權(quán)威性，導(dǎo)致標(biāo)準(zhǔn)無(wú)法繼續(xù)施行。
第二，在元數(shù)據(jù)管控方面，由于證券公司有一些外購(gòu)系統(tǒng)或合作開發(fā)的系統(tǒng)，使元數(shù)據(jù)變更管控很難完全覆蓋，必須對(duì)元數(shù)據(jù)的管控流程提出要求，進(jìn)行元數(shù)據(jù)的版本管理和元數(shù)據(jù)的評(píng)審，結(jié)合一些開發(fā)管理工具來(lái)加強(qiáng)管控能力。
第三，在數(shù)據(jù)質(zhì)量方面，傳統(tǒng)的數(shù)據(jù)質(zhì)量管理是從技術(shù)人員的角度出發(fā)，建立數(shù)據(jù)質(zhì)量的監(jiān)測(cè)規(guī)則，難以支持業(yè)務(wù)人員從業(yè)務(wù)視角提前監(jiān)控和發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，與此同時(shí)數(shù)據(jù)質(zhì)量的覆蓋率和有效性也有待提升。
第四，在人員配置方面，由于行業(yè)中的數(shù)據(jù)治理人才緊缺，很多企業(yè)通過(guò)開發(fā)人員轉(zhuǎn)型或兼職的方式推動(dòng)數(shù)據(jù)治理工作，導(dǎo)致很多數(shù)據(jù)治理工作流于形式，效果不理想。
國(guó)信證券數(shù)據(jù)治理應(yīng)用四大實(shí)踐策略
針對(duì)上述困境和挑戰(zhàn)，國(guó)信證券通過(guò)持續(xù)的探索和實(shí)踐取得了一些初步成效。
第一，在組織架構(gòu)方面，設(shè)置數(shù)據(jù)治理專職崗位，支撐數(shù)據(jù)治理在數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量，元數(shù)據(jù)安全等各領(lǐng)域的流程運(yùn)營(yíng)。
第二，在數(shù)據(jù)標(biāo)準(zhǔn)方面，為了解決數(shù)據(jù)標(biāo)準(zhǔn)缺乏維護(hù)場(chǎng)景、標(biāo)準(zhǔn)維護(hù)不夠及時(shí)的難點(diǎn)，將數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)中臺(tái)以及前端的數(shù)據(jù)應(yīng)用(例如報(bào)表平臺(tái))相結(jié)合，支撐數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)和推廣。
第三，在數(shù)據(jù)質(zhì)量方面，探索和建立統(tǒng)一的數(shù)據(jù)質(zhì)量檢核引擎，通過(guò)數(shù)據(jù)質(zhì)量檢核的可配置化，提升數(shù)據(jù)質(zhì)量檢核規(guī)則的配置效率和覆蓋率。
第四，在元數(shù)據(jù)方面，在元數(shù)據(jù)的變更管理中引入預(yù)發(fā)布庫(kù)，從而做到元數(shù)據(jù)的全流程管控，提升元數(shù)據(jù)的規(guī)范性以及有效性。
一、將數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)中臺(tái)、數(shù)據(jù)應(yīng)用融合
數(shù)據(jù)標(biāo)準(zhǔn)涉及三大平臺(tái)：數(shù)據(jù)服務(wù)平臺(tái)、數(shù)據(jù)管控平臺(tái)和數(shù)據(jù)應(yīng)用平臺(tái)。
其中，數(shù)據(jù)管控平臺(tái)管理國(guó)信證券內(nèi)部所有的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)，采集各個(gè)應(yīng)用系統(tǒng)以及報(bào)表平臺(tái)的元數(shù)據(jù);數(shù)據(jù)服務(wù)平臺(tái)通過(guò)集成各個(gè)數(shù)倉(cāng)以及數(shù)據(jù)應(yīng)用系統(tǒng)，提供數(shù)據(jù)API接口服務(wù);數(shù)據(jù)應(yīng)用平臺(tái)面向業(yè)務(wù)人員以及分支機(jī)構(gòu)展示不同的數(shù)據(jù)報(bào)表。
國(guó)信證券基于融合打通的理念將這三大平臺(tái)的數(shù)據(jù)標(biāo)準(zhǔn)打通，將數(shù)據(jù)標(biāo)準(zhǔn)融合到企業(yè)數(shù)據(jù)中臺(tái)，跨平臺(tái)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的對(duì)外輸出和統(tǒng)一。破解了數(shù)據(jù)口徑不清晰、不同人員理解不一致，以及數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)治理成果缺乏應(yīng)用和推廣的痛點(diǎn)。
二、建立統(tǒng)一的數(shù)據(jù)質(zhì)量檢核引擎提升質(zhì)量檢核規(guī)則配置效率
在業(yè)務(wù)規(guī)則復(fù)雜多樣、數(shù)據(jù)源對(duì)象差異大的需求背景下，為了實(shí)現(xiàn)數(shù)據(jù)檢核的低代碼甚至無(wú)代碼，支持自主配置數(shù)據(jù)質(zhì)量監(jiān)控，國(guó)信證券基于四個(gè)方面設(shè)計(jì)了統(tǒng)一數(shù)據(jù)質(zhì)量檢核引擎。
1)檢核對(duì)象的可配置化
檢核對(duì)象指建立每一條檢核規(guī)則時(shí)，都會(huì)指定相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)庫(kù)中的表和字段來(lái)對(duì)其進(jìn)行監(jiān)控，這樣的表格字段往往需要技術(shù)人員寫SQL進(jìn)行數(shù)據(jù)庫(kù)查詢，才能得知具體的表格字段。為此，國(guó)信證券將各關(guān)鍵系統(tǒng)的表格字段梳理成數(shù)據(jù)模型，以勾選配置化的方式在前端展現(xiàn)，從而實(shí)現(xiàn)低代碼化配置，即使是業(yè)務(wù)人員也可以自己通過(guò)勾選每一張報(bào)表進(jìn)行配置。
2)檢核常量的可配置化
檢核常量指每一條檢核規(guī)則，特別是數(shù)據(jù)類的質(zhì)量檢核規(guī)則，例如同比波動(dòng)超過(guò)20%會(huì)被認(rèn)為是異常的，這個(gè)20%是一個(gè)常量，以往需要技術(shù)人員寫SQL置換。如今，在國(guó)信證券的檢核引擎界面，每一個(gè)檢核常量都可以由業(yè)務(wù)人員通過(guò)手工輸入直接進(jìn)行修改。
3)檢核規(guī)則的可配置化
檢核規(guī)則其實(shí)非常復(fù)雜，既有單表檢核、跨表檢核，也有跨庫(kù)檢核。國(guó)信證券針對(duì)這些檢核規(guī)則配置了單表、跨表、跨庫(kù)等一些通用的檢核規(guī)則模板，目前已經(jīng)梳理并上線了十余個(gè)模板，對(duì)應(yīng)300余條檢核規(guī)則，實(shí)現(xiàn)每日的運(yùn)行監(jiān)控。
4)執(zhí)行計(jì)劃的可配置化
執(zhí)行計(jì)劃是指檢核對(duì)象、檢核常量以及檢核規(guī)則等配置完成后，檢測(cè)任務(wù)在何時(shí)執(zhí)行?調(diào)度頻率是多久等等。在數(shù)據(jù)質(zhì)量檢核引擎界面，業(yè)務(wù)人員可以通過(guò)勾選的方式，實(shí)現(xiàn)執(zhí)行計(jì)劃的調(diào)度配置。
通過(guò)數(shù)據(jù)質(zhì)量檢核規(guī)則的可配置和檢核任務(wù)的可配置，實(shí)現(xiàn)了統(tǒng)一部署，定期檢核，并且可以出具相應(yīng)的數(shù)據(jù)質(zhì)量檢核報(bào)告，形成數(shù)據(jù)質(zhì)量管理的閉環(huán)。
三、元數(shù)據(jù)變更管理中引入預(yù)發(fā)布庫(kù)實(shí)現(xiàn)全流程管控
在元數(shù)據(jù)管理方面，國(guó)信證券在數(shù)據(jù)管控平臺(tái)引入了預(yù)發(fā)布庫(kù)模塊，實(shí)現(xiàn)了元數(shù)據(jù)的全流程管控，并且可以在線上發(fā)送影響通知。
數(shù)據(jù)管控平臺(tái)的第一個(gè)模塊是元數(shù)據(jù)采集與版本管理模塊，采集國(guó)信證券各業(yè)務(wù)系統(tǒng)、數(shù)倉(cāng)和數(shù)據(jù)集市、資訊信息以及應(yīng)用日志等元數(shù)據(jù)，進(jìn)行版本管理。第二個(gè)模塊是元數(shù)據(jù)管理流程，從需求收集到上線流程中，嵌入數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范性評(píng)審環(huán)節(jié)來(lái)管控元數(shù)據(jù)。
與此同時(shí)，國(guó)信證券引入了預(yù)發(fā)布庫(kù)管理模塊，各個(gè)系統(tǒng)在上線前進(jìn)行元數(shù)據(jù)評(píng)審時(shí)，會(huì)同時(shí)審核其預(yù)發(fā)布庫(kù)，如果檢核到預(yù)發(fā)庫(kù)和生產(chǎn)庫(kù)不一致，將進(jìn)行比對(duì)，從而分析具體變更，然后基于血緣關(guān)系解析模塊解析元數(shù)據(jù)來(lái)源和影響，在有變更時(shí)通知關(guān)聯(lián)方。
數(shù)據(jù)管控平臺(tái)實(shí)現(xiàn)了元數(shù)據(jù)變更的自動(dòng)化管理，變更前可以及時(shí)通知下游，避免了上游變動(dòng)下游未及時(shí)變更造成的生產(chǎn)事故。數(shù)據(jù)管控平臺(tái)的管理流程已與數(shù)據(jù)模型管理、數(shù)據(jù)標(biāo)準(zhǔn)管理以及數(shù)據(jù)質(zhì)量管理相融合，并在元數(shù)據(jù)輸出與應(yīng)用的過(guò)程中進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的評(píng)審，通過(guò)數(shù)據(jù)質(zhì)量檢核實(shí)現(xiàn)元數(shù)據(jù)的監(jiān)控與告警。例如，當(dāng)系統(tǒng)中的元數(shù)據(jù)未在預(yù)發(fā)布庫(kù)變更卻直接在生產(chǎn)庫(kù)變更的情況，會(huì)通過(guò)監(jiān)控告警，告知系統(tǒng)負(fù)責(zé)人以及下游。
四、設(shè)置數(shù)據(jù)治理專職崗位保障和支持各項(xiàng)流程運(yùn)營(yíng)
國(guó)信證券在數(shù)據(jù)治理工作小組下設(shè)立四類專職崗位，包括：數(shù)據(jù)治理崗，數(shù)據(jù)標(biāo)準(zhǔn)管理崗，數(shù)據(jù)質(zhì)量管理崗和元數(shù)據(jù)管理崗。
數(shù)據(jù)治理崗主要負(fù)責(zé)數(shù)據(jù)治理體系建設(shè)，完善并推動(dòng)組織、制度、流程與考核的落地。
數(shù)據(jù)標(biāo)準(zhǔn)管理崗負(fù)責(zé)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)的管理，以及數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)檢查。
數(shù)據(jù)質(zhì)量崗負(fù)責(zé)對(duì)接公司各個(gè)業(yè)務(wù)線進(jìn)行具體的數(shù)據(jù)問(wèn)題整改，進(jìn)行質(zhì)量監(jiān)督。
元數(shù)據(jù)管理崗負(fù)責(zé)開展元數(shù)據(jù)采集和元數(shù)據(jù)評(píng)審，梳理公司的數(shù)據(jù)資產(chǎn)。
