国产一级一区二区_segui88久久综合9999_97久久夜色精品国产_欧美色网一区二区

掃一掃
關(guān)注微信公眾號

國信證券數(shù)據(jù)治理生態(tài)化應(yīng)用實踐
2022-02-11   企業(yè)網(wǎng)D1Net

  金融行業(yè)站在歷史的分叉口,內(nèi)有指數(shù)型增長的數(shù)據(jù)量,外有互聯(lián)網(wǎng)公司的跨界打擊,不得不擁抱大數(shù)據(jù)時代。與此同時,大量數(shù)據(jù)的流入流出,對金融業(yè)的數(shù)據(jù)治理和數(shù)據(jù)安全帶來巨大挑戰(zhàn)。


  國信證券數(shù)據(jù)治理負(fù)責(zé)人左銀康在“國信證券數(shù)據(jù)治理生態(tài)化應(yīng)用實踐”的主題演講中介紹了數(shù)據(jù)治理的行業(yè)現(xiàn)狀和挑戰(zhàn),以及國信證券在數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)等領(lǐng)域的數(shù)據(jù)治理應(yīng)用實踐。

  數(shù)據(jù)治理的必要性和目標(biāo)

  證券行業(yè)數(shù)據(jù)治理的必要性和工作目標(biāo)包括監(jiān)管合規(guī)、風(fēng)險可控和內(nèi)部經(jīng)營管理三個方面。

  第一,運營合規(guī)。

  證券行業(yè)的數(shù)據(jù)治理,與法律法規(guī)以及監(jiān)管要求的發(fā)展趨勢密不可分。

  2016年證監(jiān)會在《證券公司全面風(fēng)險管理規(guī)范》中明確提出證券公司應(yīng)當(dāng)建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制等數(shù)據(jù)治理相關(guān)要求,這是行業(yè)內(nèi)首次提出數(shù)據(jù)治理要求。

  2018年12月證監(jiān)會發(fā)布了《證券基金經(jīng)營機(jī)構(gòu)信息技術(shù)管理辦法》,明確要求證券基金公司應(yīng)結(jié)合企業(yè)發(fā)展戰(zhàn)略,建立全面科學(xué)有效的數(shù)據(jù)治理組織架構(gòu)和管理機(jī)制。同時發(fā)布了《證券期貨業(yè)數(shù)據(jù)分類分級指引》,對證券行業(yè)的數(shù)據(jù)資產(chǎn)和數(shù)據(jù)模型進(jìn)行了進(jìn)一步規(guī)范。

  因此證券行業(yè)數(shù)據(jù)治理的第一個目標(biāo)是建立符合法律法規(guī)和行業(yè)監(jiān)管的數(shù)據(jù)運營管理體系。

  第二,風(fēng)險可控。

  證券行業(yè)數(shù)據(jù)量巨大,數(shù)據(jù)使用和交換的場景復(fù)雜,數(shù)據(jù)敏感度和價值都非常高,建立覆蓋數(shù)據(jù)全生命周期的風(fēng)險管控機(jī)制,保障數(shù)據(jù)在產(chǎn)生、傳輸、存儲、使用、備份和銷毀各個階段的安全、準(zhǔn)確、及時非常關(guān)鍵。

  第三,價值實現(xiàn)。

  證券行業(yè)在各個領(lǐng)域都需要廣泛的數(shù)據(jù)支撐。例如:在經(jīng)營分析方面,需要通過業(yè)績報表進(jìn)行業(yè)績考核和業(yè)績督導(dǎo);在營銷服務(wù)方面,需要借助一些渠道引流和智能營銷的數(shù)據(jù)進(jìn)行拓客和展業(yè);在投資研究領(lǐng)域,需要基于大量數(shù)據(jù)進(jìn)行量化分析和資產(chǎn)配置。

  證券行業(yè)數(shù)據(jù)治理的四大問題與挑戰(zhàn)

  數(shù)據(jù)治理的落地需要從管控走向服務(wù),與各個業(yè)務(wù)、開發(fā)流程相結(jié)合,實現(xiàn)數(shù)據(jù)治理的場景化和服務(wù)化,目前多數(shù)證券公司已經(jīng)建立了數(shù)據(jù)治理的組織架構(gòu)和制度體系。

  來自證券業(yè)協(xié)會的數(shù)據(jù)治理調(diào)研數(shù)據(jù)顯示,目前8成以上的證券公司建立了數(shù)據(jù)治理的組織架構(gòu),7成以上的證券公司形成了數(shù)據(jù)治理的制度體系和治理流程,發(fā)布了相應(yīng)的管理辦法和細(xì)則。

  但是,證券行業(yè)在數(shù)據(jù)治理平臺、實施路徑和人才培養(yǎng)(專職崗位)等方面存在較大差異,大多數(shù)證券公司處于嘗試和摸索的階段,正在圍繞數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)、數(shù)據(jù)質(zhì)量建設(shè)、元數(shù)據(jù)建設(shè)等方面進(jìn)行探索,在落地的過程中存在一些問題和挑戰(zhàn)。

  首先,在數(shù)據(jù)標(biāo)準(zhǔn)方面,大多數(shù)證券公司已經(jīng)制定了相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)的管理規(guī)范,發(fā)布了基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn),但是這些數(shù)據(jù)標(biāo)準(zhǔn)往往缺乏應(yīng)用場景,業(yè)務(wù)和技術(shù)人員可能沒有主動維護(hù)的驅(qū)動力或者需求,造成數(shù)據(jù)標(biāo)準(zhǔn)過時或者不準(zhǔn)確,喪失了數(shù)據(jù)標(biāo)準(zhǔn)的權(quán)威性,導(dǎo)致標(biāo)準(zhǔn)無法繼續(xù)施行。

  第二,在元數(shù)據(jù)管控方面,由于證券公司有一些外購系統(tǒng)或合作開發(fā)的系統(tǒng),使元數(shù)據(jù)變更管控很難完全覆蓋,必須對元數(shù)據(jù)的管控流程提出要求,進(jìn)行元數(shù)據(jù)的版本管理和元數(shù)據(jù)的評審,結(jié)合一些開發(fā)管理工具來加強(qiáng)管控能力。

  第三,在數(shù)據(jù)質(zhì)量方面,傳統(tǒng)的數(shù)據(jù)質(zhì)量管理是從技術(shù)人員的角度出發(fā),建立數(shù)據(jù)質(zhì)量的監(jiān)測規(guī)則,難以支持業(yè)務(wù)人員從業(yè)務(wù)視角提前監(jiān)控和發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題,與此同時數(shù)據(jù)質(zhì)量的覆蓋率和有效性也有待提升。

  第四,在人員配置方面,由于行業(yè)中的數(shù)據(jù)治理人才緊缺,很多企業(yè)通過開發(fā)人員轉(zhuǎn)型或兼職的方式推動數(shù)據(jù)治理工作,導(dǎo)致很多數(shù)據(jù)治理工作流于形式,效果不理想。

  國信證券數(shù)據(jù)治理應(yīng)用四大實踐策略

  針對上述困境和挑戰(zhàn),國信證券通過持續(xù)的探索和實踐取得了一些初步成效。

  第一,在組織架構(gòu)方面,設(shè)置數(shù)據(jù)治理專職崗位,支撐數(shù)據(jù)治理在數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量,元數(shù)據(jù)安全等各領(lǐng)域的流程運營。

  第二,在數(shù)據(jù)標(biāo)準(zhǔn)方面,為了解決數(shù)據(jù)標(biāo)準(zhǔn)缺乏維護(hù)場景、標(biāo)準(zhǔn)維護(hù)不夠及時的難點,將數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)中臺以及前端的數(shù)據(jù)應(yīng)用(例如報表平臺)相結(jié)合,支撐數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)和推廣。

  第三,在數(shù)據(jù)質(zhì)量方面,探索和建立統(tǒng)一的數(shù)據(jù)質(zhì)量檢核引擎,通過數(shù)據(jù)質(zhì)量檢核的可配置化,提升數(shù)據(jù)質(zhì)量檢核規(guī)則的配置效率和覆蓋率。

  第四,在元數(shù)據(jù)方面,在元數(shù)據(jù)的變更管理中引入預(yù)發(fā)布庫,從而做到元數(shù)據(jù)的全流程管控,提升元數(shù)據(jù)的規(guī)范性以及有效性。

  一、將數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)中臺、數(shù)據(jù)應(yīng)用融合

  數(shù)據(jù)標(biāo)準(zhǔn)涉及三大平臺:數(shù)據(jù)服務(wù)平臺、數(shù)據(jù)管控平臺和數(shù)據(jù)應(yīng)用平臺。

  其中,數(shù)據(jù)管控平臺管理國信證券內(nèi)部所有的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn),采集各個應(yīng)用系統(tǒng)以及報表平臺的元數(shù)據(jù);數(shù)據(jù)服務(wù)平臺通過集成各個數(shù)倉以及數(shù)據(jù)應(yīng)用系統(tǒng),提供數(shù)據(jù)API接口服務(wù);數(shù)據(jù)應(yīng)用平臺面向業(yè)務(wù)人員以及分支機(jī)構(gòu)展示不同的數(shù)據(jù)報表。

  國信證券基于融合打通的理念將這三大平臺的數(shù)據(jù)標(biāo)準(zhǔn)打通,將數(shù)據(jù)標(biāo)準(zhǔn)融合到企業(yè)數(shù)據(jù)中臺,跨平臺實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的對外輸出和統(tǒng)一。破解了數(shù)據(jù)口徑不清晰、不同人員理解不一致,以及數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)治理成果缺乏應(yīng)用和推廣的痛點。

  二、建立統(tǒng)一的數(shù)據(jù)質(zhì)量檢核引擎提升質(zhì)量檢核規(guī)則配置效率

  在業(yè)務(wù)規(guī)則復(fù)雜多樣、數(shù)據(jù)源對象差異大的需求背景下,為了實現(xiàn)數(shù)據(jù)檢核的低代碼甚至無代碼,支持自主配置數(shù)據(jù)質(zhì)量監(jiān)控,國信證券基于四個方面設(shè)計了統(tǒng)一數(shù)據(jù)質(zhì)量檢核引擎。

  1)檢核對象的可配置化

  檢核對象指建立每一條檢核規(guī)則時,都會指定相應(yīng)的數(shù)據(jù)庫以及數(shù)據(jù)庫中的表和字段來對其進(jìn)行監(jiān)控,這樣的表格字段往往需要技術(shù)人員寫SQL進(jìn)行數(shù)據(jù)庫查詢,才能得知具體的表格字段。為此,國信證券將各關(guān)鍵系統(tǒng)的表格字段梳理成數(shù)據(jù)模型,以勾選配置化的方式在前端展現(xiàn),從而實現(xiàn)低代碼化配置,即使是業(yè)務(wù)人員也可以自己通過勾選每一張報表進(jìn)行配置。

  2)檢核常量的可配置化

  檢核常量指每一條檢核規(guī)則,特別是數(shù)據(jù)類的質(zhì)量檢核規(guī)則,例如同比波動超過20%會被認(rèn)為是異常的,這個20%是一個常量,以往需要技術(shù)人員寫SQL置換。如今,在國信證券的檢核引擎界面,每一個檢核常量都可以由業(yè)務(wù)人員通過手工輸入直接進(jìn)行修改。

  3)檢核規(guī)則的可配置化

  檢核規(guī)則其實非常復(fù)雜,既有單表檢核、跨表檢核,也有跨庫檢核。國信證券針對這些檢核規(guī)則配置了單表、跨表、跨庫等一些通用的檢核規(guī)則模板,目前已經(jīng)梳理并上線了十余個模板,對應(yīng)300余條檢核規(guī)則,實現(xiàn)每日的運行監(jiān)控。

  4)執(zhí)行計劃的可配置化

  執(zhí)行計劃是指檢核對象、檢核常量以及檢核規(guī)則等配置完成后,檢測任務(wù)在何時執(zhí)行?調(diào)度頻率是多久等等。在數(shù)據(jù)質(zhì)量檢核引擎界面,業(yè)務(wù)人員可以通過勾選的方式,實現(xiàn)執(zhí)行計劃的調(diào)度配置。

  通過數(shù)據(jù)質(zhì)量檢核規(guī)則的可配置和檢核任務(wù)的可配置,實現(xiàn)了統(tǒng)一部署,定期檢核,并且可以出具相應(yīng)的數(shù)據(jù)質(zhì)量檢核報告,形成數(shù)據(jù)質(zhì)量管理的閉環(huán)。

  三、元數(shù)據(jù)變更管理中引入預(yù)發(fā)布庫實現(xiàn)全流程管控

  在元數(shù)據(jù)管理方面,國信證券在數(shù)據(jù)管控平臺引入了預(yù)發(fā)布庫模塊,實現(xiàn)了元數(shù)據(jù)的全流程管控,并且可以在線上發(fā)送影響通知。

  數(shù)據(jù)管控平臺的第一個模塊是元數(shù)據(jù)采集與版本管理模塊,采集國信證券各業(yè)務(wù)系統(tǒng)、數(shù)倉和數(shù)據(jù)集市、資訊信息以及應(yīng)用日志等元數(shù)據(jù),進(jìn)行版本管理。第二個模塊是元數(shù)據(jù)管理流程,從需求收集到上線流程中,嵌入數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范性評審環(huán)節(jié)來管控元數(shù)據(jù)。

  與此同時,國信證券引入了預(yù)發(fā)布庫管理模塊,各個系統(tǒng)在上線前進(jìn)行元數(shù)據(jù)評審時,會同時審核其預(yù)發(fā)布庫,如果檢核到預(yù)發(fā)庫和生產(chǎn)庫不一致,將進(jìn)行比對,從而分析具體變更,然后基于血緣關(guān)系解析模塊解析元數(shù)據(jù)來源和影響,在有變更時通知關(guān)聯(lián)方。

  數(shù)據(jù)管控平臺實現(xiàn)了元數(shù)據(jù)變更的自動化管理,變更前可以及時通知下游,避免了上游變動下游未及時變更造成的生產(chǎn)事故。數(shù)據(jù)管控平臺的管理流程已與數(shù)據(jù)模型管理、數(shù)據(jù)標(biāo)準(zhǔn)管理以及數(shù)據(jù)質(zhì)量管理相融合,并在元數(shù)據(jù)輸出與應(yīng)用的過程中進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的評審,通過數(shù)據(jù)質(zhì)量檢核實現(xiàn)元數(shù)據(jù)的監(jiān)控與告警。例如,當(dāng)系統(tǒng)中的元數(shù)據(jù)未在預(yù)發(fā)布庫變更卻直接在生產(chǎn)庫變更的情況,會通過監(jiān)控告警,告知系統(tǒng)負(fù)責(zé)人以及下游。

  四、設(shè)置數(shù)據(jù)治理專職崗位保障和支持各項流程運營

  國信證券在數(shù)據(jù)治理工作小組下設(shè)立四類專職崗位,包括:數(shù)據(jù)治理崗,數(shù)據(jù)標(biāo)準(zhǔn)管理崗,數(shù)據(jù)質(zhì)量管理崗和元數(shù)據(jù)管理崗。

  數(shù)據(jù)治理崗主要負(fù)責(zé)數(shù)據(jù)治理體系建設(shè),完善并推動組織、制度、流程與考核的落地。

  數(shù)據(jù)標(biāo)準(zhǔn)管理崗負(fù)責(zé)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)的管理,以及數(shù)據(jù)標(biāo)準(zhǔn)的落標(biāo)檢查。

  數(shù)據(jù)質(zhì)量崗負(fù)責(zé)對接公司各個業(yè)務(wù)線進(jìn)行具體的數(shù)據(jù)問題整改,進(jìn)行質(zhì)量監(jiān)督。

  元數(shù)據(jù)管理崗負(fù)責(zé)開展元數(shù)據(jù)采集和元數(shù)據(jù)評審,梳理公司的數(shù)據(jù)資產(chǎn)。

熱詞搜索:數(shù)據(jù)治理

上一篇:Palo Alto Networks推出 PAN-OS 10.2 Nebula:業(yè)界首款網(wǎng)絡(luò)安全內(nèi)聯(lián)深度學(xué)習(xí)防御解決方案,有力阻止復(fù)雜攻擊
下一篇:Google Project Zero統(tǒng)計:大部分廠商能在90天內(nèi)修復(fù)漏洞

分享到: 收藏
主站蜘蛛池模板: 蓬莱市| 台北县| 十堰市| 乌兰浩特市| 郯城县| 津市市| 青岛市| 乌拉特中旗| 木里| 北票市| 芜湖市| 永宁县| 宜川县| 左云县| 景东| 澄迈县| 军事| 百色市| 维西| 灌云县| 定襄县| 台安县| 阳江市| 化隆| 乌拉特前旗| 来宾市| 民勤县| 米脂县| 青铜峡市| 麻栗坡县| 瓦房店市| 大荔县| 天镇县| 黎平县| 辽宁省| 肇东市| 佳木斯市| 洛阳市| 枣强县| 吴川市| 平谷区|