在過去的20年中,大數據的架構發生了翻天覆地的變化。隨著企業數據量的爆發式增長,而單機數據庫或者本地數倉僅支持縱向拓展,這就造成了高成本,難度大的困境,因此水平拓展的“彈性”方案呼之欲出。Hadoop開創性的使用分布式文件系統、分布式計算架構,將大型數據的運算過程進行拆分,以計算的分布式替代數據本身的搬遷,一時間成為了最主流的技術架構。
隨著云計算的興起,數據行業開始向云原生的架構演化。隨之而來的混合多云的環境、數據安全的加強、數據管理的分布式轉變等需求,都使得數據使用的門檻大大提高,為此,Kyligence較早前就推出“智能數據云”平臺,在做強分析能力的基礎上增強了數據管理能力,以人工智能進一步替代人工工作,以云原生進一步替代基于Hadoop的基礎架構,讓數據服務與管理發揮核心作用,幫助企業智能管理最有價值數據,支持企業全面數字化轉型。
在近日召開的Kyligence2022春季線上論壇上,Kyligence重點介紹了“OLAPon數據湖”企業級OLAP解決方案、產品運營新模式“云上數據分析代運營”、企業級指標中臺等服務,旨在給與企業更加專業的數據治理,更好地提升企業內部的決策運行效率,最終在企業內外打造良好的數據生態閉環。
OLAPon數據湖
Kyligence提供基于云上數據湖的企業級OLAP能力。

在整體云的架構下,Kyligence只依賴云的存儲和計算資源。只要把數據部署到類似S3這樣的云數據的存儲上,再將服務應用起來,就擁有了SQLonS3的能力。用戶可以直接使用各種各樣的BI工具,包括Excel等。同時,Kyligence還提供相應的能力來降低中間的存儲成本、計算成本和數據使用成本。通過標準的SQL對接各種各樣的前端數據工具,通過企業級的管控,更好、更安全地管理客戶數據。

通過統一的語義層,Kyligence為客戶在云上構建了多維的數據集市。業務用戶只需消費這樣的數據集市,而無需關心這些是數據的來源(Oracle、Hadoop、Snowflake、Kafka)。通過Kyligence批流一體的能力,呈現給客戶的就是業務數據的語義。
Kyligence提供整個云上統一數據的訪問入口,通過SmartPushdown智能查詢下壓的能力,可以將ANSISQL翻譯成其他數據源。即使用戶的數據集市沒有被管理起來,也可以訪問原始的數據源,將相應的SQL下壓過去,拿到相應的記錄返回給客戶端。
此外,Kyligence統一的數據集市層能夠更好地為業務部門去使用,“一次定義,多次使用”。企業定義了一個統一的語義層,可以用到Excel、PowerBI、Tableau以及其他更多的BI和數據消費工具中,用戶通過標準的SQL語句都可以訪問。
在這個過程中,Kyligence為客戶提供了統一管控能力。客戶所有數據的定義、安全管理、審計,都可以被管理起來,避免了像在Excel的場景中,將數據大量導出來之后,各處不受控地分發,幫助客戶更好地做內部的數據合規工作。
在降低云端數據分析的總體擁有成本方面,用戶可以將數據刷到AWSS3,或者AzureBlobStorage上,Kyligence直接提供SQL能力。Kyligence提供的彈性伸縮能力,可以根據集群的使用量在高峰期拿更多的數據資源出來,在消費的低谷釋放出來,更經濟地利用好集群。定時的啟停集群功能則進一步降低了資源消耗。
總之,在數據湖上提供數據分析、自動化構建、自動化推薦等能力的大趨勢下,Kyligence通過統一語義層,將企業內部和外部所有的數據看作一個更大的數倉或數據湖,在其上面構建的整體能力,能夠連接相應的數據。OLAP的引擎則為特定的業務場景構建了相應的數據集市和索引,從而確保下游在訪問數據的時候夠快、夠安全。
云上數據分析代運營
Kyligence此次正式推出的云上數據分析代運營服務,以遠程的方式幫助企業高效安全地運維Kyligence產品,并在現有的標準技術支持體系之上,額外提供集監控告警、定期服務健康檢查、TCO優化建議三位一體的增值服務,通過7x24x365不間斷的主動的、預防式的、自動化運維的遠程服務,保障客戶業務的穩定運行。
關于安全性問題,Kyligence聯合創始人兼CTO李揚表示,Kyligence云上數據分析代運營通常運行在用戶自己的云賬戶下面。在應用級別,Kyligence的運維人員沒有權限訪問用戶數據,只能幫用戶做日常的IT運營。并且,Kyligence還有云上的各種安全管控資質認證,擁有SOC2Type1、ISO27001等證書。
企業級中臺指標
對于大部分企業而言,數據賦能業務的關鍵在于“降低用戶使用數據的門檻”。企業希望通過從技術語言到管理語言的抽象,讓數據成為企業管理的有效抓手。這樣一層平臺經過多年的發展落地成了“以指標的統一管理和分析為核心”的指標中臺。然而企業搭建指標中臺的過程中,內部膨脹的ETL任務和中間表消耗大量資源,Kyligence多維數據庫將是企業級指標中臺的最佳技術底座。
Kyligence企業級指標中臺產品技術解決方案,借助AI增強的智能指標引擎,可以實現指標的智能建模、自動加工計算,大幅降低指標ETL開發工作量,加快指標開發與上線效率。李揚介紹說,指標中臺一般分成原子指標和偏業務向的衍生和派生指標兩部分。原子指標是公司集中管理的是統一口徑的基礎,不是每個業務人員可以隨意自己改造的,而衍生和派生指標是業務創新的空間。他認為,每一個一線業務員都能夠用一些數字化的方法來優化自己的工作,而這對于企業就意味著一個很有力的創新賦能,從而打造很完美的方案。
關于企業級指標中臺具體落地時遇到的困難和挑戰,Kyligence聯合創始人兼CEO韓卿表示,當前客戶的技術棧千變萬化,例如生產制造企業在落地指標中臺時會出現生產流水線調整不到位、生產工藝不現代化等問題,這都給指標中臺的落地造成了一定困難。
李揚表示,企業在落地指標中臺時,還需要提升數字化管理思維。Kyligence提供的技術能力非常適合在大數據分析和管理方面幫助企業打破技術能力的瓶頸。
結語
隨著數據分析和管理需求的不斷發展,企業的數據架構也在不斷地迭代和完善。Kyligence作為領先的企業級數據服務和管理廠商,將繼續發揮自己的技術和服務優勢,助力全球客戶在云原生時代實現面向未來的數字化轉型。