致力于將AI技術應用于復雜環境中數據的Cloudera今日宣布平臺更新,重點包括Cloudera Iceberg REST Catalog和Cloudera Lakehouse Optimizer。此次更新進一步強化了公司致力于提供由Iceberg驅動的領先開放式數據湖倉一體架構的承諾。Iceberg REST Catalog將提供無縫共享數據所需的開放互操作性,Lakehouse Optimizer將確保數據始終處于優化狀態,實現跨引擎訪問數據的成本效益。同時,所有功能均在Cloudera統一的治理和安全框架下進行。上述增強功能在今日Cloudera主辦的AI和數據行業盛會EVOLVE25 NYC上亮相。
隨著企業競相發掘AI和分析功能的潛力,同時也面臨著諸多挑戰,例如復雜的數據架構、孤立的平臺和不一致的治理。在系統之間移動數據進行分析或AI訓練,會增加成本、帶來安全風險,并延遲洞察獲取。現代企業需要開放、安全且可互操作的數據架構,以支持AI廣泛存在背景下處于各類復雜環境中的數據,以及多引擎分析,同時避免數據重復或被單一供應商鎖定。
Cloudera Iceberg REST Catalog - 降低總體擁有成本,加快價值實現
作為將Iceberg REST Catalog集成到完整生命周期數據和AI平臺中的提供商,Cloudera實現了在各類云和數據中心上的安全、零拷貝數據共享和統一治理。為應對挑戰,Cloudera的新產品將Iceberg REST Catalog集成到其平臺中。同時,在無需復制或移動數據的情況下,這種方式允許第三方引擎直接訪問Cloudera管理的數據,并確保在公有云、數據中心和邊緣計算中實現一致的執行策略和元數據智能。從實時攝取和大規模處理、到使用AI和BI的完整數據生命周期內,Cloudera能夠在各類云和數據中心中,提供統一的安全、治理和互操作性。通過基于REST的訪問擴展Apache Iceberg功能,Cloudera助力企業確保其數據戰略面向未來,同時保持控制力、可見性和合規性。
此次更新后,所有采用Iceberg的Cloudera客戶均可享受跨生態系統的無縫零拷貝互操作性,輕松連接Snowflake、Databricks、AWS Athena、AWS EMR及Salesforce等主流分析與AI引擎,同時符合ACID規范,并擁有統一的訪問策略。客戶還將獲得企業級的治理能力,通過Cloudera的共享數據體驗(SDX)將細粒度訪問控制、數據血緣和審計功能擴展到第三方工具,從而確保大規模降低安全數據門檻,并確保合規性。此外,客戶將擁有開放的元數據訪問權限,在不受專有目錄限制的情況下即時發現數據資產,通過一致的真實數據源加速AI開發和商業智能。這些增強功能降低了總體擁有成本(TCO),并加快了價值實現速度。實際案例顯示,該方案能幫助客戶降低高達79%的數據存儲成本。同時,增強功能還提高了跨業務線數據的可見性。例如,某全球領先衛星運營商在控制成本的同時,強化了AI數據管道。
Cloudera Lakehouse Optimizer - 提升查詢性能并降低存儲成本
Cloudera Lakehouse Optimizer是一項全新智能服務,將為Cloudera湖倉內的Apache Iceberg提供自動優化和表維護功能。其智能優化能力超越基礎表維護,涵蓋重寫清單文件和位置刪除文件等任務。通過智能優化表,該服務能夠有效減少人工數據管理任務和運營成本,助力客戶聚焦于提煉數據洞察。作為開放解決方案,該服務支持任意公有云上兼容Iceberg的引擎,并通過獨特的用戶界面提供企業就緒的可觀測性和控制力,支持細粒度的策略定義與調整。優化策略可應用于特定表或整個數據目錄。并且,在即將發布的版本中,該服務有望成為業界領先的支持本地部署的解決方案。內部基準測試表明,該服務可將查詢性能提升高達13倍,并將存儲成本降低36%。
Cloudera首席產品官Leo Brunnick表示:“作為大數據行業的領先平臺公司,Cloudera持續投入資源,推動Apache Iceberg開放表格式適用于企業。通過今天的新發布,我們將繼續履行承諾,為客戶在其所需的任何時間和地點,提供靈活、可擴展的深度洞察。正是這份承諾,讓全球眾多大型企業信賴Cloudera,通過我們將AI技術應用于復雜環境中的企業數據。”


