可信的數據、分析和AI混合平臺廠商肯睿Cloudera今天發布了由NVIDIA NIM微服務驅動的肯睿Cloudera AI推理服務，該服務同時成為NVIDIA AI Enterprise平臺的一部分。作為業界首批提供嵌入式 NIM微服務功能的AI推理服務之一，肯睿Cloudera AI推理服務以獨特方式簡化了大規模AI模型的部署與管理，使企業能夠發揮出其數據的真正潛力，將生成式AI從試點階段推進到全面生產階段。

　　根據德勤最新數據顯示，企業采用生成式AI的最大障礙是合規風險和治理問題。盡管如此，生成式AI仍在快速普及，今年第三季度有超過三分之二的企業增加了生成式AI預算。為了緩解上述問題，無論在本地，還是在公有云中，企業都必須轉向私有AI模型和應用。為此，企業需要安全、可擴展的解決方案來避免復雜的自行解決方法。

　　肯睿Cloudera AI推理服務通過在企業控制范圍內提供安全開發與部署，防止敏感數據泄露到云服務商托管的非私有AI模型服務中。這項NVIDIA技術驅動的服務幫助企業快速構建實現可信AI所需的可信數據，支持企業高效開發AI驅動的聊天機器人、虛擬助手和代理應用，從而提升生產力并實現業務增長。

　　肯睿Cloudera在與NVIDIA合作后不久就推出了肯睿Cloudera AI推理服務，進一步強調了肯睿Cloudera的承諾，即在各行各業應對數字化轉型與AI集成復雜性的關鍵時刻，不斷推動企業AI創新。

　　開發者可以使用NVIDIA Tensor Core GPU構建、定制和部署企業級大語言模型(LLM) ，其性能最高可提升36倍，吞吐量是使用CPU時的近4倍。用戶界面(UI)和API可與NVIDIA NIM微服務容器直接集成，不再需要使用命令行界面(CLI)和單獨的監控系統，為用戶帶來了無縫銜接體驗。該服務與肯睿Cloudera AI模型注冊表集成后，還可通過管理模型端點和操作的訪問控制改善安全性和治理。用戶能夠在一個統一平臺上通過一項服務無縫管理所有模型，無論是LLM部署，還是傳統模型都不例外。

　　肯睿Cloudera AI推理服務的其他主要功能包括：

　　•    高級AI功能：利用NVIDIA NIM微服務優化開源LLM(包括LLama和Mistral)，推動自然語言處理(NLP)、計算機視覺和其他AI領域的前沿技術發展。

　　•    混合云與隱私：在本地或云中運行工作負載，通過VPC部署增強安全性與合規性。

　　•    可擴展性與監控：依靠自動擴展、高可用性(HA)和實時性能追蹤檢測和糾正問題，實現高效資源管理。

　　•    開放式 API與CI/CD集成：使用符合標準的API進行模型部署、管理和監控，以便與 CI/CD流水線和MLOps工作流程無縫集成。

　　•    企業安全功能：通過服務帳戶、訪問控制、數據沿襲和審計功能執行模型訪問。

　　•    風險管理部署：通過A/B測試和“金絲雀推廣”(canary rollout)以控制模型更新。

　　行業分析師Sanjeev Mohan表示：“企業正對投資生成式AI熱情高漲，但這不僅需要可擴展的數據，還需要安全、合規且管理良好的數據。將私有AI大規模投入生產帶來了DIY方法難以解決的復雜性。肯睿Cloudera AI推理服務通過將先進的數據管理與NVIDIA的AI專業技術相結合彌補了這一差距，在保護數據的同時發揮數據潛能。憑借服務帳戶、訪問控制、審計等企業級安全功能，企業可以放心地保護自己的數據，并在本地或云中運行工作負載。以其所需的靈活性和治理方式高效部署AI模型。”

　　肯睿Cloudera首席產品官Dipto Chakravarty表示：“我們十分高興能與NVIDIA攜手推出肯睿Cloudera AI推理服務，為客戶提供一個支持幾乎所有模型和用例的一站式AI/ML平臺。如此一來，企業既可以使用我們的軟件創建強大的AI應用，也可以在肯睿Cloudera平臺中運行性能卓越的AI應用。通過集成NVIDIA AI，肯睿Cloudera能夠以先進的性能促進決策的智能化，使用可信數據大規模構建可信的AI應用，從而支持客戶不斷創新。”

　　NVIDIA AI軟件、模型和服務副總裁Kari Briski表示： “當今企業需要將生成式AI與其現有的數據基礎設施無縫集成，從而提升業務成果。通過將NVIDIA NIM微服務整合到肯睿Cloudera AI 推理服務平臺中，我們支持開發者能夠輕松創建可信的生成式AI應用，同時形成一個自我維持的AI數據飛輪。”

　　點擊這里進一步了解上述更新如何深化肯睿 Cloudera的企業承諾，通過生成式AI 將企業數據從試點階段推進到生產階段。