作者：Waqaas Kausar
人工智能（AI）應(yīng)用日漸融入我們的日常生活，帶來(lái)全新的發(fā)展機(jī)遇，并對(duì)傳統(tǒng)產(chǎn)業(yè)產(chǎn)生了顛覆性的影響。在過(guò)去至少二十年的時(shí)間里，以機(jī)器學(xué)習(xí)（ML）為代表的預(yù)測(cè)性人工智能為各領(lǐng)域帶來(lái)了愈發(fā)顯著的效益，這點(diǎn)在醫(yī)療和欺詐檢測(cè)等領(lǐng)域尤為突出。隨著生成式人工智能（gen AI）逐漸成為主流趨勢(shì)，人們愈發(fā)難以準(zhǔn)確預(yù)估這項(xiàng)技術(shù)可能帶來(lái)的廣泛影響。幾乎每天都有AI取得新突破的消息，而在這背后，有一股力量正在支撐并持續(xù)塑造人工智能創(chuàng)新，那就是開(kāi)源軟件。
開(kāi)源軟件曾是一種小眾概念，常與志愿者在周末編寫(xiě)代碼并免費(fèi)分享成果的場(chǎng)景聯(lián)系在一起。大型企業(yè)最初對(duì)此持懷疑態(tài)度，但隨著軟件行業(yè)的發(fā)展，推動(dòng)Linux和Apache軟件基金會(huì)等項(xiàng)目的社區(qū)群體證明，開(kāi)放協(xié)作能夠產(chǎn)生可擴(kuò)展、安全、成本效益高的解決方案，而這些恰恰是專(zhuān)有軟件模式很難提供的。
紅帽在確立開(kāi)源軟件的企業(yè)級(jí)地位方面發(fā)揮了引領(lǐng)作用，如今幾乎很難找到不依賴(lài)開(kāi)源軟件的軟件解決方案和應(yīng)用。Google、IBM、Microsoft、Amazon、NVIDIA等其他大型科技公司，以及像Spotify、Netflix這類(lèi)高度依賴(lài)技術(shù)的企業(yè)，都深度投身于開(kāi)源軟件項(xiàng)目之中。倘若沒(méi)有開(kāi)源軟件，互聯(lián)網(wǎng)、移動(dòng)設(shè)備、云計(jì)算和人工智能這些過(guò)去二十年間最重要的技術(shù)，是根本無(wú)法發(fā)展至今的。
隨著人工智能研究的進(jìn)展，我們看到了相同的模式，領(lǐng)先的框架、平臺(tái)和工具，如TensorFlow、PyTorch、Kubeflow和Jupyter Notebook等被免費(fèi)共享，在全球范圍內(nèi)形成了開(kāi)源社區(qū)。無(wú)論是云端還是本地，用于模型訓(xùn)練和推理的軟件基礎(chǔ)設(shè)施也大多采用開(kāi)源模式。然而，這其中的矛盾之處在于，開(kāi)源軟件對(duì)人工智能變革至關(guān)重要，卻鮮少被提及。
效率至上：打破人工智能的計(jì)算與能耗瓶頸
人工智能的發(fā)展進(jìn)程正面臨被能源和硬件限制所阻礙的風(fēng)險(xiǎn)，領(lǐng)先的云服務(wù)提供商和人工智能實(shí)驗(yàn)室報(bào)告稱(chēng)，前沿GPU和專(zhuān)用硬件出現(xiàn)短缺。此外，數(shù)據(jù)中心的電力消耗可能很快會(huì)受到電網(wǎng)容量的限制。
開(kāi)源人工智能軟件基礎(chǔ)設(shè)施可以通過(guò)以下方式幫助應(yīng)對(duì)這些限制：
●硬件靈活性與供應(yīng)商中立性：開(kāi)源人工智能框架具備更廣泛的兼容性，且通常不依賴(lài)特定供應(yīng)商，支持采用多種不同架構(gòu)的社區(qū)。這些框架可用于處理各類(lèi)處理器類(lèi)型的工作負(fù)載，從而降低對(duì)難以獲取的GPU及其他專(zhuān)用硬件的依賴(lài)。
●可定制的AI調(diào)度方案，提升資源利用效率：開(kāi)源平臺(tái)和諸如Kubernetes、Kubeflow和Apache Airflow這樣的技術(shù)為組織提供了動(dòng)態(tài)優(yōu)化AI工作負(fù)載調(diào)度的能力，能夠根據(jù)能源消耗、資源可用性和運(yùn)營(yíng)優(yōu)先級(jí)進(jìn)行調(diào)整。
●邊緣人工智能與聯(lián)邦學(xué)習(xí)：開(kāi)源邊緣計(jì)算框架，如KubeEdge，能夠在更接近數(shù)據(jù)源的位置處理數(shù)據(jù)，減少組織對(duì)集中式云資源的依賴(lài)。
面對(duì)當(dāng)前已顯現(xiàn)且預(yù)計(jì)將加劇的計(jì)算與電力資源短缺問(wèn)題，企業(yè)亟需采用更節(jié)能、硬件效率更高的人工智能架構(gòu)。開(kāi)源軟件基礎(chǔ)設(shè)施為實(shí)現(xiàn)這一目標(biāo)提供了堅(jiān)實(shí)的技術(shù)支撐。
采用挑戰(zhàn)：開(kāi)始使用可持續(xù)且可擴(kuò)展的人工智能
盡管大多數(shù)組織都認(rèn)識(shí)到人工智能在推動(dòng)創(chuàng)新和提升競(jìng)爭(zhēng)優(yōu)勢(shì)方面的潛力，但推動(dòng)一個(gè)清晰的初始用例仍可能頗具挑戰(zhàn)性，特別是在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)人才匱乏的情況下。
在成功試點(diǎn)之后，治理、安全及持續(xù)優(yōu)化將成為在企業(yè)范圍內(nèi)擴(kuò)展人工智能項(xiàng)目的關(guān)鍵。一個(gè)完整且全面的人工智能平臺(tái)能夠提供這些能力。早期低成本的實(shí)驗(yàn)可以激發(fā)突破，但當(dāng)團(tuán)隊(duì)從概念驗(yàn)證過(guò)渡到大規(guī)模部署并進(jìn)入生產(chǎn)環(huán)境時(shí)，穩(wěn)健的平臺(tái)和最佳實(shí)踐變得至關(guān)重要。合適的平臺(tái)將使組織能夠開(kāi)發(fā)和整合所需的新技能和工具集，同時(shí)自動(dòng)化重復(fù)性任務(wù)，并提供按需資源擴(kuò)展。
統(tǒng)一平臺(tái)可讓組織專(zhuān)注于創(chuàng)新，同時(shí)提供復(fù)雜IT環(huán)境所需的可靠性、增強(qiáng)的安全態(tài)勢(shì)和易管理性。
將開(kāi)源人工智能引入企業(yè)
紅帽以其核心產(chǎn)品而聞名——紅帽企業(yè)Linux（RHEL）、紅帽O(jiān)penShift和紅帽Ansible自動(dòng)化平臺(tái)。紅帽已將其重點(diǎn)擴(kuò)展至人工智能領(lǐng)域，通過(guò)紅帽AI構(gòu)建領(lǐng)先的開(kāi)源平臺(tái)，包括以下產(chǎn)品：
紅帽企業(yè)Linux AI（RHEL AI）為企業(yè)提供了一個(gè)更易于訪(fǎng)問(wèn)且更高效的開(kāi)源基礎(chǔ)，助力企業(yè)采用生成式人工智能。它簡(jiǎn)化了人工智能模型的部署和管理，并提供對(duì)IBM Granite基礎(chǔ)模型開(kāi)箱即用的支持，還具備透明度、增強(qiáng)的安全性和靈活性。
RHEL AI使組織能夠使用InstructLab框架，通過(guò)自有數(shù)據(jù)對(duì)基礎(chǔ)模型進(jìn)行微調(diào)，為企業(yè)開(kāi)啟生成式人工智能之旅提供低門(mén)檻的入門(mén)路徑，并在需要時(shí)擴(kuò)展到更復(fù)雜的人工智能架構(gòu)，如紅帽O(jiān)penShift AI。RHEL AI由紅帽全面支持，并可實(shí)現(xiàn)混合云環(huán)境中的遷移。
下圖概述了在RHEL AI中使用InstructLab對(duì)模型進(jìn)行微調(diào)的工作流程。
數(shù)據(jù)科學(xué)家可以訪(fǎng)問(wèn)一個(gè)可擴(kuò)展的環(huán)境，用于快速實(shí)驗(yàn)和簡(jiǎn)化模型部署。借助對(duì)多個(gè)AI框架的支持以及重復(fù)性任務(wù)的自動(dòng)化，他們能夠更好地專(zhuān)注于創(chuàng)新和模型優(yōu)化，從而加速價(jià)值實(shí)現(xiàn)時(shí)間。
應(yīng)用開(kāi)發(fā)人員和DevOps團(tuán)隊(duì)可通過(guò)與CI/CD管道的集成以及強(qiáng)大的自動(dòng)化功能，在混合環(huán)境中實(shí)現(xiàn)集中管理。這些功能可加速迭代、提升發(fā)布可靠性，并簡(jiǎn)化擴(kuò)展流程，同時(shí)使用開(kāi)源基礎(chǔ)確保與現(xiàn)有工具集的兼容性。
OpenShift AI是一個(gè)簡(jiǎn)化團(tuán)隊(duì)協(xié)作的平臺(tái)，助力交付驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型和競(jìng)爭(zhēng)優(yōu)勢(shì)的人工智能賦能的應(yīng)用。下圖展示了OpenShift AI的整體功能以及部分可用的組件和生態(tài)系統(tǒng)。
開(kāi)源軟件為人工智能的快速發(fā)展奠定了基礎(chǔ)。隨著生成式人工智能從概念走向?qū)嶋H應(yīng)用，協(xié)作與透明度比以往任何時(shí)候都更加重要。
大型組織必須做好準(zhǔn)備，采用能夠促進(jìn)大規(guī)模人工智能部署的治理和管理的實(shí)踐和技術(shù)。紅帽在提供企業(yè)就緒的開(kāi)源解決方案方面擁有豐富經(jīng)驗(yàn)——RHEL AI和OpenShift AI便是我們?nèi)绾瓮ㄟ^(guò)可擴(kuò)展且靈活的平臺(tái)塑造人工智能行業(yè)格局的例證。
如果您正在嘗試訓(xùn)練自己的模型、擴(kuò)展企業(yè)人工智能平臺(tái)或希望了解更多關(guān)于RHEL AI和OpenShift AI的信息，紅帽可以幫助您的組織以負(fù)責(zé)任且高成本效益的方式，解鎖人工智能的全部潛力。
關(guān)于作者
Waqaas Kausar
紅帽客戶(hù)技術(shù)主管
Waqaas是紅帽的客戶(hù)技術(shù)主管。自2015年以來(lái)，他為公司一些最大的客戶(hù)提供支持。他的職業(yè)生涯橫跨全球金融服務(wù)、能源及英國(guó)公共部門(mén)，擅長(zhǎng)應(yīng)用開(kāi)發(fā)、業(yè)務(wù)自動(dòng)化、容器平臺(tái)以及人工智能/機(jī)器學(xué)習(xí)（AI/ML）。
Waqaas非常擅長(zhǎng)融匯創(chuàng)新與實(shí)踐，為復(fù)雜的轉(zhuǎn)型挑戰(zhàn)提供戰(zhàn)略愿景和技術(shù)深度。作為一名終身學(xué)習(xí)者，他于近期獲得了管理與數(shù)據(jù)分析碩士學(xué)位，并將學(xué)術(shù)好奇心融入工作——無(wú)論是探索云原生現(xiàn)代化還是開(kāi)源的未來(lái)。
Waqaas是一位全身心投入的導(dǎo)師，也是協(xié)作成長(zhǎng)的積極倡導(dǎo)者。他堅(jiān)信，唯一不變的就是變化本身——而帶著明確目標(biāo)去擁抱變革，正是實(shí)現(xiàn)有意義進(jìn)步的動(dòng)力。
