企業(yè)實(shí)施機(jī)器學(xué)習(xí)安全運(yùn)維時(shí)將面臨的六大挑戰(zhàn) 在實(shí)施AI的過(guò)程中，若企業(yè)不對(duì)其安全計(jì)劃進(jìn)行適應(yīng)性調(diào)整，就可能面臨各種新舊威脅。
　　
　　機(jī)器學(xué)習(xí)安全運(yùn)維(MLSecOps)通過(guò)將AI和機(jī)器學(xué)習(xí)(ML)開(kāi)發(fā)與嚴(yán)格的安全準(zhǔn)則相結(jié)合，解決了安全邊界中的這一關(guān)鍵缺陷。根據(jù)開(kāi)放軟件安全基金會(huì)(Open Software Security Foundation)的一份白皮書(shū)，建立穩(wěn)固的MLSecOps基礎(chǔ)對(duì)于主動(dòng)降低漏洞風(fēng)險(xiǎn)和簡(jiǎn)化先前未發(fā)現(xiàn)缺陷的修復(fù)流程至關(guān)重要。
　　
　　AI/ML系統(tǒng)必須保持可信、穩(wěn)健和安全。MLSecOps能夠幫助安全團(tuán)隊(duì)在業(yè)務(wù)規(guī)模擴(kuò)大的同時(shí)，嵌入保護(hù)措施。
　　
　　MLSecOps實(shí)施挑戰(zhàn)
　　
　　隨著企業(yè)開(kāi)始建立更強(qiáng)大的ML和AI安全體系，他們將面臨六大主要挑戰(zhàn)。領(lǐng)導(dǎo)層和安全策略制定者必須了解如何識(shí)別這些問(wèn)題，并在懷疑模型存在風(fēng)險(xiǎn)時(shí)采取相應(yīng)措施。
　　
　　1. 定義獨(dú)特且不斷變化的威脅態(tài)勢(shì)
　　
　　許多與MLSecOps相關(guān)的DevSecOps安全實(shí)踐在應(yīng)用于AI威脅態(tài)勢(shì)時(shí)往往效果不佳。
　　
　　DevSecOps主要圍繞安全人員多年來(lái)已熟知的傳統(tǒng)軟件漏洞展開(kāi)，如后門(mén)、漏洞、故障等。AI和ML系統(tǒng)對(duì)大多數(shù)企業(yè)來(lái)說(shuō)尚屬新興技術(shù)，因此除了現(xiàn)有流程外，安全團(tuán)隊(duì)還需考慮一系列新的威脅向量，如數(shù)據(jù)投毒、對(duì)抗性輸入、模型盜竊或篡改，甚至模型反轉(zhuǎn)和成員推理等針對(duì)隱私的攻擊。
　　
　　防御這些新威脅意味著需要專(zhuān)門(mén)針對(duì)ML生命周期設(shè)計(jì)控制措施。安全專(zhuān)業(yè)人員必須為反復(fù)的、試探性的攻擊做好準(zhǔn)備，而非僅僅防范隱蔽的一次性黑客攻擊。對(duì)模型進(jìn)行壓力測(cè)試至關(guān)重要。
　　
　　2. 持續(xù)訓(xùn)練的隱藏復(fù)雜性
　　
　　AI模型會(huì)不斷進(jìn)化，這為MLSecOps安全增加了另一層復(fù)雜性，每次模型基于數(shù)據(jù)進(jìn)行訓(xùn)練和再訓(xùn)練時(shí)，都可能為ML生態(tài)系統(tǒng)引入新的漏洞，這意味著模型可能在某一天是安全的，而另一天則不然。
　　
　　為了應(yīng)對(duì)這一問(wèn)題，每次模型再訓(xùn)練都應(yīng)被視為一個(gè)全新的產(chǎn)品版本，IT和安全領(lǐng)導(dǎo)層甚至可以考慮為模型的最新版本創(chuàng)建配套材料——就像應(yīng)用開(kāi)發(fā)者在每次新版本發(fā)布時(shí)分享版本詳情一樣——概述模型訓(xùn)練所使用的數(shù)據(jù)，以及此版本與上一版本的不同之處。如果不對(duì)模型訓(xùn)練進(jìn)行持續(xù)跟蹤，MLSecOps計(jì)劃的安全性將隨時(shí)間推移而下降。
　　
　　3. 管理ML模型的不透明性和可解釋性
　　
　　ML模型，即使是其創(chuàng)建者，也往往將其視為“黑箱”，因此對(duì)其如何得出答案知之甚少。對(duì)于安全專(zhuān)業(yè)人員來(lái)說(shuō)，這意味著審計(jì)或驗(yàn)證行為的能力有限——而這傳統(tǒng)上是網(wǎng)絡(luò)安全的一個(gè)關(guān)鍵方面。
　　
　　有辦法可以繞過(guò)AI和ML系統(tǒng)的這種不透明性：使用可信執(zhí)行環(huán)境(TEE)，這些是安全的飛地，企業(yè)可以在其中在受控的生態(tài)系統(tǒng)中反復(fù)測(cè)試模型，并創(chuàng)建證明數(shù)據(jù)。
　　
　　TEE使企業(yè)能夠利用證明數(shù)據(jù)為適當(dāng)?shù)哪Ｐ托袨榻㈩A(yù)先設(shè)定的標(biāo)準(zhǔn)和指南，從而使模型研究人員能夠決定AI系統(tǒng)是否值得信賴(lài)。雖然TEE并不能使模型變得透明，但它能確保不可預(yù)測(cè)或未知行為的風(fēng)險(xiǎn)不會(huì)進(jìn)入生產(chǎn)環(huán)境。
　　
　　4. 創(chuàng)建安全的訓(xùn)練數(shù)據(jù)管道
　　
　　模型并非靜態(tài)不變，而是由其攝入的數(shù)據(jù)所塑造，因此，數(shù)據(jù)投毒對(duì)于需要重新訓(xùn)練的ML模型來(lái)說(shuō)是一個(gè)持續(xù)存在的威脅。
　　
　　企業(yè)必須在訓(xùn)練過(guò)程中嵌入自動(dòng)化檢查，以確保數(shù)據(jù)管道的持續(xù)安全，利用TEE提供的信息以及模型應(yīng)有的行為準(zhǔn)則，可以在每次向AI和ML模型提供新信息時(shí)評(píng)估其完整性和準(zhǔn)確性。
　　
　　同樣，對(duì)于用戶向模型提供的數(shù)據(jù)也應(yīng)如此，安全領(lǐng)導(dǎo)層應(yīng)定期對(duì)其MLSecOps計(jì)劃的穩(wěn)健性進(jìn)行檢查。
　　
　　5. 模型溯源與可復(fù)現(xiàn)性
　　
　　更新的訓(xùn)練數(shù)據(jù)、配置漂移和不斷演變的庫(kù)使得跟蹤模型的穩(wěn)定性和性能變得困難，特別是當(dāng)模型決策出現(xiàn)問(wèn)題時(shí)，感覺(jué)無(wú)法追蹤甚至復(fù)現(xiàn)先前版本的模型。
　　
　　解決方案是為模型創(chuàng)建譜系，使安全團(tuán)隊(duì)能夠了解模型的版本控制和隨時(shí)間的變化，這可能包括數(shù)據(jù)集、訓(xùn)練配置的詳細(xì)快照以及模型的依賴(lài)關(guān)系，當(dāng)由于模型及其數(shù)據(jù)的不斷變化而無(wú)法精確復(fù)現(xiàn)時(shí)，企業(yè)應(yīng)追求近似復(fù)現(xiàn)，能夠重新測(cè)試模型并獲得可比結(jié)果將保持對(duì)模型進(jìn)展的信任。
　　
　　6. 風(fēng)險(xiǎn)評(píng)估的困難
　　
　　適用于傳統(tǒng)軟件的風(fēng)險(xiǎn)評(píng)估框架并不適用于變化多端的AI和ML程序，傳統(tǒng)評(píng)估未能考慮到ML特有的權(quán)衡，例如準(zhǔn)確性與公平性、安全性與可解釋性或透明度與效率之間的權(quán)衡。
　　
　　為了應(yīng)對(duì)這一難題，企業(yè)必須根據(jù)具體情況評(píng)估模型，考慮其使命、用例和背景以評(píng)估風(fēng)險(xiǎn)，這當(dāng)然不是進(jìn)行風(fēng)險(xiǎn)評(píng)估的常規(guī)方式，但模型的操作決策必須由優(yōu)先級(jí)文化來(lái)指導(dǎo)，跨職能協(xié)作也是評(píng)估的關(guān)鍵，吸納ML工程師、安全團(tuán)隊(duì)和政策領(lǐng)導(dǎo)者來(lái)監(jiān)督模型將提高安全性。
　　
　　應(yīng)對(duì)不斷變化的目標(biāo)
　　
　　如果企業(yè)希望利用AI和ML工作流程，那么他們也必須將MLSecOps視為該計(jì)劃中不可或缺的一部分。
　　
　　這六大挑戰(zhàn)凸顯了AI安全的復(fù)雜性，但它們也為企業(yè)構(gòu)建真正嚴(yán)密、可信的MLSecOps提供了機(jī)遇。
　　
　　實(shí)現(xiàn)安全的第一步是承認(rèn)現(xiàn)有安全實(shí)踐的局限性，并制定新規(guī)則以應(yīng)對(duì)AI和ML的獨(dú)特性。最終，企業(yè)將把MLSecOps視為負(fù)責(zé)任地部署AI的基石，但這需要安全領(lǐng)導(dǎo)者立即采取行動(dòng)，為安全性和信任設(shè)定更高標(biāo)準(zhǔn)。