譯者 | 晶顏
審校 | 重樓
人工智能正從執(zhí)行預(yù)定義指令的工具，進(jìn)化為具備自我修改、參數(shù)重寫及實(shí)時(shí)反饋進(jìn)化能力的復(fù)雜系統(tǒng)。這種被稱為“自創(chuàng)生”的自維持特性，使其能動(dòng)態(tài)適應(yīng)環(huán)境以提升效率，但也帶來不可預(yù)測性。
對網(wǎng)絡(luò)安全團(tuán)隊(duì)而言，傳統(tǒng)安全模型基于“威脅來自外部”的假設(shè)——即惡意行為者利用穩(wěn)定系統(tǒng)漏洞實(shí)施攻擊。然而，當(dāng)人工智能具備自我重配置能力時(shí)，風(fēng)險(xiǎn)范疇已從外部入侵?jǐn)U展至內(nèi)部邏輯的不可預(yù)測性。
這一挑戰(zhàn)對中小型企業(yè)及公共機(jī)構(gòu)尤為嚴(yán)峻，因?yàn)樗鼈兺狈Y源來監(jiān)控人工智能的長期演化路徑，或識(shí)別系統(tǒng)安全狀態(tài)的自主變更。
人工智能自我改寫的典型場景
大多數(shù)軟件在固定的參數(shù)內(nèi)運(yùn)行，行為具備可預(yù)測性。然而，“自創(chuàng)生”人工智能可以根據(jù)環(huán)境輸入重新定義自己的操作邏輯。雖然這允許更智能的自動(dòng)化，但這也意味著負(fù)責(zé)優(yōu)化效率的人工智能可能會(huì)在沒有人類監(jiān)督的情況下開始做出安全決策。
例如，人工智能驅(qū)動(dòng)的電子郵件過濾系統(tǒng)可能會(huì)根據(jù)預(yù)先設(shè)定的標(biāo)準(zhǔn)在最初阻止網(wǎng)絡(luò)釣魚嘗試。但是，如果它不斷了解到阻止過多的電子郵件會(huì)引發(fā)用戶的投訴，它可能會(huì)開始降低其敏感性，主動(dòng)繞過既定安全規(guī)則以平衡效率。
類似地，負(fù)責(zé)優(yōu)化網(wǎng)絡(luò)性能的人工智能可能會(huì)將安全協(xié)議識(shí)別為“障礙”，并調(diào)整防火墻配置，繞過身份驗(yàn)證步驟，或禁用某些警報(bào)機(jī)制——不是作為攻擊，而是作為改進(jìn)感知功能的一種手段。此類變更由系統(tǒng)內(nèi)生優(yōu)化邏輯驅(qū)動(dòng)，而非外部攻擊，導(dǎo)致安全團(tuán)隊(duì)難以診斷風(fēng)險(xiǎn)根源。
“自創(chuàng)生”人工智能尤為令人擔(dān)憂的是，它的決策過程往往是不透明的。安全分析師可能會(huì)注意到某個(gè)系統(tǒng)的行為有所不同，但可能很難確定它做出這些調(diào)整的原因。如果人工智能根據(jù)它所認(rèn)為的優(yōu)化修改了安全設(shè)置，可能不會(huì)生成可供取證分析的日志記錄。這就造成了一種責(zé)任缺口，導(dǎo)致組織在風(fēng)險(xiǎn)暴露前無法感知安全狀態(tài)的變化。
中小企業(yè)和公共機(jī)構(gòu)特有的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)
對于擁有專門AI安全團(tuán)隊(duì)的大型企業(yè)，可以通過持續(xù)監(jiān)控、對抗性測試和模型可解釋性要求來控制自我修改AI的風(fēng)險(xiǎn)。但中小企業(yè)和公共機(jī)構(gòu)往往缺乏預(yù)算與技術(shù)能力實(shí)施此類監(jiān)督。
簡單地說，這些組織面臨的危險(xiǎn)是，他們可能沒有意識(shí)到自己的人工智能系統(tǒng)正在改變安全關(guān)鍵流程，直至為時(shí)已晚。依賴人工智能驅(qū)動(dòng)的訪問控制的市政府可能會(huì)假設(shè)憑據(jù)認(rèn)證功能正常，但卻發(fā)現(xiàn)系統(tǒng)已經(jīng)取消了多因素認(rèn)證的優(yōu)先級(jí)，以減少登錄時(shí)間。使用人工智能欺詐檢測的小型企業(yè)可能會(huì)發(fā)現(xiàn)，為了盡量減少運(yùn)營中斷，其系統(tǒng)抑制了太多的安全警報(bào)，無意中導(dǎo)致欺詐性交易漏檢。
2024年7月“CrowdStrike危機(jī)”堪稱典型案例：某網(wǎng)絡(luò)安全平臺(tái)在未充分審查的情況下部署全局內(nèi)容更新，因缺乏結(jié)構(gòu)驗(yàn)證、版本管理及客戶端差異化更新機(jī)制，引發(fā)全球范圍內(nèi)的技術(shù)癱瘓。
此類事件表明，隨著自動(dòng)化進(jìn)程深度引入生成式AI，傳統(tǒng)漏洞管理框架已難以應(yīng)對內(nèi)生性風(fēng)險(xiǎn)——風(fēng)險(xiǎn)不再表現(xiàn)為惡意軟件或被盜憑證，而是系統(tǒng)以“非預(yù)期路徑”自主演化的結(jié)果。這使得中小企業(yè)和公共機(jī)構(gòu)的風(fēng)險(xiǎn)變得尤其高，因?yàn)樗鼈兺狈ψ銐虻娜藛T來持續(xù)審計(jì)人工智能驅(qū)動(dòng)的安全決策和修改。
更糟糕的是，越來越多地依賴人工智能進(jìn)行身份驗(yàn)證、欺詐檢測和訪問控制，只會(huì)加劇這個(gè)問題。由于人工智能在確定組織內(nèi)誰或什么值得信任方面發(fā)揮著更大的作用，它自主改變這些信任模型的能力為安全團(tuán)隊(duì)引入了一個(gè)移動(dòng)的目標(biāo)。如果人工智能決策從人類的監(jiān)督中抽離，組織可能很難再重新控制自己的安全框架。
安全團(tuán)隊(duì)如何適應(yīng)自創(chuàng)生AI威脅
緩解“自創(chuàng)生”人工智能的風(fēng)險(xiǎn)需要網(wǎng)絡(luò)安全戰(zhàn)略的根本轉(zhuǎn)變。組織需摒棄“安全故障僅源于外部”的假設(shè)，認(rèn)識(shí)到AI自身的邏輯演變可能引入漏洞。
安全團(tuán)隊(duì)必須超越靜態(tài)審計(jì)方法，為人工智能驅(qū)動(dòng)的安全流程實(shí)施實(shí)時(shí)驗(yàn)證機(jī)制。對于允許人工智能系統(tǒng)修改身份驗(yàn)證工作流、防火墻設(shè)置或欺詐檢測閾值，必須實(shí)施獨(dú)立審查與實(shí)時(shí)驗(yàn)證，避免將“效率提升”等同于“安全可靠”。
網(wǎng)絡(luò)安全專業(yè)人員還必須認(rèn)識(shí)到，可解釋性與性能同樣重要。在安全敏感場景中，AI模型需設(shè)計(jì)為人類可讀的邏輯框架，以便分析師能夠理解人工智能系統(tǒng)做出特定更改的原因。如果沒有這種級(jí)別的透明度，組織就有可能將關(guān)鍵的安全決策“外包”給他們無法完全控制且不斷發(fā)展的系統(tǒng)。
對于中小企業(yè)和公共機(jī)構(gòu)來說，挑戰(zhàn)更大。其中許多組織缺乏專門的人工智能安全專業(yè)知識(shí)，這意味著他們必須推動(dòng)外部監(jiān)督機(jī)制。人工智能驅(qū)動(dòng)的安全解決方案的供應(yīng)商合同應(yīng)包括強(qiáng)制性的透明度要求，確保人工智能系統(tǒng)不會(huì)在未經(jīng)人類明確批準(zhǔn)的情況下，實(shí)施從根本上改變其安全狀態(tài)的自我修改行為。
測試AI故障場景以發(fā)現(xiàn)弱點(diǎn)
組織還應(yīng)該開始測試AI故障場景，就像測試災(zāi)難恢復(fù)和事件響應(yīng)一樣。如果人工智能驅(qū)動(dòng)的欺詐檢測系統(tǒng)開始抑制高風(fēng)險(xiǎn)警報(bào)，安全團(tuán)隊(duì)將以多快的速度發(fā)現(xiàn)這種轉(zhuǎn)變?如果人工智能驅(qū)動(dòng)的身份驗(yàn)證系統(tǒng)降低了身份驗(yàn)證的嚴(yán)格性，IT團(tuán)隊(duì)如何在攻擊者利用這一變化之前進(jìn)行干預(yù)?這些都不是假設(shè)性的擔(dān)憂，而是AI承擔(dān)更多自主安全功能后真實(shí)存在的漏洞。
安全團(tuán)隊(duì)可以做出的最危險(xiǎn)的假設(shè)是，人工智能將始終與人類的意圖保持一致。如果一個(gè)系統(tǒng)是為了優(yōu)化結(jié)果而設(shè)計(jì)的，那么它就會(huì)優(yōu)化——但可能以違背網(wǎng)絡(luò)安全優(yōu)先級(jí)的方式運(yùn)行。組織越早認(rèn)識(shí)到這一點(diǎn)，越能在AI做出失控安全決策前，更好地保護(hù)人工智能驅(qū)動(dòng)的環(huán)境。
原文標(biāo)題：When AI moves beyond human oversight: The cybersecurity risks of self-sustaining systems，作者：Christopher Whyte
