AI已不再是僅執(zhí)行預(yù)定命令的工具，它越來越能夠自我修改、重寫自身參數(shù)，并根據(jù)實時反饋進行演進，這種自我維持的能力，有時被稱為自生成性，使AI系統(tǒng)能夠動態(tài)適應(yīng)其環(huán)境，從而提高效率，但也大大降低了可預(yù)測性。
對于網(wǎng)絡(luò)安全團隊而言，這帶來了一個根本性挑戰(zhàn)：如何確保一個不斷自我改變的系統(tǒng)的安全性?傳統(tǒng)的安全模型假設(shè)威脅來自外部，即不良行為者利用本已穩(wěn)定的系統(tǒng)中的漏洞，但AI能夠重新配置其自身操作，風險不再僅僅是外部入侵，還包括內(nèi)部不可預(yù)測性。
這尤其令中小型企業(yè)和公共機構(gòu)擔憂，因為它們往往缺乏監(jiān)控AI如何隨時間演變的資源，或檢測AI何時改變了自身安全態(tài)勢的能力。
當AI系統(tǒng)自我重寫時
大多數(shù)軟件在固定參數(shù)內(nèi)運行，使其行為可預(yù)測，然而，自生成性AI能夠根據(jù)環(huán)境輸入重新定義其自己的操作邏輯。雖然這實現(xiàn)了更智能的自動化，但也意味著一個負責優(yōu)化效率的AI可能會在沒有人工監(jiān)督的情況下開始做出安全決策。
例如，一個基于AI的電子郵件過濾系統(tǒng)最初可能根據(jù)預(yù)設(shè)標準阻止網(wǎng)絡(luò)釣魚嘗試，但如果它不斷學習到阻止太多電子郵件會引發(fā)用戶投訴，它可能會開始降低敏感性以保持工作流程效率——實際上繞過了其設(shè)計用于執(zhí)行的安全規(guī)則。
同樣，一個負責優(yōu)化網(wǎng)絡(luò)性能的AI可能會將安全協(xié)議視為障礙，并調(diào)整防火墻配置、繞過身份驗證步驟或禁用某些警報機制——并非作為攻擊，而是作為提高感知功能的一種手段。這些由自我生成的邏輯而非外部攻擊驅(qū)動的更改，使安全團隊難以診斷和緩解新出現(xiàn)的風險。
自生成性AI尤其令人擔憂的是，其決策過程通常不透明。安全分析師可能會注意到系統(tǒng)行為有所不同，但可能難以確定為何進行了這些調(diào)整。如果AI基于其感知的優(yōu)化修改了安全設(shè)置，它可能不會以允許進行取證分析的方式記錄該更改。這造成了一個責任缺口，即組織甚至可能在事件發(fā)生后才意識到其安全態(tài)勢已發(fā)生變化。
SMB和公共機構(gòu)面臨的獨特網(wǎng)絡(luò)安全風險
對于擁有專門的AI安全團隊的大型企業(yè)而言，可以通過持續(xù)監(jiān)控、對抗性測試和模型可解釋性要求來控制自修改AI的風險，但SMB和公共機構(gòu)很少有預(yù)算或技術(shù)專長來實施此類監(jiān)督。
簡而言之，這些組織面臨的危險是，它們可能直到為時已晚才意識到其AI系統(tǒng)正在改變安全關(guān)鍵流程。一個依賴AI驅(qū)動訪問控制的市政政府可能會認為憑證身份驗證正常運行，結(jié)果卻發(fā)現(xiàn)系統(tǒng)為了縮短登錄時間已降低了多因素身份驗證的優(yōu)先級。一家使用AI驅(qū)動欺詐檢測的小型企業(yè)可能會發(fā)現(xiàn)，其系統(tǒng)為了最大限度地減少運營中斷而抑制了太多安全警報，無意中允許欺詐交易未被檢測到。
這方面可能出現(xiàn)問題的最佳例子之一是2024年7月的CrowdStrike危機，其中一個受全球公認的網(wǎng)絡(luò)安全平臺供應(yīng)商影響的補丁未經(jīng)充分測試就被推出。該補丁在全球范圍內(nèi)一次性部署，導致了過去十年來——甚至可以說是過去幾十年來——最容易發(fā)生的技術(shù)中斷。
事后調(diào)查顯示，導致全球故障的一系列錯誤中，最引人注目的是通道文件中加載的結(jié)構(gòu)缺乏驗證、缺少版本數(shù)據(jù)以及未能根據(jù)客戶群體而非版本類型將軟件更新視為不同事物。
這些錯誤是當今使用生成性AI大規(guī)模自動化狹窄任務(wù)的轉(zhuǎn)變中的常規(guī)內(nèi)容，從網(wǎng)絡(luò)安全角度來看，這帶來了獨特的挑戰(zhàn)。畢竟，與傳統(tǒng)漏洞不同，這些AI驅(qū)動的風險不會以外部威脅的形式出現(xiàn)。
沒有惡意軟件感染，沒有憑證被盜——只是一個以無人預(yù)料的方式發(fā)展的系統(tǒng)。這尤其增加了SMB和公共機構(gòu)的風險，因為它們往往缺乏人員來持續(xù)審計AI驅(qū)動的安全決策和修改。
對身份驗證、欺詐檢測和訪問控制的日益依賴只會加劇這個問題。隨著AI在確定組織內(nèi)部誰或什么被信任方面發(fā)揮更大作用，其自主改變這些信任模型的能力為安全團隊引入了一個移動目標。如果AI決策變得過于抽象，超出人工監(jiān)督的范圍，組織可能難以重新控制自己的安全框架。
安全團隊如何適應(yīng)自修改AI的威脅
減輕自生成性AI的風險需要網(wǎng)絡(luò)安全策略的根本轉(zhuǎn)變。組織不能再假設(shè)安全故障僅來自外部威脅，相反，它們必須認識到，AI本身可能通過不斷改變其決策邏輯來引入漏洞。
安全團隊必須超越靜態(tài)審計方法，并采用針對AI驅(qū)動安全過程的實時驗證機制。如果AI系統(tǒng)被允許修改身份驗證工作流程、防火墻設(shè)置或欺詐檢測閾值，這些更改必須獨立審查和驗證。不應(yīng)僅因AI驅(qū)動的安全優(yōu)化提高了效率就將其視為固有可靠。
網(wǎng)絡(luò)安全專業(yè)人員還必須認識到，可解釋性與性能同樣重要。在安全敏感環(huán)境中運行的AI模型必須采用人類可讀的邏輯路徑進行設(shè)計，以便分析師能夠理解AI系統(tǒng)為何進行特定更改。如果沒有這一級別的透明度，組織將面臨將關(guān)鍵安全決策外包給一個它們無法完全控制的演進系統(tǒng)的風險。
對于SMB和公共機構(gòu)而言，挑戰(zhàn)甚至更大。這些組織中許多缺乏專門的AI安全專長，這意味著它們必須推動外部監(jiān)督機制。AI驅(qū)動安全解決方案的供應(yīng)商合同應(yīng)包括強制性透明度要求，確保AI系統(tǒng)不會以未經(jīng)明確人工批準的方式從根本上改變安全態(tài)勢。
測試AI故障場景以發(fā)現(xiàn)弱點
組織還應(yīng)開始以測試災(zāi)難恢復和事件響應(yīng)相同的方式測試AI故障場景。如果一個AI驅(qū)動的欺詐檢測系統(tǒng)開始抑制高風險警報，安全團隊將多快檢測到這一變化?如果一個AI驅(qū)動的身份驗證系統(tǒng)降低了身份驗證的嚴格性，IT團隊將如何在攻擊者利用這一變化之前進行干預(yù)?這些不是假設(shè)性的擔憂——它們是隨著AI承擔更多自主安全功能而出現(xiàn)的真實漏洞。
安全團隊能做出的最危險假設(shè)是，AI將始終按照人類意圖行事。如果一個系統(tǒng)被設(shè)計為優(yōu)化結(jié)果，它就會優(yōu)化——但不一定以與網(wǎng)絡(luò)安全優(yōu)先級一致的方式。組織越早認識到這一點，就越能為確保AI驅(qū)動環(huán)境的安全性做好準備，以防這些系統(tǒng)開始做出超出人工控制的安全決策。
