AI以其帶來變革性洞察和效率提升的潛力吸引了企業界的目光,然而,隨著各企業急于將其模型投入運營,一個嚴峻的現實正浮現出來:AI將投資轉化為實時業務價值的推理階段正受到圍攻,這一關鍵節點正以初始商業案例未能預測到的方式推高總擁有成本。
那些因AI項目的變革性優勢而批準項目的安全主管和CFO,如今正面臨捍衛這些系統的隱性開支。對手已發現,推理是AI為企業“創造價值”的環節,也正是他們能造成最大破壞的地方。結果導致成本激增:在受監管行業,違規遏制成本每起事件可能超過500萬美元,合規整改費用高達數十萬美元,而信任危機可能引發股價暴跌或合同取消,從而嚴重削弱預期的AI投資回報率,若無法在推理階段控制成本,AI將成為不可控的預算變數。
不見的戰場:AI推理與飆升的總擁有成本
AI推理正迅速成為“下一個內部風險”,CrowdStrike美國區現場首席技術官Cristian Rodriguez在RSAC 2025大會上向聽眾表示。
其他技術領袖也持相同觀點,并指出企業戰略中存在一個共同盲點。WinWire的首席技術官Vineet Arora指出,許多企業“在密切保護AI基礎設施安全的同時,無意中忽視了推理環節”。他解釋說,“這導致了對持續監控系統、實時威脅分析和快速補丁機制的成本低估。”
Telesign產品與組合高級副總裁Steffen Schreier指出的另一個關鍵盲點是,“假設第三方模型已經過全面審查,部署起來絕對安全”。他警告說,實際上,“這些模型往往未經針對企業特定威脅環境或合規需求的評估”,可能導致有害或不合規的輸出,進而損害品牌信任。Schreier告訴記者,“推理階段的漏洞——如提示注入、輸出操縱或上下文泄露——可能被攻擊者利用,產生有害、有偏見或不合規的輸出。這在受監管行業中構成嚴重風險,并可能迅速削弱品牌信任。”
當推理環節受到損害時,其影響會波及總擁有成本的多個方面。網絡安全預算激增,合規性受到威脅,客戶信任受損。高管們的情緒反映了這種日益增長的擔憂。在CrowdStrike的《網絡安全中AI狀態》調查中,只有39%的受訪者認為GenAI的收益明顯超過風險,而40%的受訪者認為兩者相當。這種矛盾情緒凸顯了一個關鍵發現:安全和隱私控制已成為新GenAI項目的首要要求,令人震驚的是,90%的企業現在正在實施或制定管理AI采用的策略。首要關注點已不再抽象:26%的受訪者提及敏感數據泄露,25%的受訪者擔心對抗性攻擊是主要風險。
推理攻擊剖析
運行AI模型所暴露的獨特攻擊面正受到對手的積極探測。為應對此,Schreier建議,“必須將每個輸入視為潛在的惡意攻擊。”像OWASP大型語言模型(LLM)應用前十威脅框架這樣的工具,記錄了這些威脅,它們已不再是理論上的,而是影響企業的實際攻擊向量:
- 提示注入(LLM01)和不安全的輸出處理(LLM02):攻擊者通過輸入或輸出操縱模型。惡意輸入可能導致模型忽略指令或泄露專有代碼。當應用程序盲目信任AI響應時,就會發生不安全的輸出處理,允許攻擊者將惡意腳本注入下游系統。
- 訓練數據投毒(LLM03)和模型投毒:攻擊者通過偷偷加入污染樣本篡改訓練數據,植入隱藏觸發器。隨后,一個無害的輸入可能觸發惡意輸出。
- 模型拒絕服務(LLM04):對手可以用復雜輸入壓垮AI模型,消耗過多資源以減慢或崩潰它們,導致直接收入損失。
- 供應鏈和插件漏洞(LLM05和LLM07):AI生態系統建立在共享組件之上。例如,Flowise LLM工具中的一個漏洞在438臺服務器上暴露了私人AI儀表板和敏感數據,包括GitHub令牌和OpenAI API密鑰。
- 敏感信息泄露(LLM06):如果機密信息是其訓練數據的一部分或存在于當前上下文中,巧妙的查詢可以從AI模型中提取這些信息。
- 過度代理(LLM08)和過度依賴(LLM09):如果被操縱,授予AI代理無限制的權限來執行交易或修改數據庫將是一場災難。
- 模型盜竊(LLM10):通過復雜的提取技術,企業的專有模型可能被盜——這是對其競爭優勢的直接攻擊。
這些威脅背后是基礎性的安全失敗。對手經常利用泄露的憑證登錄。據《CrowdStrike 2025全球威脅報告》,2024年初,35%的云入侵涉及有效用戶憑證,且新的、未歸屬的云攻擊嘗試激增了26%。一場深度偽造活動導致了一起2560萬美元的欺詐性轉賬,而AI生成的釣魚郵件點擊率高達54%,是人類撰寫郵件的四倍多。
回歸基礎:新時代的根基性安全
保護AI需要嚴格回歸安全基礎——但需通過現代視角應用。Rodriguez認為:“我們需要退一步,確保安全的基礎和原則仍然適用。保護操作系統的方法同樣適用于保護AI模型。”這意味著要在每條攻擊路徑上實施統一保護,包括嚴格的數據治理、強大的云安全態勢管理(CSPM),以及通過云基礎設施權限管理(CIEM)實現的以身份為先的安全,以鎖定大多數AI工作負載所在的云環境。隨著身份成為新的邊界,AI系統必須像任何其他業務關鍵云資產一樣,受到嚴格的訪問控制和運行時保護。
“影子AI”的幽靈:揭開隱藏的風險
“影子AI”,即員工未經批準使用AI工具,創造了一個巨大且未知的攻擊面。一位金融分析師使用免費的在線LLM處理機密文件可能無意中泄露專有數據。正如Rodriguez警告的,向公共模型的查詢可能“成為他人的答案”。解決這一問題需要明確的政策、員工教育以及技術控制,如AI安全態勢管理(AI-SPM),以發現和評估所有AI資產,無論是否經過批準。
強化未來:可行的防御策略
盡管對手已將AI武器化,但形勢正開始轉變。正如Ivanti現場首席信息安全官Mike Riemer所觀察到的,防御者正開始“利用AI在網絡安全方面的全部潛力,分析從各種系統中收集的大量數據”。這種主動姿態對于構建強大的防御至關重要,它需要幾個關鍵策略:
從零開始為推理安全預算:Arora建議,第一步是進行“全面的基于風險的評估”。他建議繪制整個推理流程圖,以識別每個數據流和漏洞。“通過將這些風險與可能的財務影響聯系起來,”他解釋說,“我們可以更好地量化安全漏洞的成本,”并制定現實的預算。那些在AI項目預算中為推理階段安全分配少于8%至12%的企業,往往會在后來的違規恢復和合規成本上措手不及。一位接受采訪并要求匿名的財富500強醫療保健提供商首席信息官,現在將其總GenAI預算的15%用于訓練后風險管理,包括運行時監控、AI-SPM平臺和合規審計。一個實際的預算模型應將資金分配到四個成本中心:運行時監控(35%)、對抗性模擬(25%)、合規工具(20%)和用戶行為分析(20%)。這些投資減少了下游的違規補救成本、監管處罰和服務水平協議(SLA)違規,所有這些都有助于穩定AI的總擁有成本。
實施運行時監控和驗證:首先調整異常檢測,以發現推理層的行為,如異常的API調用模式、輸出熵變化或查詢頻率激增。像DataDome和Telesign這樣的供應商現在提供針對GenAI濫用特征定制的實時行為分析。團隊應監控輸出中的熵變化,跟蹤模型響應中的標記不規則性,并關注來自特權賬戶的異常查詢頻率。有效的設置包括將日志流式傳輸到安全信息和事件管理(SIEM)工具(如Splunk或Datadog),并使用針對GenAI的解析器,以及為偏離模型基線的偏差設置實時警報閾值。
為AI采用零信任框架:對于AI環境,零信任是不可妥協的。它遵循“永不信任,始終驗證”的原則。Riemer指出,通過采用這種架構,企業可以確保“只有經過身份驗證的用戶和設備才能訪問敏感數據和應用程序,無論其物理位置如何”。推理階段的零信任應在多個層次上實施:
- 身份:對訪問推理端點的人類和服務主體進行身份驗證。
- 權限:使用基于角色的訪問控制(RBAC)限制大型語言模型(LLM)的訪問,并設置有時限的特權。
- 分段:使用服務網格策略隔離推理微服務,并通過云工作負載保護平臺(CWPP)實施最小權限默認設置。
保護AI投資回報率:CISO/CFO協作模型
保護企業AI的投資回報率需要積極模擬安全的財務收益。從基準投資回報率預測開始,然后為每個安全控制添加成本規避場景。將網絡安全投資與避免的成本(包括事件補救、SLA違規和客戶流失)聯系起來,將風險降低轉化為可衡量的投資回報率增長。企業應模擬三種投資回報率場景,包括基準、有安全投資和違規后恢復,以清晰展示成本規避。例如,一家部署輸出驗證的電信公司每月阻止了12,000多次錯誤路由的查詢,每年節省了630萬美元的SLA罰款和呼叫中心工作量。將投資與避免的成本(包括違規補救、SLA不合規、品牌影響和客戶流失)聯系起來,為向首席財務官展示投資回報率提供有力論據。
清單:CFO級別的投資回報率保護模型
首席財務官需要清晰地傳達安全支出如何保護底線。為了在推理層保護AI投資回報率,安全投資必須像任何其他戰略資本分配一樣進行建模:與總擁有成本、風險緩解和收入保護直接相關。使用此清單使AI安全投資在董事會中可辯護,并在預算周期中可操作:
- 將每項AI安全支出與預期的總擁有成本降低類別(合規、違規補救、SLA穩定性)聯系起來。
- 運行具有3年視野場景的成本規避模擬:基準、受保護和違規反應。
- 量化因SLA違規、監管罰款、品牌信任侵蝕和客戶流失造成的財務風險。
- 與首席信息安全官和首席財務官共同建模推理層安全預算,以打破企業隔閡。
- 將安全投資展示為增長推動器,而非開銷,展示它們如何穩定AI基礎設施以實現持續價值捕獲。
此模型不僅捍衛AI投資;它還捍衛預算和品牌,并可以保護和增強董事會的信譽。
結論分析:戰略必需品
首席信息安全官必須將AI風險管理呈現為業務推動器,以投資回報率保護、品牌信任維護和監管穩定性來量化。隨著AI推理深入收入工作流程,保護它不再是成本中心;它是AI財務可持續性的控制平面。基礎設施層的安全戰略投資必須用首席財務官能夠采取行動的財務指標來證明其合理性。
前進的道路要求企業在AI創新投資與同等保護投資之間取得平衡。這需要新的戰略一致性水平。正如Ivanti首席信息官Robert Grazioli告訴記者的:“首席信息安全官和首席信息官的一致性對于有效保護現代企業至關重要。”這種協作對于打破削弱安全的數據和預算隔閡至關重要,使企業能夠管理AI的真實成本,并將高風險賭博轉變為可持續、高投資回報率的增長引擎。
Telesign的Schreier補充說:“我們通過數字身份和信任的視角來看待AI推理風險。我們在AI工具的整個生命周期中嵌入安全性——使用訪問控制、使用監控、速率限制和行為分析來檢測濫用,并保護我們的客戶及其最終用戶免受新興威脅。”他繼續說:“我們將輸出驗證視為AI安全架構的關鍵層,特別是因為許多推理階段的風險并非源于模型的訓練方式,而是源于它在野外的行為方式。”