墨爾本大學(xué)和倫敦帝國理工學(xué)院的研究人員開發(fā)了一種利用大語言模型(LLM)改進事件響應(yīng)規(guī)劃的方法，重點在于降低產(chǎn)生幻覺的風(fēng)險，該方法采用經(jīng)過微調(diào)的小型大語言模型，并結(jié)合檢索增強生成技術(shù)和決策理論規(guī)劃。
　　
　　他們所針對的問題十分常見：目前事件響應(yīng)在很大程度上仍依賴人工操作，速度緩慢，且依賴專家配置的應(yīng)急預(yù)案。許多企業(yè)需要數(shù)周甚至數(shù)月才能從事件中完全恢復(fù)。雖然一些企業(yè)已嘗試使用前沿大語言模型生成響應(yīng)措施，但這些模型成本高昂，依賴第三方應(yīng)用程序接口(API)，且容易生成看似合理但實際錯誤的指令。
　　
　　論文作者之一Kim Hammar表示，該系統(tǒng)的設(shè)計避免了繁重的集成障礙。他解釋道：“從技術(shù)角度來看，我們的方法經(jīng)過精心設(shè)計，可直接集成到現(xiàn)有工作流程中，無需額外軟件或?qū)ΜF(xiàn)有系統(tǒng)進行改造。特別是，我們的方法以原始文本形式接收日志數(shù)據(jù)和威脅信息作為輸入，這些文本無需遵循特定的語法或格式。”
　　
　　三步走方法
　　
　　該方法主要通過三個步驟實現(xiàn)：
　　
　　指令微調(diào)：研究團隊在一個包含6.8萬起歷史事件的數(shù)據(jù)集上，對一個擁有140億參數(shù)的大語言模型進行了微調(diào)，每起事件均配有響應(yīng)計劃和推理步驟，這使模型與事件響應(yīng)的階段和目標保持一致，而不局限于單一場景。
　　
　　信息檢索：在生成計劃之前，系統(tǒng)會根據(jù)系統(tǒng)日志中發(fā)現(xiàn)的指標，提取相關(guān)的威脅情報和漏洞數(shù)據(jù)，這使其能夠適應(yīng)新出現(xiàn)的威脅，例如在訓(xùn)練截止日期后發(fā)現(xiàn)的漏洞，并使模型的輸出基于最新信息。
　　
　　帶幻覺過濾的規(guī)劃：系統(tǒng)不會直接執(zhí)行第一個建議的操作，而是生成多個候選操作，并利用大語言模型模擬潛在結(jié)果，然后，它會選擇預(yù)計能最快恢復(fù)的操作，利用這種前瞻性來過濾掉無法取得進展的響應(yīng)。
　　
　　Hammar表示，從用戶的角度來看，該方法可以像更具適應(yīng)性的應(yīng)急預(yù)案一樣發(fā)揮作用。他指出：“它應(yīng)該能夠集成到依賴響應(yīng)預(yù)案的現(xiàn)有工作流程中。安全操作人員應(yīng)將建議的操作視為需根據(jù)現(xiàn)有證據(jù)進行驗證的指導(dǎo)，而非絕對真理。”
　　
　　理論與實際成果
　　
　　論文提供了概率分析，表明幻覺發(fā)生的可能性是可以被限制的，如果規(guī)劃過程有更多時間和候選操作，該概率可以任意降低，這為該方法比僅依賴提示的前沿大語言模型更可靠的主張?zhí)峁┝诵问交A(chǔ)。
　　
　　在實際應(yīng)用中，該方法足夠輕量，可在普通硬件上運行，無需昂貴的API調(diào)用或?qū)Ｓ没A(chǔ)設(shè)施。作者使用公開的事件數(shù)據(jù)集，將他們的系統(tǒng)與幾種前沿大語言模型和強化學(xué)習(xí)基準進行了對比評估。在所有測試中，該系統(tǒng)的平均恢復(fù)時間更短，比測試中表現(xiàn)最佳的前沿模型快22%，同時還減少了無效操作和恢復(fù)失敗的情況。
　　
　　Hammar表示，該系統(tǒng)的本地化、自包含特性還解決了保密性和合規(guī)性問題。他說：“我們輕量級方法的一個關(guān)鍵優(yōu)勢是，它可在本地運行，無需依賴外部大語言模型提供商，這種靈活性降低了成本，并避免了將可能敏感的日志數(shù)據(jù)上傳到第三方大語言模型提供商的需求。”
　　
　　一項消融研究證實，這三個步驟均有助于提升性能，其中微調(diào)和規(guī)劃帶來的改進最大，檢索增強生成技術(shù)也有所幫助，盡管效果較小。
　　
　　權(quán)衡與考量
　　
　　盡管該方法避免了針對特定事件的重新訓(xùn)練并提高了可靠性，但也存在一定開銷。規(guī)劃步驟增加了推理時間，因為需要生成和評估多個操作。作者指出，這可通過并行處理來緩解。
　　
　　該方法在需要快速反應(yīng)且日志數(shù)據(jù)復(fù)雜的情況下尤為有用。Hammar描述了一個這樣的用例：“現(xiàn)在是凌晨2點，你的安全信息和事件管理系統(tǒng)(SIEM)檢測到了一起潛在事件。你的值班安全操作人員被呼叫，以確定具體問題、找出原因并盡快解決。我們的基于大語言模型的方法無需在儀表板之間跳轉(zhuǎn)，也無需手動追蹤跨多個應(yīng)用和基礎(chǔ)設(shè)施層的事件，而是幫助解釋日志并建議有針對性的響應(yīng)操作。”
　　
　　另一方面，他也承認，某些場景下的收益可能較小。他說：“對于不需要立即采取行動的事件，我們的方法可能收益較小。對于需要深入專家分析的高度新穎或復(fù)雜的攻擊，我們的方法可能僅在響應(yīng)的早期階段有所幫助。”
　　
　　另一個關(guān)鍵點是，該系統(tǒng)并非旨在取代人類判斷。Hammar認為，未來幾年人類監(jiān)督仍將至關(guān)重要。他說：“未來幾年內(nèi)完全自主的事件響應(yīng)是不現(xiàn)實的，因為每個人的網(wǎng)絡(luò)、攻擊、安全環(huán)境和法規(guī)都有所不同。決策支持工具正逐步接管以往手動完成的任務(wù)，使操作人員的角色轉(zhuǎn)向指導(dǎo)和驗證系統(tǒng)，而非篩選大量日志和安全警報。”
　　
　　該團隊已將其微調(diào)后的模型、訓(xùn)練數(shù)據(jù)、代碼和演示視頻作為開源資源發(fā)布，這有助于進一步開展實驗和操作試驗。他們認為，未來的工作包括在實際安全運營中心(SOC)工作流程中測試該方法、完善理論上的幻覺限制，以及擴展規(guī)劃過程以使用更先進的搜索技術(shù)。
　　
　　如果該方法在實際操作中得到驗證，將為安全團隊提供一種更敏捷、更具成本效益的事件分類和遏制方式，而無需依賴昂貴的前沿大語言模型或僵化的應(yīng)急預(yù)案。