企業(yè)安全建設(shè)一般伴隨著安全業(yè)務(wù)需求而生，安全運營中心建設(shè)過程中，應(yīng)急響應(yīng)處置流程，在清除階段，需要查找安全事件產(chǎn)生的根本原因并且提出和實施根治方案，這就對網(wǎng)絡(luò)層數(shù)據(jù)的回溯提出個更高的要求。那么如何在公有云上和專有云建設(shè)一套行之有效的全流量分析系統(tǒng)呢？下面提出一些方法和大家探討。
0x01、產(chǎn)品調(diào)研
在自己沒有建立這套系統(tǒng)之前，需要做一下產(chǎn)品調(diào)研，看看別人家都是怎么做的，當然，要尋找到適合自己的企業(yè)的全流量解決方案，首先我們要帶著以下幾個問題去思考：
1.尋找到適合自己網(wǎng)絡(luò)環(huán)境的元數(shù)據(jù)的存儲方案，沒有好的數(shù)據(jù)，你的安全運營團隊無法展開調(diào)查。
2.你的網(wǎng)絡(luò)入侵檢測引擎是否能分析網(wǎng)絡(luò)異常流量，減少網(wǎng)絡(luò)回溯的次數(shù)
3.你建設(shè)的全流量系統(tǒng)最終能體現(xiàn)的安全能力是啥？如何使應(yīng)急響應(yīng)閉環(huán)。
1、針對網(wǎng)絡(luò)層數(shù)據(jù)，我們到底要存儲什么？
全流量安全建設(shè)一般分以下幾個階段：
第一階段：Networkflow，只存儲五元組數(shù)據(jù)統(tǒng)計信息，大致對網(wǎng)絡(luò)流量有一個概況了解。
第二階段：NetworkIDS，通過基于內(nèi)容的規(guī)則匹配，例如：使用ETPro規(guī)則，存儲安全告警事件，有基于規(guī)則安全引擎，可以發(fā)現(xiàn)簡單的入侵事件。
第三階段：NetworkMetadata，存儲高保真的元數(shù)據(jù)統(tǒng)計數(shù)據(jù)，為安全事件調(diào)查回溯做準備。
第四階段：PCAP，全量存儲網(wǎng)絡(luò)流量數(shù)據(jù)，在調(diào)查某些細微流量的時候，提供證據(jù)支持。
針對公有云環(huán)境，面對海量數(shù)據(jù)交換，如何更有效的存儲元數(shù)據(jù)。
第一階段，通過IDS/IPS引擎采集netflow->kafka->ElasticSearch（近期熱數(shù)據(jù)）->hbase（長期冷數(shù)據(jù)）
第二階段：通過IDS/IPS引擎采集規(guī)則匹配數(shù)據(jù)->kafka->ElasticSearch（近期熱數(shù)據(jù)）
第三階段：個人理解需要對可疑流量做行為分析，對攻擊鏈分析（reconnaissance、
lateralmovement、Command&Control、Dataexfiltration），
第四階段：使用packetbeat進行解析（DNS、HTTP）->kafka->spark（過一遍攻擊發(fā)現(xiàn)、信息泄露、內(nèi)部威脅源等算法）->hbase（長期冷數(shù)據(jù)），攻擊回放的時候，通過自研的程序把數(shù)據(jù)從hbase中讀取出來，進入到ElasticSearch中，通過kibana做查詢。
2、異常流量分析，我們需要AI么？
作為IDS簽名的補充，異常網(wǎng)絡(luò)流量分析是需要結(jié)合使用機器學(xué)習(xí)的，這里調(diào)研了Darktrace：
Darktrace：
機器學(xué)習(xí)的難點：
1.沒有任何兩個網(wǎng)絡(luò)是一樣的，要求機器學(xué)習(xí)算法要在每一個網(wǎng)絡(luò)中工作。
2.需要客戶極少的配置和調(diào)整模型
3.需要團隊人員有較高安全能力和數(shù)學(xué)技能
4.必須立刻體現(xiàn)價值，伴隨著環(huán)境的變化，需要持續(xù)學(xué)習(xí)和適應(yīng)
5.必須具有線性可伸縮性
那么，機器學(xué)習(xí)具體怎么判定威脅的呢？以下為判斷流程：
無監(jiān)督學(xué)習(xí)實現(xiàn)手段：本方法是用于檢測計算機系統(tǒng)的網(wǎng)絡(luò)威脅。該方法包括接收輸入數(shù)據(jù)，從輸入數(shù)據(jù)派生指標，利用異常模型分析指標，計算威脅可能性，最終威脅判定。
首先，人們已經(jīng)認識到，基于已知確定的威脅規(guī)則來保護網(wǎng)絡(luò)并不充分。因此，人們更需要的是可動態(tài)適應(yīng)網(wǎng)絡(luò)安全威脅變化的方法。
第一階段：獲取的元數(shù)據(jù)
1.我們通過netflow獲取五元組以及傳輸數(shù)據(jù)大小。
2.通過pcap文件中解析出文件訪問、SSL證書、認證成功失敗的信息。
第二階段：派生指標
從這些原始數(shù)據(jù)源中，可以導(dǎo)出大量指標以及每個指標產(chǎn)生時間序列數(shù)據(jù)。數(shù)據(jù)被分成單獨的時間片（例如，觀察到的數(shù)量可以每1秒計算一次，每10秒或每60秒），可以在稍后階段組合，以便為所選內(nèi)部大小的任何倍數(shù)提供更長的范圍值。例如，如果選擇的基礎(chǔ)時間片長度為60秒，因此每個指標時間序列存儲單個每60秒得到一個指標值，那么，60秒（120秒，180秒，600秒等）的固定倍數(shù)的任何新的時間序列數(shù)據(jù)都可以計算出準確度。
在能分析應(yīng)用層協(xié)議的情況下，可以定義更多類型的時間序列指標：
1.網(wǎng)絡(luò)設(shè)備每個時間間隔生成的DNS請求數(shù)，也可以是任何可定義的目標網(wǎng)絡(luò)范圍或總數(shù)。
2.SSH、LDAP、SMTP，POP或IMAP登錄的數(shù)量或機器每個時間間隔生成的登錄成功失敗信息。
3.通過文件共享協(xié)議傳輸?shù)臄?shù)據(jù)，例如：SMB、SMB2、FTP等。
第三階段：分析指標
線性貝葉斯體系自動確定多個時間序列數(shù)據(jù)的周期性，并且識別單一和多個時間序列數(shù)據(jù)，以防止惡意行為的發(fā)生。
探測器對第二級指標計進行分析。探測器是離散的數(shù)學(xué)模型針對不同的變量集與目標網(wǎng)絡(luò)實現(xiàn)特定的數(shù)學(xué)方法。例如，HMM可能看起來特定于節(jié)點之間的分組的大小和傳輸時間。探針以層次結(jié)構(gòu)提供，該層次結(jié)構(gòu)是錯誤排列的模型金字塔。每個探測器或模型都有效地充當過濾器并將其輸出傳遞到金字塔上方的另一個模型。金字塔的頂部是HyperCylinder，它是最終的威脅決策模型。低階探測器各自監(jiān)視不同的全局屬性或特征軟件說明網(wǎng)絡(luò)和計算機。這些分支具有更高的內(nèi)部計算功能，如分組速度和形態(tài)，端點文件系統(tǒng)值，以及TCP/IP協(xié)議定義的事件。每個探測器都是特定的，并且根據(jù)諸如HMM之類的內(nèi)部數(shù)學(xué)模型來解決不同的環(huán)境因素。
第四階段：計算威脅可能性
啟發(fā)式是使用加權(quán)邏輯表達式的復(fù)雜鏈構(gòu)建的，表現(xiàn)為正則表達式，其中運算時從數(shù)據(jù)測量/標記化探測器的輸出和局部上下文信息中導(dǎo)出。這些邏輯表達式鏈然后存儲在和/或在線庫并實時解析測量/標記化探針的輸出。一個示例政策可以采取“警告我，如果任何員工受人力資源管理紀律情況（情境信息）在進行比較以前的行為（模型輸出）時是否接受敏感信息（啟發(fā)式定義）”。另外，提供了不同的探針金字塔陣列用于檢測特定類型的威脅
第五階段：威脅判斷
威脅檢測系統(tǒng)使用映射到觀察到的行為生命周期分析上的自動自適應(yīng)周期性檢測來計算威脅風(fēng)險參數(shù)，該威脅風(fēng)險參數(shù)指示存在威脅的可能性。這推斷出隨著時間的推移存在威脅，這些屬性本身已經(jīng)表明偏離了規(guī)范的集體或個人行為。自動自適應(yīng)周期性檢測使用超級計算機計算的時間段在觀察到的網(wǎng)絡(luò)中最相關(guān)和/此外，生命分析確定了人類和/或機器在一段時間內(nèi)的行為方式，即他們典型地開始和停止工作。由于這些模型不斷地自我調(diào)整，因此它們本身就比已知的更難打敗。
3、安全應(yīng)急響應(yīng)閉環(huán)
當我們有了基礎(chǔ)的網(wǎng)絡(luò)數(shù)據(jù)，也經(jīng)過監(jiān)督或者非監(jiān)督學(xué)習(xí)后，那么接下來需要做什么？在我們應(yīng)急響應(yīng)的安全實踐過程中，我們發(fā)現(xiàn)網(wǎng)絡(luò)獲取到安全威脅分類，需要進一步豐富客戶端的數(shù)據(jù)，例如：EDR數(shù)據(jù)才能更真實有效的確定攻擊。否則無法形成閉環(huán)。那么如何把整個調(diào)查過程連接在一起呢？所以真正能形成戰(zhàn)斗力的解決方案：NTA+EDR+SOAR。
0x03、總結(jié)
1.擁有一套網(wǎng)絡(luò)元數(shù)據(jù)存儲方案，方便調(diào)查回溯。
2.企業(yè)應(yīng)該強烈考慮NTA使用全新的機器學(xué)習(xí)檢測手段來補充基于簽名檢測方法。NTA工具檢測到其他外圍安全工具遺漏的可疑網(wǎng)絡(luò)流量。
3.單存NTA解決方案是無法滿足用戶應(yīng)急響應(yīng)需求的，需要EDR豐富入侵證據(jù)，需要SOAR融入自動化應(yīng)急響應(yīng)流程。
