企業(yè)安全建設一般伴隨著安全業(yè)務需求而生，安全運營中心建設過程中，應急響應處置流程，在清除階段，需要查找安全事件產生的根本原因并且提出和實施根治方案，這就對網(wǎng)絡層數(shù)據(jù)的回溯提出個更高的要求。那么如何在公有云上和專有云建設一套行之有效的全流量分析系統(tǒng)呢？下面提出一些方法和大家探討。
0x01、產品調研
在自己沒有建立這套系統(tǒng)之前，需要做一下產品調研，看看別人家都是怎么做的，當然，要尋找到適合自己的企業(yè)的全流量解決方案，首先我們要帶著以下幾個問題去思考：
1.尋找到適合自己網(wǎng)絡環(huán)境的元數(shù)據(jù)的存儲方案，沒有好的數(shù)據(jù)，你的安全運營團隊無法展開調查。
2.你的網(wǎng)絡入侵檢測引擎是否能分析網(wǎng)絡異常流量，減少網(wǎng)絡回溯的次數(shù)
3.你建設的全流量系統(tǒng)最終能體現(xiàn)的安全能力是啥？如何使應急響應閉環(huán)。
1、針對網(wǎng)絡層數(shù)據(jù)，我們到底要存儲什么？
全流量安全建設一般分以下幾個階段：
第一階段：Networkflow，只存儲五元組數(shù)據(jù)統(tǒng)計信息，大致對網(wǎng)絡流量有一個概況了解。
第二階段：NetworkIDS，通過基于內容的規(guī)則匹配，例如：使用ETPro規(guī)則，存儲安全告警事件，有基于規(guī)則安全引擎，可以發(fā)現(xiàn)簡單的入侵事件。
第三階段：NetworkMetadata，存儲高保真的元數(shù)據(jù)統(tǒng)計數(shù)據(jù)，為安全事件調查回溯做準備。
第四階段：PCAP，全量存儲網(wǎng)絡流量數(shù)據(jù)，在調查某些細微流量的時候，提供證據(jù)支持。
針對公有云環(huán)境，面對海量數(shù)據(jù)交換，如何更有效的存儲元數(shù)據(jù)。
第一階段，通過IDS/IPS引擎采集netflow->kafka->ElasticSearch（近期熱數(shù)據(jù)）->hbase（長期冷數(shù)據(jù)）
第二階段：通過IDS/IPS引擎采集規(guī)則匹配數(shù)據(jù)->kafka->ElasticSearch（近期熱數(shù)據(jù)）
第三階段：個人理解需要對可疑流量做行為分析，對攻擊鏈分析（reconnaissance、
lateralmovement、Command&Control、Dataexfiltration），
第四階段：使用packetbeat進行解析（DNS、HTTP）->kafka->spark（過一遍攻擊發(fā)現(xiàn)、信息泄露、內部威脅源等算法）->hbase（長期冷數(shù)據(jù)），攻擊回放的時候，通過自研的程序把數(shù)據(jù)從hbase中讀取出來，進入到ElasticSearch中，通過kibana做查詢。
2、異常流量分析，我們需要AI么？
作為IDS簽名的補充，異常網(wǎng)絡流量分析是需要結合使用機器學習的，這里調研了Darktrace：
Darktrace：
機器學習的難點：
1.沒有任何兩個網(wǎng)絡是一樣的，要求機器學習算法要在每一個網(wǎng)絡中工作。
2.需要客戶極少的配置和調整模型
3.需要團隊人員有較高安全能力和數(shù)學技能
4.必須立刻體現(xiàn)價值，伴隨著環(huán)境的變化，需要持續(xù)學習和適應
5.必須具有線性可伸縮性
那么，機器學習具體怎么判定威脅的呢？以下為判斷流程：
無監(jiān)督學習實現(xiàn)手段：本方法是用于檢測計算機系統(tǒng)的網(wǎng)絡威脅。該方法包括接收輸入數(shù)據(jù)，從輸入數(shù)據(jù)派生指標，利用異常模型分析指標，計算威脅可能性，最終威脅判定。
首先，人們已經認識到，基于已知確定的威脅規(guī)則來保護網(wǎng)絡并不充分。因此，人們更需要的是可動態(tài)適應網(wǎng)絡安全威脅變化的方法。
第一階段：獲取的元數(shù)據(jù)
1.我們通過netflow獲取五元組以及傳輸數(shù)據(jù)大小。
2.通過pcap文件中解析出文件訪問、SSL證書、認證成功失敗的信息。
第二階段：派生指標
從這些原始數(shù)據(jù)源中，可以導出大量指標以及每個指標產生時間序列數(shù)據(jù)。數(shù)據(jù)被分成單獨的時間片（例如，觀察到的數(shù)量可以每1秒計算一次，每10秒或每60秒），可以在稍后階段組合，以便為所選內部大小的任何倍數(shù)提供更長的范圍值。例如，如果選擇的基礎時間片長度為60秒，因此每個指標時間序列存儲單個每60秒得到一個指標值，那么，60秒（120秒，180秒，600秒等）的固定倍數(shù)的任何新的時間序列數(shù)據(jù)都可以計算出準確度。
在能分析應用層協(xié)議的情況下，可以定義更多類型的時間序列指標：
1.網(wǎng)絡設備每個時間間隔生成的DNS請求數(shù)，也可以是任何可定義的目標網(wǎng)絡范圍或總數(shù)。
2.SSH、LDAP、SMTP，POP或IMAP登錄的數(shù)量或機器每個時間間隔生成的登錄成功失敗信息。
3.通過文件共享協(xié)議傳輸?shù)臄?shù)據(jù)，例如：SMB、SMB2、FTP等。
第三階段：分析指標
線性貝葉斯體系自動確定多個時間序列數(shù)據(jù)的周期性，并且識別單一和多個時間序列數(shù)據(jù)，以防止惡意行為的發(fā)生。
探測器對第二級指標計進行分析。探測器是離散的數(shù)學模型針對不同的變量集與目標網(wǎng)絡實現(xiàn)特定的數(shù)學方法。例如，HMM可能看起來特定于節(jié)點之間的分組的大小和傳輸時間。探針以層次結構提供，該層次結構是錯誤排列的模型金字塔。每個探測器或模型都有效地充當過濾器并將其輸出傳遞到金字塔上方的另一個模型。金字塔的頂部是HyperCylinder，它是最終的威脅決策模型。低階探測器各自監(jiān)視不同的全局屬性或特征軟件說明網(wǎng)絡和計算機。這些分支具有更高的內部計算功能，如分組速度和形態(tài)，端點文件系統(tǒng)值，以及TCP/IP協(xié)議定義的事件。每個探測器都是特定的，并且根據(jù)諸如HMM之類的內部數(shù)學模型來解決不同的環(huán)境因素。
第四階段：計算威脅可能性
啟發(fā)式是使用加權邏輯表達式的復雜鏈構建的，表現(xiàn)為正則表達式，其中運算時從數(shù)據(jù)測量/標記化探測器的輸出和局部上下文信息中導出。這些邏輯表達式鏈然后存儲在和/或在線庫并實時解析測量/標記化探針的輸出。一個示例政策可以采取“警告我，如果任何員工受人力資源管理紀律情況（情境信息）在進行比較以前的行為（模型輸出）時是否接受敏感信息（啟發(fā)式定義）”。另外，提供了不同的探針金字塔陣列用于檢測特定類型的威脅
第五階段：威脅判斷
威脅檢測系統(tǒng)使用映射到觀察到的行為生命周期分析上的自動自適應周期性檢測來計算威脅風險參數(shù)，該威脅風險參數(shù)指示存在威脅的可能性。這推斷出隨著時間的推移存在威脅，這些屬性本身已經表明偏離了規(guī)范的集體或個人行為。自動自適應周期性檢測使用超級計算機計算的時間段在觀察到的網(wǎng)絡中最相關和/此外，生命分析確定了人類和/或機器在一段時間內的行為方式，即他們典型地開始和停止工作。由于這些模型不斷地自我調整，因此它們本身就比已知的更難打敗。
3、安全應急響應閉環(huán)
當我們有了基礎的網(wǎng)絡數(shù)據(jù)，也經過監(jiān)督或者非監(jiān)督學習后，那么接下來需要做什么？在我們應急響應的安全實踐過程中，我們發(fā)現(xiàn)網(wǎng)絡獲取到安全威脅分類，需要進一步豐富客戶端的數(shù)據(jù)，例如：EDR數(shù)據(jù)才能更真實有效的確定攻擊。否則無法形成閉環(huán)。那么如何把整個調查過程連接在一起呢？所以真正能形成戰(zhàn)斗力的解決方案：NTA+EDR+SOAR。
0x03、總結
1.擁有一套網(wǎng)絡元數(shù)據(jù)存儲方案，方便調查回溯。
2.企業(yè)應該強烈考慮NTA使用全新的機器學習檢測手段來補充基于簽名檢測方法。NTA工具檢測到其他外圍安全工具遺漏的可疑網(wǎng)絡流量。
3.單存NTA解決方案是無法滿足用戶應急響應需求的，需要EDR豐富入侵證據(jù)，需要SOAR融入自動化應急響應流程。
