企業安全建設一般伴隨著安全業務需求而生，安全運營中心建設過程中，應急響應處置流程，在清除階段，需要查找安全事件產生的根本原因并且提出和實施根治方案，這就對網絡層數據的回溯提出個更高的要求。那么如何在公有云上和專有云建設一套行之有效的全流量分析系統呢？下面提出一些方法和大家探討。
0x01、產品調研
在自己沒有建立這套系統之前，需要做一下產品調研，看看別人家都是怎么做的，當然，要尋找到適合自己的企業的全流量解決方案，首先我們要帶著以下幾個問題去思考：
1.尋找到適合自己網絡環境的元數據的存儲方案，沒有好的數據，你的安全運營團隊無法展開調查。
2.你的網絡入侵檢測引擎是否能分析網絡異常流量，減少網絡回溯的次數
3.你建設的全流量系統最終能體現的安全能力是啥？如何使應急響應閉環。
1、針對網絡層數據，我們到底要存儲什么？
全流量安全建設一般分以下幾個階段：
第一階段：Networkflow，只存儲五元組數據統計信息，大致對網絡流量有一個概況了解。
第二階段：NetworkIDS，通過基于內容的規則匹配，例如：使用ETPro規則，存儲安全告警事件，有基于規則安全引擎，可以發現簡單的入侵事件。
第三階段：NetworkMetadata，存儲高保真的元數據統計數據，為安全事件調查回溯做準備。
第四階段：PCAP，全量存儲網絡流量數據，在調查某些細微流量的時候，提供證據支持。
針對公有云環境，面對海量數據交換，如何更有效的存儲元數據。
第一階段，通過IDS/IPS引擎采集netflow->kafka->ElasticSearch（近期熱數據）->hbase（長期冷數據）
第二階段：通過IDS/IPS引擎采集規則匹配數據->kafka->ElasticSearch（近期熱數據）
第三階段：個人理解需要對可疑流量做行為分析，對攻擊鏈分析（reconnaissance、
lateralmovement、Command&Control、Dataexfiltration），
第四階段：使用packetbeat進行解析（DNS、HTTP）->kafka->spark（過一遍攻擊發現、信息泄露、內部威脅源等算法）->hbase（長期冷數據），攻擊回放的時候，通過自研的程序把數據從hbase中讀取出來，進入到ElasticSearch中，通過kibana做查詢。
2、異常流量分析，我們需要AI么？
作為IDS簽名的補充，異常網絡流量分析是需要結合使用機器學習的，這里調研了Darktrace：
Darktrace：
機器學習的難點：
1.沒有任何兩個網絡是一樣的，要求機器學習算法要在每一個網絡中工作。
2.需要客戶極少的配置和調整模型
3.需要團隊人員有較高安全能力和數學技能
4.必須立刻體現價值，伴隨著環境的變化，需要持續學習和適應
5.必須具有線性可伸縮性
那么，機器學習具體怎么判定威脅的呢？以下為判斷流程：
無監督學習實現手段：本方法是用于檢測計算機系統的網絡威脅。該方法包括接收輸入數據，從輸入數據派生指標，利用異常模型分析指標，計算威脅可能性，最終威脅判定。
首先，人們已經認識到，基于已知確定的威脅規則來保護網絡并不充分。因此，人們更需要的是可動態適應網絡安全威脅變化的方法。
第一階段：獲取的元數據
1.我們通過netflow獲取五元組以及傳輸數據大小。
2.通過pcap文件中解析出文件訪問、SSL證書、認證成功失敗的信息。
第二階段：派生指標
從這些原始數據源中，可以導出大量指標以及每個指標產生時間序列數據。數據被分成單獨的時間片（例如，觀察到的數量可以每1秒計算一次，每10秒或每60秒），可以在稍后階段組合，以便為所選內部大小的任何倍數提供更長的范圍值。例如，如果選擇的基礎時間片長度為60秒，因此每個指標時間序列存儲單個每60秒得到一個指標值，那么，60秒（120秒，180秒，600秒等）的固定倍數的任何新的時間序列數據都可以計算出準確度。
在能分析應用層協議的情況下，可以定義更多類型的時間序列指標：
1.網絡設備每個時間間隔生成的DNS請求數，也可以是任何可定義的目標網絡范圍或總數。
2.SSH、LDAP、SMTP，POP或IMAP登錄的數量或機器每個時間間隔生成的登錄成功失敗信息。
3.通過文件共享協議傳輸的數據，例如：SMB、SMB2、FTP等。
第三階段：分析指標
線性貝葉斯體系自動確定多個時間序列數據的周期性，并且識別單一和多個時間序列數據，以防止惡意行為的發生。
探測器對第二級指標計進行分析。探測器是離散的數學模型針對不同的變量集與目標網絡實現特定的數學方法。例如，HMM可能看起來特定于節點之間的分組的大小和傳輸時間。探針以層次結構提供，該層次結構是錯誤排列的模型金字塔。每個探測器或模型都有效地充當過濾器并將其輸出傳遞到金字塔上方的另一個模型。金字塔的頂部是HyperCylinder，它是最終的威脅決策模型。低階探測器各自監視不同的全局屬性或特征軟件說明網絡和計算機。這些分支具有更高的內部計算功能，如分組速度和形態，端點文件系統值，以及TCP/IP協議定義的事件。每個探測器都是特定的，并且根據諸如HMM之類的內部數學模型來解決不同的環境因素。
第四階段：計算威脅可能性
啟發式是使用加權邏輯表達式的復雜鏈構建的，表現為正則表達式，其中運算時從數據測量/標記化探測器的輸出和局部上下文信息中導出。這些邏輯表達式鏈然后存儲在和/或在線庫并實時解析測量/標記化探針的輸出。一個示例政策可以采取“警告我，如果任何員工受人力資源管理紀律情況（情境信息）在進行比較以前的行為（模型輸出）時是否接受敏感信息（啟發式定義）”。另外，提供了不同的探針金字塔陣列用于檢測特定類型的威脅
第五階段：威脅判斷
威脅檢測系統使用映射到觀察到的行為生命周期分析上的自動自適應周期性檢測來計算威脅風險參數，該威脅風險參數指示存在威脅的可能性。這推斷出隨著時間的推移存在威脅，這些屬性本身已經表明偏離了規范的集體或個人行為。自動自適應周期性檢測使用超級計算機計算的時間段在觀察到的網絡中最相關和/此外，生命分析確定了人類和/或機器在一段時間內的行為方式，即他們典型地開始和停止工作。由于這些模型不斷地自我調整，因此它們本身就比已知的更難打敗。
3、安全應急響應閉環
當我們有了基礎的網絡數據，也經過監督或者非監督學習后，那么接下來需要做什么？在我們應急響應的安全實踐過程中，我們發現網絡獲取到安全威脅分類，需要進一步豐富客戶端的數據，例如：EDR數據才能更真實有效的確定攻擊。否則無法形成閉環。那么如何把整個調查過程連接在一起呢？所以真正能形成戰斗力的解決方案：NTA+EDR+SOAR。
0x03、總結
1.擁有一套網絡元數據存儲方案，方便調查回溯。
2.企業應該強烈考慮NTA使用全新的機器學習檢測手段來補充基于簽名檢測方法。NTA工具檢測到其他外圍安全工具遺漏的可疑網絡流量。
3.單存NTA解決方案是無法滿足用戶應急響應需求的，需要EDR豐富入侵證據，需要SOAR融入自動化應急響應流程。
