如果能夠“看見”時(shí)間，那么人類都會變成以生命為長度、四維世界里的生物，詳細(xì)記錄每一刻發(fā)生的變化。在信息世界里，無形的時(shí)間維度被數(shù)據(jù)量化，記錄著我們在城市之間的起降，出行的始終……點(diǎn)連成線，四維空間正變成現(xiàn)實(shí)。
在航旅類App上，用戶的飛行記錄綻放出一張個(gè)人旅行地圖。國際航空運(yùn)輸協(xié)會數(shù)據(jù)顯示，2017年全球總共有3680萬個(gè)航班起降，平均每天約有10萬個(gè)航班，千萬乘客與航空系統(tǒng)交互。在這張巨大的復(fù)雜地圖里，無數(shù)真實(shí)用戶行為里夾雜著巨量“虛假”訪問，甚至惡意訪問行為，其中最常見的就是網(wǎng)絡(luò)爬蟲。
按照授權(quán)情況，爬蟲可以分為合法爬蟲與惡意爬蟲。云鼎實(shí)驗(yàn)室研究發(fā)現(xiàn)，惡意爬蟲流量最大的行業(yè)就是出行，包括航空、酒店、火車票預(yù)定等。據(jù)《科技日報(bào)》報(bào)道，某訂票網(wǎng)站的頁面每分鐘瀏覽量為1.2萬人次，真實(shí)用戶只有500人，爬蟲流量占比95.8%。即使在淡季，虛假流量也占到網(wǎng)站訪問總量的50%。由此帶來的成本消耗和安全威脅令航空業(yè)不堪其擾。
航司健康的寄生蟲
入侵航司網(wǎng)站的大量惡意爬蟲，絕大部分來自黑灰產(chǎn)的爬蟲團(tuán)伙，在低頻爬取航司票務(wù)信息后，通過虛假身份信息搶占打折機(jī)票，待真實(shí)用戶通過灰色平臺購買機(jī)票，再將占有的座位退出，隨后使用真實(shí)用戶身份購入。航司對旅客的優(yōu)惠轉(zhuǎn)化成第三方灰產(chǎn)的非法收入，使得航司蒙受損失，也增加了網(wǎng)站壓力和系統(tǒng)成本。
更令人不安的是，惡意爬蟲通過模擬真實(shí)用戶盜取后臺接口，獲取旅客姓名、身份證、手機(jī)號、積分卡等，造成個(gè)人信息泄露。而隨著新網(wǎng)絡(luò)安全法的實(shí)施，對于個(gè)人信息的保護(hù)顯得尤為重要。
無監(jiān)督“免疫系統(tǒng)”實(shí)力反爬
白山云科技創(chuàng)新研發(fā)的新一代態(tài)勢感知平臺ATD，專門針對解決上述問題。
態(tài)勢感知實(shí)際效果圖
通過查訂比（查詢訂票比例，通常查訂比越高，爬蟲風(fēng)險(xiǎn)越大）確認(rèn)反爬的效果。基于ATD無監(jiān)督聚類算法，在繁雜的海量數(shù)據(jù)輸入中，確定事件邊界，根據(jù)場景作出相應(yīng)處理。ATD深度引擎對訪問請求進(jìn)行特征建模形成向量，對于特征向量執(zhí)行聚類算法，最終將小眾群（離群點(diǎn)）進(jìn)行行為特征引擎的監(jiān)督，精準(zhǔn)識別低頻攻擊，從而打擊灰色產(chǎn)業(yè)爬取航班、票務(wù)信息，杜絕惡意占座等行為。在多家航司服務(wù)實(shí)踐中，ATD算法模型不斷自我優(yōu)化完善，其中幫助某航司客戶的查訂比下降90%，有效防御惡意爬蟲的圍攻。
某團(tuán)伙爬蟲示意圖
在保護(hù)旅客信息方面，ATD學(xué)習(xí)引擎針對用戶登錄行為按照文本特征和行為特征進(jìn)行學(xué)習(xí)。
文本特征學(xué)習(xí)針對業(yè)務(wù)接口的特征，包括輸入?yún)?shù)數(shù)量、輸入?yún)?shù)類型、輸出返回碼分布，輸入和輸出的對應(yīng)關(guān)系等，建立業(yè)務(wù)在Request上的文本規(guī)律。當(dāng)任何一個(gè)請求到來的時(shí)候，ATD就可以根據(jù)之前的文本特征學(xué)習(xí)結(jié)果作出異常概率評估。
行為特征學(xué)習(xí)針對每個(gè)用戶在一段時(shí)間內(nèi)連續(xù)行為的規(guī)律，比如用戶起始是在哪個(gè)頁面，中間經(jīng)過哪個(gè)接口，最終訪問到達(dá)哪個(gè)業(yè)務(wù)。通過學(xué)習(xí)上述行為，ATD就可以為業(yè)務(wù)建立一套訪問規(guī)律，從而當(dāng)有異常行為發(fā)生時(shí)，可以迅速發(fā)現(xiàn)，準(zhǔn)確識別。
基于文本特征和行為特征，ATD在異常賬號登錄時(shí)可以準(zhǔn)確判斷，及時(shí)攔阻并對威脅事件全面回溯，保護(hù)用戶隱私數(shù)據(jù)，防止財(cái)產(chǎn)損失甚至人身傷害。
學(xué)習(xí)引擎未知問題發(fā)現(xiàn)
不同于行業(yè)內(nèi)其他安全產(chǎn)品，ATD所采用的無監(jiān)督學(xué)習(xí)算法，無需人工介入，在不依賴人為設(shè)定規(guī)則的情況下即可捕捉潛在威脅。而其特有的旁路部署方式，在完全不影響業(yè)務(wù)系統(tǒng)的情況下，有效識別并旁路阻斷風(fēng)險(xiǎn)。
深度態(tài)勢感知護(hù)航出行安全
爬蟲只是航司面對的威脅之一。此外，包括安檢、系統(tǒng)、AODB（機(jī)場營運(yùn)數(shù)據(jù)系統(tǒng)）等在內(nèi)的多個(gè)航司系統(tǒng)，每天產(chǎn)生巨量交互日志，面對數(shù)據(jù)安全性、系統(tǒng)運(yùn)營穩(wěn)定性、信息準(zhǔn)確性等問題，整體安全態(tài)勢感知能力建設(shè)就顯得尤其重要。
白山ATD在旁路接入系統(tǒng)數(shù)據(jù)后，針對不同場景需求自動(dòng)選用實(shí)時(shí)引擎、深度引擎和學(xué)習(xí)引擎，整個(gè)算法過程不依賴規(guī)則，即可在事件發(fā)生的同時(shí)立即作出分析，判斷攻擊狀態(tài)成功與否、還原攻擊場景、判斷原因和內(nèi)在維度特征，解放安全工程師的人力并提高其效率，最終實(shí)現(xiàn)對于航司外網(wǎng)、業(yè)務(wù)、內(nèi)網(wǎng)的三層智能防御。
與此同時(shí)，不同系統(tǒng)的接入不斷為ATD算法提供關(guān)聯(lián)分析的數(shù)據(jù)，自動(dòng)為各個(gè)復(fù)雜事件建立內(nèi)在關(guān)聯(lián)，提高識別準(zhǔn)確率和召回率，不斷完善用戶行為肖像。在風(fēng)險(xiǎn)來臨之前，ATD通過極其微弱甚至不相關(guān)的異常行為即可預(yù)測潛在風(fēng)險(xiǎn)，站在系統(tǒng)整體高度實(shí)現(xiàn)深度態(tài)勢感知。“通過ATD系統(tǒng)，不僅將查訂比顯著降低，而且自動(dòng)感知出一些未知異常，包括驗(yàn)證碼繞過、越權(quán)操作、非法占座等威脅，最終提高了航司整體安全性。” 白山合伙人兼工程副總裁叢磊說，“期待可以幫助更多企業(yè)通過AI算法在信息世界的四維空間里更安全。”
