為此，我們專訪了Akamai安全專家、大中華區(qū)售前技術(shù)經(jīng)理馬俊，結(jié)合Akamai最新發(fā)布的《互聯(lián)網(wǎng)安全態(tài)勢(shì)報(bào)告》核心內(nèi)容，一起來(lái)深度解析AI爬蟲所造成的行業(yè)影響、它的攻擊邏輯及如何選擇系統(tǒng)化的防御方案。
300%增速背后的行業(yè)沖擊
“過(guò)去一年，AI Bot 爬蟲流量增長(zhǎng)高達(dá) 300%，相當(dāng)于一年內(nèi)規(guī)模擴(kuò)大三倍，且增速仍在加快。”馬俊先介紹了一組令人震撼的數(shù)據(jù)。爆發(fā)式的增長(zhǎng)是因?yàn)閮蓚€(gè)主要原因，一個(gè)是大規(guī)模模型的訓(xùn)練對(duì)于數(shù)據(jù)有著極大的需求；另一個(gè)是現(xiàn)在大家所接觸的各種各樣的Agent類的應(yīng)用還有搜索檢索的應(yīng)用越來(lái)越多。
首先按照行業(yè)的分布來(lái)看，電商行業(yè)作為重災(zāi)區(qū)，AI Bot流量占比達(dá)到47%；在Akamai監(jiān)測(cè)到的AI Bot流量中，近一半流量均指向電商網(wǎng)站，進(jìn)行的是價(jià)格抓取、庫(kù)存查詢以及賬號(hào)接管等工作。“電商大促期間，價(jià)格頻繁變動(dòng)吸引大量 AI 爬蟲集中攻擊，某客戶曾遭遇增量流量中半數(shù)為 AI Bot 的情況，不僅導(dǎo)致源站性能下降，還誤導(dǎo)了營(yíng)銷決策。”。馬俊補(bǔ)充說(shuō)明道。
Akamai大中華區(qū)售前技術(shù)經(jīng)理 馬俊
金融行業(yè)AI Bot的流量只占4%，但是其攻擊規(guī)模達(dá)到十億級(jí)別，是保險(xiǎn)行業(yè)的六倍，80%都是訓(xùn)練類爬蟲，因?yàn)橹苯雨P(guān)系到投資決策的金融數(shù)據(jù)被作為重點(diǎn)對(duì)象，所以誘發(fā)虛假網(wǎng)站釣魚等安全問題。醫(yī)療行業(yè)作為高價(jià)值的目標(biāo)，吸引了大量的AI爬蟲獲取數(shù)據(jù)，超過(guò)90%的AI機(jī)器人觸發(fā)主要?dú)w因于抓取活動(dòng)，一旦數(shù)據(jù)泄露將會(huì)遭受高額的處罰以及勒索的風(fēng)險(xiǎn)。
出版行業(yè)的此類零點(diǎn)擊問題尤為嚴(yán)重，本來(lái)通過(guò)搜索引擎來(lái)為網(wǎng)站引來(lái)海量的真實(shí)用戶流量，實(shí)現(xiàn)內(nèi)容變現(xiàn)功能的，但由于AI爬蟲直接抓取了這些網(wǎng)站上的優(yōu)質(zhì)資源返回給用戶，導(dǎo)致網(wǎng)站流量無(wú)法轉(zhuǎn)化變現(xiàn)，其核心資產(chǎn)得不到合理的收益保障，而是無(wú)償?shù)乇籄I爬蟲利用了。——馬俊如是說(shuō)。
不得不提的是，AI爬蟲已經(jīng)突破傳統(tǒng)攻擊邊界，運(yùn)用強(qiáng)化學(xué)習(xí)可以動(dòng)態(tài)調(diào)整爬蟲請(qǐng)求頻率來(lái)繞過(guò)統(tǒng)計(jì)異常檢測(cè)，也可以模擬真實(shí)的人類的鼠標(biāo)移動(dòng)軌跡來(lái)繞過(guò)蜜罐系統(tǒng)，甚至能逆向解析API Schema來(lái)做調(diào)用，繞過(guò)大部分基于統(tǒng)計(jì)或者機(jī)器學(xué)習(xí)的檢測(cè)方法。更為危險(xiǎn)的是，比如隨著FraudGPT和WormGPT等不良模型出現(xiàn)之后，對(duì)很多初級(jí)網(wǎng)絡(luò)攻擊者來(lái)說(shuō)，只需要極少量的錢就可以獲取釣魚工具、獲取惡意代碼，把攻擊的觸角從企業(yè)的網(wǎng)絡(luò)延伸到了個(gè)人設(shè)備。
從觀察觀望到精準(zhǔn)治理
從報(bào)告看，目前全球企業(yè)的AI爬蟲防護(hù)還存在明顯的地域性，各行業(yè)也呈現(xiàn)出不同類型的應(yīng)對(duì)措施，如電商行業(yè)要嚴(yán)防Magecart攻擊，防止其利用嵌入式惡意代碼盜取用戶的支付信息；金融業(yè)要嚴(yán)防釣魚攻擊，防止詐騙者使用假網(wǎng)站冒充真實(shí)網(wǎng)站來(lái)獲取用戶賬號(hào)密碼；醫(yī)療行業(yè)承載著高價(jià)值的患者隱私數(shù)據(jù)（PHI），且對(duì)業(yè)務(wù)中斷的容忍度極低，因此必須防止勒索軟件和數(shù)據(jù)竊取攻擊；而出版行業(yè)則是想方設(shè)法通過(guò)盈利的方式獲取內(nèi)容變現(xiàn)的利益。
行業(yè)應(yīng)對(duì)的關(guān)鍵就是先評(píng)估、后決策。馬俊認(rèn)為企業(yè)首先要判斷AI爬蟲是否是模型訓(xùn)練等場(chǎng)景下的合規(guī)抓取，還是帶有惡意目的的濫用？是否會(huì)為企業(yè)創(chuàng)造流量?jī)r(jià)值，或是給企業(yè)造成性能損失和數(shù)據(jù)風(fēng)險(xiǎn)？企業(yè)在做出決策時(shí)應(yīng)根據(jù)實(shí)際情況進(jìn)行區(qū)分對(duì)待，而不是簡(jiǎn)單的通行或封殺。
在出版行業(yè)，Akamai聯(lián)合TollBit和Skyfire推出“基于HTTP 402 標(biāo)準(zhǔn)的解決方案”，一旦檢測(cè)到AI爬蟲來(lái)訪，便通過(guò)支付網(wǎng)關(guān)生成支付憑證，根據(jù)請(qǐng)求量/數(shù)據(jù)量來(lái)收費(fèi)，將此前的抓取收入變成交付收益。這樣既可以保護(hù)內(nèi)容提供者利益，同時(shí)又給企業(yè)開放了獲益入口，后續(xù)合法獲取數(shù)據(jù)的渠道暢通無(wú)阻。
此外，對(duì)金融行業(yè)來(lái)說(shuō)還要加強(qiáng)多層次防御，除了IP封鎖之外，增加多因子認(rèn)證，做一下身份驗(yàn)證漏洞排查，防止撞庫(kù)和賬號(hào)接管；而馬俊則強(qiáng)調(diào)：金融行業(yè)是AI爬蟲攻擊的重要目標(biāo)，在發(fā)現(xiàn)用戶出現(xiàn)財(cái)務(wù)風(fēng)險(xiǎn)的行為之后，就必須要進(jìn)行實(shí)時(shí)阻斷，或根據(jù)風(fēng)險(xiǎn)等級(jí)采取差異化處置。
構(gòu)建全鏈路防護(hù)體系
面對(duì)被AI驅(qū)動(dòng)的智能化攻擊，傳統(tǒng)防御方法已經(jīng)顯得力不從心了。要守護(hù)自己的安全領(lǐng)地就不能墨守成規(guī)，只有用尖端的技術(shù)去對(duì)抗才可能成功。AI要保護(hù)AI，只有使用AI去對(duì)抗AI才能安全。Akamai提供的是一套圍繞著AI的系統(tǒng)化防護(hù)，而非某一款針對(duì)AI而設(shè)計(jì)的產(chǎn)品或者功能。
資產(chǎn)發(fā)現(xiàn)為第一道防線，很多企業(yè)的實(shí)際應(yīng)用中存在著影子API，或者是管理上的疏漏導(dǎo)致的風(fēng)險(xiǎn)敞口的存在。馬俊認(rèn)為需要全面梳理所有的API資產(chǎn)，做到接口全量管控，從根源上做到減小攻擊面。
態(tài)勢(shì)管理進(jìn)行漏洞排查時(shí)，采用OWASP標(biāo)準(zhǔn)框架，針對(duì)API開發(fā)過(guò)程中代碼漏洞、水平越權(quán)、缺乏身份認(rèn)證等風(fēng)險(xiǎn)項(xiàng)進(jìn)行主動(dòng)檢測(cè)，優(yōu)先治理具有重要價(jià)值的API資產(chǎn)，從根本上杜絕因風(fēng)險(xiǎn)帶來(lái)的安全隱患問題的發(fā)生。
在運(yùn)行時(shí)保護(hù)上實(shí)現(xiàn)在線反制功能，基于AI能力實(shí)現(xiàn)OWASP Top10的AI爬蟲實(shí)時(shí)檢測(cè)，并實(shí)時(shí)預(yù)警及聯(lián)動(dòng)反制AI爬蟲的試探性攻擊，并運(yùn)用43類AI Bot標(biāo)簽精準(zhǔn)識(shí)別已知爬蟲，通過(guò)主動(dòng)探測(cè)和被動(dòng)識(shí)別相結(jié)合的方式辨別未知訪客。
安全測(cè)試可促進(jìn)防護(hù)左移，利用靜態(tài)代碼檢測(cè)和API庫(kù)滲透檢測(cè)等方式提前發(fā)現(xiàn)新型攻擊漏洞，在開發(fā)階段就做好防護(hù)工作，即從代碼開始到上線全過(guò)程的統(tǒng)一防護(hù)。
馬俊建議，對(duì)于資源有限的中小微企業(yè)，從三個(gè)方面入手：一是按照行業(yè)類型，聚焦于行業(yè)主要的業(yè)務(wù)和風(fēng)險(xiǎn)，比如金融類的企業(yè)最需要的是做好訪問控制和身份認(rèn)證，醫(yī)療類企業(yè)的重點(diǎn)在于數(shù)據(jù)加密等等；二是可以考慮選用符合OWASP組織提出的一站式防護(hù)的產(chǎn)品或方案；三是根據(jù)自身實(shí)際情況，優(yōu)先處置高風(fēng)險(xiǎn)漏洞，逐步完善防護(hù)能力。
在技術(shù)選型方面，馬俊強(qiáng)調(diào)做好六個(gè)關(guān)鍵維度的工作：技術(shù)先進(jìn)性，需具備AI對(duì)抗AI的核心能力；持續(xù)迭代能力，能及時(shí)更新漏洞情報(bào)與攻擊模式；全面可觀測(cè)性，實(shí)現(xiàn)流量與風(fēng)險(xiǎn)的精準(zhǔn)識(shí)別；準(zhǔn)確性與魯棒性，保障低誤報(bào)、低漏報(bào)；可操作性，支持與現(xiàn)有運(yùn)維系統(tǒng)集成；合規(guī)性，滿足不同地區(qū)數(shù)據(jù)保護(hù)法規(guī)要求。
從行業(yè)沖擊到防御實(shí)踐，從企業(yè)防護(hù)到個(gè)人安全，AI爬蟲帶來(lái)的挑戰(zhàn)已經(jīng)滲透到了網(wǎng)絡(luò)生態(tài)的各個(gè)層面。只有構(gòu)建出以AI對(duì)抗AI的安全技術(shù)體系，并且結(jié)合行業(yè)特性與合規(guī)要求，實(shí)施精準(zhǔn)的全鏈路防護(hù)，才能在AI加持的安全中實(shí)現(xiàn)業(yè)務(wù)發(fā)展與風(fēng)險(xiǎn)防控的動(dòng)態(tài)平衡。
