《報告》揭示了基于AI的12種重要威脅，同時給予應對建議。根據《報告》，2023年基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚郵件增長了1000%；目前已發現有多個有國家背景的APT組織，利用AI實施了十余起網絡攻擊事件……但目前，業界對AI潛在風險的研究與重視程度仍遠遠不足，《報告》認為，在積極擁抱大模型等人工智能技術之時，各界對其安全風險應保持警醒。
2022年以后，以ChatGPT為代表的大語言模型（Large Language Model，LLM）AI技術快速崛起，后續的進展可謂一日千里，迎來了AI技術應用的大爆發，展現出來的能力和效果震驚世界。IDC調研顯示，67%的中國企業已經開始探索 AIGC 在企業內的應用機會或進行相關資金投入。IDC預測，2026年中國AI大模型市場規模將達到211億美元，人工智能將進入大規模落地應用關鍵期。
《報告》認為，“AI是一種通用技術，通用就意味著既可以用來做好事，也可以被用來干壞事”。具有巨大潛力的AI技術同時帶來兩大主要挑戰：一是放大現有威脅，另一個是引入新型威脅。奇安信預計，未來十年，人工智能技術的惡意使用將快速增長，將在政治安全、網絡安全、物理安全和軍事安全等方面構成嚴重威脅。
在當前波譎云詭、風高浪急的國際形勢下，快速發展的AI帶來了更加復雜和難以預測的軍事威脅，包括相關武器系統的誤用、濫用甚至惡用，導致戰爭不可控性增加。例如人工智能被用在“機器人殺手”等致命性自主武器(LAWS)上，可能會導致無差別殺戮。數據顯示，2024財年，美國國防部計劃增加與AI相關的網絡安全投資，總額約2457億美元，其中674億美元用于網絡IT和電子戰能力。
AI引入或放大12種威脅，業界對AI風險重視不足
《報告》深入研究了基于AI的深度偽造（Deepfake）、黑產大語言模型基礎設施、利用AI的自動化攻擊、AI武器化、LLM自身安全風險、惡意軟件、釣魚郵件、虛假內容和活動生成、硬件傳感器安全等12種重要威脅，對其技術原理、危害情況、真實案例等進行了深入的剖析，旨在讓業界更全面的認識到AI普及帶來的兩大主要挑戰：一方面放大了現有威脅，比如釣魚郵件、惡意軟件和社會工程學等；另一方面是引入了新型威脅，如AI自動化攻擊、AI深度偽造等。
AI威脅該如何應對？行業亟待加強監管，推動安全范式變革
《報告》從安全行業、監管機構、政企機構、網絡用戶等群體角度，給出了應對AI威脅的建議。其中安全行業需要繼續發揮能力優勢，確保人工智能本身的安全性，并積極利用人工智能用于安全防護；監管機構需要對AI潛在風險與影響保持持續關注，在制度和法規上及時提供支持；政企機構需及時部署AI安全框架和解決方案，以及AI安全評估服務和檢測工具，還要依托AI推動安全升級；網絡用戶在嘗試最新人工智能應用的同時，同樣需要更新安全知識，形成良好的安全習慣。
面對AI網絡攻擊、AI武器化等日益嚴峻的安全威脅，《報告》認為，AI技術將會推動安全領域發生范式變革，全行業需啟動人工智能網絡防御推進計劃。新一代AI技術與大語言模型改變安全對抗格局，將會對地緣政治競爭和國家安全造成深遠的影響，各國正在競相加強在人工智能領域的競爭，以獲得面向未來的戰略優勢。全行業需啟動人工智能網絡防御推進計劃，包括利用防御人工智能對抗惡意人工智能，扭轉“防御者困境”。
奇安信AI安全專家認為，一個影響深遠的新技術出現，人們一般傾向于在短期高估它的作用，而又長期低估其影響。當前，攻防雙方都在緊張地探索AI殺手級的應用，數月甚至數天就出現重大的變化。專家提醒，無論監管機構、安全行業，還是政企機構，都需要積極擁抱潛力巨大的AI技術與大模型，同時審慎評估其影響的不確定性，確保監管與治理及時跟進，不能先上車再補票。
