自2000年后,互聯(lián)網(wǎng)技術(shù)飛速發(fā)展,郵件技術(shù)已經(jīng)逐步成為了現(xiàn)代社會最重要的溝通工具之一。然而,予生俱來的是垃圾郵件對郵件用戶的侵擾;到2006年末,這種侵擾已經(jīng)成為公認的最大的互聯(lián)網(wǎng)應(yīng)用威脅之一。有許多數(shù)字讓人觸目驚心:每天全球產(chǎn)生的垃圾郵件達1000封;用戶收到的郵件之中,有94%是垃圾郵件;美國、中國是全世界最大的兩個垃圾郵件生產(chǎn)國家和消費國;中國網(wǎng)民每周收到的垃圾郵件數(shù)平均達到了19.4封。這些垃圾郵件充斥著各種非請求的商業(yè)廣告、色情與反動內(nèi)容、政治敏感話題傳播、甚至計算機病毒與惡意代碼,給我們正常的郵件收發(fā)增加困難,使企業(yè)的網(wǎng)絡(luò)與郵件資源被惡意浪費,甚至有可能對組織與個人的硬件資產(chǎn)遭受入侵、破壞等損失。垃圾郵件最新的形式是釣魚郵件,Spammer通過傳播類似銀行及會員機構(gòu)郵件的方式,來騙去用戶的用戶名和密碼,直接獲取非法利益;而有些則通過惡意代碼控制計算機,使網(wǎng)絡(luò)用戶的計算機變成Zombie PC,利用這些PC來發(fā)送大量廣告等垃圾郵件以獲取商業(yè)價值。可以說,反垃圾郵件的斗爭以及到了白熱化的程度。
中國的反垃圾郵件技術(shù)研究幾乎和國外同步,但產(chǎn)品化進程比較慢,基本上到2003年后才有初步能夠應(yīng)用的專業(yè)級產(chǎn)品與系統(tǒng)方案。在國際上,有兩大開源社區(qū)比較權(quán)威,目前世界上大部分垃圾郵件的核心技術(shù)都來源這兩個社區(qū),一個是著名的SpamAssassin,一個是,Razor。而中國目前還沒有形成比較成規(guī)模的反垃圾郵件技術(shù)開源社區(qū)。在技術(shù)上,特別是產(chǎn)品結(jié)構(gòu)上都借鑒這些著名的先行者。
說到反垃圾郵件的技術(shù)方案,一般有三種類型的解決方案。
第一種是初級的用戶級客戶端方案。 大部分人都認為客戶端方案效果不好,這里面其實有個誤區(qū),很多說法是包含了商業(yè)利益在里面的,所以就不能夠客觀的評價。客戶端方案,有些人就認為是Foxmail、Outlook之類的郵件客戶端自帶的簡單的黑白名單判別垃圾郵件功能,其實這是有誤的。真正的客戶端方案,不僅包含這些黑白名單功能,也包括其他類型方案一樣的一些手段,象實時RBL、指紋檢查、信任網(wǎng)絡(luò)、甚至包含內(nèi)容過濾等技術(shù),由于它服務(wù)的對象是“客戶端個人用戶”,沒有關(guān)注郵件服務(wù)器而已,然后它仍然是專業(yè)級別的反垃圾郵件防方案。關(guān)鍵是,需要找到專業(yè)的產(chǎn)品,而且這種方案在50人以下應(yīng)用環(huán)境時具有很好的經(jīng)濟價值,在超過50人的應(yīng)用環(huán)境下,這種方案就沒有其他的方案更具競爭力。代表產(chǎn)品是全球知名的反垃圾郵件技術(shù)公司Cloudmark公司的個人版反垃圾郵件產(chǎn)品。
第二類技術(shù)方案是反垃圾郵件網(wǎng)關(guān)方案。 這種方案是目前應(yīng)用最廣泛,也是應(yīng)用最簡便的企業(yè)級反垃圾郵件方案。這種方案是各種反垃圾郵件技術(shù)綜合到一臺設(shè)備或者軟件系統(tǒng)當(dāng)中去,放在郵件服務(wù)器的前端,對進出郵件系統(tǒng)的所有郵件進行過濾、審查,對違反規(guī)則或者具有明顯垃圾郵件特征的郵件予以處置。 網(wǎng)關(guān)型的反垃圾郵件方案,其形態(tài)可以是專用硬件產(chǎn)品,也可能是軟件形式。需要特別強調(diào)的是,傳統(tǒng)上認為硬件產(chǎn)品比軟件產(chǎn)品好,這種認識也是有很大偏差的,需要差別的看:如果反垃圾郵件網(wǎng)關(guān)軟件能夠與郵件系統(tǒng)實現(xiàn)真正意義上的無縫結(jié)合的化,是能夠大大提升系統(tǒng)的整體性能的,而不是象部分商業(yè)公司宣稱的那樣,硬件產(chǎn)品一定是最好的;原因很簡單: 這中間節(jié)省了兩個計算環(huán)節(jié)(反垃圾郵件系統(tǒng)在將郵件系統(tǒng)解包檢后,可以不用打包就可以直接轉(zhuǎn)給郵件系統(tǒng)接受;而郵件系統(tǒng)不需要先對郵件進行解包,就可以直接接受--減少動作,就意味著性能的提高)。
網(wǎng)關(guān)方案做為最主要的企業(yè)級反垃圾郵件方案,因各商業(yè)和研究機構(gòu)的技術(shù)路線不同,主要有3種:
(1)基于經(jīng)驗規(guī)則和內(nèi)容檢查技術(shù)的技術(shù)路線。這類反垃圾郵件網(wǎng)關(guān),以內(nèi)容檢查為主,主要的檢查手段包括關(guān)鍵字過濾、貝葉斯過濾、基于規(guī)則的評分系統(tǒng)、郵件指紋檢查、黑白名單技術(shù)、速率控制等等。需要的是提取樣本、提取內(nèi)容特征等信息,來檢查與過濾垃圾郵件。代表的產(chǎn)品是梭子魚反垃圾郵件系統(tǒng)。 需要注意的是,這類產(chǎn)品大多數(shù)需要進行大量的內(nèi)容檢查計算,對產(chǎn)品的系統(tǒng)結(jié)構(gòu)和硬件平臺的系統(tǒng)資源要求比較,性能峰值不是很高,特別是部分產(chǎn)品是用pear編寫的,程序的限制,使得性能成為其最主要的瓶頸。 這點用戶在選擇時是需要關(guān)注的,選型時盡量采用高一點的型號,以應(yīng)對突然的郵件高峰。
(2)智能行為識別技術(shù)路線。由于認識到基于規(guī)則與內(nèi)容技術(shù)路線在性能上的局限性,有部分技術(shù)人士擯棄了內(nèi)容檢查,而是將產(chǎn)品方案的主要檢查手段放在了郵件的協(xié)議分析。 這類技術(shù)通過總結(jié)和分析垃圾郵件發(fā)送者的各種共性行為,比如用客戶端群發(fā)軟件發(fā)送、高頻率發(fā)送、Dns偽裝、IP欺騙等等方法,解析出這些“垃圾行為”的特征并形成規(guī)則,用這寫規(guī)則來判別一封郵件是否合法。這類技術(shù),同時包括了眾多的郵件合規(guī)性認證機制;同時也包含了部分殺病毒等內(nèi)容層技術(shù)。 同樣需要大家注意的是,這類技術(shù)針對的是大規(guī)模的、以群發(fā)為特征的垃圾郵件,而針對單個、無規(guī)律的、甚至是合法來源發(fā)送非法內(nèi)容的郵件,沒有很好的解決方案。因為它不強調(diào)內(nèi)容檢查,而對對垃圾郵件判定最重要的標(biāo)準(zhǔn)是“內(nèi)容”非法! 但,這種技術(shù)已經(jīng)能夠拒絕大部分垃圾郵件了,因為絕大部分垃圾郵件確實是通過群發(fā)的方式產(chǎn)生的。 這類產(chǎn)品的代表廠商是敏訊科技,以及來自臺灣的碩奇公司反垃圾郵件產(chǎn)品(該公司更宣稱完全運用行為識別技術(shù)來反垃圾郵件)。
(3)混合模式路線。這種技術(shù)路線強調(diào)過程化處理技術(shù),利用過程化處理技術(shù)整合各種反垃圾郵件技術(shù),既包括基于協(xié)議分析的智能行為識別,也包括基于規(guī)則與內(nèi)容檢查的模式對比路線。反垃圾郵件網(wǎng)關(guān)在智能過程化處理平臺的控制下,有次序的讓郵件接受各個層次的合規(guī)性檢查與內(nèi)容檢查。綜合應(yīng)用行為識別技術(shù),在協(xié)議層對TCP/IP進行分析規(guī)范發(fā)件連接行為、在SMTP層對郵件從Hello、Auth、From、To、Data等各個層次進行合規(guī)性檢查,對違發(fā)正常規(guī)則的郵件進行重點分析,對明顯的群發(fā)行為予以處置。而內(nèi)容檢查階段,也是嚴格按照“過程”來進行的,病毒查殺、用戶級黑白名單、關(guān)鍵字、貝葉斯過濾、指紋檢查、以及其他的基于內(nèi)容檢查的技術(shù)。 這類網(wǎng)關(guān)的設(shè)計架構(gòu)比較好,“過程化”的處理辦法,讓大量的垃圾郵件在“前端”就被過濾掉,而在內(nèi)容階段系統(tǒng)的工作量非常的少,能夠大幅度的提升系統(tǒng)的整體工作性能和垃圾處理能力。 這類產(chǎn)品的代表是Commontouch反垃圾引擎,以及智海華程CyanFilter反垃圾郵件引擎。 他們共同的特點是過程化處置,都擁有自己核心的反垃圾郵件引擎。Coummontouch的反垃圾引擎采用實時檢查技術(shù),輪回檢查信任網(wǎng)絡(luò);而CyanFilter反垃圾郵件引擎則包含了中文分詞、特征進化引擎技術(shù)等等,使得青蓮Cyanlotus反垃圾網(wǎng)關(guān)更具有強大的中文垃圾能力。 另外,Cloudmark公司的電信級反垃圾郵件網(wǎng)關(guān)也同樣擁有這中能力,其基因算法與全球最大“可信任用戶網(wǎng)絡(luò)”更是無與倫比。
第三類是ASP反垃圾郵件服務(wù)方案。這種方案主要針對用戶數(shù)量少于500人的中小企業(yè)環(huán)境。 反垃圾郵件服務(wù)提供商首先建立一個反垃圾郵件服務(wù)中心,這個中心的系統(tǒng)擁有同時向多域、多服務(wù)器提供反垃圾服務(wù)的能力。用戶在購買了反垃圾郵件服務(wù)后,將自己郵件地址的MX記錄指向該服務(wù)中心,該服務(wù)中心同時添加該用戶域名,這樣用戶的郵件在到達用戶的郵件系統(tǒng)(不管是購買的空間的方式,還是有獨立服務(wù)器)前,首先達到ASP反垃圾郵件服務(wù)中心進行過濾檢查,達到凈化垃圾的目的。這種方案比較經(jīng)濟、不受地域和部署方式的限制。 但,目前為止,國內(nèi)還沒有實際投入運營的反垃圾郵件ASP出現(xiàn)。
用戶,不管是個人用戶還是企業(yè)級用戶,在選擇反垃圾郵件方案時,都需要認真考慮一下幾個因素:
(1)經(jīng)濟性。個人用戶和數(shù)量比較少的企業(yè),可以選擇采用專業(yè)客戶端或者ASP反垃圾郵件服務(wù)的解決方案,既節(jié)省投資也具有同樣的反垃圾效果,而且免去了后期維護之類。
(2)反垃圾系統(tǒng)的反垃圾效果。對反垃圾系統(tǒng)效果的評價一般包括垃圾郵件識別率、漏報率,同時更需要關(guān)注垃圾郵件誤報率,特別是將正常郵件判別為垃圾郵件的“假陽性”誤報問題,這是反垃圾郵件系統(tǒng)的最關(guān)鍵的參考因素。我們可以容忍一天收到若干垃圾郵件(當(dāng)然是數(shù)量不多的情況下),但所有人都不能忍受有正常的郵件被錯誤的判定為“垃圾”而遭受“丟棄”!而評價反垃圾郵件系統(tǒng)反垃圾效果的方法,就是實際試用! 因為每個用戶受的垃圾郵件類別是不一樣的,有的用戶垃圾郵件主要是英文垃圾、有的是中文垃圾、有的是圖片的、有的則是廣告文字的、還有的是釣魚類的、而有的則是以病毒垃圾為住。不同的垃圾郵件特征,需要采用不同的反垃圾郵件產(chǎn)品方案:如英文垃圾多,則我們可以首選國外專業(yè)產(chǎn)品;如果中文垃圾多,則首先要考慮國內(nèi)的,特別是有中文分詞技術(shù)(由于中、日、韓三國語言的雙字節(jié)及不分詞的特殊性,一般反垃圾產(chǎn)品能難有效應(yīng)對);而對病毒垃圾多的,則可以考慮主要由殺病毒公司提供的反垃圾郵件產(chǎn)品。
(3)注重系統(tǒng)的整體性能。反垃圾郵件產(chǎn)品,如果性能不過關(guān),隨著業(yè)務(wù)的增長和垃圾郵件泛濫問題的日益嚴重,可能會有很大問題,另外性能問題有可能會影響我們正常的郵件收發(fā)效率;由于產(chǎn)品在設(shè)計和硬件配置上的缺陷(特別是產(chǎn)品結(jié)構(gòu)與設(shè)計語言的缺陷),導(dǎo)致郵件堵塞、溢出、正常郵件丟失、系統(tǒng)癱瘓等等,將會使我們損失慘重!
(4)管理簡便與靈活性。一般來講,靈活性與簡便的要求是矛盾。我們的原則是,逐步減少網(wǎng)管人員和用戶的工作量,同時又給予網(wǎng)管和用戶最大限度的個性化需求。如每個用戶都應(yīng)該擁有自己的個性化黑白名單、自己個性化的關(guān)鍵字過濾策略等等,以使得我們反垃圾郵件系統(tǒng)更具有針對性和效率。選擇產(chǎn)品時,一般要考慮web管理、參數(shù)設(shè)置簡單、管理維護工作量少、擁有智能(特別是有自學(xué)習(xí)能力)的產(chǎn)品。同時,產(chǎn)品的升級要及時,特別是病毒庫的升級。
綜合以上的一些所述,用戶在進行反垃圾郵件工作時,要全面了解各種反垃圾郵件方案與自己的實際需要想對應(yīng)的程度,我們不能一味的聽**廠家或者組織宣稱自己是最好的和唯一好的解決方案,最好與最合適只有我們自己說了算。 品牌和市場保有量在中國沒有參考意義(大部分品牌都是通過大量的宣傳得來的,而中國用戶是出名的“隨大眾,愛面子”),建議的做法是“試用”用實際效果說話!特殊的,在中國反垃圾,首先要把重點放在“中文”垃圾上、圖片垃圾、釣魚垃圾上! 同時,還要看該反垃圾方案是否具有完備的“挽回”機制,有全面的日志包括垃圾郵件日志、阻斷郵件日志(大部分產(chǎn)品沒有此功能)、病毒郵件日志以及收發(fā)的正常郵件日志。
反垃圾郵件是一件任重道遠的事業(yè),需要我們大家的共同努力


