垃圾郵件的來歷和技術(shù)根源
SMTP協(xié)議本身是一個(gè)簡(jiǎn)化的郵件遞交協(xié)議，缺乏很多必要的身份認(rèn)證，這是SMTP協(xié)議造成垃圾郵件泛濫的原因之一。由于SMTP協(xié)議中，允許發(fā)信人偽造絕大多數(shù)的發(fā)信人特征信息，如：發(fā)信人、信件路由等，甚至在通過匿名轉(zhuǎn)發(fā)、開放轉(zhuǎn)發(fā)和開放代理等手段后，可以近乎完全的抹去垃圾郵件的發(fā)信人特征。目前，絕大多數(shù)的垃圾郵件都偽造了其真實(shí)的發(fā)信來源，這對(duì)于發(fā)現(xiàn)制止垃圾郵件的傳播造成了很大的困難。
SMTP協(xié)議還缺少一些必要的行為控制，不能有效的甄別正常的郵件發(fā)送和垃圾郵件發(fā)送行為，這是造成垃圾郵件泛濫的原因之二。垃圾郵件的發(fā)送通常有一定的行為特征，比如在較短的時(shí)間內(nèi)發(fā)送極其大量的電子郵件，發(fā)信通訊中通常有特定的通訊特征等。
反垃圾郵件技術(shù)手段要么是本身帶有一定的缺陷，比如在垃圾郵件的判斷上不能做到絕對(duì)精確，或者需要很大實(shí)現(xiàn)成本等等；要么就是由于實(shí)際環(huán)境的限制而不能應(yīng)用，比如不能徹底推翻原有的SMTP協(xié)議而使用一種新的可以避免垃圾郵件產(chǎn)生和傳播的郵件協(xié)議。所以，單純依賴技術(shù)手段并不能完全解決垃圾郵件。 
反垃圾郵件技術(shù)的解析
我們以一款垃圾郵件廠商博威特－梭子魚反垃圾郵件防火墻所用的防護(hù)技術(shù)為代表，來分析一下反垃圾郵件防火墻使用了哪些技術(shù)。以下是這款反垃圾郵件防火墻使用的防護(hù)技術(shù)：
1 拒絕服務(wù)攻擊和安全防護(hù)
2 IP阻擋清單
3 速率控制
4 雙層病毒掃描
5 用戶自定義規(guī)則
6 垃圾郵件指紋檢查
7 郵件意圖分析
8 貝葉斯智能分析
9 基于規(guī)則的評(píng)分系統(tǒng)
10 解壓縮文件的病毒防護(hù)
由于速率控制、病毒掃描以及解壓縮文件的病毒防護(hù)針對(duì)病毒的，屬于反垃圾郵件的附屬功能我們暫不討論，值得一提的是防火墻的防止DDOS攻擊和反垃圾郵件防火墻防止DOS攻擊是不一樣的。根據(jù)博威特技術(shù)工程師的介紹：反垃圾郵件防火墻的防止DOS攻擊主要是防止往一個(gè)郵件地址在一個(gè)較短的時(shí)間內(nèi)發(fā)送大量的垃圾郵件，從而形成Dos攻擊。
而針對(duì)垃圾郵件的核心技術(shù)有貝葉斯智能分析、垃圾郵件指紋檢查、基于規(guī)則的評(píng)分系統(tǒng)、用戶自定義規(guī)則,其核心是貝葉斯智能分析、垃圾郵件指紋檢查技術(shù)。下面我們來逐一分析反垃圾郵件過濾技術(shù)：
1 垃圾郵件指紋檢查
談到對(duì)垃圾郵件的指紋檢查，很多人覺得有些神秘，其實(shí)所謂郵件的指紋，就是郵件內(nèi)容中的一些字符串的組合，又稱為快照。就是從類似、但不相同的信息，識(shí)別其中已經(jīng)被確認(rèn)為垃圾郵件的信息。舉例來說：如果您經(jīng)常受垃圾郵件此地困擾一定對(duì)下面的詞匯不會(huì)陌生："代理服務(wù)"、"招生"、"現(xiàn)金"，是不是在你一看到他們就不免聯(lián)想到垃圾郵件呢？
其實(shí)這就是垃圾郵件的指紋，和反病毒技術(shù)的特征碼識(shí)別的思想是共通的。反垃圾郵件防火墻通過識(shí)別類似、但不相同的信息，找出其中已經(jīng)被確認(rèn)為垃圾郵件的信息，最后完成對(duì)垃圾郵件的識(shí)別。
當(dāng)然指紋檢查的準(zhǔn)確性依賴于垃圾郵件的指紋庫，反垃圾郵件防火墻先給郵件中出現(xiàn)的每一個(gè)字符賦予一個(gè)數(shù)值，值得一提的是這個(gè)數(shù)值的確定是按照特定垃圾的用詞規(guī)律特點(diǎn)進(jìn)行分類，再利用統(tǒng)計(jì)方法然后再給這封郵件計(jì)算出一個(gè)綜合的數(shù)值。也可以根據(jù)是否與其他多次收到的郵件相似來判定（多次收到相似的郵件很可能就是垃圾郵件）。
2 貝葉斯智能分析
貝葉斯智能分析的說法在我看來有趕時(shí)髦的嫌疑，主要是受上學(xué)時(shí)人工智能課程的毒害，和對(duì)智能字眼滿天飛的視覺疲勞，畢竟一個(gè)技術(shù)如果能和智能掛鉤的話，多少顯得高深了不少。事實(shí)上這個(gè)智能分析就是一個(gè)統(tǒng)計(jì)學(xué)定律的應(yīng)用而已，當(dāng)然客觀的說這個(gè)統(tǒng)計(jì)學(xué)的應(yīng)用確實(shí)讓反垃圾郵件聰明了不少。好了閑話說多了浪費(fèi)大家時(shí)間,我們今天不講貝葉斯定律，直接開始介紹貝葉斯反垃圾郵件算法，通過算法我們可以看出這個(gè)智能分析其實(shí)是將IP阻擋名單、垃圾郵件指紋檢查、統(tǒng)計(jì)規(guī)律結(jié)合起來實(shí)現(xiàn)反垃圾郵件的智能分析。
貝葉斯反垃圾郵件算法如下：
1) 收集大量的垃圾郵件和非垃圾郵件，建立垃圾郵件集和非垃圾郵件集。
2) 提取郵件主題和郵件體中的獨(dú)立字串例如 ABC32，￥234等作為TOKEN串并統(tǒng)計(jì)提取出的TOKEN串出現(xiàn)的次數(shù)即字頻。按照上述的方法分別處理垃圾郵件集和非垃圾郵件集中的所有郵件。
3) 每一個(gè)郵件集對(duì)應(yīng)一個(gè)哈希表，hashtable_good對(duì)應(yīng)非垃圾郵件集而hashtable_bad對(duì)應(yīng)垃圾郵件集。表中存儲(chǔ)TOKEN串到字頻的映射關(guān)系。
4) 計(jì)算每個(gè)哈希表中TOKEN串出現(xiàn)的概率P=（某TOKEN串的字頻）/（對(duì)應(yīng)哈希表的長(zhǎng)度）
5) 綜合考慮hashtable_good和hashtable_bad，推斷出當(dāng)新來的郵件中出現(xiàn)某個(gè)TOKEN串時(shí)，該新郵件為垃圾郵件的概率。數(shù)學(xué)表達(dá)式為：
A事件----郵件為垃圾郵件;
t1,t2 …….tn代表TOKEN串則P（A|ti）表示在郵件中出現(xiàn)TOKEN串ti時(shí)，該郵件為垃圾郵件的概率。設(shè) P1（ti）=（ti在hashtable_good中的值）
P2（ti）=（ti在hashtable_ bad中的值）
則 P（A|ti）= P1（ti）/[（P1（ti）+ P2（ti）]；
6) 建立新的哈希表 hashtable_probability存儲(chǔ)TOKEN串ti到P（A|ti）的映射
7) 至此，垃圾郵件集和非垃圾郵件集的學(xué)習(xí)過程結(jié)束。根據(jù)建立的哈希表 hashtable_probability可以估計(jì)一封新到的郵件為垃圾郵件的可能性。
當(dāng)新到一封郵件時(shí)，按照步驟2）生成TOKEN串。查詢hashtable_probability得到該TOKEN 串的鍵值。
假設(shè)由該郵件共得到N個(gè)TOKEN串，t1,t2…….tn,hashtable_probability中對(duì)應(yīng)的值為P1，P2，。。。。。。PN，P(A|t1 ,t2, t3……tn)表示在郵件中同時(shí)出現(xiàn)多個(gè)TOKEN串t1,t2…….tn時(shí)，該郵件為垃圾郵件的概率。
由復(fù)合概率公式可得P(A|t1 ,t2, t3……tn)=（P1*P2*。。。。PN）/[P1*P2*。。。。。PN+（1-P1）*（1-P2）*。。。（1-PN）]當(dāng)P(A|t1 ,t2, t3……tn)超過預(yù)定閾值時(shí)，就可以判斷郵件為垃圾郵件。
貝葉斯過濾算法舉例
例如：一封含有"法輪功"字樣的垃圾郵件 A和 一封含有"法律"字樣的非垃圾郵件B 根據(jù)郵件A生成hashtable_ bad，該哈希表中的記錄為：
法：1次
輪：1次
功：1次
計(jì)算得在本表中：
法出現(xiàn)的概率為0.3
輪出現(xiàn)的概率為0.3
功出現(xiàn)的概率為0.3
根據(jù)郵件B生成hashtable_good，該哈希表中的記錄為：
法：1
律：1
計(jì)算得在本表中：
法出現(xiàn)的概率為0.5
律出現(xiàn)的概率為0.5
綜合考慮兩個(gè)哈希表，共有四個(gè)TOKEN串： 法 輪 功 律當(dāng)郵件中出現(xiàn)"法"時(shí)，該郵件為垃圾郵件的概率為：
P=0.3/（0.3+0.5）=0.375
出現(xiàn)"輪"時(shí)：
P=0.3/（0.3+0）=1
出現(xiàn)"功"時(shí)：
P=0.3/（0.3+0）=1
出現(xiàn)"律"時(shí)
P=0/（0+0.5）=0；
由此可得第三個(gè)哈希表：hashtable_probability 其數(shù)據(jù)為：
法：0.375
輪：1
功：1
律：0
當(dāng)新到一封含有"功律"的郵件時(shí)，我們可得到兩個(gè)TOKEN串，功 律查詢哈希表hashtable_probability可得
P（垃圾郵件| 功）=1
P （垃圾郵件|律）=0
此時(shí)該郵件為垃圾郵件的可能性為：
P=（0*1）/[0*1+（1-0）*（1-1）]=0
由此可推出該郵件為非垃圾郵件
反垃圾郵件防火墻和防火墻的關(guān)系
防火墻是一個(gè)廣義上稱呼，從實(shí)際應(yīng)用的角度看防火墻是為了保護(hù)企業(yè)內(nèi)部網(wǎng)絡(luò)資源（如www服務(wù)器、文件服務(wù)器等等）免受外部安全威脅侵害的防護(hù)設(shè)備，通過設(shè)置不同的防護(hù)級(jí)別和防護(hù)措施對(duì)內(nèi)部網(wǎng)絡(luò)資源實(shí)行實(shí)施保護(hù)。根據(jù)它所防護(hù)的側(cè)重點(diǎn)的不同，防火墻可以分為病毒防火墻，DDOS（分布式拒絕服務(wù)攻擊）防火墻，垃圾郵件防火墻等等。
簡(jiǎn)而言之，反垃圾郵件防火墻是用來反垃圾郵件的專用防火墻。
防火墻從工作方式上來說都有一個(gè)共性：分析出入防火墻的數(shù)據(jù)包，決定放行還是阻斷。在實(shí)際部署中，作為專用垃圾郵件防火墻可以放在普通防火墻的前面也可是防火墻的后面，建議放在后面在邏輯上保持和郵件服務(wù)器是串聯(lián)的關(guān)系就可以了。
a)安裝在防火墻的外面就要修改（或是增加）MX記錄，是MX記錄能夠指向反垃圾郵件防火墻，如果有兩條的話，指向反垃圾郵件防火墻的MX記錄有優(yōu)先級(jí)要調(diào)的高一些
b)安裝在防火墻的里面要將SMTP的NAT記錄指向反垃圾郵件防火墻此兩種情況都不需要在服務(wù)器和客戶端軟件（outlookfoxmail等）做任何更改。