電信網(wǎng)絡(luò)內(nèi)部一套112測試系統(tǒng)，涉及到一系列服務(wù)器和測試頭（具有TCP/IP三層功能的終端），原有的拓?fù)湓陔娦艃?nèi)網(wǎng)（DCN）中。由于測試范圍的擴(kuò)大，有些機(jī)房沒有內(nèi)網(wǎng)接入點(diǎn)，變通的方案是在城域網(wǎng)上建立一個VPN，將那些沒有DCN接入點(diǎn)的測試頭設(shè)備接在此VPN上，然后此VPN通過一個防火墻（PIX）與DCN做接口。可以將這些測試頭看作一些提供測試服務(wù)的服務(wù)器，使用NAT靜態(tài)轉(zhuǎn)換將這些測試頭映射為DCN內(nèi)網(wǎng)網(wǎng)段上的IP地址，內(nèi)網(wǎng)的一些客戶端使用這些映射后的地址訪問測試頭。
　　方案實(shí)施后，用DCN內(nèi)網(wǎng)設(shè)備訪問有些測試頭，時通時不通，對這些局點(diǎn)的112測試工作帶來了極大的困擾。通過使用Sniffer抓包工具，結(jié)合對ARP協(xié)議的理解，逐步分析出了故障的真正原因，解決了問題。這個分析解決問題的思路本人自己覺得有歸納總結(jié)的必要，所以成文推薦給大家，共同學(xué)習(xí)。

故障現(xiàn)象說明
　　112系統(tǒng)的部分網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。

故障現(xiàn)象
　　1.DCN中的112CLIENT有時訪問不到測試頭A。112CLIENT ping 不通測試頭A，網(wǎng)關(guān)F上也ping 不通測試頭A。
　　2. F上始終有ARP記錄：例如嘉興某NPORT測試頭A
　　Internet 10.0.2.70 118 0090.e809.b82f ARPA FastEthernet0/1
　　3. 如果F上clear arp，則112CLIENT再ping，可以ping通。
　　4. 如果不采取步驟3，用DCN內(nèi)機(jī)器telnet 134.100.200.10（測試頭B），再用B來ping 10.0.2.70(測試頭A)，能ping通。再用112CLIENT ping A，能ping通。
　　5. 將測試頭換下，換上同IP地址筆記本電腦，沒有任何問題。
　　對問題的預(yù)先判斷中，有兩種傾向性猜測，如下：
　　◆ A：NPORT測試頭的TCP/IP實(shí)現(xiàn)不規(guī)范。測試頭是廠家應(yīng)局方要求加工組裝的，其TCP/IP協(xié)議簇的實(shí)現(xiàn)是建立在NPORT MOXA卡上的，主要是為了實(shí)現(xiàn)TCP/IP與SERIAL協(xié)議之間的轉(zhuǎn)換。而這種實(shí)現(xiàn)的可靠性并沒有100%的把握。如果是這個原因，需廠家解決。
　　◆ B：寬帶交換機(jī)的設(shè)置不科學(xué)。交換機(jī)的ARP條目失效時間對其ARP對照表有很大影響，設(shè)的太短，很快就失效，包過來后就會不知道流向哪個端口，會被交換機(jī)丟棄。寬帶交換機(jī)屬于數(shù)據(jù)部門維護(hù)，一般情況下不會提供給我們口令，沒有確實(shí)的判斷，他們一般不愿意改交換機(jī)設(shè)置。
　　所以確實(shí)的定位問題的所在，是我們解決故障的先決條件。
　
查找故障源
　　在不能確定故障源的情況下，我們同時從以上兩種傾向性猜測的角度出發(fā)，力圖從兩個方向做出解釋，最后找出符合實(shí)際的故障點(diǎn)。
　　首先，改變拓?fù)浣Y(jié)構(gòu)如圖2所示，網(wǎng)關(guān)接口之一連接一臺共享帶寬的HUB，HUB上的兩個端口分別連接寬帶部分和一臺運(yùn)行Sniffer的電腦。這樣，Sniffer能“抓”到所有寬帶與網(wǎng)關(guān)F之間的包。

　　針對現(xiàn)象一：IDSCLIENT ping不通測試頭A
　　測試動作一：
　　1）網(wǎng)關(guān)F上有A的ARP記錄。
　　112_edge#sh arp | include 10.0.2.70
　　Internet 10.0.2.70 3 0090.e809.b82f ARPA FastEthernet0/1
　　2）用內(nèi)網(wǎng)的IDSCLIENT來ping A，結(jié)果ping不通。
　　用Sniffer抓包，從圖3中可以清楚地看出，ICMP探測包從網(wǎng)關(guān)F準(zhǔn)確地向目的A 10.0.2.70（09B82F）發(fā)送,但A沒有回響應(yīng)包。所以結(jié)果為ping不通。

　　基于兩種猜測，故障的原因可能解釋有：
　　解釋A：應(yīng)該為A的ARP緩存中沒有網(wǎng)關(guān)F的ARP記錄，所以A找不到網(wǎng)關(guān)的MAC地址，而且它對這種“找不到網(wǎng)關(guān)的MAC地址”不作為（NPORT測試頭對ARP的實(shí)現(xiàn)不完善）。
　　解釋B：連接測試頭A的寬帶交換機(jī)中的MAC對端口的對應(yīng)記錄過期，在MAC地址表中目的MAC地址無對應(yīng)端口，交換機(jī)丟掉此包。
　　針對現(xiàn)象二：將測試頭換下，換上同IP地址筆記本電腦，沒有任何問題。
　　測試動作二：
　　1）A的位置換上一臺電腦hongjing（IP與A一致）,且讓網(wǎng)關(guān)F有hongjing的ARP記錄。
　　112_edge#sh arp | include 10.0.2.70
　　Internet 10.0.2.70 3 000b.dbe0.1de9 ARPA FastEthernet0/1
　　2）IDSCLIENT2(134.100.5.52) ping 10.0.2.70(HONGJING),能ping通。
　　基于兩種猜測，故障的原因的解釋有：
　　解釋A：包從網(wǎng)關(guān)F中發(fā)過來，ICMP探測包準(zhǔn)確的發(fā)送到目的A 10.0.2.70,hongjing同樣由于本機(jī)ARP緩存中沒有網(wǎng)關(guān)F的記錄，不能立即發(fā)送ICMP回應(yīng)包。但hongjing沒有“不作為”，而是根據(jù)ICMP包的源IP地址跟自己的掩碼判斷此ICMP查詢包發(fā)自廣播域外，所以hongjing當(dāng)機(jī)立斷，向本廣播域發(fā)起ARP查詢，要查出網(wǎng)關(guān)10.0.0.1的MAC地址，查到后，將ICMP回應(yīng)包發(fā)送到10.0.0.1,所以網(wǎng)絡(luò)能通。
　　對比動作一，動作二的網(wǎng)絡(luò)包分析，不難發(fā)現(xiàn)問題所在。相同的條件與情況下，產(chǎn)生“通”與“不通”的兩種結(jié)果，關(guān)鍵在于測試頭（A）與電腦（hongjing）對ICMP查詢包的“態(tài)度”不一樣所致。電腦hongjing的態(tài)度“積極”，當(dāng)沒有該包的傳遞者F的MAC地址時，會想方設(shè)法找到“回答”的路徑，并“回答”。而測試頭A的態(tài)度“消極”，收到詢問包時，發(fā)現(xiàn)自己沒有該包傳遞者F的MAC地址時，沒有采取任何措施，保持“沉默”，所以沒回答。
　　解釋B：筆記本電腦hongjing一接上交換機(jī)后立刻發(fā)出廣播包，通知局域網(wǎng)內(nèi)其他機(jī)器，hongjing的MAC地址是多少。此時，交換機(jī)記下hongjing-MAC與端口的映射。所以包從網(wǎng)關(guān)F過來后，能到達(dá)測試頭A。
　　針對現(xiàn)象三：“如果F上clear arp，則112CLIENT再ping ，可以ping通”
　　測試動作三：
　　登錄網(wǎng)關(guān)F,執(zhí)行clear arp命令，然后在內(nèi)網(wǎng)中，用IDSCLIENT ping A，結(jié)果可以ping通。
　　基于兩種猜測的原因解釋：
　　解釋A：本來由于測試頭的“消極”，是不通的。但網(wǎng)關(guān)F上執(zhí)行了clear arp命令后，網(wǎng)關(guān)F由于ARP地址影射清空，F(xiàn)不知網(wǎng)關(guān)的MAC，會向廣播域發(fā)送ARP包，該包中包含了自己的MAC地址。根據(jù)RFC826，雖然廣播域中的機(jī)器不會回應(yīng)此包，但會將F的MAC地址記錄到ARP緩存中，所以能使得本不通的112CLIENT pingA能ping通。
　　解釋B：網(wǎng)關(guān)F上執(zhí)行了clear arp命令后，網(wǎng)關(guān)F由于ARP地址映射清空，F(xiàn)不知網(wǎng)關(guān)的MAC，會向廣播域發(fā)送ARP包，該包中包含了自己的MAC地址。測試頭A上連的交換機(jī)會將F的MAC地址和相關(guān)端口綁定；A回應(yīng)此ARP請求時，交換機(jī)又會將NPORT測試頭A的MAC地址與相關(guān)端口綁定。所以后續(xù)的連接能通。
　　針對現(xiàn)象四：“用DCN內(nèi)機(jī)器telnet 134.100.200.10（測試頭B），再用B來ping 10.0.2.70(測試頭A)，能ping通。再用112CLIENT ping A，能ping通。”
　　測試動作四：
　　用內(nèi)網(wǎng)機(jī)器IDSCLIENT telnet 到134.100.5.66，然后從134.100.5.66上ping 測試頭B，結(jié)果本來ping不通的，現(xiàn)在可以ping通了。
　　基于兩種猜測的原因解釋：　　
　　解釋A：此現(xiàn)象用猜測A解釋不了。
　　解釋B：測試頭B向測試頭A ping時，先會發(fā)ARP廣播，測試頭B回應(yīng)此ARP請求。這個過程中，A上連的交換機(jī)會將A<->相應(yīng)端口，B<->相應(yīng)端口的記錄記在地址端口映射表。
　　所以F到A的包就能通了。
　　至此，可以排除猜測A。同時，由于同一批次的NPORT測試頭在其他地區(qū)及內(nèi)網(wǎng)用的比較正常，所以，傾向于猜測B。為進(jìn)一步證實(shí)猜測B，進(jìn)一步做了以下測試。
　　做動作一的時候，在交換機(jī)與A間抓包。看是否有源地址為F的物理地址，目的地址為A的物理地址的包從交換機(jī)端口出來，結(jié)果確實(shí)無包被監(jiān)聽到，所以，從理論上得出，猜測B是正確的。從理論上定位出正確的故障原因后，我們理直氣壯的聯(lián)系數(shù)據(jù)部門，請他們修改了部分交換機(jī)的ARP失效時間。經(jīng)過一段時間的檢驗(yàn)，系統(tǒng)運(yùn)行良好，原有故障消失。
　　本次排障工作中，我們堅(jiān)持理論指導(dǎo)實(shí)踐，對每種可能的故障原因進(jìn)行不偏不倚的分析，在客觀公正不帶主觀臆想的前提下，對每種觀點(diǎn)進(jìn)行逐步考察，終于確定故障點(diǎn)，解決了問題。