電信網(wǎng)絡(luò)內(nèi)部一套112測(cè)試系統(tǒng)，涉及到一系列服務(wù)器和測(cè)試頭（具有TCP/IP三層功能的終端），原有的拓?fù)湓陔娦艃?nèi)網(wǎng)（DCN）中。由于測(cè)試范圍的擴(kuò)大，有些機(jī)房沒有內(nèi)網(wǎng)接入點(diǎn)，變通的方案是在城域網(wǎng)上建立一個(gè)VPN，將那些沒有DCN接入點(diǎn)的測(cè)試頭設(shè)備接在此VPN上，然后此VPN通過一個(gè)防火墻（PIX）與DCN做接口。可以將這些測(cè)試頭看作一些提供測(cè)試服務(wù)的服務(wù)器，使用NAT靜態(tài)轉(zhuǎn)換將這些測(cè)試頭映射為DCN內(nèi)網(wǎng)網(wǎng)段上的IP地址，內(nèi)網(wǎng)的一些客戶端使用這些映射后的地址訪問測(cè)試頭。
　　方案實(shí)施后，用DCN內(nèi)網(wǎng)設(shè)備訪問有些測(cè)試頭，時(shí)通時(shí)不通，對(duì)這些局點(diǎn)的112測(cè)試工作帶來了極大的困擾。通過使用Sniffer抓包工具，結(jié)合對(duì)ARP協(xié)議的理解，逐步分析出了故障的真正原因，解決了問題。這個(gè)分析解決問題的思路本人自己覺得有歸納總結(jié)的必要，所以成文推薦給大家，共同學(xué)習(xí)。

故障現(xiàn)象說明
　　112系統(tǒng)的部分網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。

故障現(xiàn)象
　　1.DCN中的112CLIENT有時(shí)訪問不到測(cè)試頭A。112CLIENT ping 不通測(cè)試頭A，網(wǎng)關(guān)F上也ping 不通測(cè)試頭A。
　　2. F上始終有ARP記錄：例如嘉興某NPORT測(cè)試頭A
　　Internet 10.0.2.70 118 0090.e809.b82f ARPA FastEthernet0/1
　　3. 如果F上clear arp，則112CLIENT再ping，可以ping通。
　　4. 如果不采取步驟3，用DCN內(nèi)機(jī)器telnet 134.100.200.10（測(cè)試頭B），再用B來ping 10.0.2.70(測(cè)試頭A)，能ping通。再用112CLIENT ping A，能ping通。
　　5. 將測(cè)試頭換下，換上同IP地址筆記本電腦，沒有任何問題。
　　對(duì)問題的預(yù)先判斷中，有兩種傾向性猜測(cè)，如下：
　　◆ A：NPORT測(cè)試頭的TCP/IP實(shí)現(xiàn)不規(guī)范。測(cè)試頭是廠家應(yīng)局方要求加工組裝的，其TCP/IP協(xié)議簇的實(shí)現(xiàn)是建立在NPORT MOXA卡上的，主要是為了實(shí)現(xiàn)TCP/IP與SERIAL協(xié)議之間的轉(zhuǎn)換。而這種實(shí)現(xiàn)的可靠性并沒有100%的把握。如果是這個(gè)原因，需廠家解決。
　　◆ B：寬帶交換機(jī)的設(shè)置不科學(xué)。交換機(jī)的ARP條目失效時(shí)間對(duì)其ARP對(duì)照表有很大影響，設(shè)的太短，很快就失效，包過來后就會(huì)不知道流向哪個(gè)端口，會(huì)被交換機(jī)丟棄。寬帶交換機(jī)屬于數(shù)據(jù)部門維護(hù)，一般情況下不會(huì)提供給我們口令，沒有確實(shí)的判斷，他們一般不愿意改交換機(jī)設(shè)置。
　　所以確實(shí)的定位問題的所在，是我們解決故障的先決條件。
　
查找故障源
　　在不能確定故障源的情況下，我們同時(shí)從以上兩種傾向性猜測(cè)的角度出發(fā)，力圖從兩個(gè)方向做出解釋，最后找出符合實(shí)際的故障點(diǎn)。
　　首先，改變拓?fù)浣Y(jié)構(gòu)如圖2所示，網(wǎng)關(guān)接口之一連接一臺(tái)共享帶寬的HUB，HUB上的兩個(gè)端口分別連接寬帶部分和一臺(tái)運(yùn)行Sniffer的電腦。這樣，Sniffer能“抓”到所有寬帶與網(wǎng)關(guān)F之間的包。

　　針對(duì)現(xiàn)象一：IDSCLIENT ping不通測(cè)試頭A
　　測(cè)試動(dòng)作一：
　　1）網(wǎng)關(guān)F上有A的ARP記錄。
　　112_edge#sh arp | include 10.0.2.70
　　Internet 10.0.2.70 3 0090.e809.b82f ARPA FastEthernet0/1
　　2）用內(nèi)網(wǎng)的IDSCLIENT來ping A，結(jié)果ping不通。
　　用Sniffer抓包，從圖3中可以清楚地看出，ICMP探測(cè)包從網(wǎng)關(guān)F準(zhǔn)確地向目的A 10.0.2.70（09B82F）發(fā)送,但A沒有回響應(yīng)包。所以結(jié)果為ping不通。

　　基于兩種猜測(cè)，故障的原因可能解釋有：
　　解釋A：應(yīng)該為A的ARP緩存中沒有網(wǎng)關(guān)F的ARP記錄，所以A找不到網(wǎng)關(guān)的MAC地址，而且它對(duì)這種“找不到網(wǎng)關(guān)的MAC地址”不作為（NPORT測(cè)試頭對(duì)ARP的實(shí)現(xiàn)不完善）。
　　解釋B：連接測(cè)試頭A的寬帶交換機(jī)中的MAC對(duì)端口的對(duì)應(yīng)記錄過期，在MAC地址表中目的MAC地址無對(duì)應(yīng)端口，交換機(jī)丟掉此包。
　　針對(duì)現(xiàn)象二：將測(cè)試頭換下，換上同IP地址筆記本電腦，沒有任何問題。
　　測(cè)試動(dòng)作二：
　　1）A的位置換上一臺(tái)電腦hongjing（IP與A一致）,且讓網(wǎng)關(guān)F有hongjing的ARP記錄。
　　112_edge#sh arp | include 10.0.2.70
　　Internet 10.0.2.70 3 000b.dbe0.1de9 ARPA FastEthernet0/1
　　2）IDSCLIENT2(134.100.5.52) ping 10.0.2.70(HONGJING),能ping通。
　　基于兩種猜測(cè)，故障的原因的解釋有：
　　解釋A：包從網(wǎng)關(guān)F中發(fā)過來，ICMP探測(cè)包準(zhǔn)確的發(fā)送到目的A 10.0.2.70,hongjing同樣由于本機(jī)ARP緩存中沒有網(wǎng)關(guān)F的記錄，不能立即發(fā)送ICMP回應(yīng)包。但hongjing沒有“不作為”，而是根據(jù)ICMP包的源IP地址跟自己的掩碼判斷此ICMP查詢包發(fā)自廣播域外，所以hongjing當(dāng)機(jī)立斷，向本廣播域發(fā)起ARP查詢，要查出網(wǎng)關(guān)10.0.0.1的MAC地址，查到后，將ICMP回應(yīng)包發(fā)送到10.0.0.1,所以網(wǎng)絡(luò)能通。
　　對(duì)比動(dòng)作一，動(dòng)作二的網(wǎng)絡(luò)包分析，不難發(fā)現(xiàn)問題所在。相同的條件與情況下，產(chǎn)生“通”與“不通”的兩種結(jié)果，關(guān)鍵在于測(cè)試頭（A）與電腦（hongjing）對(duì)ICMP查詢包的“態(tài)度”不一樣所致。電腦hongjing的態(tài)度“積極”，當(dāng)沒有該包的傳遞者F的MAC地址時(shí)，會(huì)想方設(shè)法找到“回答”的路徑，并“回答”。而測(cè)試頭A的態(tài)度“消極”，收到詢問包時(shí)，發(fā)現(xiàn)自己沒有該包傳遞者F的MAC地址時(shí)，沒有采取任何措施，保持“沉默”，所以沒回答。
　　解釋B：筆記本電腦hongjing一接上交換機(jī)后立刻發(fā)出廣播包，通知局域網(wǎng)內(nèi)其他機(jī)器，hongjing的MAC地址是多少。此時(shí)，交換機(jī)記下hongjing-MAC與端口的映射。所以包從網(wǎng)關(guān)F過來后，能到達(dá)測(cè)試頭A。
　　針對(duì)現(xiàn)象三：“如果F上clear arp，則112CLIENT再ping ，可以ping通”
　　測(cè)試動(dòng)作三：
　　登錄網(wǎng)關(guān)F,執(zhí)行clear arp命令，然后在內(nèi)網(wǎng)中，用IDSCLIENT ping A，結(jié)果可以ping通。
　　基于兩種猜測(cè)的原因解釋：
　　解釋A：本來由于測(cè)試頭的“消極”，是不通的。但網(wǎng)關(guān)F上執(zhí)行了clear arp命令后，網(wǎng)關(guān)F由于ARP地址影射清空，F(xiàn)不知網(wǎng)關(guān)的MAC，會(huì)向廣播域發(fā)送ARP包，該包中包含了自己的MAC地址。根據(jù)RFC826，雖然廣播域中的機(jī)器不會(huì)回應(yīng)此包，但會(huì)將F的MAC地址記錄到ARP緩存中，所以能使得本不通的112CLIENT pingA能ping通。
　　解釋B：網(wǎng)關(guān)F上執(zhí)行了clear arp命令后，網(wǎng)關(guān)F由于ARP地址映射清空，F(xiàn)不知網(wǎng)關(guān)的MAC，會(huì)向廣播域發(fā)送ARP包，該包中包含了自己的MAC地址。測(cè)試頭A上連的交換機(jī)會(huì)將F的MAC地址和相關(guān)端口綁定；A回應(yīng)此ARP請(qǐng)求時(shí)，交換機(jī)又會(huì)將NPORT測(cè)試頭A的MAC地址與相關(guān)端口綁定。所以后續(xù)的連接能通。
　　針對(duì)現(xiàn)象四：“用DCN內(nèi)機(jī)器telnet 134.100.200.10（測(cè)試頭B），再用B來ping 10.0.2.70(測(cè)試頭A)，能ping通。再用112CLIENT ping A，能ping通。”
　　測(cè)試動(dòng)作四：
　　用內(nèi)網(wǎng)機(jī)器IDSCLIENT telnet 到134.100.5.66，然后從134.100.5.66上ping 測(cè)試頭B，結(jié)果本來ping不通的，現(xiàn)在可以ping通了。
　　基于兩種猜測(cè)的原因解釋：　　
　　解釋A：此現(xiàn)象用猜測(cè)A解釋不了。
　　解釋B：測(cè)試頭B向測(cè)試頭A ping時(shí)，先會(huì)發(fā)ARP廣播，測(cè)試頭B回應(yīng)此ARP請(qǐng)求。這個(gè)過程中，A上連的交換機(jī)會(huì)將A<->相應(yīng)端口，B<->相應(yīng)端口的記錄記在地址端口映射表。
　　所以F到A的包就能通了。
　　至此，可以排除猜測(cè)A。同時(shí)，由于同一批次的NPORT測(cè)試頭在其他地區(qū)及內(nèi)網(wǎng)用的比較正常，所以，傾向于猜測(cè)B。為進(jìn)一步證實(shí)猜測(cè)B，進(jìn)一步做了以下測(cè)試。
　　做動(dòng)作一的時(shí)候，在交換機(jī)與A間抓包。看是否有源地址為F的物理地址，目的地址為A的物理地址的包從交換機(jī)端口出來，結(jié)果確實(shí)無包被監(jiān)聽到，所以，從理論上得出，猜測(cè)B是正確的。從理論上定位出正確的故障原因后，我們理直氣壯的聯(lián)系數(shù)據(jù)部門，請(qǐng)他們修改了部分交換機(jī)的ARP失效時(shí)間。經(jīng)過一段時(shí)間的檢驗(yàn)，系統(tǒng)運(yùn)行良好，原有故障消失。
　　本次排障工作中，我們堅(jiān)持理論指導(dǎo)實(shí)踐，對(duì)每種可能的故障原因進(jìn)行不偏不倚的分析，在客觀公正不帶主觀臆想的前提下，對(duì)每種觀點(diǎn)進(jìn)行逐步考察，終于確定故障點(diǎn)，解決了問題。