一、什么是重復數(shù)據(jù)刪除
　　備份設(shè)備中總是充斥著大量的冗余數(shù)據(jù)。為了解決這個問題，節(jié)省更多空間，“重復刪除”技術(shù)便順理成章地成了人們關(guān)注的焦點。采用“重復刪除”技術(shù)可以將存儲的數(shù)據(jù)縮減為原來的1/20，從而讓出更多的備份空間，不僅可以使磁盤上的備份數(shù)據(jù)保存更長的時間，而且還可以節(jié)約離線存儲時所需的大量的帶寬。
　　就在幾年前，D2D備份似乎還好得令人難以置信。受價格低廉的 ATA(以及稍后的SATA)硬盤的影響，很多人會選擇用D2D取代虛擬磁帶庫或做備份到磁盤的工作，使備份速度變得更快，不必再擔心在磁帶驅(qū)動器和磁帶庫上產(chǎn)生的機械故障，并且使文件恢復變得更加輕松。
　　但是今天，我們的磁盤備份設(shè)備的容量已經(jīng)趨于飽和，在數(shù)據(jù)中心已經(jīng)沒有足夠的空間來備份PT級的數(shù)據(jù)，在這種情況下，當我們希望將備份數(shù)據(jù)保存一個月時，卻只能保存兩到三天。問題是在我們的備份設(shè)備中有太多的重復數(shù)據(jù)。現(xiàn)在終于有了解決這個問題的辦法，善于抓住機會賺錢的廠商們聲稱他們的新一代“刪除重復數(shù)據(jù)”產(chǎn)品可以按20：1，甚至300：1的比例縮減我們需要存儲的數(shù)據(jù)量。果真如此嗎?讓我們仔細看看。
　　重復數(shù)據(jù)刪除技術(shù)支持在已有的磁盤設(shè)備上存儲更多的備份數(shù)據(jù)。因此采用“重復數(shù)據(jù)刪除”技術(shù)可以增加您保存?zhèn)浞輸?shù)據(jù)的時間，減少數(shù)據(jù)中心的消耗，降低成本。如果您刪除重復數(shù)據(jù)后再通過WAN發(fā)送，那么您就能夠節(jié)省大量的帶寬，并且可以取代磁帶實現(xiàn)網(wǎng)上離線備份。重復數(shù)據(jù)刪除技術(shù)唯一的缺點是備份速度變慢。
　　源起
　　當您的備份程序在網(wǎng)絡(luò)中多次從同一目錄下備份相同的文件，或者從多個地址處備份相同的文件時，重復的數(shù)據(jù)在臨時區(qū)域進行備份。大部分網(wǎng)絡(luò)上的重復數(shù)據(jù)量令人吃驚，這些數(shù)據(jù)從56個用戶保存在他們本地目錄下的假日聚會的PDF格式邀請函，到每個服務(wù)器的系統(tǒng)驅(qū)動器上3GB Windows文件，真是包羅萬象，應(yīng)有盡有。
　　解決臨時區(qū)域內(nèi)文件重復的方案是增量備份。盡管我們很喜歡這樣做，尤其是喜歡選擇Tivoli Storage Manager 采用的永久增量備份的方法，但當我們考慮到RAID災(zāi)難恢復時，我們想到的是重復數(shù)據(jù)刪除，而不是增量備份。增量備份主要是避免重復。
　　重復數(shù)據(jù)刪除最基本的形式是出現(xiàn)在CAS(內(nèi)容尋址存儲)設(shè)備中的單一實例存儲(single-i tance store)，例如，EMC的 Centera。當每個文件存儲到CAS系統(tǒng)上時，CAS系統(tǒng)會為存儲的文件內(nèi)容生成一個散列(hash);如果系統(tǒng)中已經(jīng)存在具有相同散列(hash)的文件，系統(tǒng)就會再創(chuàng)建一個表示副本的指針指向已存在的文件，而不是保存另一個副本。
　　微軟Windows Storage Server的最新版本，Windows服務(wù)器的OEM NAS(網(wǎng)絡(luò)附加存儲)版本，采用了與刪除重復文件略微不同的方法。當寫入數(shù)據(jù)時，W 不識別重復文件，而是運行一個后臺程序SIS (單一實例存儲) Groveler，該程序通過部分文件散列函數(shù)(采用二進制比較法)識別重復文件，將重復文件移到公用存儲區(qū)，原始位置上的文件用連接到公用存儲區(qū)文件的鏈接代替。
　　盡管文件級SIS能夠節(jié)省一些空間，但是如果我們不只消除重復文件而且還消除了文件內(nèi)存儲的重復數(shù)據(jù)，那事情可就變得讓人有興趣了。想想Outlook的 . T文件。例如一個典型的Outlook用戶可以擁有300-MB或更大的. T文件，文件上保存著他過去所有的電子郵件;每天他都會收到一個或更多新的郵件，就因為那天他的. T文件改變了，你的備份程序就把這個. T文件包括在增量備份里了，即使這個300MB的文件只有25 KB 的改變。
　　重復數(shù)據(jù)刪除產(chǎn)品能夠識別這個25 KB的新數(shù)據(jù)，并且剔除其余沒有改變的舊的數(shù)據(jù)，只保存25 KB的新數(shù)據(jù)，從而節(jié)省大量磁盤空間。再進一步設(shè)想一下，550KB的附件在20個用戶的 . T文件內(nèi)，如果它們能夠被消除，您就可以縮減大量的數(shù)據(jù)。象下述這樣的一組解決方案是Data Domain倡導的采用“重復數(shù)據(jù)刪除”技術(shù)進行備份的目標。即這些采用“重復刪除”技術(shù)的設(shè)備管理 VTL (虛擬磁帶庫) 或 NAS等備份設(shè)備，它們從這些備份應(yīng)用設(shè)備(VTL或NAS設(shè)備等)中獲取數(shù)據(jù)，透明地執(zhí)行“重復刪除”處理。

二、重復數(shù)據(jù)刪除的五個階段
　　數(shù)據(jù)收集
　　在數(shù)據(jù)收集階段，軟件通過比較進入的備份數(shù)據(jù)和先前的備份縮小需要進行分析數(shù)據(jù)的范圍，使用“內(nèi)容已知”數(shù)據(jù)庫辨別它們之間可能的重復和相似數(shù)據(jù)。例如，如果名為同一個客戶端中的 “ ootdocumentsabc.txt”文件在備份中存在兩次，軟件自動決定采取何種動作。如果進入的數(shù)據(jù)是已存在數(shù)據(jù)的修改版本，該數(shù)據(jù)就進入下一階段(數(shù)據(jù)識別、數(shù)據(jù)比較)的處理流程以確定數(shù)據(jù)發(fā)生的具體變化;如果進入的數(shù)據(jù)和已存在數(shù)據(jù)完全相同，那么進入下一階段對數(shù)據(jù)副本進行校驗。另外的數(shù)據(jù)收集操作包括：標志保存在不同位置(例如，不同的客戶端、目錄等)的相同對象副本。軟件還為數(shù)據(jù)收集階段發(fā)現(xiàn)的冗余數(shù)據(jù)對創(chuàng)建一工作列表，該表格用于數(shù)據(jù)識別和比較階段進行進一步分析。
　　數(shù)據(jù)識別/數(shù)據(jù)比較
　　在數(shù)據(jù)識別/數(shù)據(jù)比較階段，軟件以字節(jié)為單位分析數(shù)據(jù)收集階段標志出的相似數(shù)據(jù)對象。如果數(shù)據(jù)收集階段創(chuàng)建的工作表表明需要進行數(shù)據(jù)識別，那么軟件就會用 delta 差分算法確定備份組中的哪些數(shù)據(jù)是唯一的、哪些數(shù)據(jù)是重復的。
　　該算法可以有效地以字節(jié)為單位映射發(fā)生變化的數(shù)據(jù)，并且對數(shù)據(jù)對象內(nèi)的偏移或者位置改變不敏感，所以，即使相關(guān)的對象之間發(fā)生明顯的結(jié)構(gòu)改變，該算法仍可以定位冗余的數(shù)據(jù)。
　　如果數(shù)據(jù)收集階段從元數(shù)據(jù)級別認定備份組中的數(shù)據(jù)和前一個備份相同，那么在數(shù)據(jù)識別階段將以字節(jié)為單位對數(shù)據(jù)進行比較。在該步驟中，軟件調(diào)用數(shù)據(jù)比較器識別出數(shù)據(jù)發(fā)生變化的文件。
　　數(shù)據(jù)重組
　　數(shù)據(jù)識別/數(shù)據(jù)比較的結(jié)果被傳遞給數(shù)據(jù)重組過程，在該過程中數(shù)據(jù)被重新組裝，放入臨時的“保留磁帶”中，新數(shù)據(jù)被保存，前一階段被標出的重復數(shù)據(jù)被已存數(shù)據(jù)的指針替代。對備份軟件而言，保留磁帶和真正的磁帶完全相同，只是存儲在新磁帶中的數(shù)據(jù)要遠少于真正的磁帶上存儲的數(shù)據(jù)。從備份軟件看來，數(shù)據(jù)是連續(xù)的并且也沒有刪除副本，軟件可以根據(jù)嵌入在文件系統(tǒng)中的指針讀取重復數(shù)據(jù)的唯一一份副本。該過程的最終結(jié)果是產(chǎn)生一份經(jīng)過重復數(shù)據(jù)刪除的備份組視圖。#p#分頁標題#e#
　　可選的完整性檢查
　　在實際刪除所有的重復數(shù)據(jù)前，軟件執(zhí)行一次可選的檢查，以保證數(shù)據(jù)100%的完整性。在本階段中，軟件通過將“保留磁帶”(代表經(jīng)過重復數(shù)據(jù)刪除的數(shù)據(jù))和原始數(shù)據(jù)進行比較驗證其結(jié)構(gòu)和整個數(shù)據(jù)內(nèi)容。
　　空間回收
　　在空間回收階段，軟件從文件系統(tǒng)中刪除冗余的數(shù)據(jù)，釋放先前被占用的磁盤空間以備他用。保留磁帶和原始的、沒有經(jīng)過重復數(shù)據(jù)刪除的磁帶交換位置(比如條碼、槽位以及屬性等)，然后軟件智能的釋放重復的區(qū)塊并將它們放回空閑空間池。經(jīng)過這樣的處理以后，所有其他需要存儲空間的數(shù)據(jù)處理過程都可以重用先前被重復數(shù)據(jù)占用的空間。

三、重復數(shù)據(jù)刪除技術(shù)的四大優(yōu)勢
　　重復數(shù)據(jù)刪除技術(shù)也就是所謂的容量優(yōu)化保護技術(shù)。它能給客戶的計算機系統(tǒng)，尤其是備份系統(tǒng)帶來哪些好處呢?
　　目前，重復數(shù)據(jù)刪除技術(shù)主要應(yīng)用于數(shù)據(jù)備份，也有公司宣稱將把該技術(shù)應(yīng)用在主存儲中，但那畢竟不是主流。重復數(shù)據(jù)刪除技術(shù)可以提供更大的備份容量，實現(xiàn)更長時間的數(shù)據(jù)保留，還能實現(xiàn)備份數(shù)據(jù)的持續(xù)驗證，提高數(shù)據(jù)恢復服務(wù)水平，方便實現(xiàn)數(shù)據(jù)容災(zāi)等。
　　更大的備份容量
　　備份數(shù)據(jù)中包含太多的冗余部分，在數(shù)據(jù)全備份中更是如此。盡管增量備份只是備份那些有變化的文件，但增量備份中通常也會包含冗余的數(shù)據(jù)塊。
　　重復數(shù)據(jù)刪除技術(shù)的原理是只保存惟一一份備份數(shù)據(jù)的數(shù)據(jù)段。當數(shù)據(jù)寫入到備份設(shè)備時，數(shù)據(jù)會被分成可變長度的數(shù)據(jù)段。重復數(shù)據(jù)刪除設(shè)備會實時將該數(shù)據(jù)段與已經(jīng)存儲的各數(shù)據(jù)段進行比較。這種方式可以保證每個惟一的數(shù)據(jù)段只保留一份。因為重復數(shù)據(jù)刪除設(shè)備可以在文件內(nèi)或文件間，甚至數(shù)據(jù)塊內(nèi)發(fā)現(xiàn)重復的文件和數(shù)據(jù)段，所以實際所需的存儲空間也就比所要保存的數(shù)據(jù)量低一個數(shù)據(jù)量級。容量優(yōu)化效率高低的關(guān)鍵在于算法。容量優(yōu)化技術(shù)依據(jù)的原理并不是新出現(xiàn)的，而是在學術(shù)圈里存在幾十年了。
　　數(shù)據(jù)能得到持續(xù)驗證
　　目前，市場上采用重復數(shù)據(jù)刪除技術(shù)的產(chǎn)品的區(qū)別在于，實施重復數(shù)據(jù)刪除的地點和文件被分割的片段大小不同，但更重要的是數(shù)據(jù)寫入備份設(shè)備時是如何完成完整性和一致性檢查的。在主存儲系統(tǒng)中，邏輯一致性檢查總會伴隨著風險。如果軟件缺陷導致寫入錯誤的數(shù)據(jù)，就可能破壞數(shù)據(jù)塊指針、位圖。通常情況下，比較理想的解決辦法是在卸載文件系統(tǒng)后運行文件系統(tǒng)檢查程序(比如Fsck)。如果文件系統(tǒng)中保存的是備份數(shù)據(jù)，那么直到進行恢復前，錯誤是很難被發(fā)現(xiàn)的，等到真需要恢復時，可能已經(jīng)沒有足夠的時間來糾錯了。
　　備份數(shù)據(jù)是備份工作中最有價值的部分。備份數(shù)據(jù)不會被經(jīng)常訪問，而一旦需要訪問備份數(shù)據(jù)時，往往意味著發(fā)生了人為或系統(tǒng)的故障，需要進行數(shù)據(jù)恢復。要檢查文件系統(tǒng)在恢復操作時的一致性，需要等到下一次系統(tǒng)重啟或者讓系統(tǒng)下線，這會增加不必要的風險。因此，優(yōu)秀的重復數(shù)據(jù)刪除設(shè)備應(yīng)具有端到端的驗證過程。
　　更高的數(shù)據(jù)恢復服務(wù)水平
　　備份數(shù)據(jù)恢復服務(wù)水平是指數(shù)據(jù)備份到備份設(shè)備中，能否準確、快速、可靠地進行數(shù)據(jù)恢復。
　　Oracle數(shù)據(jù)庫通常裝載著企業(yè)最需要保護的業(yè)務(wù)數(shù)據(jù)。企業(yè)經(jīng)常采用全備份或增量備份來保護Oracle數(shù)據(jù)庫。全備份方式的備份和恢復執(zhí)行起來比較快，這是因為增量備份經(jīng)常要對整個數(shù)據(jù)庫進行掃描，以便發(fā)現(xiàn)改變的數(shù)據(jù)塊，而且增量備份方式在恢復的時候還需要一個全備份和多個增量備份，這也影響了恢復速度。
　　既然如此，為什么很多企業(yè)還要采用增量備份的方式呢?這是因為全備份比增量備份需要更多的備份時間和備份空間。具有重復數(shù)據(jù)刪除功能的備份設(shè)備可以很好地解決上述問題。
　　對于以O(shè)racle為代表的數(shù)據(jù)庫的備份來說，備份時間是由遍歷數(shù)據(jù)塊的時間(尤其是增量備份)和數(shù)據(jù)傳輸時間組成的。對增量備份來說，數(shù)據(jù)塊的遍歷是對數(shù)據(jù)庫進行掃描，以便發(fā)現(xiàn)改變的數(shù)據(jù)塊，這需要較長的時間。由于備份設(shè)備的性能進一步提高，數(shù)據(jù)庫全備份和增量備份所需的時間已經(jīng)相差無幾。
　　以磁盤為介質(zhì)的備份設(shè)備具有高性能和在線重復數(shù)據(jù)刪除功能，因此對Oracle數(shù)據(jù)庫進行多個全備份時，只使用了很少的存儲空間。企業(yè)每天進行全備份和數(shù)據(jù)塊級的增量備份所占用的存儲空間基本相同。與普通的備份設(shè)備相比，使用重復數(shù)據(jù)刪除技術(shù)的備份設(shè)備做全備份時，可節(jié)省95%的磁盤消耗。
　　對關(guān)鍵數(shù)據(jù)進行備份時，采用重復數(shù)據(jù)刪除技術(shù)的備份設(shè)備可用全備份來替代增量備份，從而提高數(shù)據(jù)恢復服務(wù)水平。
　　方便實現(xiàn)備份數(shù)據(jù)的容災(zāi)
　　以數(shù)據(jù)復制技術(shù)為主流的容災(zāi)技術(shù)都十分關(guān)注數(shù)據(jù)的實時復制，而備份數(shù)據(jù)的容災(zāi)卻無人關(guān)注。由于重復數(shù)據(jù)刪除技術(shù)對備份數(shù)據(jù)有很好的容量優(yōu)化能力，每天做全備份只需少量的磁盤增量，而通過WAN或LAN遠程傳輸?shù)恼沁M行容量優(yōu)化后的數(shù)據(jù)，因此可以大大節(jié)省網(wǎng)絡(luò)帶寬。
　　現(xiàn)在，很多企業(yè)把備份數(shù)據(jù)的在線復制當成異地磁帶存儲的替代解決方案。采用復制解決方案，數(shù)據(jù)經(jīng)由LAN或WAN，從本地的主磁盤被拷貝到遠程的磁盤存儲上。為加強保護，企業(yè)還可以提高數(shù)據(jù)同步的頻率，或者將遠程站點配置成完全的災(zāi)難恢復站點，一旦主站點出現(xiàn)需要停機一段時間的情況，可以在遠程站點啟動業(yè)務(wù)操作。
　　客戶在選擇具有重復數(shù)據(jù)刪除功能的產(chǎn)品時，應(yīng)該從容量優(yōu)化的算法、持續(xù)數(shù)據(jù)驗證、數(shù)據(jù)服務(wù)水平、方便高效的容災(zāi)等方面進行考察。

四、重復數(shù)據(jù)刪除技術(shù)弱點
　　重復數(shù)據(jù)刪除是目前存儲行業(yè)最熱門的技術(shù)之一，用戶和廠商們都很看好這種技術(shù)。有的廠商在開發(fā)硬件，有的廠商在開發(fā)軟件，還有的廠商同時開發(fā)相關(guān)的軟件和硬件。
　　跟以前一樣，我不打算對比不同廠商的產(chǎn)品或者技術(shù)，我只想談?wù)勀阍诳紤]購買重復數(shù)據(jù)刪除軟件或硬件時必須向廠商咨詢的一個重要問題，即數(shù)據(jù)損壞的問題。你可能會想，重復數(shù)據(jù)刪除與數(shù)據(jù)損壞有什么關(guān)系呢，不用著急，我馬上就給你解釋。 但是必須說明的是，我是從通用硬件和軟件的角度來寫這篇文章的。有些廠商的產(chǎn)品也許可以或者不可以接近我在文中談到的全部或者部分問題。 選購哪家廠商的產(chǎn)品以及向廠商咨詢什么問題的決定權(quán)在你自己手中，筆者不承擔任何責任。#p#分頁標題#e#
　　有些人也許讀過我曾經(jīng)寫過的一篇關(guān)于我自己經(jīng)歷過的數(shù)據(jù)損壞的文章。 我稍微對比了一下正確的數(shù)據(jù)和損壞后的數(shù)據(jù)，數(shù)據(jù)的ASCII碼發(fā)生了很大變化。實際上，大部分字節(jié)都損壞了。
　　本文討論的是數(shù)據(jù)不定期損壞的問題，并非一定會發(fā)生，即使是發(fā)生數(shù)據(jù)損壞事故的概率遠低于廉價SATA的高端企業(yè)光纖信道驅(qū)動器也不能例外。 另外，發(fā)生問題的部件不一定是驅(qū)動器或者控制器，也可能是內(nèi)存、CPU或者別的什么部件。歸結(jié)為一點就是，數(shù)字世界中的數(shù)字資料肯定有可能會損壞。 雖然發(fā)生數(shù)據(jù)損壞事故的情況跟使用的操作系統(tǒng)、硬件和軟件都有關(guān)系，即使是運行在基于MVS多重虛擬存儲系統(tǒng)的IBM大型機上也可能發(fā)生數(shù)據(jù)損壞事故，只是概率要比系統(tǒng)低很多。
　　瑞士一家實驗室去年發(fā)表了一篇關(guān)于數(shù)據(jù)損壞的論文，其中有些內(nèi)容值得一讀。
　　你可能會想，這些跟重復數(shù)據(jù)刪除有什么關(guān)系。問題是，如果重復數(shù)據(jù)刪除的硬件或者軟件損壞了，你可能會失去所有的數(shù)據(jù)。 如果你打算刪除重復的數(shù)據(jù)，你就必須保證你擁有的那些數(shù)據(jù)是完好的。
　　例如，加入數(shù)據(jù)在被讀出時損壞，而存儲在磁盤上的數(shù)據(jù)仍是好的，那么在進行數(shù)據(jù)對比時會怎么樣? 如果再次讀取，可能就能夠得到正確的數(shù)據(jù)。但是如果數(shù)據(jù)被寫入磁盤時的日期出錯，你是否還能讀取那些文件呢? 讓我們一步一步分析這兩個例子，看看到底發(fā)生了什么事。
　　實例1：受損數(shù)據(jù)讀取
　　如果從磁盤讀取數(shù)據(jù)，而且那些數(shù)據(jù)由于某種原因損壞了，然后開始將受損的數(shù)據(jù)應(yīng)用于新數(shù)據(jù)，你可能會遇到一個大問題。當你再次從磁盤讀取數(shù)據(jù)，進行重復數(shù)據(jù)刪除的操作時，它可能就不同了。
　　如果將讀取的數(shù)據(jù)與新數(shù)據(jù)進行對比，內(nèi)存中的數(shù)據(jù)將是壞的，所以你找到的所有一樣的數(shù)據(jù)在下次被讀取時都將變成其他的數(shù)據(jù)。因此，基本上從受損數(shù)據(jù)中讀取的任何數(shù)據(jù)都將被錯誤的對比，因而變得無法讀取。
　　如果那些數(shù)據(jù)由于某種原因被重新讀取，而且讀取的是正確的數(shù)據(jù)的話，那么后續(xù)數(shù)據(jù)都將是正確的。除此之外，就會發(fā)生無法恢復的調(diào)試，你將丟失大量的數(shù)據(jù)。 令人擔心的是，一部分數(shù)據(jù)是好的，一部分數(shù)據(jù)是壞的，要想?yún)^(qū)分開來，非要進行非常細致的檢查工作。
　　實例2：受損數(shù)據(jù)重復數(shù)據(jù)
　　但是，如果數(shù)據(jù)從一開始就出錯，在磁盤上就已經(jīng)受損了怎么辦? 這個問題與第一個實例很相似，只是第一個實例中的數(shù)據(jù)是好的，后來才讀取了壞的數(shù)據(jù)，令所有數(shù)據(jù)都受損了。在這個實例中，重復數(shù)據(jù)是在內(nèi)存中創(chuàng)建的，是好的，但是磁盤上的數(shù)據(jù)是壞的。 也就是說，你用一個好的重復數(shù)據(jù)建立了數(shù)據(jù)，但是一旦從磁盤讀取數(shù)據(jù)，數(shù)據(jù)就變成壞的了。好的一面是，一旦從磁盤重新讀取數(shù)據(jù)到內(nèi)存，數(shù)據(jù)就一樣了，所以這個問題不是很嚴重。 但是在利用內(nèi)存中的原始數(shù)據(jù)創(chuàng)建數(shù)據(jù)時，你不能進行恢復已經(jīng)刪除的重復數(shù)據(jù)。當你下個月恢復刪除的重復數(shù)據(jù)時，你會獲得錯誤的數(shù)據(jù)，除非從磁盤讀取正確的數(shù)據(jù)才行。 再次強調(diào)一點，這是個調(diào)試問題，可能無法解決。
　　你需要向廠商咨詢些什么
　　我自己遇到過數(shù)據(jù)受損的事故，我也看到其他人遇到過同樣的問題，你遲早也會遇到。 我也非常相信新的T10 Data Integrity Field標準，這個標準會從主機向磁盤進行8字節(jié)的檢驗，讓磁盤來驗證數(shù)據(jù)，估計很多廠商都將在今年晚些時候提供基于這種標準的產(chǎn)品。我個人很喜歡這個標準，因為有些部分已經(jīng)應(yīng)用于硬件的數(shù)據(jù)通道中，它是由為你提供SCSI協(xié)議的同一個廠商提供的。
　　文件系統(tǒng)可以進行數(shù)據(jù)檢驗，但是如果文件系統(tǒng)在進行檢驗時修正了數(shù)據(jù)，你可能會遇到兩個問題：
　　文件系統(tǒng)在檢驗之前必須將數(shù)據(jù)讀回到服務(wù)器。當數(shù)據(jù)被寫回設(shè)備之前，它們是沒有被檢驗過的。
　　服務(wù)器CPU必須計算出檢驗數(shù)字，并且在文件被讀回時進行驗證。這對服務(wù)器有很大影響。 包括增加內(nèi)存帶寬的要求以及利用CPU高速緩存，要求將應(yīng)用程序重新從內(nèi)存載入以及檢驗數(shù)字計算所需的內(nèi)存帶寬。
　　如果你運行的應(yīng)用程序使用了大量服務(wù)器資源，這就會構(gòu)成一個嚴重的問題了。
　　有些產(chǎn)品有著自己的文件系統(tǒng)和檢驗數(shù)字，可以解決我對數(shù)據(jù)損壞的部分擔憂，但是并非所有的廠商都提供了具有這些功能的產(chǎn)品。這只是你應(yīng)關(guān)注的重復數(shù)據(jù)刪除中的一部分問題。 在選購產(chǎn)品時，你還必須考慮其他許多因素，但是這應(yīng)該是你優(yōu)先考慮的因素。你在提出這個問題的時候，廠商們也許會說這是你自己的問題，你的系統(tǒng)應(yīng)該象T10DIF那樣。 這種回答是錯誤的。在你提出問題之前，廠商們必須考慮到你的硬件和軟件，如果它們把問題丟給你，你就不用考慮購買它們的產(chǎn)品了。
　　在某些環(huán)境中，重復數(shù)據(jù)刪除是一種很重要的工具，但是凡事都有兩面性，你應(yīng)該認真規(guī)劃和執(zhí)行它。