在企業環境中，對磁盤空間的需求是驚人的。數據備份、文件服務器、軟件鏡像、虛擬磁盤等都需要占據大量的空間。對此，微軟在Windows Server 2012中引入了重復數據刪除技術。
重復數據刪除技術通過將文件分割成小的 (32-128 KB) 且可變大小的區塊、確定重復的區塊，然后保持每個區塊一個副本，區塊的冗余副本由對單個副本的引用所取代。這樣，文件不再作為獨立的數據流進行存儲，而是替換為指向存儲在通用存儲位置的數據塊的存根。因此，我們可以在更小的空間中存儲更多的數據。此外，該項技術還會對區塊進行壓縮以便進一步優化空間。
根據微軟官方的介紹，該項技術有四大好處：
一、容量優化：“重復數據刪除”使得 Windows Server 2012 能夠在更少的物理空間中存儲更多的數據，並獲得比以前版本的 Windows 操作系統明顯更高的存儲效率。以前版本的 Windows 操作系統使用單實例存儲 (SIS) 或 NTFS 文件系統壓縮。“重復數據刪除”使用可變分塊大小和壓縮，常規文件服務器的優化率為 2:1，而虛擬數據的優化率最高可達 20:1。
二、伸縮性和性能： Windows Server 2012 中的“重復數據刪除”具有高度的可伸縮性，能夠有效利用資源，並且不會產生干擾。它可以同時對多個大容量主數據運行，而不會影響服務器上的其他工作負載。通過控制 CPU 和內存資源的消耗，保持對服務器工作負載的較低影響。此外，用戶可以靈活設置何時應該運行“重復數據刪除”、指定用於消除重復的資源並為“重復數據刪除”創建有關文件選擇的策略。
三、可靠性和數據完整性：在對數據應用“重復數據刪除”時，保持數據的完整性。Windows Server 2012 利用校驗和值、一致性和身份驗證來確保數據的完整性。此外，Windows Server 2012 中的“重復數據刪除”會為所有元數據和最常引用的數據保持冗余，以確保這些數據可以在發生損壞時進行恢復。
四、與 BranchCache 相結合提高帶寬效率：通過與 BranchCache 進行集成，同樣的優化技術還可應用於通過 WAN 傳輸到分支機構的數據。這會縮短文件下載時間和降低帶寬占用。
作為系統管理員，有那么好的技術，自然是要來嘗試一下。
首先要為系統添加Data Deduplication角色
打開Server Manager，並點擊File and Storage Services
選中Volumes，在你想要應用該項技術的卷上右鍵點擊並選擇Configure Data Deduplication
為了測試方便，把Deduplicate files older than的默認值5改為0
在實際應用中還可以根據自己的需要改變執行計划
現在我們來看一下實際效果。
我在硬盤上拷了5個一模一樣的文件，單個文件大小為3.43G，可見當啟用了重復數據刪除之后，總共大小為17.1G的5個文件在磁盤上竟然只占用了0bytes
再查看一下整個卷的情況，共占用3.38G，這3.38G自然就是數據區塊的存根
我又嘗試將這塊啟用了重復數據刪除的硬盤放到一台裝有Windows Server 2008的服務器上，在這台機器上能讀出上面的文件信息，但沒法使用這些數據。
