在企業中，存儲空間的使用往往是驚人的，例如備份數據、文件服務器數據、虛擬化平台數據等。而在以往的windows平台，並沒有特別直接有效的方式來幫助我們節省磁盤空間，到了windows server 2012平台，重復數據刪除技術，讓很多使用windows server平台的用戶看到了希望，而這一點也是促使用戶將windows server 升級到2012平台的動因之一。
周末閑來無事，我也在虛擬環境里體驗了一把重復數據刪除技術的魅力。
首先我在官網找到了關於重復數據刪除技術的相關介紹：
http://technet.microsoft.com/zh-cn/library/hh831354.aspx
1）重復數據刪除技術的優點
- 容量優化：“重復數據刪除”使得 Windows Server 2012 能夠在更少的物理空間中存儲更多的數據，並獲得比以前版本的 Windows 操作系統明顯更高的存儲效率。以前版本的 Windows 操作系統使用單實例存儲 (SIS) 或 NTFS 文件系統壓縮。“重復數據刪除”使用可變分塊大小和壓縮，常規文件服務器的優化率為 2:1，而虛擬數據的優化率最高可達 20:1。
- 伸縮性和性能： Windows Server 2012 中的“重復數據刪除”具有高度的可伸縮性，能夠有效利用資源，並且不會產生干擾。它可以同時對多個大容量主數據運行，而不會影響服務器上的其他工作負載。通過控制 CPU 和內存資源的消耗，保持對服務器工作負載的較低影響。此外，用戶可以靈活設置何時應該運行“重復數據刪除”、指定用於消除重復的資源並為“重復數據刪除”創建有關文件選擇的策略。
- 可靠性和數據完整性：在對數據應用“重復數據刪除”時，保持數據的完整性。Windows Server 2012 利用校驗和值、一致性和身份驗證來確保數據的完整性。此外，Windows Server 2012 中的“重復數據刪除”會為所有元數據和最常引用的數據保持冗余，以確保這些數據可以在發生損壞時進行恢復。
- 與 BranchCache 相結合提高帶寬效率：通過與 BranchCache 進行集成，同樣的優化技術還可應用於通過 WAN 傳輸到分支機構的數據。這會縮短文件下載時間和降低帶寬占用。、
2）重復數據刪除技術的工作原理概述
“重復數據刪除”的目標是通過將文件分割成小的 (32-128 KB) 且可變大小的區塊、確定重復的區塊，然后保持每個區塊一個副本，在更小的空間中存儲更多的數據。區塊的冗余副本由對單個副本的引用所取代。此外，還會對區塊進行壓縮以便進一步優化空間。
其結果是對每個文件執行磁盤內轉換，如圖 1 所示。文件不再作為獨立的數據流進行存儲，而是替換為指向存儲在通用存儲位置的數據塊的存根。
官網同樣有關於重復數據刪除技術規划和部署的事項：
http://technet.microsoft.com/zh-cn/library/hh831700.aspx
1）重復數據刪除的理想工作負載包括
- 常規文件共享：組內容發布/共享、用戶主頁文件夾和配置文件重定向（脫機文件）
- 軟件部署共享：軟件二進制文件、映像和更新
- VHD 庫：用來對虛擬機監控程序進行配置的 VHD 文件存儲
2）作為重復數據刪除候選的卷必須符合下列要求
- 不能是系統卷或引導卷。重復數據刪除在操作系統卷上不受支持。
- 卷可為分區的 MBR 或 GPT，並且必須使用 NTFS 文件系統格式化。
- 卷可以駐留在共享存儲（如光纖通道或 SAS 陣列）上，或者完全支持 iSCSI SAN 和 Microsoft 故障轉移群集。
- 群集共享卷 (CSV) 不受支持。
- Microsoft 的新靈活文件系統 (ReFS) 不受支持。
- 卷必須向 Windows 公開為不可移除的驅動器。遠程映射驅動器不受支持。
下面就來通過一個例子來體驗一把重復數據刪除技術的部署。
首先我打開服務器管理器的工具下拉菜單，找到“計算機管理”，對添加到服務器的存儲磁盤進行初始化的設置。如圖。
對存儲磁盤1進行初始化、聯機、格式化的操作。如圖。
然后我們回到服務器管理器—卷—磁盤，看看能否為剛剛添加的磁盤啟用重復數據刪除技術，我們發現“啟用重復數據刪除技術”的選項是灰色的，如圖。
原因很簡單，重復數據刪除技術是一項單獨的組件，需要通過添加角色和功能向導進行安裝之后才能正常使用，下面我就先來安裝一下。
在“添加角色和功能向導”—“選擇服務器角色”界面，將文件和ISCSI服務下面的“數據刪除重復”勾選，如圖。
安裝成功，如圖。
下面我們再次回到卷管理界面，刷新一下之后，再右擊存儲磁盤查看一下，發現“配置數據刪除重復”的選項已經可用了，如圖。
接下來，我通過一些簡單的步驟來進一步測試該功能。
首先在“配置數據刪除重復”界面，我勾選“啟用數據刪除重復”，為新加卷E啟用該技術。如圖。
然后我們選擇上圖中的“設置刪除重復計划”，對重復數據刪除的相關選項進行配置。
如下圖。
勾選“啟用后台優化”。該功能確保在系統繁忙的時候，以最大程度低降低對系統性能的影響。
勾選“啟用吞吐量優化”。該功能確保在指定的時間立刻運行重復刪除作業。
啟用之后，可以從下圖中看出重復刪除的相關指標已經出來了。
下面我往E盤拷貝一些重復的文件來測試一下重復數據刪除技術的效果如何。
在沒有運行去重作業之前的磁盤占用為2.11GB，如圖。
下面我修改一下重復刪除計划，將重復刪除的開始時間設置為22:28，我當前的系統時間為22:27，也就是說一分鍾以后開始運行重復刪除計划。如圖。
計划運行完成后，可以看到，E盤的重復數據刪除率為40%，刪除重復保存為931MB，如圖。
再次查看一下E盤的磁盤空間使用情況，由之前的2.11GB變成了1.32GB，可見磁盤空間已經大大節省了。如圖。
最后，需要注意的是，不能夠對系統盤啟用重復數據刪除技術，如圖。
轉自https://blog.51cto.com/543925535/1104449