1、算法概述
數據摘要算法是密碼學算法中非常重要的一個分支，它通過對所有數據提取指紋信息以實現數據簽名、數據完整性校驗等功能，由於其不可逆性，有時候會被用做敏感信息的加密。數據摘要算法也被稱為哈希（Hash）算法或散列算法。
1.1 CRC8、CRC16、CRC32
CRC（Cyclic Redundancy Check，循環冗余校驗）算法出現時間較長，應用也十分廣泛，尤其是通訊領域，現在應用最多的就是 CRC32 算法，它產生一個4字節（32位）的校驗值，一般是以8位十六進制數，如FA 12 CD 45等。CRC算法的優點在於簡便、速度快，嚴格的來說，CRC更應該被稱為數據校驗算法，但其功能與數據摘要算法類似，因此也作為測試的可選算法。
在 WinRAR、WinZIP 等軟件中，也是以 CRC32 作為文件校驗算法的。一般常見的簡單文件校驗（Simple File Verify – SFV）也是以 CRC32算法為基礎，它通過生成一個后綴名為.SFV 的文本文件，這樣可以任何時候可以將文件內容 CRC32運算的結果與 .SFV 文件中的值對比來確定此文件的完整性。與 SFV 相關工具軟件有很多，如MagicSFV、MooSFV等。
1.2 MD2 、MD4、MD5
這是應用非常廣泛的一個算法家族，尤其是 MD5（Message-Digest Algorithm 5，消息摘要算法版本5），它由MD2、MD3、MD4發展而來，由Ron Rivest（RSA公司）在1992年提出，目前被廣泛應用於數據完整性校驗、數據（消息）摘要、數據加密等。MD2、MD4、MD5 都產生16字節（128位）的校驗值，一般用32位十六進制數表示。MD2的算法較慢但相對安全，MD4速度很快，但安全性下降，MD5比MD4更安全、速度更快。
目前在互聯網上進行大文件傳輸時，都要得用MD5算法產生一個與文件匹配的、存儲MD5值的文本文件（后綴名為 .md5或.md5sum），這樣接收者在接收到文件后，就可以利用與 SFV 類似的方法來檢查文件完整性，目前絕大多數大型軟件公司或開源組織都是以這種方式來校驗數據完整性，而且部分操作系統也使用此算法來對用戶密碼進行加密，另外，它也是目前計算機犯罪中數據取證的最常用算法。與MD5 相關的工具有很多，如 WinMD5等。
1.3 SHA1、SHA256、SHA384、SHA512
SHA（Secure Hash Algorithm）是由美國專門制定密碼算法的標准機構——美國國家標准技術研究院（NIST）制定的，SHA系列算法的摘要長度分別為：SHA為20字節（160位）、SHA256為32字節（256位）、 SHA384為48字節（384位）、SHA512為64字節（512位），由於它產生的數據摘要的長度更長，因此更難以發生碰撞，因此也更為安全，它是未來數據摘要算法的發展方向。由於SHA系列算法的數據摘要長度較長，因此其運算速度與MD5相比，也相對較慢。
目前SHA1的應用較為廣泛，主要應用於CA和數字證書中，另外在目前互聯網中流行的BT軟件中，也是使用SHA1來進行文件校驗的。
1.4 RIPEMD、PANAMA、TIGER、ADLER32 等
RIPEMD是Hans Dobbertin等3人在對MD4，MD5缺陷分析基礎上，於1996年提出來的，有4個標准128、160、256和320，其對應輸出長度分別為16字節、20字節、32字節和40字節。TIGER由Ross在1995年提出。Tiger號稱是最快的Hash算法，專門為64位機器做了優化。
2、算法測試
2.1 測試方法
-
測試范圍 ：常見的數據校驗、摘要算法，主要有 CRC32、MD5、SHA1、SHA256、SHA384、SHA512
-
樣本數據 ：2G大小Vmware 虛擬機操作系統的磁盤文件，其中包含其中各種類型的文件，如二進制文件和文本文件等。
-
軟件平台 ：Windows、.NET Framework 2.0
-
硬件平台 ：
-
機器A（SCSI Disk）：軟件配置 Windows 2000 + .Net Framework 2.0；硬件配置 CPU：4 （Xeon），2.8G，RAM：2G ，HD：70 GB SCSI
-
機器B（IDE Disk）：軟件配置 Windows 2003 + .Net Framework 2.0；硬件配置 CPU：1 （P4），2.8G，RAM：1G，HD：40 GB IDE
-
考慮到整個測試過程只是涉及到文件讀取與哈希值的計算，並無過多的與操作系統、軟件平台、開發語言相關的操作，因此可以認為上述測試方法的結果具有普遍性，即也適用於其它操作系統平台（如Linux/Unix）或應用語言/平台（C、Java）。
2.2 測試結果
1）不同配置機器間的對比
在不同機器配置上的平均運算結果如下表所示：
注1：配有SCSI磁盤的機器運行時間反而比 IDE 磁盤時間長，可能是由於前者具有較多的應用負載造成的，如Oracle、WebSphere等，而且其OS為 Windows 2000，在之上運行 .NET 應用程序可能與 Windows 2003 的效率有所差別
注2：上述算法中，只有 CRC32 沒有包含在.NET Framework 中，而是使用C#單獨實現的，因此可能會對其測試結果帶來一些影響。
2）不同算法的CPU占用率比較
在不同的算法運行時，在機器B上監控其對於 CPU 的平均使用時間，結果如下表所示：
3、實驗結論
-
數據摘要算法的處理是很快的，在一般配置的PC機上使用MD5算法，處理1G的文件數據只需20-30秒（有些專用設備聲稱達 3GB/秒），不會對應用或機器帶來過多負載
-
MD5、SHA1雖然被發現存在缺陷（碰撞），但在近幾年內，仍然可以大量使用
-
SHA256/384/512 的速度較慢，可以用於少量數據摘要，目前不適合用於大文件校驗
CRC32為32bit的簡單hash，MD5為128bit較復雜的hash算法。直覺上貌似CRC32的計算速度要比MD5快的。今天用FlexHEX計算大文件的hash時發現CRC32相對MD5並沒有明顯優勢。
實驗發現：Linux操作系統下用md5sum和cksum取文件哈希：MD5僅花費CRC32時間的72%左右。
-
MD5計算速度要明顯優於CRC32！
出處：https://blog.csdn.net/xiaofei0859/article/details/52683533