使用過hashlib庫的朋友想必都遇到過以下的錯誤吧:“Unicode-objects must be encoded before hashing”,意思是在進行md5哈希運算前,需要對數據進行編碼。而且在不同版本的Python下還有所不同,唉Python還需努力啊,接口和消 息都很不穩定。
hashlib.md5(data)函數中,data參數的類型應該是bytes。也就是說我們在進行hash前必須把數據轉換成bytes類型,對於C程序而言似乎沒有類似問題,指針強制轉換就OK了。
對於中文,有朋友建議轉為utf8,同一中文字符串在gb2312和utf8下的值顯然是不一樣的(連長度都不一樣),hash出來的md5會一樣嗎?
下面是正確的示例:
data = "你好"
m = hashlib.md5(data.encode("gb2312"))
print(m.hexdigest())
如果需要utf8編碼下的md5&值,就該是m = hashlib.md5(data.encode("utf8"))。還可以試試:encode("mbcs")、 encode("unicode_escape")以及encode("raw_unicode_escape")
問題解決了,但是心頭的疑問卻更多了。為什么不能直接hashlib.md5(data),非要強制進行編碼轉換,設計者的初衷何在?中文字符在Python中是以什么形式存在?
print('%x'%ord(data[0]))
4f60
說明中文字符在Python中是以unicode存在的。至此,所有的疑問都得以解除了。
在hash前要求進行編碼轉換,是因為同一個字符串在不同的編碼體系下有不同的值,為確保不發生歧義必須要進行一次顯性轉換。