python 计算文件的MD5

一、使用python自带的hash库hashlib

      对于大文件，不能简单的一次载入内存，需要对文件分片不断的update完成（代码中如果文件超过100M，就需要分片了）。具体代码如下：

import os
import sys
import hashlib

_FILE_SLIM = (100*1024*1024) # 100MB


def file_md5(filename):
    calltimes = 0
    hmd5 = hashlib.md5()
    fp = open(filename,"rb")
    f_size = os.stat(filename).st_size
    if f_size>_FILE_SLIM:
        while(f_size>_FILE_SLIM):
            hmd5.update(fp.read(_FILE_SLIM))
            f_size/=_FILE_SLIM
            calltimes += 1   #delete
        if(f_size>0) and (f_size<=_FILE_SLIM):
            hmd5.update(fp.read())
    else:
        hmd5.update(fp.read())
    
    return (hmd5.hexdigest(),calltimes)
    

if __name__ == '__main__':
    if len(sys.argv) == 2:
        filepath = os.path.abspath(sys.argv[1])
        (hvalue,ctimes) = file_md5(filepath)
        print(hvalue)
    
    

二、测试
    从meizu官网上下了个固件更新包，检测测试了下，没有问题。

    测试执行：python calc_file_md5.py filename

三、更新下代码

    可以计算hashlib中所有的所有的hash值，包括:md5, sha1, sha224, sha256, sha384, sha512.

    主要思路是：采用字典结构来存储hash函数，达到泛型。

    代码如下:

# coding=gbk
__doc__ = '''
filehash.py md5/sha1/sha224/sha256/sha384/sha512 targetfile
argc must be equal to 3
'''

import os
import hashlib

__supported_hashfunc = {'md5':hashlib.md5, 'sha1':hashlib.sha1, 'sha224':hashlib.sha224, 'sha256':hashlib.sha256, 'sha384':hashlib.sha384, 'sha512':hashlib.sha512}
__FILE_SLIM = (100*1024*1024) # 100MB

def filehash(hfunc,filename):
    hobj = hfunc()
    fp = open(filename,"rb")
    f_size = os.stat(filename).st_size
    while(f_size > __FILE_SLIM):
        hobj.update(fp.read(__FILE_SLIM))
        f_size /= __FILE_SLIM
        #print("o.o")
    if(f_size>0) and (f_size <= __FILE_SLIM):
            hobj.update(fp.read())
    fp.close()
    return hobj.hexdigest()

def main():
    import sys
    if len(sys.argv) == 3:
        try:
            hfunc = __supported_hashfunc[sys.argv[1].lower()]
            #print(sys.argv[1])
            filepath = os.path.abspath(sys.argv[2])
            hvalue = filehash(hfunc,filepath)
            print(sys.argv[1],hvalue,sep=':')
        except KeyError:
            print('''input cmd:"%s" is error'''%sys.argv[1])
    else:
        print(__doc__)
if __name__ == '__main__':
    main()