工作中,mysql中存儲的圖片鏈接信息和FastDFS實際存儲的圖片數量不一致,此時應該與mysql中有存儲記錄的圖片保持一致,我們要在FastDFS服務器中刪除哪些無用的圖片。於是乎自己寫了一個腳本。
1. 讀取mysql中的所有FastDFS存儲圖片信息---->存儲到redis,保存為set
2. 讀取FastDFS中的圖片信息---->存儲到redis,保存為set
3. 兩個set,以FastDFS的set和mysql的set做差集運算得到多出來的圖片set
4. 在FastDFS服務器上刪除上一步中包含的圖片
fastdfs提供的腳本不能列出所有的文件,所以我自己寫了一個python腳本遍歷出所有文件
pythonToRedis.py
把所有文件寫入到了本地文件,當然也可以存入關系型數據庫或者Redis中(用set去重,做一些交差補運算)
import re import sys import os def allFiles(): path = '/data/fastdfs/storage/data' # basepath配置路徑 rounds = 1 fdfspath = 'group1/M00' with open('/home/timing/shelles/data.txt','w') as file_url: for dirpath, dirnames, filenames in os.walk(path): if rounds == 1: rounds+=1 elif (dirpath == path + '/sync'): continue else: for file in filenames: try: paths = re.search(r'/data/fastdfs/storage/data(.*)',dirpath).group(1) fullpath = os.path.join(fdfspath + paths, file) print(fullpath) file_url.write(fullpath + '\n') except: pass rounds+=1 file_url.close() def toRedis(): with open('/home/redis/tuna/shelles/data.txt', 'r') as logfile: for line in logfile: print(line) redis_client.sadd('dfs_picture',line.replace('\n', '')) logfile.close() if __name__ == '__main__': if(sys.argv[1] == 'allfiles'): allFiles()
elif(sys.argv[1] == 'toredis'):
toRedis() else: print("USAGE:allfiles|toredis")