獲取fastdfs所有文件

工作中，mysql中存儲的圖片鏈接信息和FastDFS實際存儲的圖片數量不一致，此時應該與mysql中有存儲記錄的圖片保持一致，我們要在FastDFS服務器中刪除哪些無用的圖片。於是乎自己寫了一個腳本。

1. 讀取mysql中的所有FastDFS存儲圖片信息---->存儲到redis，保存為set

2. 讀取FastDFS中的圖片信息---->存儲到redis，保存為set

3. 兩個set，以FastDFS的set和mysql的set做差集運算得到多出來的圖片set

4. 在FastDFS服務器上刪除上一步中包含的圖片

fastdfs提供的腳本不能列出所有的文件，所以我自己寫了一個python腳本遍歷出所有文件
pythonToRedis.py
把所有文件寫入到了本地文件，當然也可以存入關系型數據庫或者Redis中（用set去重，做一些交差補運算）

import re
import sys
import os

def allFiles():
    path = '/data/fastdfs/storage/data' # basepath配置路徑
    rounds = 1
    fdfspath = 'group1/M00'

    with open('/home/timing/shelles/data.txt','w') as file_url:
        
        for dirpath, dirnames, filenames in os.walk(path):
            if rounds == 1:
                rounds+=1
            elif (dirpath == path + '/sync'):
                continue
            else:
                for file in filenames:
                    try:
                        paths = re.search(r'/data/fastdfs/storage/data(.*)',dirpath).group(1)
                        fullpath = os.path.join(fdfspath + paths, file)
                        print(fullpath)
                        file_url.write(fullpath + '\n')
                    except:
                        pass

                rounds+=1
        file_url.close()
 
def toRedis():
    with open('/home/redis/tuna/shelles/data.txt', 'r') as logfile:
        for line in logfile:
            print(line)
            redis_client.sadd('dfs_picture',line.replace('\n', ''))
        logfile.close()

if __name__ == '__main__':
    if(sys.argv[1] == 'allfiles'):
        allFiles()
    elif(sys.argv[1] == 'toredis'):
        toRedis()
    else:
        print("USAGE:allfiles|toredis")