[原創]使用python對視頻/音頻文件進行詳細信息采集,並進行去重操作

[原創]使用python對視頻/音頻文件進行詳細信息采集,並進行去重操作

轉載請注明出處

 

一.關於為什么用pymediainfo以及pymediainfo的安裝

　　使用python對視頻/音頻文件進行詳細信息采集,並進行去重操作的核心是使用pymediainfo這個庫

　　之前本人一直在試着用moviepy庫中的VideoFileClip來獲取視頻/音頻文件的詳細信息,但效果不理想,一直報錯根本無法解決.

　　直到本人發現了pymediainfo這個庫,問題才得到解決(pymediainfo可以獲取極其詳細的音頻/視頻文件的具體信息).

　　pymediainfo的安裝:(參考https://www.jianshu.com/p/4c115bd82774)

　　　　1.pip install pymediainfo  或者 python -m pip install pymediainfo

　　　　2.然后到官網下載該程序,(官網地址: https://pypi.org/project/pymediainfo/),安裝到指定文件夾

　　　　3.特別重要的一步:到你安裝pymediainfo的文件夾中找到MediaInfo.dll這個文件,把它復制到你Python的根目錄下(不復制程序會報無法打開xx程序的錯!)

 

二.視頻/音頻去重的簡單邏輯:

　　如果兩個視頻/音頻文件的大小完全一致,而且時長也完全一致,則該兩個文件極有可能是重復的.

 

三.代碼實現:

　　下面代碼你只需要把

　　　　file_dir = r"D:\Movie\180919"  
　　　　dire_dir = r'D:\Movie\BBB'  

 　　更改成你自己的絕對路徑就可以了(file_dir是你視頻/音頻文件的目錄, dire_dir是將重復視頻文件移動至的目錄,程序結束后file_dir目錄中的重復文件會被移動到dire_dir)

　　注意:file_dir路徑里只能放音頻,視頻文件,放入其他文件可能會報錯(本人只考慮了file_dir中只有視頻/音頻文件的情況)

　　程序功能:8G內存IE7處理器能處理11000個,大約2000G的視頻/音頻文件去重工作,花費時間30~40分鍾(程序執行with open操作后會巨卡5-10分鍾)

import os
import shutil

from pymediainfo import MediaInfo


file_dir = r"D:\Movie\180919"               　# 定義文件目錄(需要自己添加文件的絕對路徑)
dire_dir = r'D:\Movie\BBB'                    # 目標路徑,將可能重復的文件移動至此(需要自己添加文件的絕對路徑)
video_sumlist = []                            # 全音/視頻文件列表(絕對路徑)
video_detail_list = []                        # 全音/視頻文件詳細信息列表
video_info_list = []                          # 只記錄需要的關鍵信息
count = 0                                     # 用於記錄已處理的文件數量

def get_all_file(f_dir): # 獲取文件名稱與文件大小,以方便使用MediaInfo庫遍歷獲取視頻/音頻文件的超詳細信息
    for root, dirs, files in os.walk(f_dir, topdown=True): # root就是"D:\Movie\180919", dirs 為[], files為全部文件列表
        for name in files:
            video_sumlist.append(os.path.join(root, name))

get_all_file(file_dir)
# print(video_sumlist)

for i in video_sumlist: # 獲取視頻/音頻文件的詳細信息並存儲到video_detail_list中
    media_info = MediaInfo.parse(i)
    data = media_info.to_data()
    video_detail_list.append(data)
    count+=1
    print("執行完第%d條數據...,視頻名稱為:%s"%(count, data["tracks"][0]["other_file_name"]))


with open(r"./video_detail.py", "w", encoding='utf-8') as f: # 因為遍歷上萬文件太費時,需要將視頻/音頻信息存儲在文件中,以減少程序執行時間
    print("開始執行寫入操作...")
    f.write(str(video_detail_list))

with open(r"./video_detail.py", "r", encoding='utf-8') as f: # 將存儲在file文件中的信息讀取到vfile中
    print("開始執行讀取操作...")
    vfile = eval(f.read())
print(type(vfile))

for elem in vfile: # 簡化文件信息的列表格式: [{文件名: {"t_size": t_size, "v_duration": v_duration}}, {{文件名: {"t_size": t_size, "v_duration": v_duration}}]
    # print('v_size: ', elem["tracks"][0]["file_size"])
    # print('v_duration: ', elem["tracks"][0]["duration"])
    try:
        if elem["tracks"][0]["file_name"] != 'desktop.ini':
            video_info_list.append({(elem["tracks"][0]["other_file_name"][0]+"."+elem["tracks"][0]["file_extension"]):\
             {"v_size": elem["tracks"][0]["file_size"], "v_duration": elem["tracks"][0]["duration"]}})
        else:
            print("找到了隱藏文件desktop.ini, 它沒有'duration'這個鍵值對,需要跳過...")
    except KeyError:
        print("找到一個隱藏文件,該文件名為: ", elem["tracks"][0]["file_name"])
print(video_info_list)
print(video_info_list[0].keys())       # dict_keys(['海闊天空.mp4'])
print(type(video_info_list[0].keys())) # <class 'dict_keys'>

start_index = 0
tomove_list = []
while start_index < (len(video_info_list)-1):
    find_index = start_index + 1
    # print("start_index = ", start_index, "find_index = ", find_index)
    # print(list(video_info_list[start_index].values()))
    # print(list(video_info_list[start_index].values())[0]["v_size"])
    # print(list(video_info_list[start_index].values())[0]["v_duration"])
    sample0 = [list(video_info_list[start_index].values())[0]["v_size"], list(video_info_list[start_index].values())[0]["v_duration"]]
    while find_index < len(video_info_list):
        if sample0[0] == list(video_info_list[find_index].values())[0]["v_size"] and \
        sample0[1] == list(video_info_list[find_index].values())[0]["v_duration"]:
            tomove_list.append(find_index)
            find_index += 1
        else:
            find_index += 1

    # 外層循環開始:
    if tomove_list != []:
        tomove_list.reverse()
        print("to move list after reverse: ", tomove_list)
        for tomove_item in tomove_list:
            shutil.move(os.path.join(file_dir ,list(video_info_list[tomove_item].keys())[0]), dire_dir)
            video_info_list.pop(tomove_item) # 非常重要,保證video_info_list與實際音頻/視頻數據一致
            print("已經移除文件的編號為: ", tomove_item)
    start_index += 1
    tomove_list = []

完~