python 簡單的實現文件內容去重

 

文件去重

這里主要用的是set()函數，特別地，set中的元素是無序的，並且重復元素在set中自動被過濾。

具體代碼如下：

// 文件去重
　　#!/usr/bin/env python 
　　# -*- coding:utf-8 -*-
　　# 
　　# author  g7y12
　　#

　　file_list = []  #創建一個空列表
　　def out_file():
    　　#file_2 = open_file()
    　　file = "data.txt"    #打開需要去重的文件
    　　with open(file, "r", encoding="utf-8") as f:
        　　file_2 = f.readlines()
        　　for file in file_2:
            　　file_list.append(file)
        　　out_file1 = set(file_list)    #set()函數可以自動過濾掉重復元素
        　　last_out_file = list(out_file1)
        　　for out in last_out_file:
           　　 with open("result.txt","a+",encoding="utf-8") as f:   #去重后文件寫入文件里
                　　f.write(out+"\n")
                　　print(out)

　　if __name__ =="__main__":
    　　out_file()

小結：set()去重后，元素順序變了，如果文件不考慮去重后的順序的話，可以用此種方法，簡單快捷