python文本文件行去重

工作中常遇到很多ip地址，但連着好幾行都是同一個地址，所以如果可以去重的話，效率高很多。

網上查了一下去重程序，分析了下大概結構：讀取文件，利用列表判定這一行是否已存在，寫入文件。

list01 = []
for i in open("test.txt"):
　　if i in list01:
　　　　continue
　　list01.append(i)
with open("test01.txt","w") as s:
　　s.writelines(list01)