python文本文件行去重

工作中常遇到很多ip地址，但连着好几行都是同一个地址，所以如果可以去重的话，效率高很多。

网上查了一下去重程序，分析了下大概结构：读取文件，利用列表判定这一行是否已存在，写入文件。

list01 = []
for i in open("test.txt"):
　　if i in list01:
　　　　continue
　　list01.append(i)
with open("test01.txt","w") as s:
　　s.writelines(list01)