python对数据去重处理

我们在数据处理时,经常需要用到对重复数据进行过滤处理。  对数据去重有两种处理方式,如下:

1、对重复数据去重,并且会自动排序

使用函数  set

# 列表去重
list_a = [6, 6, 5, 1, 2, 2, 3, 4, 4, 4, 6, 7, 8, 8, 8, 10]

# 仅去重
list_aa = set(list_a)

print(list_aa)

结果如下: 

细心的小伙伴就会发现,不仅去重了,还对数据进行了重新排序。

2、对数据去重不改变原有顺序

# 列表去重
list_a = [6, 6, 5, 1, 2, 2, 3, 4, 4, 4, 6, 7, 8, 8, 8, 10]

# 排序保持原来顺序
list_ab = list(set(list_a))
list_ab.sort(key=list_a.index)

print(list_ab)

结果如下:

对数据进行了去重,但是没有改变原有数据的顺序。  

list.sort()函数是对列表进行排序处理, 通过key值指定排序的方式。  这样顺序就不会变化了。 

原文地址:https://www.cnblogs.com/jsondai/p/9773059.html