方法
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)
参数
subset : column label or sequence of labels, optional 用来指定特定的列，默认所有列 keep : {‘first’, ‘last’, False}, default ‘first’ 删除重复项并保留第一次出现的项 inplace : boolean, default False 是直接在原来数据上修改还是保留一个副本
实战
第一种情况，去掉重复的数据：
### 构造数据 data = pd.DataFrame(data=[['a',1],['a',2],['b',1],['b',2],['a',1]],columns=['label','num']) data Out[17]: label num 0 a 1 1 a 2 2 b 1 3 b 2 4 a 1
Dataframe已经有相关的函数来处理这个问题，就是drop_duplicates()函数。我们看到下面已经把重复的（’a',1)已经删除了。具体的参数大家可以点击链接，参考官方文档。总共只有三个参数。
data.drop_duplicates() Out[18]: label num 0 a 1 1 a 2 2 b 1 3 b 2
我们也可以利用subset参数指定去除某一列的重复值。
data.drop_duplicates(subset='label') Out[20]: label num 0 a 1 2 b 1
第二种情况，从数据中提取重复的数据：
DataFrame也提供了相关的函数来处理这个问题，就是duplicated()函数。我们可以看到duplicated函数返回的是布尔类型，重复出现就返回True。该函数只有两个参数，大家可以参考官方文档。
data.duplicated() Out[40]: 0 False 1 False 2 False 3 False 4 True dtype: bool
因为keep参数默认为First，就是除了第一次出现的数据，其他重复的数据都标记为True；如果我们想要获取所有重复的数据，可以将keep的值赋值为False。如下所示，就可以提取出所有重复的数据。
data.duplicated(keep=False) Out[41]: 0 True 1 False 2 False 3 False 4 True dtype: bool
因为duplicated函数返回的是布尔类型，所以要想得到具体的数据可以做如下操作：
data[data.duplicated(keep=False)] Out[42]: label num 0 a 1 4 a 1
参考文章：
https://blog.csdn.net/zx1245773445/article/details/99973622?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.pc_relevant_is_cache&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.pc_relevant_is_cache
https://blog.csdn.net/u010665216/article/details/78559091