Python自动化之Excel去除相同数据

之前分享了一篇关于Python的Excel合并的文章。链接在下方,今天为大家分享一个Python去除Excel中相同数据 也是以一个工资表为例。为方便观赏,数据量少,足够使用。

致力打造口中:别人的公众号
文中代码的演示效果以及源码获取请点这里

素材准备

一个带有重复数据的Excel工资表

在这里插入图片描述

  • 安装下载模块(numpy pandasxlrd
  • 选择正确的路径(工资表路径
  • 写代码
    可以看到,数据中有王一是有两列

如何筛选数据

此次通过手机号来筛选数据
名字可能相同,工资等也有可能相同
但是手机号是唯一
在这里插入图片描述

代码分享

#去除重复数据
import pandas as pd # pip3 install pandas
import numpy as np # pip3 install numpy
import xlrd # pip install xlrd

labelName_phone = '手机号'
file_name = "2月份工资表"

frame = pd.read_excel('assets/'+file_name+'.xlsx')
data = pd.DataFrame(frame)
data.drop_duplicates([labelName_phone], keep='last', inplace=True)
data.to_excel('assets/'+file_name+'去重数据.xlsx')
print('完成')

效果展示

在这里插入图片描述

代码成功运行以后,可以看到文件夹内多了一个Excel表。
打开即可发现,里面相同数据仅剩下一个。

原文地址:https://www.cnblogs.com/CoXieLearnPython/p/14454218.html