一.Pandas
Python Data Analysis Library或Pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
二.Series
Series是一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型。
1.创建
# 通过list创建Series s1 = pd.Series([7, 3, 6, 2, 9, 5, 8]) # 通过dict创建Series s2 = pd.Series({"a":1, "b":2, "c":3}) # 通过list创建Series，并指定index s3 = pd.Series([5, 2, 7, 4],["a", "b", "c", "b"])
2.选取
# 获取前3个数据 s1.head(3) # 获取后3个数据 s1.tail(3) # 获取index为2的数据 s1[2] # 获取1<=index<4的数据 s1[1:4] # 获取index>3的数据 s1[s1.index>3] # 获取数据值>5的数据 s1[s1>5]
3.增加、删除、修改
# 增加数据index=8 s1[8] = -1 # 删除数据index=3，不修改原Series s1 = s1.drop(3) # 对1<=index<3的数据赋值30 s1[1:3] = 30 # 对index为4，6的数据赋值50 s1[4, 6] = 50
三.DataFrame
DataFrame是二维的表格型数据结构。可以将DataFrame理解为Series的容器。
1.创建
# 通过dict创建DataFrame data = {'name':["google", "amazon", "apple", "youtube", "oracle"], 'age':[33, 44, 11, 66, 44], "money" : [400, 200, 100, 800, 500]} df1 = pd.DataFrame(data, columns = ["name", "age", "money"])
2.时间序列类型index
# 月
dates = pd.date_range('2017-10-08', periods = 10, freq = "M")
# 天
dates = pd.date_range('2017-10-08', periods = 10, freq = "D")
# 时
dates = pd.date_range('2017-10-08', periods = 10, freq = "H")
3.选取
# 获取前3行数据 df1.head(3) # 获取后3行数据 df1.tail(3) # 获取列 df1.name, df1['name'], df1[["name", "money"]] # 获取行 df1[0:3], df1.loc[0:3] # 同时获取行列 df1.loc[0:3, ["name", "money"]]
4.增加、删除、修改
# 增加列 df1["new"] = 6 # 删除列，不修改原DataFrame df1 = df1.drop("new", axis = 1) # 增加行，修改原DataFrame df1.loc[df1.index.max() + 1] = {"name": "microsoft", "age": 70, "money": 300} # 增加行，不修改原DataFrame df1 = df1.append([{"name": "facebook", "age": 701, "money": 900}], ignore_index = True) # 删除行，不修改原DataFrame df1 = df1.drop([2]) # 修改数据 df1.loc[5,"age"] = 888 df1.loc[8:10, ["age", "money"]] = [11, 222]
5.WHERE
# 过滤数据，使用DataFrame.dtypes查看数据类型 df1[df1["age"] > 30] df1[(df1["age"] > 30) & (df1["money"] < 600)], df1[(df1.age > 40) & (df1.money < 600)] df1[df1["name"].isin(["amazon", "youtube"])]
6.DISTINCT
# 去重 df1.age.drop_duplicates() df1[["age", "money"]].drop_duplicates()
7.JOIN
# 联接 df3 = pd.merge(df1, df2, how="left", left_on = "name", right_on = "name") df3 = pd.merge(df1, df2, how="right", left_on = "name", right_on = "name")
8.GROUP BY
# 分组 df1.groupby("age")["money"].sum() df1.groupby(["age", "name"])["money"].count()
9.ORDER BY
# 排序 df1.sort_values("age", ascending=True) df1.sort_values(["age", "money"], ascending=[True, False])
10.UNION
# 合并 df2 = df1.copy(True) df3 = pd.concat([df1,df2], ignore_index = True) df3 = df1.append(df2, ignore_index = True)
11.导入和保存
Excel格式需要安装openpyxl、xlrd包
# 保存为csv格式 df1.to_csv("data.csv", encoding="utf-8") # 从csv文件读取 df1 = pd.read_csv("data.csv") # 保存为excel格式 df1.to_excel("data.xlsx", sheet_name = "Sheet1", encoding="utf-8") # 从excel文件读取 df1 = pd.read_excel("data.xlsx", sheet_name = "Sheet1")