(一)merge
1 merge(left, right, how='inner', on=None, left_on=None, right_on=None, 2 left_index=False, right_index=False, sort=True, 3 suffixes=('_x', '_y'), copy=True, indicator=False)
- left与right：两个不同的DataFrame
- how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner
- on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键
- left_on：左则DataFrame中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用。
- right_on：右则DataFrame中用作 连接键的列名
- left_index：使用左则DataFrame中的行索引做为连接键
- right_index：使用右则DataFrame中的行索引做为连接键
- sort：默认为True，将合并的数据进行排序。在大多数情况下设置为False可以提高性能
- suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为('_x','_y')
- copy：默认为True,总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能
- indicator：在 0.17.0中还增加了一个显示合并数据中来源情况；如只来自己于左边(left_only)、两者(both)
1 pandas.merge(df1, df2, on='key') 2 pandas.merge(df1, df2, on='key', how='left')
(二)join
-
join方法提供了一个简便的方法用于将两个DataFrame中的不同的列索引合并成为一个DataFrame。
其中参数的意义与merge方法基本相同,只是join方法默认为左外连接how=left。
- 示例
-
1 from pandas import Series,DataFrame,merge 2 3 data=DataFrame([{"id":0,"name":'lxh',"age":20,"cp":'lm'},{"id":1,"name":'xiao',"age":40,"cp":'ly'},{"id":2,"name":'hua',"age":4,"cp":'yry'},{"id":3,"name":'be',"age":70,"cp":'old'}],index=['a','b','c','d']) 4 data1=DataFrame([{"sex":0},{"sex":1},{"sex":2}],index=['a','b','e']) 5 6 print '使用默认的左连接 ',data.join(data1) #这里可以看出自动屏蔽了data中没有的index=e 那一行的数据 7 print '使用右连接 ',data.join(data1,how="right") #这里出自动屏蔽了data1中没有index=c,d的那行数据；等价于data1.join(data) 8 print '使用内连接 ',data.join(data1,how='inner') 9 print '使用全外连接 ',data.join(data1,how='outer')
结果为：
-
1 使用默认的左连接 2 age cp id name sex 3 a 20 lm 0 lxh 0 4 b 40 ly 1 xiao 1 5 c 4 yry 2 hua NaN 6 d 70 old 3 be NaN 7 使用右连接 8 age cp id name sex 9 a 20 lm 0 lxh 0 10 b 40 ly 1 xiao 1 11 e NaN NaN NaN NaN 2 12 使用内连接 13 age cp id name sex 14 a 20 lm 0 lxh 0 15 b 40 ly 1 xiao 1 16 使用全外连接 17 age cp id name sex 18 a 20 lm 0 lxh 0 19 b 40 ly 1 xiao 1 20 c 4 yry 2 hua NaN 21 d 70 old 3 be NaN 22 e NaN NaN NaN NaN 2
(三)concat
- concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。
- 与数据库不同的是concat不会去重，要达到去重的效果可以使用drop_duplicates方法
- 1 concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, 2 keys=None, levels=None, names=None, verify_integrity=False, copy=True):
- 示例：
-
1 from pandas import Series,DataFrame,concat 2 3 df1 = DataFrame({'city': ['Chicago', 'San Francisco', 'New York City'], 'rank': range(1, 4)}) 4 df2 = DataFrame({'city': ['Chicago', 'Boston', 'Los Angeles'], 'rank': [1, 4, 5]}) 5 print '按轴进行内连接 ',concat([df1,df2],join="inner",axis=1) 6 print '进行外连接并指定keys(行索引) ',concat([df1,df2],keys=['a','b']) #这里有重复的数据 7 print '去重后 ',concat([df1,df2],ignore_index=True).drop_duplicates()
输出结果为：
-
按轴进行内连接 city rank city rank 0 Chicago 1 Chicago 1 1 San Francisco 2 Boston 4 2 New York City 3 Los Angeles 5 进行外连接并指定keys(行索引) city rank a 0 Chicago 1 1 San Francisco 2 2 New York City 3 b 0 Chicago 1 1 Boston 4 2 Los Angeles 5 去重后 city rank 0 Chicago 1 1 San Francisco 2 2 New York City 3 4 Boston 4 5 Los Angeles 5