@合并重叠数据
还有一种数据组合问题不能用简单的合并或连接运算来处理。比如说，你可能有索引全部或部分重叠的两个数据集
使用numpy的where函数，它用于表达一种矢量化的if - else
a = pd.Series([np.nan, 2.5, np.nan, 3.5, 4.5, np.nan], index = ['f', 'e', 'd', 'c', 'b', 'a']) b = pd.Series(np.arange(len(a), dtype = np.float64), index = ['f', 'e', 'd', 'c', 'b', 'a']) b[-1] = np.nan a b np.where(pd.isnull(a), b, a) a Out[117]: f NaN e 2.5 d NaN c 3.5 b 4.5 a NaN dtype: float64 b Out[118]: f 0.0 e 1.0 d 2.0 c 3.0 b 4.0 a NaN dtype: float64 np.where(pd.isnull(a), b, a) Out[119]: array([ 0. , 2.5, 2. , 3.5, 4.5, nan])
Series有一个combine_first方法，实现的也是一样的功能，而且会进行数据对齐
b[:-2].combine_first(a[2:]) Out[120]: a NaN b 4.5 c 3.0 d 2.0 e 1.0 f 0.0 dtype: float64
对于DataFrame， combine_first自然也会在列上做同样的事情，因此你可以将其看做：用参数对象中的数据为调用者对象的缺失数据打补丁
df1 = pd.DataFrame({'a': [1., np.nan, 5., np.nan],
'b': [np.nan, 2., np.nan, 6.],
'c': range(2, 18, 4)})
df2 = pd.DataFrame({'a': [5., 4., np.nan, 3., 7.],
'b': [np.nan, 3., 4., 6., 8.]})
df1
Out[123]:
a b c
0 1.0 NaN 2
1 NaN 2.0 6
2 5.0 NaN 10
3 NaN 6.0 14
df2
Out[124]:
a b
0 5.0 NaN
1 4.0 3.0
2 NaN 4.0
3 3.0 6.0
4 7.0 8.0
#df1中的缺失值用df2中的值补充
df1.combine_first(df2)
Out[125]:
a b c
0 1.0 NaN 2.0
1 4.0 2.0 6.0
2 5.0 4.0 10.0
3 3.0 6.0 14.0
4 7.0 8.0 NaN
@重塑和轴向旋转
用于重新排列表格型数据的基础运算。这些函数也称作重塑（reshape）或轴向旋转（pivot）运算
（1）重塑层次化索引
层次化索引为DF数据的重排任务提供了一种具有良好一致性的方式。主要功能：
- stack: 将数据的列“旋转”为行
- unstack: 将数据的行“旋转”为列
#重塑和轴旋转 data = pd.DataFrame(np.arange(6).reshape((2, 3)), index = pd.Index(['Ohio', 'Colorado'], name = 'state'), columns = pd.Index(['one', 'two', 'three'], name = 'number')) data
Out[127]:
number one two three
state
Ohio 0 1 2
Colorado 3 4 5
#使用该数据的stack方法即可将列转换为行，得到一个Series result = data.stack() result Out[129]: state number Ohio one 0 two 1 three 2 Colorado one 3 two 4 three 5 dtype: int32
#对于 一个层次化索引的Series, 你可以用unstack将其重排为一个DataFrame result.unstack() Out[134]: number one two three state Ohio 0 1 2 Colorado 3 4 5
默认情况下，unstack操作的是最内层（stack也是如此）。传入分层级别的编号或名称即可对其他级别进行unstack操作：
（2）将长格式旋转为宽格式
时间序列数据通常是以所谓的“长格式” 或 “堆叠格式”存储在数据库和CSV中的
2、数据转换
之前是合并数据集和重排数据集，另一类重要操作则是过滤、清理以及其他的转换工作。
（1）移除重复数据
data = pd.DataFrame({'K1': ['one']*3+['two']*4,
'K2': [1, 1, 2, 3, 3, 4, 4]})
data
Out[10]:
K1 K2
0 one 1
1 one 1
2 one 2
3 two 3
4 two 3
5 two 4
6 two 4
duplicated方法返回一个布尔型Series，表示各行是否是重复行：
data.duplicated() Out[11]: 0 False 1 True 2 False 3 False 4 True 5 False 6 True dtype: bool
还有一个与此相关的drop_duplicates方法，它用于返回一个移除了重复行的DataFrame
data.drop_duplicates() Out[13]: K1 K2 0 one 1 2 one 2 3 two 3 5 two 4
这两个方法默认会判断全部列，也可以指定部分列进行重复项判断。假设你还有一列值，且只希望根据K1列过滤重复项：
data['v1'] = range(7) data.drop_duplicates(['K1']) Out[15]: K1 K2 v1 0 one 1 0 3 two 3 3
duplicates和drop_duplicates默认保留的是第一个出现 的值组合，传入take_last = True 则保留最后一个
data.drop_duplicates(['K1', 'K2'], take_last = True) Out[16]: K1 K2 v1 1 one 1 1 2 one 2 2 4 two 3 4 6 two 4 6
（2）利用函数和映射进行数据转换
#定义数据 data = pd.DataFrame({'food': ['bacon', 'pulled pork', 'bacon', 'Pastrami', 'corned beef', 'Bacon', 'pastrami', 'honey ham', 'nova lox'], 'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]}) data Out[4]: food ounces 0 bacon 4.0 1 pulled pork 3.0 2 bacon 12.0 3 Pastrami 6.0 4 corned beef 7.5 5 Bacon 8.0 6 pastrami 3.0 7 honey ham 5.0 8 nova lox 6.0
假设你想要添加一列表示该肉类食物来源的动物类型。我们先编写一个肉类到动物的映射：
meat_to_animal = {'bacon': 'pig',
'pulled pork': 'pig',
'pastrami': 'cow',
'honey ham': 'pig',
'nova lox': 'salmon'}
Series的map方法可以接受一个函数或含有映射关系的字典型对象，但是这里有一个小问题，即有些肉类的首字母大写了，而另一些则没有，因此，我们还需要将各个值转换为小写：
data['animal'] = data['food'].map(str.lower).map(meat_to_animal) data Out[10]: food ounces animal 0 bacon 4.0 pig 1 pulled pork 3.0 pig 2 bacon 12.0 pig 3 Pastrami 6.0 cow 4 corned beef 7.5 cow 5 Bacon 8.0 pig 6 pastrami 3.0 cow 7 honey ham 5.0 pig 8 nova lox 6.0 salmon
也可以传入一个能够完成全部这些工作的函数：
data['food'].map(lambda x: meat_to_animal[x.lower()]) Out[22]: 0 pig 1 pig 2 pig 3 COW 4 COW 5 pig 6 COW 7 pig 8 salmon Name: food, dtype: object
使用map是一种实现元素转换以及其他数据清理工作的便捷方式
（3）替换值
利用fillna方法填充缺失数据可以看做值替换的一种特殊情况，虽然前面 提到的map可以用于修改对象的数据子集，而replace则提供了一种实现该功能的更简单、更灵活的方式
#替换值 data = pd.Series([1., -999., -2, -999., -1000., 3.]) data
Out[24]:
0 1.0
1 -999.0
2 -2.0
3 -999.0
4 -1000.0
5 3.0
dtype: float64
#用NaN代替-999 data.replace(-999, np.nan)
Out[25]:
0 1.0
1 NaN
2 -2.0
3 NaN
4 -1000.0
5 3.0
dtype: float64
#如果你希望一次性替换多个值，可传入一个由待替换值组成的列表以及一个替换值 data.replace([-999, -1000], np.nan)
Out[26]:
0 1.0
1 NaN
2 -2.0
3 NaN
4 NaN
5 3.0
dtype: float64
#如果你希望对不同的值进行替换，则传入一个由替换关系组成的列表即可 data.replace([-999, -1000], [np.nan, 0]) Out[27]: 0 1.0 1 NaN 2 -2.0 3 NaN 4 0.0 5 3.0 dtype: float64
传入的参数也可以是字典
data.replace({-999: np.nan, -1000: 0})
Out[28]:
0 1.0
1 NaN
2 -2.0
3 NaN
4 0.0
5 3.0
dtype: float64
（4）重命名轴索引