Pandas 是基于NumPy开发的结构化数据分析工具
Pandas 的主要数据结构是 Series（一维数据）与 DataFrame（二维数据），DataFrame 是 Series 的容器，Series 则是标量的容器。
创建数据
#导入模块包 import pandas as pd import numpy as np import matplotlib.pyplot as plt #创建数据 s = pd.Series([1,3,5,np.nan,6,8]) #通过列表，创建Series dates = pd.date_range('20130101', periods=6) #通过时间系列，创建DataFrame df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD')) df2 = pd.DataFrame({ 'A' : 1., 'B' : pd.Timestamp('20130102'), 'C' : pd.Series(1,index=list(range(4)),dtype='float32'), 'D' : np.array([3] * 4,dtype='int32'), 'E' : pd.Categorical(["test","train","test","train"]), 'F' : 'foo' }) #通过字典，创建DataFrame print(df2.dtypes) #查看数据类型，dtype报错 print(s.dtype) #dtype和dtypes都可以
查看数据
#查看数据 df.head() #查看起始前5个数据，默认5 df.tail(3) #查看最末尾3个数据 df.index #查看索引,不是df.index() df.columns #查看列名 df.values #查看值 df.describe() #简单的统计描述 df.info() # df.T #转置 df.sort_index(axis=1,ascending=False) #通过轴排序 df.sort_values(by='B') #通过值排序
数据选取
- 通过标签选取
- 通过位置选取
- 通过布林值索引选取
虽然标准的Python/Numpy的选择和设置表达式都能够直接派上用场，但是作为工程使用的代码，推荐使用经过优化的pandas数据访问方式： .at, .iat, .loc, .iloc 和 .ix详情请参阅Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。
#数据选取 df['A'] #选取A列,'A'是列名称，等同于df.A df[0:3] #选取前3行，切片数据[:] df['20130102':'20130104'] #通过行标签选择 通过标签选取 df.loc[dates[0]] #获取第一行的交叉数据 df.loc[:,['A','B']] #只选择'A'和'B'两列的数据 df.loc['20130102':'20130104',['A','B']] #选取特定行区间和列区间的值 df.loc['20130102',['A','B']] df.loc[dates[0],'A'] #选取特定的值 df.loc['20130101','A'] df.at[dates[0],'A'] #at的效率高于loc，%timeit df.at[dates[0],'A'] 与 %timeit df.loc[dates[0],'A'] 对比 通过位置选取 df.iloc[3] #通过数字的标签选取某行 df.iloc[3:5,0:2] # df.iloc[[1,2,4],[0,2]] df.iloc[1:3,:] df.iloc[:,1:3] #选取所有的行，某几列 df.iloc[1,1] df.iat[1,1] 通过布林值索引选取 df[df.A > 0] df[df > 0] #选取表中所有大于0的元素 df2 = df.copy() df2['E'] = ['one', 'one','two','three','four','three'] df2[df2['E'].isin(['two','four'])] # 数据过滤
设置
s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6)) #创建一个新列 df.at[dates[0],'A'] = 0 #通过标签修改元素 df.iat[0,1] = 0 #通过位置修改元素 df.loc[:,'D'] = np.array([5] * len(df)) # numpy array，修改元素 df2 = df.copy() df2[df2 > 0] = -df2 # 通过where操作来设置新的值
缺失值处理
在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中，详情请参阅：Missing Data Section。
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E']) df1.loc[dates[0]:dates[1],'E'] = 1 # reindex()对指定轴上的索引进行改变/增加/删除操作 df1.dropna(how='any') #去掉包含缺失值的行 df1.fillna(value=5) #缺失值填充 pd.isnull(df1) #布尔值查看是否有缺失值，缺失值True
基本操作
参照 Basic Section On Binary Ops
统计
空数据不参与计算
df.mean() #平均值 df.mean(1) #按行求平均值 s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2) df.sub(s, axis='index') #按行相减，对于拥有不同维度，需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播 df.cumsum() #求累加值，空值不参与计算
Apply方法
df.apply(np.cumsum) #按列累加 df.apply(lambda x: x.max() - x.min()) #lambda函数，最大值减去最小值
直方图
详情请查看Histogramming and Discretization
s = pd.Series(np.random.randint(0, 7, size=10)) #在0-7之间创建10个随机数 s.value_counts() #每个数值有多少个
字符串方法
Series对象在其str属性中配备了一组字符串处理方法，可以很容易的应用到数组中的每个元素，如下段代码所示。更多详情请参考：Vectorized String Methods.
s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat']) s.str.lower() #变小写
数据合并
- Concat
- Join
- Append
Pandas提供了大量的方法能够轻松的对Series，DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。具体请参阅：Merging section
Concat
df = pd.DataFrame(np.random.randn(10, 4)) pieces = [df[:3], df[3:7], df[7:]] #前3行，4-7行，7到最后 df1 = pd.concat(pieces) #将所有数据合并起来，还原成原来的数据集 df1 == df,（df == df1）.all().all(),验证是否相同
Join
类似于SQL类型的合并，具体请参阅：Database style joining
left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
pd.merge(left, right, on='key') #等价SQL语句 select * from left inner jion right on left.key=right.key;
left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
pd.merge(left, right, on='key')
Append
一行连接到一个DataFrame上，具体请参阅Appending
df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D']) s = df.iloc[3] df.append(s, ignore_index=True) #直接插入一行
分组统计
对于”group by”操作，我们通常是指以下一个或多个操作步骤：
- Splitting：按照一些规则将数据分为不同的组；
- Applying：对于每组数据分别执行一个函数；
- Combining：将结果组合到一个数据结构中；
详情请参阅：Grouping section
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],
'C' : np.random.randn(8),
'D' : np.random.randn(8)})
df.groupby('A').sum() #通过'A'列分组，然后求和
df.groupby(['A','B']).sum() #双重索引分组，然后求和
数据整型
详情请参阅 Hierarchical Indexing 和 Reshaping。
stack方法
tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'], ['one', 'two', 'one', 'two','one', 'two', 'one', 'two']])) index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) #双重索引，并命名为first和second df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B']) df2 = df[:4] stacked = df2.stack() #行和列转换 stacked.unstack() #行和列再次转换回来，恢复 stacked.unstack(1) stacked.unstack(0)
数据透视表
详情请参阅：Pivot Tables.
df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
'B' : ['A', 'B', 'C'] * 4,
'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
'D' : np.random.randn(12),
'E' : np.random.randn(12)})
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C']) #'A''B'为行，'C'为列，‘D’的值
df.pivot_talbe(values=['E'],index=['A'],columns=['C'])#A为行，C为列，E的值 ,df(df.A=='one').groupby('C').mean()
时间序列
Pandas在对频率转换进行重新采样时拥有简单、强大且高效的功能（如将按秒采样的数据转换为按5分钟为单位进行采样的数据）。这种操作在金融领域非常常见。
具体参照：Time Series section
rng = pd.date_range('1/1/2012', periods=100, freq='S') #100个以秒为单位的数据 ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng) ts.resample('5Min').sum() #重新采样 rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D') ts = pd.Series(np.random.randn(len(rng)), rng) ts_utc = ts.tz_localize('UTC') ts_utc.tz_convert('US/Eastern') rng = pd.date_range('1/1/2012', periods=5, freq='M') ts = pd.Series(np.random.randn(len(rng)), index=rng) ps = ts.to_period() ps.to_timestamp() prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV') ts = pd.Series(np.random.randn(len(prng)), prng) ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9 pd.Timestamp('20170422') - pd.Timestamp('20170206') pd.Timestamp('20170422') + pd.Timestamp('days = 5')