随书练习，第五章 pandas入门1
# coding: utf-8 # In[1]: from pandas import Series, DataFrame # In[2]: import pandas as pd # In[3]: import numpy as np # In[4]: obj = Series([4,7,-5,3]) # In[5]: obj # In[6]: obj.values # In[7]: obj.index # In[8]: obj2 = Series([4,7,-5,3],index=['d','b','a','c']) # In[9]: obj2 # In[10]: obj2.index # In[11]: obj2['a'] # In[12]: obj2['d'] = 6 #给索引'd'位置赋值6 # In[13]: obj2[['c','a','d']] # In[14]: obj2 # In[15]: obj2[obj2 > 0] # In[16]: obj2*2 # In[17]: np.exp(obj2) # In[18]: 'b' in obj2 #将Series看做定长有序字典 # In[19]: 'e' in obj2 # In[20]: sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000} #字典是无序的 # In[21]: obj3 = Series(sdata) # In[22]: obj3 # In[23]: states = ['California','Ohio','Oregon','Texas'] # In[24]: obj4 = Series(sdata, index=states) # In[25]: obj4 # In[26]: pd.isnull(obj4) #用于检测缺失数据 # In[27]: pd.notnull(obj4) # In[28]: obj4.isnull() # In[29]: obj3 # In[30]: obj4 # In[31]: obj3+obj4 #自动对齐不同索引的数据 # In[32]: obj4.name = 'population' # In[33]: obj4.index.name = 'state' # In[34]: obj4 # In[35]: obj.index = ['Bob','Steve','Jeff','Ryan'] #Series索引可以通过赋值的方式就地修改 # In[36]: obj # In[37]: data = {'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]} frame = DataFrame(data) # In[38]: frame # In[39]: DataFrame(data,columns=['year','state','pop']) #指定列顺序 # In[40]: frame2 = DataFrame(data,columns=['year','state','pop','debt'],index=['one','two','three','four','five']) # In[41]: frame2 # In[42]: frame2.columns # In[43]: frame2['state'] #列获取：字典标记方式 # In[44]: frame2.year #列获取：属性方式 # In[45]: frame2.loc['three'] #行获取：利用索引 # In[46]: frame2['debt'] = 16.5 #通过赋值的方式修改列 # In[47]: frame2 # In[48]: frame2['debt'] = np.arange(5) # In[49]: frame2 # In[50]: val = Series([-1.2,-1.5,-1.7],index=['two','four','five']) #将Series赋值给DataFrame的列，精确匹配索引 # In[51]: frame2['debt'] = val # In[52]: frame2 # In[53]: val1 = ([1,2,3,2,1]) # In[54]: frame2['debt'] = val1 #将数组赋值给DataFrame的某一列，长度必须一致 # In[55]: frame2 # In[56]: frame2['eastern'] = frame2.state == 'Ohio' #为不存在的列赋值可以创建一个新列 # In[57]: frame2 # In[58]: del frame2['eastern'] #关键字del用于删除列 # In[59]: frame2.columns # In[60]: pop = {'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}} #嵌套字典 # In[61]: frame3 = DataFrame(pop) # In[62]: frame3 # In[63]: frame3.T # In[64]: DataFrame(pop,index=[2001,2001,2003]) # In[65]: pdata = {'Ohio':frame3['Ohio'][:-1],'Nevada':frame3['Nevada'][:2]} # In[66]: DataFrame(pdata) # In[67]: frame3.index.name = 'year';frame3.columns.name = 'state' # In[68]: frame3 # In[69]: frame3.values #values属性 # In[70]: frame2.values #各列数据类型不同，选择能兼容所有的类型 # In[71]: obj = Series(range(3),index=['a','b','c']) # In[72]: index = obj.index # In[73]: index # In[74]: index[1:] # In[75]: #index[1] = 'd' #索引不可修改 # In[76]: index = (['x', 'y', 'z']) # In[77]: index # In[78]: index[1] = 'd' # In[79]: index # In[80]: obj.index = (['x', 'y', 'z']) #通过赋值的方式整个可以全部改 # In[81]: obj.index # In[82]: #obj.index[1] = 'd' #索引不可修改 # In[83]: index = pd.Index(np.arange(3)) # In[84]: obj2 = Series([1.5,-2.5,0],index=index) # In[85]: obj2.index is index # In[86]: frame3 # In[87]: 'Ohio' in frame3.columns # In[88]: 2003 in frame3.index # In[89]: frame3.index.is_unique #index的方法和属性 # In[90]: frame3.index.is_monotonic # 当各元素均大于等于前一个元素时，返回True # In[91]: frame3.index.drop([2002]) # In[92]: frame3.index.insert(2,2002) # In[93]: obj = Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c']) # In[94]: obj # In[95]: obj2 = obj.reindex(['a','b','c','d','e']) #Series的重新索引 # In[96]: obj2 # In[97]: obj.reindex(['a','b','c','d','e'],fill_value=0) #缺失值处理 # In[98]: obj3 = Series(['blue','purple','yellow'],index=[0,2,4]) # In[99]: obj3.reindex(range(6),method='ffill') #插值处理(只能按行应用)：method选项：ffill或pad向前填充；bfill或backfill向后填充 # In[100]: frame = DataFrame(np.arange(9).reshape((3,3)),index=['a','c','d'],columns=['Ohio','Texas','California']) # In[101]: frame # In[102]: frame2 = frame.reindex(['a','b','c','d']) #DataFrame的重新索引，只传入一个序列，默认为行 # In[103]: frame2 # In[104]: states = ['Texas','Utah','California'] # In[105]: frame.reindex(columns=states) # In[106]: #frame.reindex(index=['a','b','c','d'],method='ffill',columns=states) #行列不能同时重新索引，会报错，或者把method选项去掉也行 # In[107]: frame.loc[['a','b','c','d'],states] # In[108]: obj = Series(np.arange(5),index=['a','b','c','d','e']) # In[109]: new_obj = obj.drop('c') # In[110]: new_obj # In[111]: obj.drop(['d','c']) # In[112]: data = DataFrame(np.arange(16).reshape((4,4)),index=['Ohio','Colorado','Utah','New York'],columns=['one','two','three','four']) # In[113]: data.drop(['Colorado','Ohio']) #默认为行 # In[114]: data.drop('two',axis=1) # In[115]: data.drop(['two','four'],axis=1) # In[116]: #索引、选取、过滤 # In[117]: obj = Series(np.arange(4),index=['a','b','c','d']) #以下是对Series进行索引 # In[118]: obj['b'] #按索引标签 # In[119]: obj[1] #按位置 # In[120]: obj[2:4] #切片，按位置，末端不包含 # In[121]: obj[['b','a','d']] #按索引 # In[122]: obj[[1,3]] # In[123]: obj[obj < 2] # In[124]: obj['b':'c'] # 按照索引标签的切片，末端包含 # In[125]: obj['b':'c'] = 5 # In[126]: obj # In[127]: data = DataFrame(np.arange(16).reshape((4,4)),index=['Ohio','Colorado','Utah','New York'],columns=['one','two','three','four']) # In[128]: data #以下是对DataFrame的索引 # In[129]: data['two'] # In[130]: data[['three','one']] #获取列，因为选取列的操作更常见 # In[131]: data[:2] #按位置索引：通过切片选取行 # In[132]: data[data['three']>5] #通过布尔型数组选取行 # In[133]: data < 5 # In[134]: data[data<5] = 0 # In[135]: data # In[136]: data.loc['Colorado',['two','three']] # In[137]: data.iloc[data.index.get_indexer(['Colorado','Utah']),[3,0,1]] ##天啊，同时选取行列，且一个为标签一个为位置 #For getting multiple indexers, using .get_indexer # In[138]: data.ix[['Colorado','Utah'],[3,0,1]] # In[139]: data.iloc[2] # In[140]: data.loc[:'Utah','two'] #标签，末端包含 # In[141]: data.ix[data.three > 5, :3] # In[142]: s1 = Series([7.3,-2.5,3.4,1.5],index=['a','c','d','e']) # In[143]: s2 = Series([-2.1,3.6,-1.5,4,3.1],index=['a','c','e','f','g']) # In[144]: s1 # In[145]: s2 # In[146]: s1+s2 #自动对齐，缺失值在算数运算中传播 # In[147]: df1 = DataFrame(np.arange(9).reshape((3,3)),columns=list('bcd'),index=['Ohio','Texas','Colorado']) # In[148]: df2 = DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon']) # In[149]: df1 # In[150]: df2 # In[151]: df1+df2 # In[160]: df1 = DataFrame(np.arange(12).reshape((3,4)),columns=list('abcd')) # In[158]: df2 = DataFrame(np.arange(20).reshape((4,5)),columns=list('abcde')) # In[161]: df1 # In[159]: df2 # In[163]: df1 + df2 # In[165]: df1.add(df2, fill_value=0) # In[166]: df1.reindex(columns=df2.columns,fill_value=0) #重新索引 # In[167]: # add加法,sub减法,div除法,mul乘法 # In[169]: arr = np.arange(12).reshape((3,4)) # In[170]: arr # In[171]: arr[0] # In[173]: arr - arr[0] #广播 # In[174]: frame = DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon']) # In[175]: series = frame.iloc[0] # In[176]: frame # In[177]: series # In[178]: frame - series # In[179]: series2 = Series(range(3),index=['b','e','f']) # In[180]: frame + series2 #默认匹配列在行上传播 # In[181]: series3 = frame['d'] # In[182]: frame # In[183]: series3 # In[184]: frame.sub(series3,axis=0) #匹配行在列上广播，传入的轴号是希望匹配的轴 # In[185]: frame = DataFrame(np.random.randn(4,3),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon']) # In[186]: frame # In[187]: np.abs(frame) #函数应用在元素级 # In[188]: f = lambda x:x.max() - x.min() #匿名函数 # In[190]: frame.apply(f) #将函数应用到各行各列所形成的一维数组上 # In[191]: frame.apply(f,axis=1) # In[192]: def f(x): return Series([x.min(),x.max()],index=['min','max']) #自定义函数，传递给apply的函数还可以返回Series # In[193]: frame.apply(f) # In[194]: format = lambda x: '%.2f'% x # In[199]: frame.applymap(format) # In[200]: frame['e'].map(format) # In[201]: #apply()是一种让函数作用于列或者行操作，applymap()是一种让函数作用于DataFrame每一个元素的操作，而map是一种让函数作用于Series每一个元素的操作 # In[202]: obj = Series(range(4),index=['d','a','b','c']) # In[203]: obj.sort_index() #对索引排序 # In[204]: frame = DataFrame(np.arange(8).reshape((2,4)),index=['three','one'],columns=['d','a','b','c']) # In[205]: frame.sort_index() # In[206]: frame.sort_index(axis=1) #可以对任意轴上索引进行排序 # In[207]: frame.sort_index(axis=1,ascending=False) #降序 # In[208]: obj = Series([4,7,-3,2]) # In[212]: obj.sort_values() # In[213]: obj = Series([4,np.nan,7,np.nan,-3,2]) # In[214]: obj.sort_values() #任何缺失值默认放在末尾 # In[215]: frame = DataFrame({'b':[4,7,-3,2],'a':[0,1,0,1]}) # In[216]: frame # In[218]: frame.sort_values(by='b') # In[221]: frame.sort_values(by=['a','b']) # In[222]: obj = Series([7,-5,7,4,2,0,4]) # In[223]: obj.rank() #method='average' # In[224]: obj.rank(method='first') # In[225]: obj.rank(ascending=False,method='max') # In[226]: frame = DataFrame({'b':[4.3,7,-3,2],'a':[0,1,0,1],'c':[-2,5,8,-2.5]}) # In[227]: frame # In[228]: frame.rank(axis=1)