pd.show_versions()
pd.__version__
pd.read_csv? --help docu
pd.set_option? --help docu
读取文件:
oo=pd.read_csv('olympics.csv',skiprows=4)
oo = pd.read_table('Z:/test.txt',header=None,encoding='gb2312',delim_whitespace=True,index_col=0)
def convert_percent(val):
"""
Convert the percentage string to an actual floating point percent
- Remove %
- Divide by 100 to make decimal
"""
new_val = val.replace('%', '')
return float(new_val) / 100
df_2 = pd.read_csv("sales_data_types.csv",dtype={"Customer_Number":"int"},converters={
"2016":convert_currency,
"2017":convert_currency,
"Percent Growth":convert_percent,
"Jan Units":lambda x:pd.to_numeric(x,errors="coerce"),
"Active":lambda x: np.where(x=="Y",True,False)})
输出
to_csv('finally.csv',encoding='gb2312')#输出excel格式
显示列
#显示所有列
pd.set_option('display.max_columns', None)
oo.columns.values #显示所有列名
print([column for column in oo]) #显示所有列名
oo.columns=oo.columns.str.strip() #除列名中的空格
oo = oo.rename(columns=lambda x: x.replace(" ","").replace(" ","").replace(" ","").replace("
","")) #除列名中的空格以及特殊字符
oo['City']
oo.city --没有空格方可显示
type(oo[['City','Sport','Event']])
oo[['City','Sport','Event']].tail()
oo.TS_NAME.str.len() #列长度
oo.TS_NAME.str.strip() #某列里面字符串里面的空格 lstrip()表示去除左边空格 rstrip()表示去除左边空格 strip()表示去除左右两边，当中的空格仍在：
oo['Sales'].str.replace(' ','') #用replace 可以替换所有的空格：
显示行
#设置value的显示长度为100，默认为50
pd.set_option('max_colwidth',100)
#显示所有行
pd.set_option('display.max_rows', None)
type(oo.iloc)
type(oo.iloc[2]) 显示第三行
oo.drop_duplicates(['name']) #以name删除重复行
总体信息显示
oo.shape
oo.shape[0]
oo.shape[1]
oo.head(10)
oo.tail(10)
oo.info() --数据的描述 显示字段,数据类型, 使用内存大小,行数
oo.dtypes
type(oo.Edition)
删除行,列
drop方法的用法：drop(labels, axis=0, level=None, inplace=False, errors='raise')
-- axis为0时表示删除行，axis为1时表示删除列
-- drop默认对原表不生效，如果要对原表生效，需要加参数：inplace=True
-- 通过labels来控制删除行或列的个数，如果是删多行/多列，需写成labels=[1,3]，不能写成labels=[1:2],用:号会报错
df2=df1.drop(labels=0) # axis默认等于0，即按行删除，这里表示按行删除第0行
df2=df1.drop(labels=[1,3],axis=0) # axis=0 表示按行删除，删除第1行和第3行
df2=df1.drop(labels=range(1,4),axis=0) # axis=0 表示按行删除，删除索引值是第1行至第3行的正行数据
df3=df1.drop(labels='gender',axis=1) # axis=1 表示按列删除，删除gender列
df4=df1.drop(labels=['gender',"age"],axis=1) # axis=1 表示按列删除，删除gender、age列
格式转换
.astype("int")
.astype('float')
.astype('bool')
.apply(lambda x: x.replace(",","").replace("$","")).astype("float64")
pd.to_numeric(df["Jan Units"],errors='coerce').fillna(0) # pandas中pd.to_numeric()处理Jan Units中的数据
pd.to_datetime(df[['Month', 'Day', 'Year']]) # 最后利用pd.to_datatime()将年月日进行合并
oo[['TS_SIZE_MB','TS_USED_MB','TS_FREE_MB','PCT_USED']]=oo[['TS_SIZE_MB','TS_USED_MB','TS_FREE_MB','PCT_USED']].astype('float')
def convert_currency(var):
"""
convert the string number to a float
_ 去除$
- 去除逗号，
- 转化为浮点数类型
"""
new_value = var.replace(",","").replace("$","")
return float(new_value)