文件处理

一、文件读写的读书笔记

1、常见问题:

　　写入文件只能写入一行，在循环中将内容写入文件,但是代码在第一次循环中将文件关闭了,所以后边的写不进去，文件读写可能产生IOError为了保证无论是否出错都能正确地关闭文件，我们可以使用

try ... finally来实现：　　　　　　　　　　　　　　　　　

　　　　　　　　ft = open("a", 'w')

　　　　　　　　for entry in result :

    　　　　　　　　print entry

    　　　　　　　　try:

        　　　　　　　　ft.write(entry+' ')

    　　　　　　　　except:

        　　　　　　　　　　pass

　　　　　　　　ft.close()#在内容写完后再关闭文件

 

2.with方法:

　　　　　　with open('/path/to/file','r') as f:

　　　　　　　　print f.read()

 

3.文件小的时候

如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：

　　　　　　for line in f.readlines():

　　　　　　　　print(line.strip()) # 把末尾的' '删掉

注释:strip

函数原型:s.strip(rm)  删除s字符串中开头、结尾处，位于 rm删除序列的字符

声明:s为字符串，rm为要删除的字符序列

 　　当rm为空时，默认删除空白符（包括' ', ' ',  ' ',  ' ')

4.把两个路径合成一个时

把两个路径合成一个时，不要直接拼字符串，而要通过os.path.join()函数，这样可以正确处理不同操作系统的路径分隔符。

在Linux/Unix/Mac下，os.path.join()返回这样的字符串：

　　　　part-1/part-2

而Windows下会返回这样的字符串：

　　　　part-1part-2

5.拆分路径

要拆分路径时，也不要直接去拆字符串，而要通过os.path.split()函数，这样可以把一个路径拆分为两部分，后一部分总是最后级别的目录或文件名：

　　　　os.path.splitext()可以直接让你得到文件扩展名

# 对文件重命名:

　　　　os.rename('test.txt', 'test.py')

删掉文件:

　　　　os.remove('test.py')

#使用Python内置的 open()函数，传入文件名和标示符：
f = open('/Users/michael/test.txt', 'r')

#'r'为标示符，包含：
'r':    默认值，表示从文件读取
'w':    表示要向文件写入数据，并截断以前的内容
'a':    表示要向文件写入数据，添加到当前内容尾部
'r+':   表示对文件进行可读写操作（删除以前的所有数据）
'r+a':  表示对文件可进行读写操作（添加到当前文件尾部）
'b':    表示要读写二进制数据

#若要读取二进制文件，比如图片、视频等，使用'rb'模式打开文件即可：
f = open('/Users/michael/test.jpg', 'rb')
f.read()
    b'xffxd8xffxe1x00x18Exifx00x00...' # 十六进制表示的字节

#如果文件打开成功，接下来，调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示：
f.read()
    'Hello, world!'

#最后一步是调用 close()方法关闭文件。文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的：
f.close()

#为了防止忘记关闭文件导致内存占用，推荐使用with语句来自动帮调用close()方法：
with open('/path/to/file', 'r') as f:
    print(f.read())

二、将excel文件存为csv格式

 将两个excel文件合并为一个excel文件：转换为csv格式，并将里面的优秀变成90分，良好变成80分，及格变成60分，不交变成0分。

# -*- coding: utf-8 -*-
'''
author:一枚小可爱
function:put two excel file into one excel file

'''
#导入需要使用的包
import xlrd  #读取Excel文件的包
import xlsxwriter   #将文件写入Excel的包

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#打开一个excel文件
def open_xls(file):
    f = xlrd.open_workbook(file)
    return f

#获取excel中所有的sheet表
def getsheet(f):
    return f.sheets()

#获取sheet表的行数
def get_Allrows(f,sheet):
    table=f.sheets()[sheet]
    return table.nrows

#读取文件内容并返回行内容
def getFile(file,shnum):
    f=open_xls(file)
    table=f.sheets()[shnum]
    num=table.nrows
    for row in range(num):
        rdata=table.row_values(row)
        datavalue.append(rdata)
    return datavalue


#获取sheet表的个数
def getshnum(f):
    x=0
    sh=getsheet(f)
    for sheet in sh:
        x+=1
    return x

#函数入口
if __name__=='__main__':
    #定义要合并的excel文件列表
    allxls=['D:我的文件Python课件Python成绩.xlsx','D:我的文件Python课件Python成绩登记信计.xlsx'] #列表中的为要读取文件的路径
    #存储所有读取的结果
    datavalue=[]
    for fl in allxls:
        f=open_xls(fl)
        x=getshnum(f)
        for shnum in range(x):
            print("正在读取文件："+str(fl)+"的第"+str(shnum)+"个sheet表的内容...")
            rvalue=getFile(fl,shnum)
    #定义最终合并后生成的新文件
    endfile=('D:我的文件Python课件Python成绩(1).xlsx')
    wbl=xlsxwriter.Workbook(endfile)
    #创建一个sheet工作对象
    ws=wbl.add_worksheet()
    for a in range(len(rvalue)):
        for b in range(len(rvalue[a])):
            c=rvalue[a][b]
            ws.write(a,b,c)
    wbl.close()
    print("文件合并完成")

显示如下：

　　

将excel文件转换为csv格式，并将里面的优秀变成90分，良好变成80分，及格变成60分，不交变成0分：

# -*- coding: utf-8 -*-
"""
author:一枚小可爱
function:put excel file into csv file

"""
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#df.to_excel('C:/Users/Asus/Desktop/1.xlsx',sheet_name='dfg')
df=pd.read_excel('D:/我的文件/Python课件/Python成绩(1).xlsx',index_col=None,na_values=['NA'])
print(df)
for i in range(len(df.index)):
   # print(df.iloc[i,1])
    for j in range(1,len(df.columns)):
        if df.iloc[i,j]=='优秀':
            df.iat[i,j]=90
        elif df.iloc[i,j]=='良好':
            df.iat[i,j]=80
        elif df.iloc[i,j]=='合格':
            df.iat[i,j]=60
        else:
            df.iat[i,j]=1
df.to_csv('D:/我的文件/Python课件/Python成绩1.csv')
print(df)

显示如下：

三、将csv文件转换html文件

# -*- coding:utf-8 
'''
author:一枚小可爱
function:change csv file into html file

'''
def fill_data(excel, length=4):
     '''
     函数功能：填充表格的一行数据,返回html格式的字符串text
     excel: 表格中的一行数据
     length: 表格中需要填充的数据个数(即列数)，默认为4个
     由于生成csv文件时自动增加了1列数据，因此在format()函数从1开始
     '''
     text = '<tr>'
     for i in range(length):
         tmp = '<td align="center">{}</td>'.format(excel[i+1])
         text += tmp
     text += "</tr>
"
     return text
 
def GetCsv(csvFile):
     '''
     函数功能：打开csv文件并获取数据,返回文件数据
     csvFile: csv文件的路径和名称
     '''
     ls = []
     csv = open(csvFile, 'r', encoding="utf-8")
     for line in csv:
         line = line.replace('
', '')
         ls.append(line.split(','))
     return ls
 
 
def CsvToHtml(csvFile, HTMLFILE, thNum):
     '''
       函数功能：将csv格式文件转换为html格式文件
       csvFile:  需要打开和读取数据的csv文件路径
       HTMLFILE: 保存的html文件路径
       thNum:    csv文件的列数，需注意其中是否包括csv文件第1列无意义的数据，
       此处包含因此在调用时需要增加1
       '''
     # HTML1 HTML2 分别为html文件的首部和尾部
     HTML1 = '''  
   <!DOCTYPE HTML>
<html>
<body>
<meta charset=gbk2313>
   <h1 align=center>Python成绩表</h2>
   <table border='blue'>
'''
     HTML2 = "</table>
</body>
</html>"
     
     csv_list = GetCsv(csvFile)      # 获得csv文件数据
     hF = open(HTMLFILE, 'w') # 创建html文件
     hF.write(HTML1)                                             # 写入html文件首部
     for i in range(1, thNum+1):        # 写入表格的表头(即第1行)
         hF.write('<th width="20%">{}</th>
'.format(csv_list[0][i]))
     hF.write("</tr>
")
     for i in range(1, len(csv_list)):  # 写入表格的数据,从第2行开始为数据
        hF.write(fill_data(csv_list[i], 5))
     hF.write(HTML2)                                            # 写入html文件尾部
     hF.close()               # 关闭html文件
 
CsvToHtml("D:/我的文件/Python课件/Python成绩1.csv", "D:/我的文件/Python课件/Python成绩11.html", 5)

显示如下：

四、将csv文件转换成json格式

代码实现：

import json
fr=open("D:/我的文件/Python课件/Python成绩1.csv","r")
ls=[]
for line in fr:
    line=line.replace("
","")
    ls.append(line.spilt(','))
fr.close
fw=open("D:/我的文件/Python课件/Python成绩2.json","w")
for i in range(1,len(ls)):
    ls[i]=dict(zip(ls[0]),ls[i])
json.dump(ls[1:],fw,sort_keys=True,indent=4,ensure_ascii=False)
fw.close

实现如下：

 

五、运用Python CGI 把上面csv文件用网页显示