python I/O编程

1.文件读写

使用open打开文件,f=open('/user/test.txt','r'),r表示可读

如果文件不存在,则抛出IOError

文件打开,则用read()方法进行读取

最后关闭用close()方法

python中引入with语句,和try...finally效果一样,但是不用调用close方法

>>> with open('/path/file','f') as f:
    print(f.read)

read会一次性读取全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:

>>> for line in f.readlines():
    print(line.strip())

file—like Object

定义:open函数中返回的read方法的对象

二进制文件:如图片、视频,用‘rb’模式打开

>>> f = open('/Users/michael/test.jpg', 'rb')
>>> f.read()
b'xffxd8xffxe1x00x18Exifx00x00...' # 十六进制表示的字节

字符编码,需要传入encoding

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
>>> f.read()
'测试'

遇到有些编码不规范的文件,你可能会遇到UnicodeDecodeError,因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况,open()函数还接收一个errors参数,表示如果遇到编码错误后如何处理。最简单的方式是直接忽略:

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

写文件:

>>> f = open('/Users/michael/test.txt', 'w')
>>> f.write('Hello, world!')
>>> f.close()
with open('/Users/michael/test.txt', 'w') as f:
    f.write('Hello, world!')

'w'模式写入文件时,如果文件已存在,会直接覆盖(相当于删掉后新写入一个文件)。如果我们希望追加到文件末尾怎么办?可以传入'a'以追加(append)模式写入。

 2.SrtingIO和BytesIO

1)StringIO

在内存中读写str

先写入

>>> from io import StringIO
>>> f = StringIO()
>>> f.write('hello')
5
>>> f.write(' ')
1
>>> f.write('world!')
6
>>> print(f.getvalue())
hello world!

后读取

>>> from io import StringIO
>>> f = StringIO('Hello!
Hi!
Goodbye!')
>>> while True:
...     s = f.readline()
...     if s == '':
...         break
...     print(s.strip())
...
Hello!
Hi!
Goodbye!

2)BytesIO

二进制数据的写入与读取

>>> from io import BytesIO
>>> f = BytesIO()
>>> f.write('中文'.encode('utf-8'))
6
>>> print(f.getvalue())
b'xe4xb8xadxe6x96x87'
>>> from io import BytesIO
>>> f = BytesIO(b'xe4xb8xadxe6x96x87')
>>> f.read()
b'xe4xb8xadxe6x96x87'

 3.操作文件和目录

python内置的os模块提供调用接口的内置函数

>>> import os
>>> os.name
'nt'

如果是‘nt’类型,则说明是windows系统,如果是posix说明是linux、unix、或者Mac os X

获取详细地址调用uname(),但是uname在windows上面不提供

环境变量:

操作系统的环境变量全部保存在os.environ中,要获取某个变量的值,可以调用os.environ.get'key'

操作文件和目录

操作文件和目录一部分放在os模块中,一部分放在os.path中,查看、创建、删除如下:

>>> #查看当前目录的绝对路径
>>> os.path.abspath('.')
'C:\Users\ZM\AppData\Local\Programs\Python\Python37'
>>> #在某个目录下创建一个新目录,首先把新目录的完整路径表示出来
>>> os.path.join('C:\Users\ZM\AppData\Local\Programs\Python\Python37','testdir')
'C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir'
>>> #然后创建一个目录
>>> os.mkdir('C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir')
>>> #删掉一个目录
>>> os.rmdir('C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir')

把两个路径合并成一个路径时,不要直接拼接字符串,要使用os.path.join()函数,在linux、unix、或者Mac os X下,os.path.join(),返回这样的字符串:part-1/part-2,而在windows下返回part-1part-2

拆分路径时使用os.path.split()函数

os.path.splitext()可以直接得到文件扩展名

文件过滤

>>> [x for x in os.listdir('.') if os.path.isdir(x)]
['DLLs', 'Doc', 'include', 'Lib', 'libs', 'Scripts', 'tcl', 'Tools']
>>> #列出.py文件
>>> [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]='.py']
SyntaxError: invalid syntax
>>> [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']

 4.序列化

定义:变量从内存变成可存储或传输的过程称之为序列化

python通过pickle进行序列化

首先。尝试将一个对象序列化并写入文件

>>> import pickle
>>> d = dict(name = 'bob',age = 20,source = 88)
>>> pickle.dumps(d)
b'x80x03}qx00(Xx04x00x00x00nameqx01Xx03x00x00x00bobqx02Xx03x00x00x00ageqx03Kx14Xx06x00x00x00sourceqx04KXu.'
>>> 

序列化成bytes类型写入文件,或者用pickle.dump()直接将对象序列化写入一个file-like Object

f = open('dump.txt','wb')

pickle.dump(d,f)

f.close()

当从磁盘读到内存,可以先把一个内容读到一个bytes类型,用pickle.load()反序列化出对象

 json:作为一种对象序列化的标准格式

将python对象变成json

>>> import json
>>> d = dict(name = 'bob',age = 20,source =88)
>>> json.dumps(d)
'{"name": "bob", "age": 20, "source": 88}'

要把json反序列化为python对象,用loads()或者load()方法

>>> json_str = '{"age":20,"source":33,"name":bob}'
>>> json.loads(json_str)

json进阶

pyhon的dict对象可以直接序列化为json的{},不过,很多时候,我们用class表示对象,然后序列化

原文地址:https://www.cnblogs.com/quanmeng/p/11921262.html