NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。
一，tofile()和fromfile()
- tofile()将数组中的数据以二进制格式写进文件
- tofile()输出的数据不保存数组形状和元素类型等信息
- fromfile()函数读回数据时需要用户指定元素类型，并对数组的形状进行适当的修改
a = np.arange(0, 12).reshape(3, 4)
a
Out[355]:
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]])
a.tofile('a.bin')
b = np.fromfile('a.bin', dtype=np.float) # 按照float类型读取数据
b # 读入的数据是错误的
Out[358]:
array([2.12199579e-314, 6.36598737e-314, 1.06099790e-313, 1.48539705e-313,
1.90979621e-313, 2.33419537e-313])
a.dtype
Out[359]: dtype('int32')
b = np.fromfile('a.bin', dtype=np.int32) # 按照Int32类型读入数据
b # b的数值是一维的
Out[363]: array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])
b.shape = 3, 4 # 改变b的形状， 还原数据
b # ok 正确
Out[366]:
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]])
从上面的例子可以看出，在读入数据时:需要正确设置dtype参数，并修改数组的shape属性才能得到和原始数据一致的结果。无论数据的排列顺序是C语言格式还是Fortran语言格式，tofile()都统一使用C语言格式输出。此外如果指定了sep参数，则fromfile()和tofile()将以文本格式对数组进行输入输出。sep参数指定的是文本数据中数值的分隔符。
二.save()和load()
- NumPy专用的二进制格式保存数据，它们会自动处理元素类型和形状等信息
- 如果想将多个数组保存到一个文件中，可以使用savez()
- savez()的第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起名
- 非关键字参数传递的数组会自动起名为arr_0、arr_1、...。
- savez()输出的是一个扩展名为npz的压缩文件，其中每个文件都是一个save()保存的npy文件，文件名和数组名相同
- load()自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名作为键获取数组的内容
# save和load
np.save('a.npy', a)
c = np.load('a.npy')
c
Out[369]:
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]])
# savez和load
a = np.array([[1,2,3],[4,5,6]])
b = np.arange(0, 1.0, 0.1)
c = np.sin(b)
np.savez('result.npz', a, b, sin_array=c)
r = np.load('result.npz')
r['arr_0'] # 数组a
Out[376]:
array([[1, 2, 3],
[4, 5, 6]])
r['arr_1'] # 数组b
Out[377]: array([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9])
r['sin_array'] # 数组c
Out[378]:
array([0. , 0.09983342, 0.19866933, 0.29552021, 0.38941834,
0.47942554, 0.56464247, 0.64421769, 0.71735609, 0.78332691])
三.savetxt()和loadtxt()
- 读写1维和2维数组的文本文件
- 可以用它们读写CSV格式的文本文件
a = np.arange(0, 12, 0.5).reshape(4, -1)
a
Out[380]:
array([[ 0. , 0.5, 1. , 1.5, 2. , 2.5],
[ 3. , 3.5, 4. , 4.5, 5. , 5.5],
[ 6. , 6.5, 7. , 7.5, 8. , 8.5],
[ 9. , 9.5, 10. , 10.5, 11. , 11.5]])
np.savetxt('a.txt', a) # 缺省按照’%.18e'格式保存数值，以空格分隔
np.loadtxt('a.txt')
Out[382]:
array([[ 0. , 0.5, 1. , 1.5, 2. , 2.5],
[ 3. , 3.5, 4. , 4.5, 5. , 5.5],
[ 6. , 6.5, 7. , 7.5, 8. , 8.5],
[ 9. , 9.5, 10. , 10.5, 11. , 11.5]])
np.savetxt('a.txt', a, fmt='%d', delimiter=',') # 保存为整数， 以逗号分割
np.loadtxt('a.txt', delimiter=',') # 读入数据的时候需指定以逗号分割
Out[384]:
array([[ 0., 0., 1., 1., 2., 2.],
[ 3., 3., 4., 4., 5., 5.],
[ 6., 6., 7., 7., 8., 8.],
[ 9., 9., 10., 10., 11., 11.]])
tmp = np.loadtxt('test.csv', dtype=np.str, delimiter=',', encoding='utf-8')
tmp
Out[389]:
array([['姓名', '年龄', '体重', '身高'],
['张三', '30', '75', '165'],
['李四', '45', '60', '170'],
['王五', '15', '30', '120']], dtype='<U3')
data = tmp[1:, 1:].astype(np.float)
data
Out[391]:
array([[ 30., 75., 165.],
[ 45., 60., 170.],
[ 15., 30., 120.]])
四.文件对象file
a = np.arange(8)
b = np.add.accumulate(a)
b
Out[394]: array([ 0, 1, 3, 6, 10, 15, 21, 28], dtype=int32)
c = a + b
f = open('result.npy', 'wb')
np.save(f, a) # 顺序将a,b,c保存进文件对象f
np.save(f, b)
np.save(f, c)
f.close()
f = open('result.npy', 'rb')
np.load(f) # 顺序从文件对象f中读取内容
Out[404]: array([0, 1, 2, 3, 4, 5, 6, 7])
np.load(f)
Out[405]: array([ 0, 1, 3, 6, 10, 15, 21, 28])
np.load(f)
Out[406]: array([ 0, 2, 5, 9, 14, 20, 27, 35])