python3_pandas.HDFStore_h5py_HDF5

python3_pandas.HDFStore_h5py_HDF5_的笔记

转载注明来源: 本文链接来自osnosn的博客，写于 2020-03-26.

h5py 的部分笔记

hh5py 读出属性(attrs)，请参考 python3_h5py_hdf5_遍历_查看文件结构
h5py 写入属性(attrs) hdf=h5py.File('xxx.hdf5','w')
- 在root创建属性 hdf.attrs.create('myAttrsName',data='xxxxxx',dtype='S64')
  - dtype 用'S32'=32字节字符串，'f8'=float64, 'i4'=int32, ...
- 在其他节点创建属性dnode=hdf.create_dataset(..) , gnode=hdf.create_group(..)
  - dnode.attrs.create('myAttrsName',data='xxxxxx',dtype='S64')
  - gnode.attrs.create('myAttrsName',data='xxxxxx',dtype='S64')
- ...attrs.create(..) 中，data=的值中含有dtype，则不用另外指定dtype。否则建议指定 dtype 为numpy支持的类型。
- h5py 的文档有详细描述 h5py.Attributes

pandas.HDFStore 的部分笔记

HDFStore 可以保存Series，DataFrame。
- 保存格式 fixed，不能添加(append)，只能覆盖(重写)
- 保存格式 table，可以添加(append)，可以覆盖(重写)
HDFStore 打开mode='w'时。会truncate文件，从零开始。
HDFStore 打开mode='a'时。为修改模式。
- 用put覆盖fixed表(内容不变)，文件也会增大。增大的比table表多。
- 用put覆盖table表(内容不变)，文件也会增大。增大的比fixed表少。
HDFStore 读出属性(attrs) hdf=pandas.HDFStore('xxx.hdf5','r') 以下任意一款都能用。
- aa=hdf.root.group2._v_attrs.MyAttr
- aa=hdf.get_node('/group2')._v_attrs.MyAttr
- aa=hdf.get_node('/group2')._v_attrs['MyAttr']
HDFStore 写入属性(attrs) hdf=pandas.HDFStore('xxx.hdf5','w') 以下任意一款都能用。
- hdf.root.group2._v_attrs.MyAttr='中文文字'
- hdf.get_node('/group2')._v_attrs.MyAttr=u'中文文字'
- hdf.get_node('/group2')._v_attrs['MyAttr']='english text'
- HDFStore 写入属性的路径如果不存在，需要先行创建。否则会出错。
  - hdf._handle 似乎就是 pytable 的底层接口，hdf._handle.create_group()就是pytable的函数。

#在root上创建group。
if 'mygroup' not in hdf.root._v_groups.keys():
    hdf._handle.create_group('/','mygroup')
#在其他路径上创建group。
if 'mygroup' not in hdf.get_node('/othergroup')._v_groups.keys():
    hdf._handle.create_group('/othergroup','mygroup')

HDFStore 的属性(attrs), 支持保存 list, tuple, class object, str, int, float
- bool 保存到 attrs 中是 Bitfield, h5py读不出.
属性可以加在任意一层GROUP上，也可以加在root('/')上。
属性的读取/写入在pandas-1.0.3，tables-3.6.1 测试过。
pandas.HDFStore 的文档写的很简单。属性的操作要看pytables的文档，可是pytables的文档也写的不详细。

转载注明来源: 本文链接来自osnosn的博客.