google colab 数据复制 解压

在 Notebook 中添加一个 Section 命名为「安装环境」。然后在这个 Section 中做一些数据复制、解压,以及安装第三方包的工作。实例代码如下:
安装环境

!mkdir ./data  # 在实例中创建文件夹 data
!cp /content/drive/MyDrive/paper/Demo/data-local.zip ./data/  # data  copy
!cd ./data && unzip data-local.zip  # 进入.data目录并解压(到本地)

为什么不直接将数据集存放至 Drive 直接使用,而是要先压缩,再从 Drive 中拷贝出来解压使用?因为直接从 Drive 中读取数据是通过网络传输的,并不是从本地文件磁盘读取。如果数据文件多,那么就会发很多次网络请求,导致加载数据非常慢,进而严重影响训练速度;这也是很多小伙伴抱怨 Colab 慢的原因之一。所以我们提前压缩好数据集文件,每次训练前复制压缩文件到实例的磁盘,再进行解压,最大程度保证网络传输次数少,传输数据量小。
作者:佘城璐
链接:https://zhuanlan.zhihu.com/p/218133131
来源:知乎

原文地址:https://www.cnblogs.com/ArdenWang/p/15713867.html