云服务器大文件分段传输

前言

  有时会有从远程服务器传大文件到本地的需要,传统的 scp 命令虽然保证了数据的安全性,但是速度极慢,这里采用将大文件分割成小文件,分段传输的方式,本地只要将小文件合并成一个文件即可

分割及合并

分割命令

  使用 split 命令进行分割,假设原始文件有 1.55G,那么用下面的命令会将文件分割成 16 个小文件,前 15 个文件大小都是 100m,最后一个文件为剩余大小。命令执行后会自动生成16个文件,小文件默认命名方式为xaa、xab、xac、xad...

# 分割命令split,-b参数指定分割后文件的大小,单位可以是k也可以是m,xxx为文件名
split -b 100m xxx

合并命令

  合并后的文件的后缀最好和之前的大文件一致,不然可能会出现问题

# 将小文件合并成一个文件,文件名为xx.tar
cat xaa xab xac xad xae > xx.tar

文件传输

  文件传输当然也可以使用 scp,但是考虑到 scp 稳定性一般,网络波动很容易造成 broken pipe,这里用 flask 写了一个接口,用于下载文件,浏览器访问网址即可下载(浏览器支持迅雷接管下载,就不用担心断点无法续传的问题了)

                       

原文地址:https://www.cnblogs.com/zhuminghui/p/15539076.html