python 通过 url 下载文件包 data-downloader

将下面代码中的your_usernameyour_password,改为自己在哨兵官网注册的用户名与密码,并复制到Python编辑器中执行。

from data_downloader import downloader

netrc = downloader.Netrc()
netrc.add('scihub.copernicus.eu','your_username','your_password')

执行后会在用户目录创建一个.netrc文件,当下载需要帐号密码的时候,会读取此文件。

如果账号或密码输入错误,执行以下代码进行更新:

netrc.add('scihub.copernicus.eu','your_username','your_password',overwrite=True)

一个个下载文件

  1. 可以通过改变folder_outurl_file路径,来改变文件下载目录与包含url的文件路径
  2. 本脚本会自动跳过已下载的文件,并且支持断点续传。如果下载中断,个别文件下载不完整,重新执行本脚本即可。
urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]

folder_out
= 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
downloader.download_datas(urls, folder_out)

并行下载文件

  1. ncore   设置并行下载数  默认为机器核心数
urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]

folder_out = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'

downloader.download_datas(urls, folder_out, ncore=2)
原文地址:https://www.cnblogs.com/luochunxi/p/14473494.html