爬取网站所有目录文件

最近公司给了我一个项目,让我把卫星的所有数据全部下载下来。

 命令是:

wget -m -np -e robots=off https://services.swpc.noaa.gov/experimental/ --no-check-certificate    

模板

wget -m -np -e robots=off 网址 --no-check-certificate 

 
作者:沐禹辰
出处:http://www.cnblogs.com/renfanzi/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。
原文地址:https://www.cnblogs.com/renfanzi/p/14410722.html