curl, wget常用选项

使用指定的http代理，配合md5sum 对于检查源站与cdn节点资源是否一致很有效

curl -o a.jpg -x 180.153.100.141:80 http://pbcdn.xximg1.com/v6/global2015/images/c2.jpg
wget -e "http_proxy=http://180.153.100.141" http://pbcdn.xximg1.com/v6/global2015/images/c2.jpg

 爬取整个网站：

 wget -r -k -np -p xxx.com