在爬虫工作中使用到的一个测试网站和一个快速把请求转换成为代码的网站

1.查看本地请求的代理、

import requests

res=requests.get('http://httpbin.org/ip', proxies={'http':'111.177.177.87:9999'}).json()

 或者

2.https://httpbin.org/headers返回headers信息

 

3.https://httpbin.org/user-agent返回USER-AGENT信息　

 

 4.http://httpbin.org/get?show_env=1返回更为详细的信息（被图掉部分为IP）

 

 5.快速把请求信息转换成爬虫代码

　　https://curl.trillworks.com/#python

效果：