爬虫 修改 下拉框

爬取某个网站,可以通过修改下拉框来实现数据批量加载

上图我们可以看到   view 下面的下拉框  的值是25 ,50 ,100 ,200。我们把200的值修改为5200,然后提交页面

然后直接出来所有的数据,不在需要做翻页:

 爽不爽啊,请求的时候注意把cookie复制到请求头里面,有些网站是通过cookie控制翻页的

原文地址:https://www.cnblogs.com/xuchunlin/p/9323799.html