爬取淘宝iPad前100页商品

需求:爬取淘宝iPad前100页商品

分析:分析网页是动态渲染的无法用普通的方法爬取

方法:

1、查看网页源码发现g_page_config这个包含了商品信息,用正则可以爬取,具体方法省略

2、可见即可爬:selenium+chrome(PhantomJS)

原文地址:https://www.cnblogs.com/jp-mao/p/10046723.html