小白scrapy爬虫简单例子之下载百度贴吧爱豆东方神起照片

*准备工作:爬取地址:http://tieba.baidu.com/p/5605320907

                 爬取内容:该网页内东方神起的照片  

1.同样步骤:创建'dfsq_photo'scrapy工程,'dfsq'爬虫

scrapy startproject dfsq_photo 

scrapy genspider dfsq tieba.baidu.com

2.item对象的声明(url表示照片地址,number表示下载的照片命名)

3.爬虫脚本内容 

4.管道文件里图片数据的流向 

5.别忘了settings.py里USER_AGENT,ITEM_PIPELINES值

6.scrapy crawl dfsq运行,结果如下 

7.批量爬到爱豆的美照,开心~哈哈哈哈~

 (私心放一张爱豆照片,完结撒花~~hiahia~)

原文地址:https://www.cnblogs.com/hongdanni/p/9453568.html