pyspider爬取网页实例

1. 历趣网

咱要爬取的网站是 http://www.liqucn.com/rj/new/ 这个网站我看了一下，有大概13021页，每页数据是12个，数据量大概在150000左右，可以抓取下来，后面做数据分析使用，也可以练习优化数据库。

网站基本没有反爬措施，上去爬就可以，略微控制一下并发，毕竟不要给别人服务器太大的压力。

页面经过分析之后，可以看到它是基于URL进行的分页，这就简单了，我们先通过首页获取总页码，然后批量生成所有页码即可

https://www.liqucn.com/rj/new/
https://www.liqucn.com/rj/new/?page=12953
https://www.liqucn.com/rj/new/?page=12952
https://www.liqucn.com/rj/new/?page=12951

 

 这里可以看出page的页码是越来越小的。

 在index_page中获取总页码的代码：

class Handler(BaseHandler):
    crawl_config = {
        'itag': 'v223'
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://www.liqucn.com/rj/new/', callback=self.index_page,validate_cert=False)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        #获取总的页码数
        totle = response.doc(".page :nth-child(2)").attr('href')
        print(totle)
        num = re.search("(d+)",totle).group()
        
        #for page in range(1,int(num)+2):
            #self.crawl('http://www.liqucn.com/rj/new/?page={}'.format(page), callback=self.detail_page,validate_cert=False)
        #这里先抓取一页
        self.crawl('http://www.liqucn.com/rj/new/?page={}'.format(13021), callback=self.detail_page,validate_cert=False)

分页数据已添加到待爬取队列中去了，下面开始分析爬取到的数据，这个在detail_page函数实现：

@config(priority=2)
    def detail_page(self, response):
        docs = response.doc(".tip_blist li").items()
        dicts = []
        for item in docs:
            title = item(".tip_list>span>a").text()
            pubdate = item(".tip_list :nth-child(3)").text()
            info = item(".tip_list :nth-child(4)").text()
            size = info.split("/")
            app_type = size[0]
            if len(size) == 2:
                size = size[1].strip()
            else:
                size = "0MB"                      
            mobile_type = item("h3>a").text()            

            # 获取软件logo图片下载地址          
            img_url = item(".tip_list>a>img").attr("src")
            # 获取文件名字
            filename = img_url[img_url.rindex("/")+1:]
            # 下载软件logo图片并保存到本地
            self.crawl(img_url,callback=self.save_img,save={"filename":filename},validate_cert=False)
　　　　　　　#获取app数据
            data={
                "title":title,
                "pubdate":pubdate,
                "size":size,
                "app_type":app_type,
                "mobile_type":mobile_type 
                }
            dicts.append(data)
            print(dicts)
        return dicts

app数据已经集中返回，我们重写on_result来保存数据。

from pyspider.libs.base_handler import *
import re,os
import pandas as pd

DIR_PATH=r"d:123\"

数据存储

def on_result(self,result):
        if result:
            print("正在存储数据....")
            data = pd.DataFrame(result)
            data.to_csv(r"d:数据.csv", mode='a', header=False, encoding='utf_8_sig')

最后把图片下载完善一下，就收工啦！图片下载，其实就是保存网络图片到一个地址即可

def save_img(self,response):
        content = response.content
        file_name = response.save["filename"]
        #创建文件夹（如果不存在）
        if not os.path.exists(DIR_PATH):                         
            os.makedirs(DIR_PATH) 
            
        file_path = DIR_PATH + file_name
        
        with open(file_path,"wb" ) as f:
            f.write(content)

到此为止，任务完成，保存之后，调整爬虫的抓取速度，点击run，数据跑起来~~~~

2. 虎嗅网

网址为 https://www.huxiu.com/ 爬的就是它的资讯频道。

常规操作，分析待爬取的页面

拖拽页面到最底部，会发现一个加载更多按钮，点击之后，抓取一下请求，得到如下地址

查阅该请求的方式和地址，包括参数，如下图所示

得到以下信息

1. 页面请求地址为：https://www.huxiu.com/v2_action/article_list
2. 请求方式：POST
3. 请求参数比较重要的是一个叫做page的参数

我们只需要按照上面的内容，把pyspider代码部分编写完毕即可。
on_start 函数内部编写循环事件，注意到有个数字2025这个数字，是我从刚才那个请求中看到的总页数。你看到这篇文章的时候，这个数字应该变的更大了。

    @every(minutes=24 * 60)
    def on_start(self):
        for page in range(1,2025):
            print("正在爬取第 {} 页".format(page))
            self.crawl('https://www.huxiu.com/v2_action/article_list', method="POST",data={"page":page},callback=self.parse_page,validate_cert=False)

页面生成完毕之后，开始调用parse_page 函数，用来解析 crawl() 方法爬取 URL 成功后返回的 Response 响应。

    @config(age=10 * 24 * 60 * 60)
    def parse_page(self, response):
        content = response.json["data"]
        doc = pq(content)
        lis = doc('.mod-art').items()
        data = [{
           'title': item('.msubstr-row2').text(),
           'url':'https://www.huxiu.com'+ str(item('.msubstr-row2').attr('href')),
           'name': item('.author-name').text(),
           'write_time':item('.time').text(),
           'comment':item('.icon-cmt+ em').text(),
           'favorites':item('.icon-fvr+ em').text(),
           'abstract':item('.mob-sub').text()
           } for item in lis ] 
        return data

最后，定义一个 on_result() 方法，该方法专门用来获取 return 的结果数据。这里用来接收上面 parse_page() 返回的 data 数据，在该方法可以将数据保存到 MongoDB 中。

  # 页面每次返回的数据            
    def on_result(self,result):
        if result:
            self.save_to_mongo(result)            
    
  
    # 存储到mongo数据库
    def save_to_mongo(self,result):
        df = pd.DataFrame(result)  
        content = json.loads(df.T.to_json()).values()
        if collection.insert_many(content):
            print('存储数据成功')
            # 暂停1s
            time.sleep(1)

好的，保存代码，修改每秒运行次数和并发数

点击run将代码跑起来，不过当跑起来之后，就会发现抓取一个页面之后程序就停止了， pyspider 以 URL的 MD5 值作为 唯一 ID 编号，ID 编号相同，就视为同一个任务， 不会再重复爬取。

GET 请求的分页URL 一般不同，所以 ID 编号会不同，能够爬取多页。
POST 请求的URL是相同的，爬取第一页之后，后面的页数便不会再爬取。

解决办法，需要重新写下 ID 编号的生成方式，在 on_start() 方法前面添加下面代码即可：

    def get_taskid(self,task):
        return md5string(task['url']+json.dumps(task['fetch'].get('data','')))

3. 微医挂号网

今天尝试使用一个新的爬虫库进行数据的爬取，这个库叫做pyspider，国人开发的，当然支持一下。

github地址： https://github.com/binux/pyspider
官方文档地址：http://docs.pyspider.org/en/latest/

安装起来是非常简单的

pip install pyspider 

安装之后，启动 在CMD控制台里面敲入命令

pyspider

出现如下界面，代表运行成功，一般情况下，你的电脑如果没有安装 phantomjs 他会先给你安装一下。

接下来打开浏览器，访问地址输入 127.0.0.1:5000, 应该显示如下界面，就可以愉快的进行编码了~

3步创建一个项目

2. 微医挂号网专家团队数据----库基本使用入门

这款工具的详细使用，给你提供一个非常好的博文，写的很完善了，我就不在赘述了。咱们直接进入到编码的部分。

https://blog.csdn.net/weixin_37947156/article/details/76495144

3. 微医挂号网专家团队数据----爬虫源码

我们要爬取的目标站点是微医挂号网专家团队数据 网页地址https://www.guahao.com/eteam/index

分析AJAX链接地址，寻找爬取规律

经过分析之后获取到的链接为 https://www.guahao.com/json/white/search/eteams?q=&dept=&page=2&cid=&pid=&_=1542794523454

其中page参数最重要，表示页码，实际测试中发现，当代码翻页到 84页的时候，数据竟然开始重复了，应该是网站本身系统的问题，这个没有办法。

爬虫流程

1. 获取总页数
2. 循环爬取每页的数据

爬取总页数

在入口函数on_start的位置去爬取第一页数据，爬取成功之后调用index_page函数

from pyspider.libs.base_handler import *
import pandas as pd

class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://www.guahao.com/json/white/search/eteams?page=1', callback=self.index_page,validate_cert=False)

index_page函数用来获取页码总数，并且将所有待爬取的地址存放到self.crawl中，这个地方因为数据重复的原因，最终硬编码为84页数据了

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        doctors = response.json
        if doctors:
            if doctors["data"]:
                page_count = doctors["data"]["pageCount"]
                #for page in range(1,page_count+1):
                for page in range(1,85):
                    self.crawl('https://www.guahao.com/json/white/search/eteams?page={}'.format(page),callback=self.detail_page,validate_cert=False)

最后一步，解析数据，数据爬取完毕，存放到 csv 文件里面

    @config(priority=2)
    def detail_page(self, response):
        doctors = response.json
        data = doctors["data"]["list"]
        return data
    
    def on_result(self,result):
        if result:
            print("正在存储数据....")
            data = pd.DataFrame(result)
            data.to_csv("专家数据.csv", mode='a', header=False, encoding='utf_8_sig')
       

完成的代码预览

回到主页面，此时看到任务列表显示了我们刚刚创建的任务，设置 status 为 running，然后点击 Run 按钮执行

执行完成后，点击 Results 按钮，进入到爬取结果的页面

等着就可以了

4. 微医挂号网专家团队数据----最后几步

1. Web UI 控制台上的 rate/burst 参数来调节速度，rate 是 每秒抓取的数量，burst 是并发的数量

1. pyspider 爬取完毕之后，你在点击run是不会在运行的。解决办法如下，停止 pyspider，找到下图的几个文件
   project.db 和 result.db 两个文件不要删除，删除其他文件即可。

写完啦~ 得到了 ·1000·多个专家团队。