scrapy异步的爬虫框架简单的使用

scrapy异步的爬虫框架

异步的爬虫框架

高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式
框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。
环境安装：
Linux：

  pip3 install scrapy

　　Windows：

  1. pip3 install wheel

  2. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

  3. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

  4. pip3 install pywin32

  5. pip3 install scrapy

基本使用
新建一个工程：

前提需要将Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl这个文件放在项目目录下
```
# 在终端中执行下面这个命令
scrapy startporject + “项目名”
```
- settings.py:当前工程的配置文件
- spiders：爬虫包，必须要存放一个或者多个爬虫文件（.py）
进入项目
```
# 在终端中执行
cd + 项目名
```

创建一个爬虫文件：

# 在终端中执行：
scrapy genspider spiderName www.xxx.com

# 命令解析：
scrapy genspider 爬虫文件名 url
# 这个url是必写的，不写无法创建文件，可以随意些，最后在文件中修改

执行工程：

# 在终端中执行下面的命令：
scrapy crawl spiderName

# 执行命令scrapy crawl 加爬虫文件名

在sttings文件中需要配置的：

settings.py:

- 不遵从robots协议
	如果选择不遵循robots协议的就修改文件中的
    ROBOTSTXT_OBEY = False   # 将True改为False
    
- UA伪装
	将UA伪装的数据加载文件中
    
- 指定日志输出的类型：
	将 LOG_LEVEL = 'ERROR' 添加到配置文件中

爬虫文件中：

# -*- coding: utf-8 -*-
import scrapy


class SecondSpidersSpider(scrapy.Spider):
    name = 'second_spiders'
    #允许的域名
    allowed_domains = ['www.123.com']
 
    #起始的url列表：列表元素只可以是url
    #作用：列表元素表示的url就会被进行请求发送
    start_urls = ['http://duanziwang.com/category/%E7%BB%8F%E5%85%B8%E6%AE%B5%E5%AD%90/']

    def parse(self, response):
        all_data = []
        article_list = response.xpath('/html/body/section/div/div/main/article')
        for article in article_list:
            # xpath在进行数据提取时，返回的不再是字符串而是一个Selector对象，想要的数据被包含在了该对象的data参数中

            title = article.xpath('./div[1]/h1/a/text()').extract_first()
            content = article.xpath('./div[2]//text()').extract()
            content = ''.join(content)
            dic = {
                'title': title,
                'content': content
            }
            all_data.append(dic)
        return all_data  # 将解析到的数据进行了返回

数据解析：
- 1.response.xpath('xpath表达式')
- 2.scrapy中的xpath解析，在进行数据提取的时候，xpath方法返回的列表中存储的不再是字符串，
  而是存储的Selector对象，相关的字符串数据是存储在Selector对象的data参数中，我们必须使用
  extract()/extract_first()进行字符串数据的提取
- extract()：可以作用到列表中的每一个列表元素中，返回的依然是一个列表
- extract_first()：只可以作用到列表中的第一个列表元素中，返回的是字符串
持久化存储
- 基于终端指令的持久化存储
  - 只可以将parse方法的返回值存储到指定后缀的文本文件中。
  - scrapy crawl spiderName -o ./duanzi.csv
- 基于管道的持久化存储