scrapy命令

创建scrapy项目

scrapy startproject myStestSpider #（项目名称）

创建爬虫文件
进入spiders文件夹

scrapy genspider myStestSpider "domain"

运行爬虫

scrapy crawl myStestSpider

不打印Debug信息

scrapy crawl spider1Project -L WARNING

Request类

爬取普通网站，不需要验证码，不需要登入的界面，我们一般用scrapy.Request类直接去爬取信息

FormRequest

模拟表单或Ajax提交post请求的时候用，带有 formdata 方法，专门用来设置表单字段数据，即填写账号、密码，实现登入，默认method也是POST。
FormRequest相当于是手动指定post
scrapy.FormRequest 同等于 scrapy.http.FormRequest

Request的重要参数

Request中的主要参数：

# url是要爬取的网址
# callback是回调函数
# method是请求的方式post还是get
# headers是浏览器伪装的头信息
# formdata表单提交的数据(FormRequest类扩展的方法)
# body是网页源代码信息
# cookies是登入某网站后，网站在你电脑上保留的信息
# meta要携带或者传递的信息 自定义，向response传递数据
# encoding是编码方式
# priority用来设置访问网站的优先级
# dont_filter是否允许重复爬取网站
# errback（callback） 在发生错误的时候执行的函数。

Response的重要参数

Response只是一个基类，根据响应内容的不同有如下子类：

TextResponse
HtmlResponse
XmlResponse

HtmlResponse 对象的属性及方法
- url
  HTTP 响应的url地址，str 类型。
- status
  HTTP 响应的状态码，int 类型。
- headers
  HTTP 响应的头部，dict 类型。可以调用get或getlist方法对其进行访问。
- body
  HTTP 响应正文，bytes 类型。
- text
  文本形式的HTTP响应正文，str 类型，它是由 response.body 使用 response.encoding 解码得到的。
  response.text = response.body.decode(response.encoding)
- encoding
  HTTP 响应正文的编码，它的值可能是从HTTP响应头部或正文中解析出来的
- request
  产生该HTTP 响应的Request对象。
- meta
  即 response.request.meta, 在构造 Request对象时，可将要传递给响应处理函数的信息通过meta参数传入；响应处理函数处理响应时，通过response.meta 将信息取出。
- selector
  Selector 对象用于在Response 中提取数据。
- xpath(query)
  使用XPath选择器在Response中提取数据；它是 response.selector.xpath 方法的快捷方式。
- css(query)
  使用 CSS选择器在Response中提取数据；它是 response.selector.css方法的快捷方式。
- urljoin (url)
  用于构造绝对 url 。当传入的url参数是一个相对地址时，根据response.url 计算出相应的绝对 url。