scrapy 基本命令

scrapy 基本命令

> 创建项目

    scrapy startprojct 项目名称      | 创建项目
    scrapy genspider 爬虫名+(网页)开始地址    | 创建爬虫
    scrapy  view 爬虫名  ？？？       | 预览页面
    scrapy crawl 爬虫名         | 运行爬虫

> 修改settings文件

    1、ROBOTSTXT_OBEY = False关闭表头的robots验证 ； 
    2、取消DEFAULT_REQUEST_HEADERS的注释，添加表头信息

> 检查

    1. scrapy shell 采集地址(网址)       | 用scrapy 的 shell运行(采集),(注：默认是先能保存到本地，在本地调试)
    2. response    | 检查状态
    3. response.body.decode("utf-8")   | 取出全部代码

> 开始解析