PYTHON网络爬虫与信息提取[scrapy框架应用](单元十、十一)

scrapy 常用命令

startproject 创建一个新的工程 scrapy startproject <name>[dir]

genspider 创建一个爬虫 scrapy genspider [options]<name><domain>

settings 　　获得爬虫的配置信息scrapy settings [options]

crawl 运行一个爬虫　　　 scrapy crawl <spider>

list 　　　　列出工程中所有爬虫 scrapy list

shell 启动URL调试命令行 scrapy shell[url]

一个工程是一个最大的单元，一个project 中，可以有多可 spider模块

命令行逻辑

修改后的spider

# -*- coding: utf-8 -*-
import scrapy

# 这里有继承关系,scrapy.Spider

class DemoSpider(scrapy.Spider):
    name = "demo"
    #allowed_domains = ["python123.io"]
　　
    start_urls = ['http://python123.io/ws/demo.html']
    #面向对象中类所属方法的标记
    def parse(self, response):
        fname=response.url.split('/')[-1]
        with open(fname,"wb") as f:
            f.write(response.body)
        self.log("Saved file %s."%fname)

def parse 中是解析网站内容的解析方法

url_strat 启动的时候初始的页面

start_requests(self):

　　这个作为一个生成器，对他的调用每次返回一个url连接

爬虫的使用步骤

1.创建一个工程与spider 模板

2. 编写Spider

3.编写Item Pipeline

4.优化配置策略

基本类

Request 表示一个Request // 一个http请求

由spider 生成由download 执行

有几个属性或方法

.url

.method GET POST

.headers 字典类型的请求头

.body 请求内容的啊主题

.meta 用户添加的信息为，再scrapy内部中使用

.copy() 复制该请求

Response

.url 返回信息关联的url

.statys 表示返回状态吗

.header response 对应的头部信息

.body response 对应的内容信息

.flags 对应的标记

.request 对应的request 方法

.copy() 复制该响应

Item

由Spider 生成，由

类字典类型，可以按照字典类型使用

风转正字典键值对

支持多种HTML 提取方法

Beatutiful Soup

lxml

XPath Seletor

css Seletor

<HTML>.css("a::attr(hred)").extract()

　　　　标签名称标签属性