Python爬虫框架
-
安装Scrapy框架
1、命令行 conda install scrapy 2、PYcharm setting -> project interpreter -> + 号，搜索scrapy ,install
爬虫工作基本原理——数据采集
大数据数据采集有两种：
1、从网上爬取 crawling
2、从本地收集 scraping
流程步骤：
1、模拟浏览器发送请求 ： urllib，request，scrapy（框架）
2、获取浏览器的相应
3、解析响应内容 ： lxml ,beautifulsoup
4、存储所需数据 : CSV,JSON,RDBMS(pymysql)，Mongodb
=========================================================================
1、Request 的API
=========================================================================
1、发送请求
import requests as req
#发送请求,获取响应
reply=req.get("https://beijing.8684.cn/x_35b1e697")
2、获取响应
print(reply.content) #二进制的HTML ，用于xpath解析
print(reply.text) #字符HTML，用于正则解析
print(reply.status_code) #响应的状态码
============================================================================
2、lxml 的API
============================================================================
1.导包
from lxml import etree as et
2.解析HTML（二进制文件）
root=et.HTML(reply.content)
#XPATH语法
root.Xpath('//book').tag
3.demo
#request获取 + lxml解析
import requests as req
from lxml import etree as et
#发送请求,获取响应
reply=req.get("https://beijing.8684.cn/x_35b1e697")
#print(reply.content)
src=reply.content
root=et.HTML(src)
#非包装类，直接返回一个字符串型的列表list
print(root.xpath("//div[@class='bus_site_layer']/div/a/text()"))
Xpath语法
| 表达式 | 描述 |
|---|---|
| nodename | 选取的节点名 |
| / | 从根节点选取 |
| // | 选取所有符合条件的节点，而不考虑它们的位置 |
| . | 选取当前节点 |
| .. | 选取当前节点的父节点 |
| @ | 选取属性 |
| [@attrib] | 选取所有包含指定属性的节点 |
| [@attrib='value'] | 选取所有指定属性值为value的节点，也可以是其他逻辑运算符 |
| [tag] | 所有子节点包含指定节点名的节点 |
| [position] | 通过索引选取节点 |
| /方法名（） | 调用结点方法获取返回值list，不可直接在position后使用 |
| * | 匹配任何元素节点。 |
| @* | 匹配任何属性节点。 |
| node() | 匹配任何类型的节点。 |
| exp1|exp2 | 或，多条件选取 |
==========================================================================
3、 Scrapy 框架
=========================================================================
官方指定测试网址：http://quotes.toscrape.com/
创建一个爬虫工程
1、创建一个目录，cmd中cd到该目录，然后创建工程scrapy startproject $youprojectname
2、创建一个Spider爬虫文件，scrapy genspider $youspidername $start_url
start_url 不能加https
默认的parse（）方法是空
工程目录下的spider文件下生成$youspidername.py文件
导入到Pycharm 进行业务逻辑编写
3、启动爬虫spider :
cmd启动: scrapy crawl $youspidername
在py脚本中启动：
from scrapy.cmdline import execute
execute('scrapy crawl $youspidername'.split())
框架组成
-
spiders文件夹
- 定义爬虫文件
-
items.py
- 定义框架内数据传输格式
-
pipelines.py
- 数据保存模块
-
middlewares.py
- 中间件模块,代理服务
-
settings.py
- 框架配置模块
spider--> Scheduler --> downloader（middlewares） ->> spiders ->> itemPipeline
通过解析方法返回爬取页面数据
- parse()方法的response参数
- response对象常用属性和方法
- 返回都是Selector选择器类
| 属性或方法 | 作用 |
|---|---|
| url | 当前返回数据所对应的页面url |
| status | http请求状态码 |
| meta | 用于request与response之间的数据传递 |
| body | 返回页面html源码，如用纯正则表达式匹配数据需要获得页面html源码 |
| xpath() | 使用xpath选择器解析网页 |
| css() | 使用css选择器解析网页 |
关于选择器
有三种：
- xpath选择器 基于lxml库，用于选择XML文档中的节点的语言，可以与HTML一起使用
- css选择器 用于将样式应用于HTML文档的语言 将样式与特定的HTML元素相关联
- 正则表达式 提取非标签内容
关于提取器
获取选择器中的网页数据data
extract() 提取selector列表中的网页数据 如果列表为空，取下标为0的网页数据会抛出异常 extract_first() 提取selector列表中下标为0的网页数据 如果列表为空，不会抛出异常，返回none
业务模块spiders.demo
# -*- coding: utf-8 -*-
import scrapy
from scrapy.cmdline import execute
class FirstscSpider(scrapy.Spider):
name = 'firstsc'
allowed_domains = ['www.kgc.cn']
start_urls = ['http://www.kgc.cn/']
def parse(self, response):
print('---------------------')
res=response.xpath('//p[@class="orientation"]/text()')
for item in res:
print(item)
print('---------------------')
execute('scrapy crawl firstsc'.split()) #py脚本执行scrapy
关于反爬虫（User_Agent 和 Cookies）
设置用户代理模拟浏览器，步骤：
1、使用浏览器打开一个网页，进入控制台--->Network --> Header -->拷贝最底部USER_Agent的值
2、scrapy工程中找到setting.py ，查找USER_AGENT 属性，去掉注释，粘贴赋值
设置COOKIE保持登录状态
1、自己使用浏览器登陆网页，然后进入要爬取的域名，进入F12控制台-->network->Doc -->域名同名文件
2、在文件中找到RequestHeader ，复制
3、在scrapt框架的settings.py文件中找到DEFAULT_REQUEST_HEADERS属性，将复制的内容以json格式赋值给它
4、关于settings中的Cookies的设置规则：
- 当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie
- 当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie
- 当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie
Tips:这样做有一个缺点是，默认所有Request都会使用该Cookies。能不能
关于翻页爬取的管理
在parse方法中使用yield方法，根据获取的url生成Request类，并指定这个Request的回调方法
关于详情页的获取
即子页面的获取
核心功能： 生成器、回调函数、meta
生成器：通过yied语法生成多个Request，调用Schedular获取页面的响应，
回调函数：指定该Request的回调函数，即处理这个Request的方法
meta：指定Request与Response的映射字典，使回调函数的Response能够获得对应Request对象
关于数据保存
1、在item模块中定义数据结构的字段，在spider中进行赋值
#item的定义方式
name = scrapy.Field()
age = scrapy.Field()
#赋值方式
obj=$youspidername+Item()
obj['name']="huyang"
2、在pipeline模块中过滤处理并将数据存储到仓库
命令行模式：-o filename
IDE模式：在爬虫模块的回调方法中使用生成器yield返回一个item类的实例对象,在settings.py中设置FEED_FORMAT='CSV' FEED_URI='d:/python.csv'
保存到CSV
保存到MySQL
1、重写pipelins.py
import pymysql
class ScrapydemoPipeline(object):
# 定义构造器，初始化要写入的文件
def __init__(self):
self.db = pymysql.connect(host="192.168.137.137", user="root", passwd="rw", db="scrapy", port=3306,
charset='utf8')
self.cur = self.db.cursor()
# 重写close_spider回调方法，用于关闭数据库资源
def close_spider(self, spider):
print('----------关闭数据库资源-----------')
# 关闭游标
self.cur.close()
# 关闭连接
self.db.close()
def process_item(self, item, spider):
#SQL语句
sql = """
insert into bus_line_site(`name`,`dicts`,`sites`) values(%s,%s,%s)
"""
self.cur.execute(sql, (item['name'], item['dicts'], item['sites']))
self.db.commit()
2、setting.py中关于ITEM_PIPELINE属性去掉注释，然后添加FEED_EXPORT_ENCODING = 'utf-8'
3、设置MYSQL表和数据的字符集为utf8
4、回调函数中要使用yield返回一个item类的实例