问题
1.空气参数问题
2.代理速度慢
3.截图问题
分辨率
selenium
动作链
浏览器托管
规避检测
无头浏览器
phantomJS
谷歌无头
pyppteer
appnium：
基于手机app的自动化的模块
和爬虫之间的关联
模拟登陆
便捷的捕获到动态加载的数据
js解密
js混淆
对js核心代码进行加密
js逆向
将js代码转换成python代码
手动逆向
自动逆向：
PyExcelJS
scrapy框架
- 框架：就是一个具有很强的通用性且封装一些通用实现方法（功能）的一个项目模板。
- scrapy（异步）：
- 高性能的网络请求
- 数据解析
- 持久化存储
- 全站数据爬取
- 深度爬取
- 分布式
- 环境的安装
a. pip3 install wheel
b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install pywin32
e. pip3 install scrapy
- scrapy的基本使用
- 创建一个工程
- scrapy startproject proName
- cd proName
- 创建一个爬虫文件（py源文件）
- scrapy genspider spiderName www.xxx.com
- 基本的配置：settings.py
- UA伪装
- robots协议的不遵从
- 指定日志等级
- LOG_LEVEL = ‘ERROR’
- 执行工程
- scrapy crawl spiderName
- 数据解析
- response.xpath(‘xpath表达式’)
- 于etree的不同之处：
- 取文本/属性：返回的是一个Selector对象，文本数据是存储在该对象中,
可以调用extract()/extract_first()取出字符串数据 - 常用操作：
- 直接使用xpath返回列表调用extract()/extract_first()
- 如果列表元素只有一个则调用extract_first()，返回的字符串
- 如果列表元素为多个则调用extract()，返回的是列表，列表里装的是字符串
- 持久化存储
- 基于终端指令的持久化存储
- 只可以将parse方法的返回值存储到指定后缀（csv）文本文件中
- 指令：scrapy crawl spiderName -o filePath
- 基于管道的持久化存储
- 实现流程：
1.数据解析（爬虫文件）
2.在item类中定义相关的属性(items.py) - fieldName = scrapy.Field()
3.将解析的数据存储封装到item类型的对象中（爬虫文件） - item[‘fieldName’] = value #给item对象的fieldName属性赋值
4.将item对象提交给管道（爬虫文件） - yield item #只可以将item提交给优先级最高的管道
5.在管道中接收item，可以将item中存储的数据进行任意形式的持久化存储（pipelines.py） - process_item():负责接收item对象且对其进行持久化存储
6.在配置文件中开启管道机制 - ITEM_PIPELINES = {
300：表示的是优先级，数值越小优先级越高
‘duanziPro.pipelines.DuanziproPipeline’: 300,
} - 细节处理
- 管道文件中的管道类表示的是什么
- 一个管道类对应的就是一种存储形式
- 如果想要实现数据备份，则需要使用多个管道类（多种存储形式=》mysql/redis）
process_item中的return item：
- 将item传递给下一个即将被执行的管道类
手动get请求发送
yield scrapy.Request(url,callback)
url:指定好的请求的url
callback：callback指定的回调函数一定会被执行（数据解析）
post请求的发送：
yield scrapy.FormRequest(url,callback,formdata)
yield在scrapy中的使用
向管道提交item对象：yield item
手动请求发送：yield scrapy.Request(url,callback)
问题：如何将start_urls中的元素进行post请求的发送
重写start_requests方法
def start_requests(self):#父类方法
for url in self.start_urls:
发起get请求
yield scrapy.FormRequest(url=url,callback=self.parse,formdata)
scrapy的五大核心组件
引擎(Scrapy)
用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders)
爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。