HTTPS是以安全为目标的HTTP通道,安全基础是SSL,传输的内容全部是由SSL加密的,某些网站使用HTTPS协议,但仍然会被浏览器提示不安全,是因为有些网站的CA证书不是被CA机构信任的,如果要爬取这样的站点,就要设置忽略证书的选项
请求头:
Accept:请求报头域,用于指定客户端可接受那些类型的信息
Accept-Language:指定客户端可接受的语言类型.
Accept-Encoding:指定客户端可接受的内容编码
Host:用于指定请求资源的主机IP和端口号,其内容为请求URL的原始服务器或网关的位置
Cookie:是网站用于辨别用户进行会话跟踪而存储在用户本地的数据
Referer:此内容用来标识这个请求是从哪个页面发过来的
User-Agent:简称UA,是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本,浏览器及其版本信息,爬虫需要加上此信息
Content-Type:也叫互联网媒体类型,或者MIME类型,在HTTP协议消息头中,它用来表示具体请求的媒体类型信息
响应头:
Date:标识响应产生的时间
Last-Modified:指定资源的最后修改时间
Content-Encoding:指定响应内容的编码
Server:包含服务器的信息,比如名称,版本号等
Content-Type:文档类型,指定返回的数据类型是什么
Set-Cookie:设置Cookies,响应头中的Set-Cookie告诉浏览器需要将此内容放在Cookies中下次请求携带Cookies请求.
Expires:指定响应的过期时间,可以使代理服务器或浏览器将加载的内容更新到缓存中
HTML定义了网页的内容和结构,CSS描述了网页的布局,JavaScript定义了网页的行为
有时候我们在使用urllib或requests抓取网页时,得到的源代码实际和浏览器中看到的不一样,这是因为网页越来越多的采用Ajax,前端模块化工具来构建,整个网页可能都是由JavaScript渲染出来的
HTTP的无状态是指HTTP协议对事物处理是没有记忆能力的,会话和Cookies用于保持HTTP连接状态的技术.会话在服务器保存用户的会话信息,Cookies在客户端保持信息,服务器通过识别Cookies鉴定那个用户
文件上传:
import requests
files={'file':open('favicon.ico','rb')}
r = requests.post('http:wwwcsb.com',files=files)
会话维持:
在requests中,如果直接利用get()和post()等方法的确可以做到模拟网页的请求,但是这实际上相当于两个不同的会话,类似于使用两个浏览器打开了不同的页面
利用Session,可以做到模拟同一个会话而不担心Cookies的问题,通常用于模拟登陆成功之后再进行下一步的操作
SSL证书验证:
当发送HTTP请求时,他会检查SSL证书,通过使用verify参数控制是否检查此证书,默认值为True,
import requests
response=requests.get('https://www.12306.cn',verify=False)
这时请求成功会发现警告,建议我们给他指定证书,我们可以通过设置忽略警告的方式来屏蔽这个警告
from requests.packages import urllib3
urllib3.disable_warning()....
代理设置:
设置代理使用proxies参数
proxies={"http":"http://10.10.1.10:3128","https":"http://10.10.1.10:1080"}
requests.get("https://www.taobao.com",proxies=proxies)
若代理需要使用HTTP Basic Auth,可以使用类似http://user:password@host:port这样的语法设置代理
proxies={"http":"http://user:password@10.10.1.10:3128/"}
除了基本的HTTP代理外,requests还支持SOCKS协议的代理
需要安装socks库: pip3 install 'requests[socks]'
proxies={'http:'socks5://user:password@host:port','https':'socks5://user:password@host:port'}
超时设置:
设置超时时间需要使用timeout参数,
r = requests.get("https://www.taobao.com",timeout=1)
将超时时间设置为1秒.若1秒内没有响应就将抛出异常,实际上,请求分为两个阶段,连接与读取,timeout作用连接和读取的时间总和永久登台设置为None,默认为None
身份认证
访问网站遇到认证页面可以使用requests自带的身份认证功能
from requests.auth import HTTPBasicAuth
r = requests.get('http://loaclhost:5000',auth=HTTPBasicAuth('username','password'))
requests提供了更简单的写法直接传入一个元组,就会默认使用HTTPBasicAuth这个类来认证
r = requests.get('http://localhost:5000',auth=('username','password'))
Prepared Request
将请求表示为数据结构,各个参数可以通过Request对象表示
from requests import Request,Sesson
url = 'http://httpin.org/post'
data={'name':'germey'}
hedaders={'User-Agent':'Mozilla;Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
s =Session()
req = Request('POST',url,data=data,headers=headers)
preppd=s.prepare_request(req)
r = s.send(prepped) ------r.text
这里引入了Request,然后用url,data和headers参数构造了一个Request对象,这是需要再调用Session的prepare_request()方法将其转换为一个Prepared Request对象,然后再调用send()方法发送即可,可以达到同样的post请求,
有了Request对象,就可以将请求当做独立的对象来看待,这样在进行队列调度时十分方便,后面将用它来构造一个Request队列
正则表达式:
match()
第一个参数传入正则表达式,第二个参数传入了要匹配的字符串
result = re.match('^sd+',content)
group方法可以输出匹配的内容,span()方法可以输出在原字符串的范围
贪婪匹配匹配尽可能多的字符非贪婪匹配匹配尽可能少的字符
re.I:使匹配对大小写不感兴趣
re.S:使.匹配包括换行在内的所有字符
可以使用转义匹配匹配非正常字符串
match()方法从头开始匹配,不符合就匹配失败
search()
返回第一个匹配成功的结果
findall()
查找所有符合的结果,返回的是字符串
sub():
修改文本,cotent = re.sub('d+','',content),
第一个参数为匹配的正则表达式,第二个参数为替换成的字符串,第三个参数为原字符串
compile():
可以将正则表达式编译成正则表达式对象,以便在后面的匹配中复用
pattern = re.compile('d+:d+')
result = re.sub(pattern,'',content)
注意不要在Elements中直接查看源码,那里的源码可能经过JavaSCript操作而与原始请求不同,需要从Network选项卡部分查看原始请求得到的源码
xpath解析器
/ 从当前节点选取直接子节点
//从当前节点选取子孙节点
.选取当前节点
..选取当前节点的父节点 parent::*同样是父节点
@选取属性
result = html.xpath('//li[@class='sb']')进行属性匹配
text()方法用于获取文本
/text()获取文本,//text()获取子孙节点所有文本
属性获取:result=html.xpaht('//li/a/@href')返回值为列表类型
ancestor::*可以获取所有祖先节点
attribute::*可以获取所有属性值
child::* 可以获取所有直接子节点
descendant::*获取所有子孙节点
following::*获取所有当前节点之后的节点,
following-sibling::*获取当前节点之后的所有同级节点
Beautiful Soup
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为UTF-8编码
基本用法:
soup = BeautifulSoup(html,'lxml')
soup.title.string
其中html是一个HTML字符串,第二个参数为解析器类型,
prettify()可以将要解析的字符串以标准的缩进格式输出,soup.title.string获取title节点的文本内容***且只能获取到第一个节点
提取节点信息
string属性用于获取文本的值,
name属性获取节点的名称
attrs可以获取所有属性,返回值为字典,
attrs['name']用于获取name属性
contents属性得到的结果是直接子节点的列表
child属性返回的结果是生成器类型,
descendants属性得到所有子孙节点返回结果是生成器
parent获取某个元素的父节点
parents得到所有该节点的祖先节点,返回结果是生成器类型
next_sibling和previous_sibling分别获取节点的下一个和上一个兄弟元素
next_siblings和previous_siblings分别返回后面的和前面的所有兄弟节点
Pyquery
from pyquery import PyQuery as pq
doc=pq(html)
print(doc('li'))
也可以使用doc = pq(url='https://www.baidu.com')
这样PyQuery对象会首先请求这个URL,然后用得到的HTML内容完成初始化
也可以使用doc=pq(filename='sb.html')将读取本地的文件内容,然后以字符串的形式传递给PyQuery类来初始化
Ajax数据爬取
渲染网页:比如通过document.getElementById('sb').innerHTML=xmlhttp.responseText,就可以更换数据
Ajax其实有其特殊的请求类型,他叫做xhr,就是Ajax请求,
模拟Ajax请求需要在请求头中加入参数'X-Requestes-With':'XMLHttpRequest'
若爬取一个网站,返回的html文本并没有页面中渲染的数据,需要查看ajax请求,查看返回值的data数据是否包含,
动态渲染页面爬取:
我们可以直接使用模拟浏览器运行的方式来实现可见即可爬
Selenium:
访问页面:
from selenium import webdriver
browser=webdriver.Chrome()
browser.get('https://www.taobao.com')
print(broweser.page_source)
节点交互:
Selenium可以驱动浏览器来执行一些操作,也就是说可以让浏览器模拟执行一些动作,常见的有:
输入文字时:send_keys(),清空文字时:clear(),点击按钮时用click()方法:示例如下:
input= browser.find_element_by_id('sb')
input.send_keys('sb')
input.clear()
button=browser.find_element_by_class_name('btn')
button.click()
切换到具体框架switch_to.frame('name')
执行JavaScript:
可以通过使用execute_script()方法实现
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert('To Bottom!')')
获取属性值:(标签为logo):logo.get_attribute('class')参数为属性名,得到的就是属性值
获取文本值:logo.text
id获取节点id,location获取该节点在页面中的相对位置,tag_name属性可以获取标签名称,size属性可以获取节点的大小,也就是宽高
延时等待
隐士等待:当使用隐士等待执行测试时,如果Selenium没有在DOM中找到节点,将继续等待,超出设定时间后,则抛出找不到节点的异常,
browser = webdriver.Chrome()
browser.implicitly_wait(10)
显示等待
指定要查找的节点,制定一个最长等待时间,若果规定时间内加载出来了这个节点,就返回,若没有则抛出异常示例如下:
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('http://www.taobao.com/')
wait=WebDriverWait(browser,10)
input=wait.until(EC.presence_of_element_located((By.ID,'sb')))
button=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'.btn-search')))
前进和后退
使用back()方法后退,使用forward()方法前进
Cookies:
使用Selenium,可以方便的对Cookies进行操作,例如获取删除,添加Cookies等,示例如下:
browser=webdriver.Chrome()
browser.get('http://www.zhihu.com/explore')
browser.get_cookies()
browser.add_cookie({'name':'sb'})
browser.delete_all_cookies()
选项卡管理:
browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.witch_to_window(browser.window_handles[1])
图形验证码的识别:
识别最简单的图形验证码:
import tesserocr
from PIL import Image
image = Image.open('code.jpg')
result = tesserocr.image_to_text(image)
print(result)
在这里我们新建了一个Image对象,调用了tesserocr的image_to_text()方法,传入该Image对象,即可完成识别,
另外还有一种更简单的方法,这个方法可以直接将图片文件转为字符串
print(tesserocr.file_to_text('image.jpg'))但是识别效果不如上一种
在遇到验证码内有多余线条干扰了图片的识别,对于这种情况需要做额外的处理,如转灰度,二值化等操作
可以利用Image对象的convert()方法参数传入L,即可将图像转化为灰度图像,代码如下,
image = image.convert('L')
image.show()
传入1即可将图片先转为灰度图像,然后再指定二值化阈值,代码如下:
image= image.convert('1')
image.show()
还可以指定二值化的阈值,上面采用的方法默认是阈值127,我们不能直接转化原图,要将原图先转为灰度图像,然后在指定二值化阈值,代码如下:
image= image.convert('L')
threshold = 80
table =[]
for i in range(256):
if i <threshold:
table.append(0)
else:
table.append(1)
image = image.point(table,'1')
image.show()
在这里变量threshold代表二值化阈值,阈值设定为80,
这时重新识别验证码:result = terrerocr.image_to_text(image)
针对一些有干扰的图片,我们做一些灰度和二值化处理,会提高图片的识别率
代理池:
requests代理设置:我们只需要传入proxies参数即可
proxy = '127.0.0.1:9743'
proxies={'http':'http://'+proxy,'https':'https://'+proxy',}
try:
response = requests.get('http://httpbin.org/get',proxies=proxies)
print(response.text)
如果代理需要认证,需要在代理的前面加上用户名密码即可
proxy = 'username:password@127.0.0.1:9743'
如果需要使用SOCKS5代理,则可以使用如下方式来设置:
proxies={'http':'socks5://'+proxy,'https':'socks5://'+proxy}
在这里需要额外安装一个模块,这个模块是requests[socks]
Selenium设置代理
示例如下
from selenium import webdriver
proxy = '127.0.0.1:9743'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://'+proxy)
browser=webdriver.Chrome(chrome_options=chrome_options)
认证代理实在麻烦不要用
Pyspider
如果要快速实现一个页面的抓取,推荐使用pyspider,开发更加便捷,如快速抓取某个普通新闻网站的新闻内容,如果要应对反爬程度很强,超大规模的抓取,推荐使用Scrapy,如抓取IP,封账号,高频验证的网站的大规模数据采集