WebSocket握手验证反爬虫
!
作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据
Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 '实时' 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通常采用 拉 模式，由客户端主动从服务端拉取数据。
WebSocket 采用的是 推 模式，由服务端主动将数据推送给客户端，这种方式是真正的实时更新。
服务器端创建 socket 服务后监听客户端，使用 while True 的方式读取客户端发送的消息
然后对服务器端发送的握手请求进验证，如果验证通过，则返回状态码为 101 的响应头，否则返回状态码为 403 的响应头
客户端按照 WebSocket 规范生成握手信息并向服务器端发送握手请求，然后读取服务器端推送的消息，最后验证握手信息
服务器端和客户端实际上可以不遵守这些约定
比如服务器可以在校验握手信息是增加对客户端 User-Agent 或 Referer （请求头）的验证，如果客户端发送的握手请求中并没有对应的信息，则拒绝连接
WebSocket 消息校验反爬虫
握手成功之后，双端就可以开始互推消息了
WebSocket 只需要完成 1 次握手，就可以保持长期连接，在后续的消息互发阶段是不需要用到 HTTP 协议的
其实消息互发阶段也是可以对客户端身份进行校验的，这是因为客户端所获取的消息是有服务器端主动推动的
如果服务器端不主动推送，那么客户端就无法获取信息
可以在服务器端新增一个逻辑：握手结束后客户端发送特定的消息，服务器端对该消息进行校验，校验通过则将服务器端的数据推送给客户端，否则不做处理
如果我们将客户端发送的新消息修改为数据仓库中没有的键，那么服务器端就不会给客户端推送消息
爬取思路
这里以莱特币官网 http://www.laiteb.com/ 实时数据为例。WebSocket 的握手只发生一次，所以如果需要通过浏览器开发者工具观察网络请求，则需要在打开页面的情况下，打开浏览器开发者工具，定位到 NewWork 选项卡，并输入或刷新当前页面，才能观察到 WebSocket 的握手请求和数据传输情况。这里以 Chrome 浏览器为例
在开发者工具中提供了筛选功能，其中 WS 选项代表只显示 WebSocket 连接的网络请求。
这时候可以看到请求记录列表中有一条名为 realTime 的记录，鼠标左键点击它后，开发者工具会分为左右两栏，右侧列出本条请求记录的详细信息：
与 HTTP 请求不同的是，WebSocket 连接地址以 ws 或 wss 开头。连接成功的状态码不是 200，而是 101。
Headers 标签页记录的是 Request 和 Response 信息，而 Frames 标签页中记录的则是双方互传的数据，也是我们需要爬取的数据内容：
Frames 图中绿色箭头向上的数据是客户端发送给服务端的数据，橙色箭头向下的数据是服务端推送给客户端的数据。
从数据顺序中可以看到，客户端先发送：
{"action":"subscribe","args":["QuoteBin5m:14"]}
然后服务端才会推送信息(一直推送)：
{"group":"QuoteBin5m:14","data":[{"low":"55.42","high":"55.63","open":"55.42","close":"55.59","last_price":"55.59","avg_price":"55.5111587372932781077","volume":"40078","timestamp":1551941701,"rise_fall_rate":"0.0030674846625766871","rise_fall_value":"0.17","base_coin_volume":"400.78","quote_coin_volume":"22247.7621987324"}]}
所以，我们知道了从发起握手到获得数据的流程
那么，现在问题来了：
- 握手怎么弄？
- 连接保持怎么弄？
- 消息发送和接收怎么弄？
- 有什么库可以轻松实现吗？
aiowebsocket
Python 库中用于连接 WebSocket 的有很多，但是易用、稳定的有 websocket-client(非异步)、websockets(异步)、aiowebsocket（异步）。
可以根据项目需求选择三者之一，今天介绍的是异步 WebSocket 连接客户端 aiowebsocket
ReadMe中介绍到：
AioWebSocket是一个遵循 WebSocket 规范的 异步 WebSocket 客户端，相对于其他库它更轻、更快。
它的安装和其他库一样简单，使用 pip install aiowebsocket 即可。安装好后，我们可以根据 ReadMe 中提供的示例代码来测试
import asyncio
import logging
from datetime import datetime
from aiowebsocket.converses import AioWebSocket
async def startup(uri):
async with AioWebSocket(uri) as aws:
converse = aws.manipulator
message = b'AioWebSocket - Async WebSocket Client'
while True:
await converse.send(message)
print('{time}-Client send: {message}'
.format(time=datetime.now().strftime('%Y-%m-%d %H:%M:%S'), message=message))
mes = await converse.receive()
print('{time}-Client receive: {rec}'
.format(time=datetime.now().strftime('%Y-%m-%d %H:%M:%S'), rec=mes))
if __name__ == '__main__':
remote = 'wss://echo.websocket.org'
# remote = 'ws://echo.websocket.org'
try:
asyncio.get_event_loop().run_until_complete(startup(remote))
except KeyboardInterrupt as exc:
logging.info('Quit.')
可以打印出 send ：客户端向服务端发送的消息 recive 服务端向客户端推送的消息
从刚才的网络请求记录中，我们得知目标网站的 WebSocket 地址为：
wss://api.bbxapp.vip/v1/ifcontract/realTime,从地址中可以看出目标网站使用的是 wss，也就是 ws 的安全版，它们的关系跟 HTTP/HTTPS 一样。
aiowebsocket 会自动处理并识别 ssl，所以我们并不需要作额外的操作，只需要将目标地址赋值给连接 uri 即可
import asyncio
import logging
from datetime import datetime
from aiowebsocket.converses import AioWebSocket
async def startup(uri):
async with AioWebSocket(uri) as aws:
converse = aws.manipulator
message = b'{"action":"subscribe","args":["QuoteBin5m:14"]}'
while True:
await converse.send(message)
# print('{time}-Client send: {message}'
# .format(time=datetime.now().strftime('%Y-%m-%d %H:%M:%S'), message=message))
mes = await converse.receive()
print('{time}-Client receive: {rec}'
.format(time=datetime.now().strftime('%Y-%m-%d %H:%M:%S'), rec=mes))
if __name__ == '__main__':
remote = 'wss://api.bbxapp.vip/v1/ifcontract/realTime'
# remote = 'ws://echo.websocket.org'
try:
asyncio.get_event_loop().run_until_complete(startup(remote))
except KeyboardInterrupt as exc:
logging.info('Quit.')
代码不长，使用的时候只需要将目标网站 WebSocket 地址填入，然后按照流程发送数据即可，那么 aiowebsocket 在这个过程中做了什么呢？
-
首先，aiowebsocket 根据 WebSocket 地址，向指定的服务端发送握手请求，并校验握手结果。
-
然后，在确认握手成功后，将数据发送给服务端。
-
整个过程中为了保持连接不断开，aiowebsocket 会自动与服务端响应 ping pong。
-
最后，aiowebsocket 读取服务端推送的消息
参考链接：https://blog.csdn.net/sinat_38682860/article/details/88534192
WebSocket Ping 反爬虫
通过刚才我们知道，WebSocket 是可以保持长期连接的，但是服务器端不可能保持所有客户端永久连接这太耗费资源了，
有没有一种方法可以检查客户端的状态呢？
WebSocket 协议规范中约定，服务器端可以向客户端发送 Ping 帧，当客户端收到 Ping 帧时应当回复 Pong 帧
如果客户端不回复或者回复的并不是 Pong 帧，那么服务器端就可以人为客户端异常，主动关闭该连接
通常，Ping 帧和 Pong 帧的 Plyload Data 中是没有内容的，所以只要目标服务器发送 Ping 帧时，客户端回复没有任何内容的 Pong 帧即可
总结
信息校验主要解决了客户端身份鉴别、数据来源判断和请求的合法性判断等问题，避免数据接收者使用被篡改过得数据，保证数据的有效性
无论是 HTTP 协议还是 WebSocket 协议，都需要对客户端身份进行鉴别，信息校验无疑是最合适的方法
WebSocket 反爬虫的产生跟协议规范有很大的关联，由于协议中的一些规范并不是强制实现的，所以开发者可以在服务器端与客户端握手和消息互传的过程叫做验证