1. 动态网站的获取，通常以下两种办法：
- 通过分析网站，找到对应数据的接口，模拟接口去获取需要的数据（一般也推荐这种方式，毕竟这种方式的效率最高），但是很多网站的接口隐藏的很深，或者接口的加密非常复杂，导致无法获取到它们的数据接口，此种方法很可能就行不通。
- 借助JS内核，将获取到的含有JS脚本的页面交由JS内核去渲染，最后将渲染后生成的HTML返回给Scrapy解析，Splash是Scrapy官方推荐的JS渲染引擎，它是使用Webkit开发的轻量级无界面浏览器，提供基于HTML接口的JS渲染服务。
在使用splash中，只需要scrapy_splash.SplashRequest替代scrapy.Request提交请求即可完成JS渲染
yield SplashRequest(self.url,
callback=self.parse,
endpoint='execute',#Splash服务接口，执行lua脚本
args={'lua_source':lua_script,#lua source
'images':0,#不显示图片
'wait':3},#等待时间
cache_args=['lua_source'])#缓存
Splash 可以通过 Lua 脚本执行一系列渲染操作，这样我们就可以用 Splash 来模拟浏览器的操作了，Splash Lua 基础语法如下：
function main(splash, args) # main()方法是入口，名称必须固定的，Splash默认调用这个方法
splash:go("http://www.baidu.com") # go()方法用于加载页面
splash:wait(0.5) # wait()方法用于等待指定的时间
local title = splash:evaljs("document.title") # evaljs()方法用于传入并执行JavaScript脚本，这里将执行结果赋值给title变量
return title # 返回title变量的值，结果是一个字符串："百度一下，你就知道"
end # 也可以以字典的形式返回，如 return {title=title} ，则结果为：title: "百度一下，你就知道"
selenium是浏览器测试自动化工具，很容易完成鼠标点击，翻页等动作，确定是一次只能加载一个页面，无法异步渲染页面，也就限制了selenium爬虫的抓取效率
splash可以实现异步渲染页面，可以同时渲染几个页面。缺点是在页面点击，，模拟登陆方面没有selenium灵活。
splash对象常用的属性和方法
- splash.args属性：用户传入参数的表，通过该属性可以访问用户传入的参数，如splash.args.url、splash.args.wait。
- splash.js_enabled属性：用于开启/禁止JavaScript渲染，默认为True。
- splash.images_enabled属性：用于开启/禁止图片加载，默认为True。
- splash:go方法：splash:go{url, baseurl=nil, headers=nil, http_method="GET", body= nil, formdata=nil}类似于在浏览器中打开某url地址的页面，页面所需资源会被加载，并进行JavaScript渲染，可以通过参数指定HTTP请求头部、请求方法、表单数据等。
- splash:wait方法：splash:wait{time, cancel_on_redirect=false, cancel_on_error=true}等待页面渲染，time参数为等待的秒数。
- splash:evajs方法：splash:evajs（snippet）在当前页面下，执行一段JavaScript代码，并返回最后一句表达式的值。
- splash:runjs方法：splash:runjs(snippet)在当前页面下，执行一段JavaScript代码，与evajs方法相比，该函数只执行Javasc代码，不返回值。
- splash:url方法：splash:url()获取当前页面的url。
- splash:html方法：splash:html()获取当前页面的HTML文本。
- splash:get_cookies方法：splash:get_cookies()获取全部Cookie信息
2. 模拟登录
一般而言，获取表单进行登录，或者利用cookie登录。
post_data = dict(
login="812******0@qq.com",
password="******",
authenticity_token=authenticity_token,
utf8=utf8,
commit=commit,
)
#表单请求
yield scrapy.FormRequest(
"https://github.com/session",
formdata=post_data,
callback=self.after_login
)
利用表单或加密登录可能会遇到验证码的问题，而使用cookie会面临时效性的问题。
一般突破反爬虫的方法：
（1）降低请求频率
（2）修改请求头
（3）禁用cookie
(4) 伪装成随机浏览器
(5)更换ip地址