python环境搭建
https://www.runoob.com/python/python-install.html
pip下载安装:
pip3 install lxml：解析xml
pip3 install beautifulsoup4:解析html
pip3 install html5lib:解析html
pip3 install zope.interface:作为第三方扩展库,提供interface的实现(因为python本身不提供接口的实现)
pip3 install pyopenssl:
pip3 install selenium:相当于一个浏览器,用来抓动态页面
pip3 install wheel:用于Python扩展包的非官方Windows二进制文件
pip3 install twisted:
pip3 install Scrapy:爬虫框架,抓取静态页面
lxml -> zope.interface -> pyopenssl -> twisted -> scrapy