【Python3爬虫】selenium入门

  selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。

环境配置:

  1、Windows系统

  2、Python3.5(已经安装好pip

  3、Chrome浏览器(下载地址:https://pc.qq.com/detail/1/detail_2661.html

安装Selenium:

  推荐使用pip进行安装,代码如下:

pip install selenium

  安装好之后,可以在python命令行模式输入以下代码验证是否安装正确:

import selenium

安装Chromedriver:

  chromedriver版本和chrome版本的对应表如下:

chromedriver版本支持的Chrome版本
v2.40 v66-68
v2.39 v66-68
v2.38 v65-67
v2.37 v64-66
v2.36 v63-65
v2.35 v62-64
v2.34 v61-63
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32

附chromedriver下载链接:http://npm.taobao.org/mirrors/chromedriver/

 

基本使用:

  Selenium支持非常多的浏览器,如Chrome、Firefox、Edge等,还有Android、BlackBerry等手机端的浏览器。另外,也支持无界面浏览器PhantomJS。

  我们可以用以下方式进行初始化:

from selenium import webdriver

browser = webdriver.Chrome()

  我们可以用get()方法来请求网页,参数传入链接URL即可,例如:

browser.get("https://www.baidu.com/")

  我们的第一个代码是要打开chrome浏览器,然后跳转到百度首页,再打印出网页源码,具体代码如下:

1 from selenium import webdriver
2 
3 browser = webdriver.Chrome(
4     executable_path="C:\UsersAdministratorAppDataLocalGoogleChromeApplicationchromedriver.exe")
5 browser.get("https://www.baidu.com/")
6 print(browser.page_source)
7 browser.quit()

 

原文地址:https://www.cnblogs.com/TM0831/p/9410283.html