1.Selenium+Chrome的配置
from selenium import webdriver from selenium.webdriver.chrome.options import Options # 实例化对象 option = Options() # 配置无界面谷歌浏览器 # option.add_argument('--headless') # 启动开发者模式(关闭chrome控制) option.add_experimental_option("excludeSwitches", ["enable-automation"]) option.add_experimental_option("useAutomationExtension", 'False') # 调用谷歌浏览器 driver = webdriver.Chrome(r'E:\chromedriver\chromedriver.exe', options=option) # 发起请求 driver.get('https://www.baidu.com') #最大窗口化 # 注意：爬虫最好将窗口最大化后再进行抓取 # 原因：如果获取的数据如果在窗口中没有，可能会获取不到 driver.maximize_window()
注意：
1. selenium运行速度非常慢，如果不是特别需要，尽量不使用selenium
2. 使用selenium之后，尽可能不要使用selenium的提取数据的方法
3. selenium主要用于页面的请求
2.Selenium+PhantomJS（无界面浏览器）的组合使用
# 安装：pip install selenium # selenium的使用步骤： # 1. 导入webdriver import time from selenium import webdriver from selenium.webdriver.common.keys import Keys # 2. 调用浏览器 driver = webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe') # 3. 访问网址 driver.get(url='https://www.baidu.com/') # 4. 方法及属性 # 4.1 title 获取网页标题 # print(driver.title) # 4.2 current_url 获取当前请求的URL # print(driver.current_url) # 4.3 page_source 获取页面内容 # print(driver.page_source) # 4.4 get_cookies() 获取cookie # print(driver.get_cookies()) # 4.5 查找元素 # 4.5.1 根据id查找元素 # find_element_by_id('id值') # kw = driver.find_element_by_id('kw') # print(kw) # <selenium.webdriver.remote.webelement.WebElement (session="2362c650-d4bf-11eb-9f3d-0d52f2b7d981", element=":wdc:1624520297180")> # 4.5.2 根据class查找元素 # find_element_by_class_name('类名') 查找第一个符合类名的元素 # find_elements_by_class_name('类名') 返回列表，查找所有符合类名的元素 # s_ipt = driver.find_elements_by_class_name('s_ipt') # print(s_ipt) # [<selenium.webdriver.remote.webelement.WebElement (session="805f3fa0-d4bf-11eb-946f-7fab7674449d", element=":wdc:1624520453128")>] # s_ipt = driver.find_element_by_class_name('s_ipt') # print(s_ipt) # 4.5.3 根据xpath来查找元素 # find_element_by_xpath('xpath的路径') # find_elements_by_xpath('xpath的路径') # res = driver.find_element_by_xpath('//input[@id="kw"]') # print(res) # 4.6 text 获取标签之间的内容 # content = driver.find_element_by_id('s-top-left').text # content = driver.find_element_by_xpath('//div[@id="s-top-left"]').text # print(content) # 4.7 get_attribute('属性名') # print(driver.find_element_by_id('kw').get_attribute('class')) # 4.8 截图 # save_screenshot() # driver.save_screenshot('baidu.png') # 4.9 send_keys('输入的内容') # 步骤： # 1.先获取文本框 # 2.再输入内容 # driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫') # driver.save_screenshot('输入.png') # 4.10 click() 点击 # driver.find_element_by_id('su').click() # time.sleep(2) # driver.save_screenshot('点击.png') # 4.11 支持快捷键 driver.find_element_by_id('kw').send_keys('金所炫') driver.save_screenshot('全选之前.png') driver.find_element_by_id('kw').send_keys(Keys.CONTROL,'a') driver.save_screenshot('全选.png') driver.find_element_by_id('kw').send_keys(Keys.CONTROL,'x') driver.save_screenshot('剪切.png')
3.selenium反爬处理
浏览器能够识别当前操作是人为，还是selenium操作 ,如果window.navigator.webdriver=True时说明控制浏览器的是selenium，因此如何解决这个问题是反爬必要的一步。个人推荐方法2，它是封装好的可以绕过webdriver检测的js代码。js下载地址：https://files.cnblogs.com/files/Liu928011/stealth.min.js
from selenium import webdriver driver = webdriver.Chrome(executable_path=r'D:\chrome\chromedriver.exe')
# 方法1、处理selenium中webdriver特征值 # driver.execute_cdp_cmd( # 'Page.addScriptToEvaluateOnNewDocument', # { # 'source':'Object.defineProperty(navigator,"webdriver",{get:()=>undefined})' # } # ) # 方法2、读取js文件内容 with open('stealth.min.js','r',encoding='utf-8') as fp: content = fp.read() driver.execute_cdp_cmd( 'Page.addScriptToEvaluateOnNewDocument', { 'source':content } ) driver.get('https://www.baidu.com')
4.selenium应用过程中遇到的问题
1.IE浏览器中的SSL认证问题
# IE如果出现私密连接的提示，解决办法添加下面代码 driver.execute_script("javascript:document.getElementById('overridelink').click()")
2.如果driver.find_element_by_id('id名').click(),无效，解决办法，改用js单击
driver.execute_script("document.getElementById('id名').click()")