selenium学习笔记

selenium主要解决浏览器中javascript渲染问题而存在的，有时我们爬取过来的网页内容与实际看到的内容是由差别的，这很有可能就是一些数据是由javascript渲染出来的，如何解决这个问题呢？这时可以引入selenium。

1、申明浏览器对象

from selenium import webdriver
browser=webdriver.Chrome() #使用的是谷歌浏览器

2、访问页面

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
print(browser.page_source)
browser.close()

3、查找元素

（1）单个元素

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
input1=browser.find_element_by_id('kw')
input2=browser.find_element_by_css_selector('#kw')
print(input1)
print(input2)



<selenium.webdriver.remote.webelement.WebElement (session="a6863d25dddac550ffb19510f845b387", element="0.9031221091084045-1")>
<selenium.webdriver.remote.webelement.WebElement (session="a6863d25dddac550ffb19510f845b387", element="0.9031221091084045-1")>

另外还有一些其它的查找方法：

find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

（2）多个元素

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.taobao.com')
li_list=browser.find_elements_by_css_selector('.service-bd li')
print(li_list)

得到的是一个列表，内部都是一个个的selenium.webdriver.remote.webelement.WebElement，对个元素的获取以单个元素获取方法无非就是把element变成elements。其方法如下：

find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

4、元素交互操作

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
input=browser.find_element_by_id("kw") #找到input框
input.send_keys('book')#给input框赋值
button=browser.find_element_by_id('su')#找到提交按钮
button.click()#点击提交按钮
input.clear()#清空input框中的内容
input.send_keys('car')
button.click()

详情查看：https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

5、执行javascript

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http:www.baidu.com')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')

6、获取元素信息

（1）获取元素属性

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http:www.baidu.com')
input=browser.find_element_by_id('kw') #获取input框元素
attr=input.get_attribute('name')#获取input框的name属性
print(attr)

（2）获取元素的文本值

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
a=browser.find_element_by_class_name('mnav')
print(a.text) #新闻

（3）获取ID、位置、标签名、大小

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
a=browser.find_element_by_class_name('mnav')
print(a.id) 
print(a.location)
print(a.tag_name)
print(a.size)



0.19765672261551392-1
{'x': 554, 'y': 19}
a
{'width': 26, 'height': 24}

7、等待

（1）隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0

from selenium import webdriver
browser=webdriver.Chrome()
browser.implicitly_wait(5)#设置时间
browser.get('http://www.baidu.com')
a=browser.find_element_by_class_name('mnav')
print(a)

（2）显式等待

显式等待提供比隐式等待更好的选项，因为它将等待动态加载的Ajax元素。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
wait = WebDriverWait(browser, 5)
input = wait.until(EC.presence_of_element_located((By.ID, 'kw')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#su')))
print(input, button)

title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')
visibility_of_element_located 元素可见，传入定位元组
visibility_of 可见，传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_present_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it frame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 元素可选择，传元素对象
element_located_to_be_selected 元素可选择，传入定位元组
element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
alert_is_present 是否出现Alert

详情查看：https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions

8、前进后退

from selenium import webdriver
import time
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
browser.back() #后退
time.sleep(2)
browser.forward()#前进

9、Cookies

from selenium import webdriver

browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
print(browser.get_cookies()) #获取cookie
browser.add_cookie({'name': 'name'}) #添加cookie
print(browser.get_cookies())
browser.delete_all_cookies() #删除cookie
print(browser.get_cookies())

10、选项卡管理

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.zhihu.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

11、异常处理

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.taobao.com')
except TimeoutException:
    print('请求超时')
try:
    browser.find_element_by_id('ghk')
except NoSuchElementException:
    print('该元素不存在')
finally:
    browser.close()


##该元素不存在