selenium

• selenium

利用浏览器原生的API，封装成一套更加面向对象的Selenium WebDriver API，直接操作浏览器页面里的元素，甚至操作浏览器本身（截屏，窗口大小，启动，关闭，安装插件，配置证书之类的）


提取数据
driver对象 driver管理了所有东西

from selenium import webdriver
driver = webdriver.Chrome('./chromedriver')
driver.get('http://www.xxxx.cn/')

ret = driver.find_elements_by_tag_name('h2')
print(ret[0].text) # 用的是find_elements，返回的是一个列表，从列表中取第一个值，调用text属性，取到数据

ret = driver.find_elements_by_link_text('xxxxx')
print(ret[0].get_attribute('href'))#取到href对应的值

driver.quit()

from selenium import webdriver

options = webdriver.ChromeOptions() # 创建一个配置对象
options.add_argument("--headless") # 开启无界面模式
options.add_argument("--disable-gpu") # 禁用gpu

# options.set_headles() # 无界面模式的另外一种开启方式
driver = webdriver.Chrome(chrome_options=options) # 实例化带有配置的driver对象

driver.get('http://www.xxxx.cn')
print(driver.title)
driver.quit()


from selenium import webdriver

options = webdriver.ChromeOptions() # 创建一个配置对象
options.add_argument('--proxy-server=http://202.20.16.82:9527') # 使用代理ip

driver = webdriver.Chrome(chrome_options=options) # 实例化带有配置的driver对象

driver.get('http://www.xxxx.cn')
print(driver.title)
driver.quit()


from selenium import webdriver

options = webdriver.ChromeOptions() # 创建一个配置对象
options.add_argument('--user-agent=Mozilla/5.0 HAHA') # 替换User-Agent

driver = webdriver.Chrome('./chromedriver', chrome_options=options)

driver.get('http://www.xxxx.cn')
print(driver.title)
driver.quit()

其他方法

import time
from selenium import webdriver

driver = webdriver.Chrome()

url = 'https://mail.qq.com/cgi-bin/loginpage'
driver.get(url)
time.sleep(2)

login_frame = driver.find_element_by_id('login_frame') # 根据id定位 frame元素
driver.switch_to.frame(login_frame) # 转向到该frame中

driver.find_element_by_xpath('//*[@id="u"]').send_keys('1596930226@qq.com')
time.sleep(2)

driver.find_element_by_xpath('//*[@id="p"]').send_keys('hahamimashicuode')
time.sleep(2)

driver.find_element_by_xpath('//*[@id="login_button"]').click()
time.sleep(2)

"""操作frame外边的元素需要切换出去"""
windows = driver.window_handles
driver.switch_to.window(windows[0])

content = driver.find_element_by_class_name('login_pictures_title').text
print(content)

driver.quit()

import time
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("http://www.xxxx.cn/")
time.sleep(1)

#scrollTo(x,y) xy轴的像素。左上角为0，0点，右增，下增
js = 'window.scrollTo(0,document.body.scrollHeight)'# js语句 实现屏幕的滚动

driver.execute_script(js) # 执行js的方法

time.sleep(5)
driver.quit()

from selenium import webdriver  
from selenium.webdriver.support.wait import WebDriverWait  
from selenium.webdriver.support import expected_conditions as EC  
from selenium.webdriver.common.by import By  

driver = webdriver.Chrome('./chromedriver')  
driver.get('https://www.google.com')
# 显式等待
WebDriverWait(driver, 20, 0.5).until(
    EC.presence_of_element_located((By.LINK_TEXT, 'CSDN')))  
# 参数20表示最长等待20秒
# 参数0.5表示0.5秒检查一次规定的标签是否存在
# EC.presence_of_element_located((By.LINK_TEXT, 'CSDN')) 表示通过链接文本内容定位标签
# 每0.5秒一次检查，通过链接文本内容定位标签是否存在，如果存在就向下继续执行；如果不存在，直到20秒上限就抛出异常
print(driver.find_element_by_link_text('CSDN').get_attribute('href'))
driver.quit()