selenium页面搜索批量抓取

  selenium页面搜索批量抓取:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait #等待一个元素加载完成
from selenium.webdriver.support import expected_conditions as EC
import time

driver=webdriver.Chrome()  #配置参数
driver.get("https://www.baidu.com")
driver.implicitly_wait(10)   #控制操作的时间,在10秒之内,如果元素出现,就继续执行,元素没有出现最多10秒
driver.find_element_by_id("kw").send_keys(u"python 培训")

#注意 这里批量抓取  elements     加了s,不加会报错  可理解为发现多个元素 s为复数
texts=driver.find_elements_by_xpath("//div/h3/a")
for text in texts:
    print(text.text)

time.sleep(20)
driver.close()
原文地址:https://www.cnblogs.com/my-global/p/12467561.html