python实现定位网页元素

功能：访问某个页面，然后根据css选择器去定位页面上的元素，最后判断页面上元素的个数与预期是否相符

代码实现：

会用到requests-html库

from requests_html import HTMLSession
DEBUG = True


css_selector='.thumbnail-img'
url='http://www.itest.info'

session = HTMLSession()
result = session.get(url)

elements = result.html.find(css_selector) #css_selector是html中class的值

def debug():
  if DEBUG:
    print('*' * 100)
    print("css选择器: "+css_selector, "共找到"+str(len(elements))+"个元素\n")
    print(elements[1].html) #打印指定的元素
    for element in elements:
          print(element.html)
          print(element.attrs)
          print()


if len(elements) != 4:
  print("失败! 预期4个元素，实际存在"+str(len(elements))+"个元素")
  debug()
else:
  print("成功!\n")
  debug()

requests-html库的基本使用参考这里