python爬虫之动态网页的加载selenium+chrome（phantonJS）

本篇依旧来自http://www.cnblogs.com/zhaof/p/6953241.html
个人只是做了一个笔记，方便相关信息的查找，具体可前往源文章。

from selenium import webdriver

browser = webdriver.Chrome()
——个人用的是Chrome，若不想显示界面可以用PhantomJS

对于PhantomJS：browser = webdriver.PhantomJS(executable_path="phantomjs.exe")
——可能是电脑太差的缘故，所以加入phantomjs.exe的路径，方便调用PhantomJS

页面访问：browser.get("http://www.baidu.com")
获取网页源码：browser.page_source
    注意：此时获取的源码是当前网页的源码，而不仅仅是右键点击查看源码中的源码

查找元素：
        find_element_by_name
        find_element_by_id
        find_element_by_xpath
        find_element_by_link_text
        find_element_by_partial_link_text
        find_element_by_tag_name
        find_element_by_class_name
        find_element_by_css_selector

        一般导入模块：from selenium.webdriver.common.by import By
        就可以这么查找：
            例如：input_first = browser.find_element(By.ID,"q")
查找多个元素：
    将上面的element换成elements即可
    注意：elements获取的是一个列表

一般情况遇到的动作：——对于交互动作不是很了解
    输入文字：
        input_str = browser.find_element_by_id('q')
        input_str.send_keys("MakBook pro")
    按钮：
        button = browser.find_element_by_class_name('btn-search')
        button.click()

执行JavaScript：
    这是一个非常有用的方法，这里就可以直接调用js方法来实现一些操作，
    下面的例子是通过登录知乎然后通过js翻到页面底部，并弹框提示
        from selenium import webdriver
        browser = webdriver.Chrome()
        browser.get("http://www.zhihu.com/explore")
        browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        browser.execute_script('alert("To Bottom")')

获取相关信息：
    获取元素属性
        get_attribute('class')
    获取文本值
        text
    获取ID，位置，标签名
        id
        location
        tag_name
        size

有关页面的操作：
    Frame
    在很多网页中都是有Frame标签，所以我们爬取数据的时候就涉及到切入到frame中以及切出来的问题，通过下面的例子演示
    这里常用的是switch_to.from()和switch_to.parent_frame()

对于等待：
    1）外界作用：time模块中的 time.sleep()
    2)使用webdriver的等待机制：
        1.隐式等待
        到了一定的时间发现元素还没有加载，则继续等待我们指定的时间，如果超过了我们指定的时间还没有加载就会抛出异常，
        如果没有需要等待的时候就已经加载完毕就会立即执行

        利用的是
            browser.implicitly_wait(10)

        2.显示等待
        指定一个等待条件，并且指定一个最长等待时间，会在这个时间内进行判断是否满足等待条件，如果成立就会立即返回，
        如果不成立，就会一直等待，直到等待你指定的最长等待时间，如果还是不满足，就会抛出异常，如果满足了就会正常返回

        利用的是：
            from selenium.webdriver.common.by import By
            from selenium.webdriver.support.ui import WebDriverWait
            from selenium.webdriver.support import expected_conditions as EC
            这三个模块的导入
            然后一般这么写：
            wait = WebDriverWait(browser, 10)———将这个方法简写，方便之后的调用
            input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
            button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))

                切记判断条件：
                    常用的判断条件：
                    title_is 标题是某内容
                    title_contains 标题包含某内容
                    presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')
                    visibility_of_element_located 元素可见，传入定位元组
                    visibility_of 可见，传入元素对象
                    presence_of_all_elements_located 所有元素加载出
                    text_to_be_present_in_element 某个元素文本包含某文字
                    text_to_be_present_in_element_value 某个元素值包含某文字
                    frame_to_be_available_and_switch_to_it frame加载并切换
                    invisibility_of_element_located 元素不可见
                    element_to_be_clickable 元素可点击
                    staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
                    element_to_be_selected 元素可选择，传元素对象
                    element_located_to_be_selected 元素可选择，传入定位元组
                    element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
                    element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
                    alert_is_present 是否出现Alert


浏览器的操作：
    browser.forward()  前进
    browser.close()  后退

cookie操作：
    get_cookies()
    delete_all_cookes()
    add_cookie()

选项卡管理：
    通过执行js命令实现新开选项卡window.open()
    不同的选项卡是存在列表里browser.window_handles
    通过browser.window_handles[0]就可以操作第一个选项卡