python爬蟲之動態網頁的加載selenium+chrome（phantonJS）

本篇依舊來自http://www.cnblogs.com/zhaof/p/6953241.html
個人只是做了一個筆記，方便相關信息的查找，具體可前往源文章。

from selenium import webdriver

browser = webdriver.Chrome()
——個人用的是Chrome，若不想顯示界面可以用PhantomJS

對於PhantomJS：browser = webdriver.PhantomJS(executable_path="phantomjs.exe")
——可能是電腦太差的緣故，所以加入phantomjs.exe的路徑，方便調用PhantomJS

頁面訪問：browser.get("http://www.baidu.com")
獲取網頁源碼：browser.page_source
    注意：此時獲取的源碼是當前網頁的源碼，而不僅僅是右鍵點擊查看源碼中的源碼

查找元素：
        find_element_by_name
        find_element_by_id
        find_element_by_xpath
        find_element_by_link_text
        find_element_by_partial_link_text
        find_element_by_tag_name
        find_element_by_class_name
        find_element_by_css_selector

        一般導入模塊：from selenium.webdriver.common.by import By
        就可以這么查找：
            例如：input_first = browser.find_element(By.ID,"q")
查找多個元素：
    將上面的element換成elements即可
    注意：elements獲取的是一個列表

一般情況遇到的動作：——對於交互動作不是很了解
    輸入文字：
        input_str = browser.find_element_by_id('q')
        input_str.send_keys("MakBook pro")
    按鈕：
        button = browser.find_element_by_class_name('btn-search')
        button.click()

執行JavaScript：
    這是一個非常有用的方法，這里就可以直接調用js方法來實現一些操作，
    下面的例子是通過登錄知乎然后通過js翻到頁面底部，並彈框提示
        from selenium import webdriver
        browser = webdriver.Chrome()
        browser.get("http://www.zhihu.com/explore")
        browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
 browser.execute_script('alert("To Bottom")')

獲取相關信息：
    獲取元素屬性
        get_attribute('class')
    獲取文本值
        text
    獲取ID，位置，標簽名
        id
        location
        tag_name
        size

有關頁面的操作：
    Frame
    在很多網頁中都是有Frame標簽，所以我們爬取數據的時候就涉及到切入到frame中以及切出來的問題，通過下面的例子演示
    這里常用的是switch_to.from()和switch_to.parent_frame()

對於等待：
    1）外界作用：time模塊中的 time.sleep()
    2)使用webdriver的等待機制：
        1.隱式等待
        到了一定的時間發現元素還沒有加載，則繼續等待我們指定的時間，如果超過了我們指定的時間還沒有加載就會拋出異常，
        如果沒有需要等待的時候就已經加載完畢就會立即執行

        利用的是
            browser.implicitly_wait(10)

        2.顯示等待
        指定一個等待條件，並且指定一個最長等待時間，會在這個時間內進行判斷是否滿足等待條件，如果成立就會立即返回，
        如果不成立，就會一直等待，直到等待你指定的最長等待時間，如果還是不滿足，就會拋出異常，如果滿足了就會正常返回

        利用的是：
            from selenium.webdriver.common.by import By
            from selenium.webdriver.support.ui import WebDriverWait
            from selenium.webdriver.support import expected_conditions as EC
            這三個模塊的導入
            然后一般這么寫：
            wait = WebDriverWait(browser, 10)———將這個方法簡寫，方便之后的調用
            input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
            button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))

                切記判斷條件：
                    常用的判斷條件：
                    title_is 標題是某內容
                    title_contains 標題包含某內容
                    presence_of_element_located 元素加載出，傳入定位元組，如(By.ID, 'p')
                    visibility_of_element_located 元素可見，傳入定位元組
                    visibility_of 可見，傳入元素對象
                    presence_of_all_elements_located 所有元素加載出
                    text_to_be_present_in_element 某個元素文本包含某文字
                    text_to_be_present_in_element_value 某個元素值包含某文字
                    frame_to_be_available_and_switch_to_it frame加載並切換
                    invisibility_of_element_located 元素不可見
                    element_to_be_clickable 元素可點擊
                    staleness_of 判斷一個元素是否仍在DOM，可判斷頁面是否已經刷新
                    element_to_be_selected 元素可選擇，傳元素對象
                    element_located_to_be_selected 元素可選擇，傳入定位元組
                    element_selection_state_to_be 傳入元素對象以及狀態，相等返回True，否則返回False
                    element_located_selection_state_to_be 傳入定位元組以及狀態，相等返回True，否則返回False
                    alert_is_present 是否出現Alert


瀏覽器的操作：
    browser.forward()  前進
    browser.close()  后退

cookie操作：
    get_cookies()
    delete_all_cookes()
    add_cookie()

選項卡管理：
    通過執行js命令實現新開選項卡window.open()
    不同的選項卡是存在列表里browser.window_handles
    通過browser.window_handles[0]就可以操作第一個選項卡