前言: 有時候通過元素的屬性的查找頁面上的某個元素,可能不太好找,這時候可以從源碼中爬出想要的信息。selenium的page_source方法可以獲取到頁面源碼。 本次以博客園為例,先爬取頁面源碼,通過re正則表達式爬取出url,再進行篩選出http 協議的 url -- 用if做判斷 ...
前言 有時候通過元素的屬性的查找頁面上的某個元素,可能不太好找,這時候可以從源碼中爬出想要的信息。selenium的page source方法可以獲取到頁面源碼。 selenium的page source方法很少有人用到,小編最近看api不小心發現這個方法,於是突發奇想,這里結合python的re模塊用正則表達式爬出頁面上所有的url地址,可以批量請求頁面url地址,看是否存在 等異常 一 pag ...
2017-03-06 23:30 8 19353 推薦指數:
前言: 有時候通過元素的屬性的查找頁面上的某個元素,可能不太好找,這時候可以從源碼中爬出想要的信息。selenium的page_source方法可以獲取到頁面源碼。 本次以博客園為例,先爬取頁面源碼,通過re正則表達式爬取出url,再進行篩選出http 協議的 url -- 用if做判斷 ...
前言 有些接口請求頭部帶上X-Requested-With:XMLHttpRequest ,返回數據是 json 。如果頭部不加這個參數,返回數據是普通 html 文本。 這種頭部帶上X-Reque ...
前言 大部分人在使用selenium定位元素時,用的是xpath定位,因為xpath基本能解決定位的需求。css定位往往被忽略掉了,其實css定位也有它的價值,css定位更快,語法更簡潔。這一篇css的定位方法,主要是對比上一篇的xpath來的,基本上xpath能完成的,css也可以做到。兩篇 ...
前言 最近看到群里有小伙伴貼出一組面試題,最近又是跳槽黃金季節,小編忍不住抽出一點時間總結了下, 回答不妥的地方歡迎各位高手拍磚指點。 一、selenium中如何判斷元素是否存在? 首先selenium里面是沒有這個方法的,判斷元素存在需要自己寫一個 ...
環境准備 1.安裝ddt模塊,打開cmd輸入pip install ddt在線安裝 數據驅動原理 1.測試數據為多個字典的list類型 2.測試類前加修飾@ddt.ddt 3.case前加修飾@ddt.data() 4.運行后用例會自動加載成三個單獨的用例 # coding ...
前言 在寫腳本之前,先要找個順手的寫腳本工具。python是一門解釋性編程語言,所以一般把寫python的工具叫解釋器。寫python腳本的工具很多,小編這里就不一一列舉的,只要自己用着順手就可以的,如果你還沒有選好解釋器,小編這里推薦pycharm。 在安裝 ...
一、認識select 1.打開百度-設置-搜索設置界面,如下圖所示 2.箭頭所指位置,就是select選項框,打開頁面元素定位,下方紅色框框區域,可以看到select標簽屬性: <select id="nr" name="NR"> 3.選項有三個 ...
Selenium是當前主流的web自動化工具,提供了多種瀏覽器的支持(Chrome,Firefox, IE等等),當然大家也可以用自己喜歡的語言(Java,C#,Python等)來寫用例,很容易上手。當大家寫完第一個自動化用例的時候肯定感覺”哇...好牛x“,但是大家用余光掃了一下代碼后,內心也許 ...