爬蟲助手spider_tool-JUN


#使用文檔

--前言,開發工具初衷:作者是Python爬蟲工程師,接到公司的爬蟲需求比較多,在正式開發寫代碼前,需要不斷的去調試網站接口以及返回的數據來確定是否可行性

但是調試又得去寫代碼調試,來來回回折騰的挺麻煩,所以就想着開發這一款工具,來幫助提高開發的效率,工具目的:正式寫代碼前對app接口,以及網頁數據調試,當然這個也可以用作接口的測試工具

 

#版本介紹說明

spider_tool-JUN-測試版
 完成基礎功能
spider_tool-JUN-V0.0.1 完成了生成代碼功能,優化了xpath/正則來回切換,增加了軟件下載更新地址

 

 

 

 

 ##功能介紹以及使用說明##

 

1.地址url: 字面意思,輸入需要請求的接口地址,或網址必須為 http:// 或 https:// 開頭 不能直接輸入比如:www.baidu.com

 

2.請求方法: 目前只添加了最常用的get請求和post請求,選擇哪個根據地址需要的請求方法來選,如果后期有其他請求方法需求可以再加

 

3.提交:emmm...這個就不多說了,填寫好所有需要的參數后提交即可返回對應的數據,提示:如果一些必要參數沒有填寫會有彈框提示

 

4.全部清空:把填寫的所有內容清空,包括返回的文本

 

5.IP代理:目前只支持 ip:端口這種格式 例如:192.168.0.1:0000  暫時只支持單個,后期會改進使用多個

 

6.隨機ua:這個是請求頭里的隨機UserAgent參數,目前只支持隨機谷歌chrome ua,如果請求頭只想加入一個UserAgent就能訪問的話,

勾選此項就不用再填寫請求頭文本框內的參數,這個挺方便的

7.禁止重定向:顧名思義,就是不讓地址進行重定向請求,只返回請求未重定向的響應文本,多在請求登錄接口上使用

8.關閉SSL驗證:這個的話多用於app接口上使用,如果響應文本報錯SSL,那就勾選此項吧

9.響應解碼:添加了目前最常用的utf-8和gbk 對響應文本的編碼設置默認utf-8

10.生成代碼:返回Python對應已調試選擇好的代碼,需要在python環境下運行,依賴包   pip install requests    只生成到了響應數據那塊,至於正則/xpath提數那塊自定義比較多,暫時沒做

 

 

 11.請求頭request_haders: 請求地址url的請求頭,目前支持兩種格式,一種是直接從網頁上復制下來的,另一種是在代碼中使用的字典格式

本人覺得直接網站復制下的功能方便= =字典畢竟還得手動加""引號,如果只需要加個User-Agent就能訪問的話建議勾選隨機ua功能,不用填寫此文本框

 

##第一種
Host: www.cnblogs.com Referer: https:
//www.cnblogs.com/ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
##第二種
{"Host": "www.cnblogs.com","
User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}

 

12.cookies: 網頁上的cookie對應值直接復制到文本框即可,不需要再加字典的key值

13.請求參數:這個是方便看url地址中請求的參數,也就是地址中 ?后的參數,目前此文本框只做展示,修改對請求地址url無效

 

https://xxxxx?q=js

 

14.請求體From_data:目前多用於post請求方法中的請求參數,同請求頭一樣支持2種格式    注:大多Get請求的參數放在url地址中,POST請求放置於請求體中

 

15.響應文本:請求地址返回的響應后台源數據,也就是響應文本,后期會加入搜索功能,現在還在開發中

16.響應頭:響應回的headers參數,目前只做展示,內容同谷歌開發者中網絡請求響應頭的內容差不多一致

17.xpath/正則:對響應文本內容進行提取,默認xpath,輸入對應的語法即可

 

特別說明下:如果請求參數不對或者地址不對,請求超時之類的,提交請求后響應文本會返回對應的Python報錯內容,看不懂報錯內容可直接百度搜索

使用技術:Python3.6    requests   Pyqt5  lxml  re剩下的就是功能代碼

 

##以上為功能介紹和使用說,如果有好的idea可聯系我,聯系方式在軟件中

.如果此軟件有幫助到你的話可以給作者送丟丟溫暖

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM