下載地址: 藍奏:https://wws.lanzous.com/b01hk5stg 密碼:2ihv 百度雲:https://pan.baidu.com/s/1wPjTR7jyM5VAxN-10yd45Q 提取碼:mszl
GitHub:https://github.com/Xiaojunv/spider_tool-JUN
#使用文檔
--前言,開發工具初衷:作者是Python爬蟲工程師,接到公司的爬蟲需求比較多,在正式開發寫代碼前,需要不斷的去調試網站接口以及返回的數據來確定是否可行性
但是調試又得去寫代碼調試,來來回回折騰的挺麻煩,所以就想着開發這一款工具,來幫助提高開發的效率,工具目的:正式寫代碼前對app接口,以及網頁數據調試,當然這個也可以用作接口的測試工具
#版本介紹說明
spider_tool-JUN-測試版
|
完成基礎功能 |
spider_tool-JUN-V0.0.1 | 完成了生成代碼功能,優化了xpath/正則來回切換,增加了軟件下載更新地址 |
##功能介紹以及使用說明##
1.地址url: 字面意思,輸入需要請求的接口地址,或網址必須為 http:// 或 https:// 開頭 不能直接輸入比如:www.baidu.com
2.請求方法: 目前只添加了最常用的get請求和post請求,選擇哪個根據地址需要的請求方法來選,如果后期有其他請求方法需求可以再加
3.提交:emmm...這個就不多說了,填寫好所有需要的參數后提交即可返回對應的數據,提示:如果一些必要參數沒有填寫會有彈框提示
4.全部清空:把填寫的所有內容清空,包括返回的文本
5.IP代理:目前只支持 ip:端口這種格式 例如:192.168.0.1:0000 暫時只支持單個,后期會改進使用多個
6.隨機ua:這個是請求頭里的隨機UserAgent參數,目前只支持隨機谷歌chrome ua,如果請求頭只想加入一個UserAgent就能訪問的話,
勾選此項就不用再填寫請求頭文本框內的參數,這個挺方便的
7.禁止重定向:顧名思義,就是不讓地址進行重定向請求,只返回請求未重定向的響應文本,多在請求登錄接口上使用
8.關閉SSL驗證:這個的話多用於app接口上使用,如果響應文本報錯SSL,那就勾選此項吧
9.響應解碼:添加了目前最常用的utf-8和gbk 對響應文本的編碼設置默認utf-8
10.生成代碼:返回Python對應已調試選擇好的代碼,需要在python環境下運行,依賴包 pip install requests 只生成到了響應數據那塊,至於正則/xpath提數那塊自定義比較多,暫時沒做
11.請求頭request_haders: 請求地址url的請求頭,目前支持兩種格式,一種是直接從網頁上復制下來的,另一種是在代碼中使用的字典格式
本人覺得直接網站復制下的功能方便= =字典畢竟還得手動加""引號,如果只需要加個User-Agent就能訪問的話建議勾選隨機ua功能,不用填寫此文本框
##第一種
Host: www.cnblogs.com Referer: https://www.cnblogs.com/ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
##第二種
{"Host": "www.cnblogs.com","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
12.cookies: 網頁上的cookie對應值直接復制到文本框即可,不需要再加字典的key值
13.請求參數:這個是方便看url地址中請求的參數,也就是地址中 ?后的參數,目前此文本框只做展示,修改對請求地址url無效
https://xxxxx?q=js
14.請求體From_data:目前多用於post請求方法中的請求參數,同請求頭一樣支持2種格式 注:大多Get請求的參數放在url地址中,POST請求放置於請求體中
15.響應文本:請求地址返回的響應后台源數據,也就是響應文本,后期會加入搜索功能,現在還在開發中
16.響應頭:響應回的headers參數,目前只做展示,內容同谷歌開發者中網絡請求響應頭的內容差不多一致
17.xpath/正則:對響應文本內容進行提取,默認xpath,輸入對應的語法即可
特別說明下:如果請求參數不對或者地址不對,請求超時之類的,提交請求后響應文本會返回對應的Python報錯內容,看不懂報錯內容可直接百度搜索
使用技術:Python3.6 requests Pyqt5 lxml re剩下的就是功能代碼
##以上為功能介紹和使用說,如果有好的idea可聯系我,聯系方式在軟件中
.如果此軟件有幫助到你的話可以給作者送丟丟溫暖