python接口自動化(十七)--Json 數據處理---一次爬坑記(詳解)


簡介

  有些 post 的請求參數是 json 格式的,這個前面發送post 請求里面提到過,需要導入 json模塊處理。現在企業公司一般常見的接口因為json數據容易處理,所以絕大多數返回數據也是 json 格式的,我們在做判斷時候,往往只需要提取其中

幾個關鍵的參數就行,這時候我們就需要 json 來解析返回的數據了。首先來說一下筆者為何要單獨寫這么一篇,原因是:python 里面 bool 值是 True 和 False,json 里面 bool 值是 true和 false,並且區分大小寫,這就尷尬了,明明都是 bool 值。

在python里面寫的代碼,傳到json里,不用說肯定識別不了,所以需要把python的代碼經過encode后成為 json 可識別的數據類型,反之json數據就需要decode后成為python代碼可識別的數據類型。這個也是需要初學者注意,也算是個細微差和

一個坑人的地方吧,如果不注意很容易掉坑里啊。筆者就掉進去過,還好自救能力強,爬出來了,所以為了警醒后來者,就有了這篇隨筆。

json 模塊簡介

1、Json 簡介:Json,全名 JavaScript Object Notation,JSON(JavaScript Object Notation(記號、標記)) 是一種輕量級的數據交換格式。它基於JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一個子集。 JSON采用完全獨立

於語言的文本格式,但是也使用了類似於C語言家族的習慣(包括C, C++, C#, Java, JavaScript, Perl, Python等)。這些特性使JSON成為理想的數據交換語言。JSON易於人閱讀和編寫,同時也易於機器解析和生成。常用於 http 請求中,接口

返回的數據中。

2、可以用 help(json),查看對應的源碼注釋內容

 編碼Encode(python->json)

1、為什么要 encode,筆者在開頭就給各位小伙伴開門見山的說出來了,讓各位帶着問題來探索、來學習、來思考

2、舉個簡單例子,下圖的實例中 dict 類型經過 json.dumps()后變成 str,True 變成了 true,False變成了 fasle

 

3、從json模塊的對應源碼中可以查看到,python  數據轉化成 json可識別的數據,對應的表關系如下

解碼 decode(json->python)

1、以博客園的登錄成功結果:{"success":True}為例,我們其實最想知道的是 success 這個字段返回的是 True 還是 False,以便於我們對接口進行斷言,以下是fiddler抓包博客園登錄成功的結果

 

2、如果以 content 字節輸出,返回的是一個字符串:{"success":true},這樣獲取后面那個結果就不方便了,導致斷言也不方便

3、如果經過 json 解碼后,返回的就是一個字典:{u'success': True},這樣獲取后面那個結果,就用字典的方式去取值:result2["success"],這樣不言而喻斷言也就簡單方便了

4、由於博客園的登錄機制的改變,我們這里接着上一篇的刪除隨筆的返回結果,給小伙伴們實戰演練一下

5、用fiddler抓包,抓到刪除新建隨筆的請求,從抓包結果可以看出,返回結果是一個字符串:{"isSuccess":True},按照上邊的步驟用代碼實現

6、代碼及結果(看到了吧,就是這么輕松被我們取到其value了,接下來就可以進行斷言了)

7、從json模塊的對應源碼中可以查看到, json 數據轉化成 python 可識別的數據,對應的表關系如下

 

8、參考代碼

 1 # coding:utf-8
 2 import requests
 3 # 先打開登錄首頁,獲取部分cookie
 4 url = "https://passport.cnblogs.com/user/signin"
 5 headers = {
 6             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0"
 7            }  # get方法其它加個ser-Agent就可以了
 8 s = requests.session()
 9 r = s.get(url, headers=headers,verify=False)
10 print (s.cookies)
11 # 添加登錄需要的兩個cookie
12 c = requests.cookies.RequestsCookieJar()
13 c.set('.CNBlogsCookie', 'XXX')  # 填上面抓包內容
14 c.set('.Cnblogs.AspNetCore.Cookies','XXX')  # 填上面抓包內容
15 c.set('AlwaysCreateItemsAsActive',"True")
16 c.set('AdminCookieAlwaysExpandAdvanced',"True")
17 s.cookies.update(c)
18 print (s.cookies)
19 result = r.content
20 print(result.decode('utf-8'))
21 # 登錄成功后保存編輯內容
22 url2= "https://i.cnblogs.com/EditPosts.aspx?opt=1"
23 body = {"__VIEWSTATE": "",
24         "__VIEWSTATEGENERATOR":"FE27D343",
25         "Editor$Edit$txbTitle":"這是繞過登錄的標題:北京-宏哥",
26         "Editor$Edit$EditorBody":"<p>這里是中文內容:http://www.cnblogs.com/duhong/</p>",
27         "Editor$Edit$Advanced$ckbPublished":"on",
28         "Editor$Edit$Advanced$chkDisplayHomePage":"on",
29         "Editor$Edit$Advanced$chkComments":"on",
30         "Editor$Edit$Advanced$chkMainSyndication":"on",
31         "Editor$Edit$lkbDraft":"存為草稿",
32          }
33 r2 = s.post(url2, data=body, verify=False)
34 print (r.content.decode('utf-8'))
35 
36 # 第三步:正則提取需要的參數值
37 import re
38 postid = re.findall(r"postid=(.+?)&", r2.url)
39 print(type(postid))
40 print (postid) # 這里是 list
41 # 提取為字符串
42 print (postid[0])
43 # 第四步:刪除草稿箱
44 url3 = "https://i.cnblogs.com/post/delete"
45 json3 = {"postId": postid[0]}
46 r3 = s.post(url3, json=json3, verify=False)
47 result = r3.content #content數據是字節輸出
48 print(type(result))
49 print(result)
50 #json是經過加碼encode成對應python的數據類型
51 result1 = r3.json()
52 print (type(result1))
53 print(result1['isSuccess'])

 小結

  在實際工作中遇到問題要學會查資料,看其對應的官方文檔以及源碼,不僅可以起到事半功倍的作用,也可以鍛煉自己解決問題的能力。這一點筆者深有體會!!!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM