如何利用cURL和python對服務端和web端進行接口測試

工具描述

cURL是利用URL語法在命令行方式下工作的文件傳輸工具，是開源愛好者編寫維護的免費工具，支持包括Windows、Linux、Mac等數十個操作系統，最新版本為7.27.0，但是我推薦大家使用7.26.0，從這里可以下載7.26.0版本。

以下是官方介紹的翻譯： cURL是一個使用URL語法來傳輸數據的命令行工具，支持DICT，FILE，FTP，FTPS，GOPHER，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet和TFTP。 cURL支持SSL證書，HTTP POST，HTTP PUT，FTP上傳，HTTP基礎表單上傳，代理，cookies，用戶+密碼身份驗證（Basic, Digest, NTLM, Negotiate, kerberos...），恢復文件傳輸，隧道代理等等。

Python是一種面向對象、直譯式計算機程序設計語言，由Guido van Rossum於1989年底發明，它的強大和易用就無需多做說明了，在web開發中或者對開發速度要求較高的開發中應用十分廣，不過因為屬於腳本類語言，它的性能始終比不上C++、C等語言。

本文主要利用實例說明這兩款工具的在測試中的部分用途，更多用法留待大家繼續探索。

應用場景

使用cURL模擬客戶端對服務端進行查詢 

在進行接口測試時，應該先找開發人員提供接口列表和對應參數，這樣測試的時候就可以驗證測試方法是否正確，不過如果可以用瀏覽器模擬操作的話，也可以自己先試試的，后面的例子會提到。 

首先使用客戶端訪問需要測試的服務端接口，用wireshark抓包結果如下：

把查詢字符串以multipart方式post數據到服務器的file_health_info.php接口。

Tips：

Windows版的cURL不像Linux或者Mac一樣屬於系統自帶工具，需要下載，如果要在命令提示符下使用就需要跳轉到工具所在目錄下才能運行，十分麻煩，我們可以直接把這個工具文件放到Windows目錄下，這樣無論在哪個目錄都可以直接使用“curl”命令運行工具了。

cURL默認就是以post方式發送數據的，所以只需要加入multipart方式就可以了，-F在cURL幫助中的解釋是：

Specify HTTP multipart POST data正好滿足我們的要求，所以模擬的語句是：

curl -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###" http://172.22.54.22/file_health_info.php

后面的都是參數，測試前就要找開發確認好。

不過因為服務端支持以gzip方式返回數據，所以我們還可以在請求中加入—compressed參數，即是：

curl --compressed -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###" http://172.22.54.22/file_health_info.php

為了更好判斷服務端接口是否正常，除了對返回數據進行判斷外，我們還需要對服務端返回的數據包頭進行解析，所以還可以在cURL請求中加入-i參數，最終這個測試語句就變為：

curl –i --compressed -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###" http://172.22.54.22/file_health_info.php

模擬完成后就要考慮判斷返回值的事了，我們首先在命令提示符下運行這個語句，看看返回值。

運行以上命令后，返回的數據如下：

HTTP/1.1 100 Continue

HTTP/1.1 200 OK

Date: Fri, 24 Aug 2012 07:47:45 GMT

Content-Type: application/xml

Transfer-Encoding: chunked

Connection: keep-alive

Server: 360 web server

Content-Encoding: gzip

     <? xml  version="1.0" encoding="GBK" ?>

       < ret >

       < retinfo  code="0" msg="Operation success" total="1" success="1" empty="0"  cost="999.92752075195"/>

       < softs >

         < soft >

          < md5 >3bcad21af5f17c1fbff419137297c942</ md5 >

          < sha1 ></ sha1 >

          < level >4040</ level >

          < e_level >40.3</ e_level >

          < size ></ size >

          < soft_name ><![CDATA[]]> </ soft_name >

          < describ ><![CDATA[]]></ describ >

          < file_desc ><![CDATA[]]></ file_desc >

          < upload >0</ upload >

          < attr_upload >2</ attr_upload >

          < class ><![CDATA[private]]></ class >

          < malware ><![CDATA[cloud.virus]]></ malware >

          < is_sys_file >0</ is_sys_file >

          < is_rep >0</ is_rep >

          < age >0</ age >

          < pop >0</ pop >

    </ soft >

       </ softs >

       </ ret >

　　數據包包頭是常見的，一般來說，我們只要判斷包頭中含有“HTTP/1.1 200 OK”就可以確定服務端正常返回了數據。另外從內容可以看到這是一個xml格式的數據包，我們只需要判斷是否存在關鍵的字段即可，比如<level>，確定這些之后我們就可以在python中添加如下案例代碼了：

首先運行指定的curl命令：

response = os.popen('''curl -i --compressed -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###" http://172.22.54.31/file_health_info.php

然后判斷返回值中是否存在我們想要的字段：

self.assertNotEqual(response.find('HTTP/1.1 200 OK'),-1)

self.assertNotEqual(response.find('<level>'),-1)

上面的內容看起來差不多可以了，但實際還不夠嚴謹，因為服務端返回的這些數據是從數據庫中獲取的，所以我們還需要查詢數據庫獲取指定值，判斷是否和數據包中的一致，比如<level>：

首先使用python登錄數據庫服務器：

conn = MySQLdb.connect(host='172.22.54.31', user='user',passwd='test321',db='cloud')

cursor = conn.cursor()

count = cursor.execute('SELECT plevel FROM file where md5="3bcad21af5f17c1fbff419137297c942"')

result = cursor.fetchone()

然后判斷返回值中的level是否數據庫中的值：

self.assertNotEqual(response.find('''<level>%s</level>'''%result[0]),-1)

測試時除了使用cURL等工具進行模擬，還可以自己用python或其他語言寫代碼進行post數據，不過當時簡單起見所以就選擇了用cURL測試。

 

使用cURL模擬控制台登錄

說到模擬登錄或者模擬點擊，很多同學可能直接聯想到QTP等模擬界面操作的工具，事實上這種工具有一個很大的弊端是太依賴控件，如果界面控件變了，那么可能整個腳本就無效了，現在的程序設計都傾向界面邏輯分離，這樣修改界面時就不會動到底下的功能接口，開發人員可以隨時修改界面控件，如果還是采取QTP等模擬點擊的方法測試，結果可能是事倍功半的，如果測試時直接點用接口就可以避免這種問題。

下面的例子是模擬控制台登錄的，登錄URL為：

http://172.22.54.31:8888/cloud/index.php?r=site/login ，首先使用瀏覽器登錄一次，看看實際效果如何。

Tips：

測試php或其他web程序時建議使用chrome，因為它自帶的Developer Tools十分好用，當然firefox或者IE9也有類似的工具，看個人習慣吧。按F12打開工具，選擇Network標簽頁，然后輸入用戶名、密碼點擊登錄，這時Network下方會顯示登錄過程中瀏覽器想控制台請求的所有數據，包括請求類型、表單數據等，這些是我們模擬操作的數據來源。

從上圖可以獲取幾個重點信息：請求URL、請求類型、數據類型、數據內容、並且支持gzip壓縮等。我們用curl模擬如下：

curl -i --compressed http://172.22.54.31:8888/cloud/index.php?r=site/login -d “username=admin” -d “userpass=admin”

使用-i和—compressed的原因再上一個例子已經說了，這里不再贅述，重點是后面的-d，它在官方幫助的解釋是：

-d,    --data DATA     HTTP POST data (H)
     --data-ascii DATA  HTTP POST ASCII data (H)
     --data-binary DATA  HTTP POST binary data (H)
     --data-urlencode DATA  HTTP POST data url encoded (H)
     --delegation STRING GSS-API delegation permission
     --digest        Use HTTP Digest Authentication (H)
     --disable-eprt  Inhibit using EPRT or LPRT (F)
     --disable-epsv  Inhibit using EPSV (F)

而我們從Developer Tools返回的數據已經知道，返回數據的格式是

“application/x-www-form-urlencoded”，所以很明顯需要使用-d的HTTP POST data url encoded特性。不過格式中還有關鍵字form，莫非也支持-F參數登錄，試試：

curl -i --compressed http://172.22.54.31:8888/cloud/index.php?r=site/login -F “username=admin” -F “userpass=admin”，果然成功，呵呵～

也許有同學有疑問，為何不模擬warnsetup、refer，這是因為測試時發現登錄界面只需要用戶名和密碼就夠了，refer 用於記錄來源網頁，在這里用處不大，warnsetup只是用於驗證登錄碼的，這個已經去掉了。

接下來要驗證數據，我們在命令提示符中運行上面的命令，返回結果如下：

HTTP/1.1 302 Moved Temporarily

Date: Fri, 24 Aug 2012 08:29:07 GMT

Content-Type: text/html

Transfer-Encoding: chunked

Connection: keep-alive

X-Powered-By: PHP/5.4.3

Set-Cookie: PHPSESSID=4711d2365de9aaaca0c28b1ca52183f0; path=/

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Set-Cookie: PHPSESSID=81d4bb65e888c1b6347120641eb4798b; path=/

Location: ./index.php

Server: 360 web server

很奇怪吧，乍一看控制台沒有返回任何有用信息，不過里面那句HTTP/1.1 302 Moved Temporarily是不是特別眼熟？這個特殊的302（表示http重定向）正是我們在Developer Tools看到的狀態值，看到這個已經可以80%確定我們登錄已經成功了，更重要的是返回包中的內容：Location: ./index.php，這說明控制台已經通知請求端跳轉到index.php，如果登錄失敗控制台會繼續停留在當前登錄界面的，我們只需要修改curl語句中的用戶名或者密碼就知道了，這種情況下返回包就是登錄界面的php源碼，這里不再贅述。

使用cURL以get方式測試控制台搜索接口

測試方法同上面差不多，首先使用chrome打開控制台進入對應頁面，在搜索框中輸入“test.exe”，點擊搜索，使用developer tools抓包，內容如下：

cURL模擬get方式發送數據的參數是-G，了解這個后面要模擬就很簡單了：

curl -i --compressed -G “http://172.22.54.31:8888/cloud/index.php?r=file_cloud/api/search&filename=59c7dd2eafdbe86b2e23bcdabb575448&bg=0&lm=19 ”

其中每個參數的含義要分別了解：filename表示輸入的關鍵字，bg表示數據庫第一行，lm表示共顯示19行數據。這個接口返回的數據如下：

{"rows":[{"level":"10","plevel":"10","id":"20","md5":"59c7dd2eafdbe86b2e23bcdabb575448","soft_name":"","soft_desc":"","file_desc":"QVBJIFRyYWNpbmcgWDg2IEhvb2sgRW5naW5l","is_sys_file":"127","size":"41984","is_rep":"0","file_name":"apihex86.d

ll","file_version":"6.1.7600.16385","product_version":"6.1.7600.16385","copyright":"\u00a9 Microsoft Corporation. All rights reserved.","lang":"0","org_name":"YXBpaGV4ODYuZGxs","sign_name":"TWljcm9zb2Z0IFdpbmRvd3M=","company_name":"Microsof

t Corporation","update_time":"2012-07-31 18:14:27","create_time":"2012-07-31 18:14:27","creator_mid":"15be5b7dce003cdc2c1d1448afcf6cf0"}],"count":"1"}

分別是文件屬性和文件信息，這涉及到兩個數據庫表，所以驗證數據需要用python從兩張表中獲取對應信息。

從第一張表獲取文件屬性，比如只獲取plevel：

SELECT plevel FROM `file` where md5="59c7dd2eafdbe86b2e23bcdabb575448"

從第二張表獲取文件信息，比如只獲取company_name：

SELECT company_name FROM file_info where md5="59c7dd2eafdbe86b2e23bcdabb575448"

Python代碼如下：

conn = MySQLdb.connect(host='%s'% self.host, user='user',passwd='test321',db='cloud')
 
cursor = conn.cursor()
 
count = cursor.execute('SELECT plevel FROM `file` where md5="111111932490c813bf5ea9d8aa6fa60c"')
 
result = cursor.fetchone()      
 
self.assertNotEqual(response.find(str(result[0])),-1)      
 
count = cursor.execute('SELECT company_name FROM file_info where md5="111111932490c813bf5ea9d8aa6fa60c"')
 
result1 = cursor.fetchone()      
 
self.assertNotEqual(response.find(result1[0]),-1)

　　當然嚴謹的測試案例是每一個屬性字段都需要進行查找和匹配，這里就不再贅述了。

　　后記：這種接口測試用到的無非就是curl、python的unitest而已，可能有的人會疑問，為什么用curl而不用py自帶的pycurl或者request之類，我覺得只要能滿足需求，能夠用現成的就用現成的，怎么簡單怎么來。搞一堆代碼維護起來也麻煩啊，現在qa行業跳槽也比較頻繁，萬一換了個人看不懂你的代碼怎么辦？呵呵