curl(CommandLine Uniform Resource Locator),即在命令行中利用URL進行數據或者文件傳輸。
支持大部分常見的網絡協議:HTTP、HTTPS、FTP。功能特性也很豐富,支持 http、https、cookie、認證、代理、速率限制、斷點續傳,提供非常多的選項,熟練運用的話,基本可以取代 postman 這類圖形工具。
一、安裝使用
和 wget 不同,並非所有的 Linux 發行版中都安裝了 curl,可以使用包管理器自行安裝
# ubuntu or debian apt install curl # centos or redhat yum install curl
如果需要使用最新版本,或自定義安裝,可以通過源碼編譯方式進行安裝
wget https://curl.se/download/curl-7.79.1.tar.gz ./configure make make install
通過 curl --version
可以驗證命令是否安裝准確
二、常見用法
curl 最簡單的使用方式,沒有任何選項,將服務器響應的內容輸出到屏幕上
curl http://www.baidu.com
不想顯示錯誤和進度信息,可以使用 -s
選項開啟靜默模式
curl -s http://www.baidu.com
通過 -v
選項可以非常詳細地顯示 curl 的整個工作過程,相當於打開了調試模式
【1】請求http
1. 發送 GET 請求
curl 命令默認發送的是 GET
請求,響應內容直接打印在了屏幕上
curl http://www.baidu.com
使用 -i
選項,可以打印服務器響應的 HTTP 頭部信息
# 先打印請求頭,空一行,再打印網頁內容 curl -i http://www.baidu.com
如果只想測試該鏈接或資源是否正常,使用 -I
選項,可以只打印響應頭信息,注意此時發送的是 HEAD
請求
2. 發送 POST 請求
默認情況下,curl 發送的是 GET 請求,使用 -X
參數可以指定發送 POST
請求,使用 -d
參數可以指定請求數據
# 無數據的 POST 請求 curl -X POST http://www.domain.com # 發送 Form 數據 curl -d 'user=foo&pass=123' -X POST http://google.com/login # 等價於上邊命令 curl -d 'user=foo' -d 'pass=123' http://google.com/login
使用 -d
選項后,默認就是 POST
請求,可以省略 -X
選項,另外,使用多個 -d
選項,可以使命令行顯得更清晰
下邊命令可以讀取本地文件,作為數據向服務器發送
curl -d '@data.txt' http://google.com/login
3. 發送 Json 格式數據請求
curl 可以發送 json 格式的請求,需要設置 Content-Type 為 application/json
curl -d '{"user":"foo","pass":"123"}' \ -H 'Content-Type: application/json' \ http://google.com/login
-H
選項指定 Content-Type
請求頭為 json 格式,這樣 web 服務器就清楚數據類型,知道該怎么處理了
4. 構造查詢字符串參數
通過 -G
選項,可以構造查詢字符串參數
curl -G -d 'q=chopin' -d 'count=20' http://google.com/search # 等價於下邊命令 curl 'http://google.com/search?q=chopin&count=20'
上述命令會發送 GET 請求,如果忽略 -G
選項,會發出一個 POST 請求
5. 添加請求頭
通過 -H
選項,可以為請求添加標頭
curl -H 'Accept-Language: en-US' http://google.com # 可以指定多個-H選項 curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' http://google.com
6. 設置重定向
默認 curl 不會跟隨重定向,指定 -L
選項會讓請求跟隨服務器重定向
curl -L http://api.twitter.com/hello
7. 設置靜默輸出
指定 -s
選項將不輸出錯誤和進度信息,如果想讓 curl 不產生任何輸出,使用下面的命令
curl -s -o /dev/null http://google.com
8. 詳細的調試信息
指定 -v
選項,會輸出通信的整個過程,一般用於調試
curl -v http://www.baidu.com
--trace
選項也可以用來調試,還可以輸出更詳細的內容,比如原始的二進制數據
curl --trace - http://www.baidu.com
9. 模擬瀏覽器訪問
-A
選項可以指定客戶端的用戶代理信息,即設置 UserAgent
請求頭。
curl -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' http://google.com
上面命令將 UserAgent
設置成了 Chrome 瀏覽器的標識。其實也可以直接通過 -H
選項來指定
curl -H "User-Agent: go/1.15" http://google.com
10. 偽造 refer 解決防盜鏈
有時候,引用或下載某網站圖片等資源時,會有防盜鏈的限制,可以通過設置 refer 請求頭為站內域名來解決
# -e 參數來設置 HTTP 請求頭 Referer curl -e 'http://linuxblogs.cn' http://linuxblogs.cn/girl.jpg # -H 參數也可以直接設置請求頭 Referer curl -H "Referer: http://linuxblogs.cn" http://linuxblogs.cn/girl.jpg
11. 設置 Cookie
-b
選項用來向服務器發送 Cookie,該命令會生成一個請求頭 Cookie: foo=bar
,向服務器發送一個 Cookie
curl -b 'foo=bar' http://google.com # 發送兩個cookie curl -b 'foo=bar;name=mike' http://google.com
也可以通過讀取本地 cookie 文件,將其發送給服務器。-c
選項可以將服務器響應的 Cookie 寫入一個文件
curl -b cookie.txt http://google.com # 將cookie寫入文件 curl -c cookie.txt http://baidu.com
12. 保存訪問的網頁(>>)
curl http://www.baidu.com >> baidu.html
【2】文件操作
1. 下載文件資源
使用 -o
或 -O
選項,可以將網絡資源保存到文件中
# 等效於 wget curl -o chopin.html http://linuxblogs.cn # -O 選項,可以將 URL 的最后部分當做文件名 curl -O http://linuxblogs.cn/bar.html
如果想顯示下載進度條,可以使用 -#
選項
2. 循環下載文件
有時候要下載的多個文件,只有名稱后綴不同,可以這樣來下載
curl -O http://linuxblogs.cn/dog[1-5].jpg
3. 壓縮下載
使用 --compressed
選項,允許你要求 HTTP 和 HTTPS 服務器提供數據的壓縮版本,這在帶寬有限的情況下,可以幫你節約不少時間
curl --compressed http://linuxblogs.cn/foo.txt
4. 限制下載速度
如果帶寬不是很充足,多人共享帶寬,curl 支持限速功能
curl http://linuxblogs.cn --limit-rate 200K
另外一個用法,就是模擬測試慢網速的場景,用於做開發測試
5. 分塊下載
有時文件會很大,我們采用可以分段的方式進行下載,最后合並為完成的文件
curl -r 0-100 -o part1.mp4 http://linuxblogs.cn/cang.mp4 curl -r 100-200 -o part2.mp4 http://linuxblogs.cn/cang.mp4 curl -r 200- -o part3.mp4 http://linuxblogs.cn/cang.mp4 cat part*.mp4 > cang.mp4
6. 斷點續傳
有時候網絡不太好,通過 curl 下載大文件時,可能發生中斷的現象。使用 -C
選項可以實現斷點續傳,非常實用
curl -C -O http://linuxblogs.cn/girl.mp4
在弱網環境下,加上 --retry N
選項,可以在失敗的時候多次重試,對下載操作更友好一些。
7. 通過 FTP 下載文件
支持下載 FTP 文件,curl 提供兩種下載的語法
curl -O -u user:pass ftp://linuxblogs.cn/dog.jpg curl -O ftp://user:pass@linuxblogs.cn/dog.jpg
8. 上傳文件
平時開發時,可以通過 curl 實現文件的上傳功能,非常高效。
# 命令會給 HTTP 加上請求頭 Content-Type: multipart/form-datas curl -F 'file=@蒼老師.mp4' http://linuxblogs.cn/upload
-F
選項還可以指定 MIME 類型和文件名
curl -F 'file=@蒼老師.mp4;type=image/png' http://linuxblogs.cn/upload # 還可以支持修改文件名,而不是默認的 curl -F 'file=@蒼老師.mp4;file=天空.mp4' http://linuxblogs.cn/upload
【3】https相關
目前大多數站點采用的都是 https,這里給出幾個常見的用法
1. 忽略證書驗證
有時訪問 https 站點時,服務器證書過期或是自簽證書,使用 curl 訪問時會報錯,可以指定 -k
選項來忽略證書有效性驗證。
curl -k https://linuxblogs.cn
2. 指定客戶端證書
有時需要雙向驗證,服務器也要驗證客戶端,用來確定客戶端的真實身份。可以使用 --cert
和 --key
指定客戶端證書
curl --cert client.pem --key key.pem https://linuxblogs.cn
3. 使用證書鏈驗證服務器證書
在平時開發時,證書一般是自簽的,可以通過指定 CA 證書鏈進行證書的驗證
curl --cacert caChain.pem https://linuxblogs.cn
【4】其他功能
(一)設置代理
1. 命令行
通過命令行,可以很簡單的實現 curl 代理功能
curl -x "http://user:pwd@127.0.0.1:1234" "http://linuxblogs.cn"
2. 使用環境變量
通過設置環境的方式也很簡單
export http_proxy="http://user:pwd@127.0.0.1:1234"
3. 使用配置文件
使用配置文件 ~/.curlrc
,修改內容如下:
proxy="http://user:pwd@127.0.0.1:1234"
(二)格式化
在平時使用 curl 時,可能希望能夠獲取更多信息,如請求耗時、訪問時延、請求大小等信息。比如在生產環境要測試某個接口,可以通過如下的方式,獲取你想要的數據,非常方便。
# 只獲取http狀態碼 curl -s -w '%{http_code}' https://baidu.com -o /dev/null