wget命令詳解

它用在命令行下。對於Linux用戶是必不可少的工具，尤其對於網絡管理員，經常要下載一些軟件或從遠程服務器恢復備份到本地服務器。如果我們使用虛擬主機，處理這樣的事務我們只能先從遠程服務器下載到我們電腦磁盤，然后再用ftp工具上傳到服務器。這樣既浪費時間又浪費精力，那不沒辦法的事。而到了Linux VPS，它則可以直接下載到服務器而不用經過上傳這一步。wget工具體積小但功能完善，它支持斷點下載功能，同時支持FTP和HTTP下載方式，支持代理服務器和設置起來方便簡單。下面我們以實例的形式說明怎么使用wget。 

 

首先安裝wget

1 [root@network test]# yum install -y wget

查看幫助手冊

1 [root@network test]# wget --help

  1 GNU Wget 1.14，非交互式的網絡文件下載工具。
  2 用法： wget [選項]... [URL]...
  3 
  4 長選項所必須的參數在使用短選項時也是必須的。
  5 
  6 啟動：
  7   -V,  --version           顯示 Wget 的版本信息並退出。
  8   -h,  --help              打印此幫助。
  9   -b,  --background        啟動后轉入后台。
 10   -e,  --execute=COMMAND   運行一個“.wgetrc”風格的命令。
 11 
 12 日志和輸入文件：
 13   -o,  --output-file=FILE    將日志信息寫入 FILE。
 14   -a,  --append-output=FILE  將信息添加至 FILE。
 15   -d,  --debug               打印大量調試信息。
 16   -q,  --quiet               安靜模式 (無信息輸出)。
 17   -v,  --verbose             詳盡的輸出 (此為默認值)。
 18   -nv, --no-verbose          關閉詳盡輸出，但不進入安靜模式。
 19        --report-speed=TYPE   Output bandwidth as TYPE.  TYPE can be bits.
 20   -i,  --input-file=FILE     下載本地或外部 FILE 中的 URLs。
 21   -F,  --force-html          把輸入文件當成 HTML 文件。
 22   -B,  --base=URL            解析與 URL 相關的
 23                              HTML 輸入文件 (由 -i -F 選項指定)。
 24        --config=FILE         Specify config file to use.
 25 
 26 下載：
 27   -t,  --tries=NUMBER            設置重試次數為 NUMBER (0 代表無限制)。
 28        --retry-connrefused       即使拒絕連接也是重試。
 29   -O,  --output-document=FILE    將文檔寫入 FILE。
 30   -nc, --no-clobber              skip downloads that would download to
 31                                  existing files (overwriting them).
 32   -c,  --continue                斷點續傳下載文件。
 33        --progress=TYPE           選擇進度條類型。
 34   -N,  --timestamping            只獲取比本地文件新的文件。
 35   --no-use-server-timestamps     不用服務器上的時間戳來設置本地文件。
 36   -S,  --server-response         打印服務器響應。
 37        --spider                  不下載任何文件。
 38   -T,  --timeout=SECONDS         將所有超時設為 SECONDS 秒。
 39        --dns-timeout=SECS        設置 DNS 查尋超時為 SECS 秒。
 40        --connect-timeout=SECS    設置連接超時為 SECS 秒。
 41        --read-timeout=SECS       設置讀取超時為 SECS 秒。
 42   -w,  --wait=SECONDS            等待間隔為 SECONDS 秒。
 43        --waitretry=SECONDS       在獲取文件的重試期間等待 1..SECONDS 秒。
 44        --random-wait             獲取多個文件時，每次隨機等待間隔
 45                                  0.5*WAIT...1.5*WAIT 秒。
 46        --no-proxy                禁止使用代理。
 47   -Q,  --quota=NUMBER            設置獲取配額為 NUMBER 字節。
 48        --bind-address=ADDRESS    綁定至本地主機上的 ADDRESS (主機名或是 IP)。
 49        --limit-rate=RATE         限制下載速率為 RATE。
 50        --no-dns-cache            關閉 DNS 查尋緩存。
 51        --restrict-file-names=OS  限定文件名中的字符為 OS 允許的字符。
 52        --ignore-case             匹配文件/目錄時忽略大小寫。
 53   -4,  --inet4-only              僅連接至 IPv4 地址。
 54   -6,  --inet6-only              僅連接至 IPv6 地址。
 55        --prefer-family=FAMILY    首先連接至指定協議的地址
 56                                  FAMILY 為 IPv6，IPv4 或是 none。
 57        --user=USER               將 ftp 和 http 的用戶名均設置為 USER。
 58        --password=PASS           將 ftp 和 http 的密碼均設置為 PASS。
 59        --ask-password            提示輸入密碼。
 60        --no-iri                  關閉 IRI 支持。
 61        --local-encoding=ENC      IRI (國際化資源標識符) 使用 ENC 作為本地編碼。
 62        --remote-encoding=ENC     使用 ENC 作為默認遠程編碼。
 63        --unlink                  remove file before clobber.
 64 
 65 目錄：
 66   -nd, --no-directories           不創建目錄。
 67   -x,  --force-directories        強制創建目錄。
 68   -nH, --no-host-directories      不要創建主目錄。
 69        --protocol-directories     在目錄中使用協議名稱。
 70   -P,  --directory-prefix=PREFIX  以 PREFIX/... 保存文件
 71        --cut-dirs=NUMBER          忽略遠程目錄中 NUMBER 個目錄層。
 72 
 73 HTTP 選項：
 74        --http-user=USER        設置 http 用戶名為 USER。
 75        --http-password=PASS    設置 http 密碼為 PASS。
 76        --no-cache              不在服務器上緩存數據。
 77        --default-page=NAME     改變默認頁
 78                                (默認頁通常是“index.html”)。
 79   -E,  --adjust-extension      以合適的擴展名保存 HTML/CSS 文檔。
 80        --ignore-length         忽略頭部的‘Content-Length’區域。
 81        --header=STRING         在頭部插入 STRING。
 82        --max-redirect          每頁所允許的最大重定向。
 83        --proxy-user=USER       使用 USER 作為代理用戶名。
 84        --proxy-password=PASS   使用 PASS 作為代理密碼。
 85        --referer=URL           在 HTTP 請求頭包含‘Referer: URL’。
 86        --save-headers          將 HTTP 頭保存至文件。
 87   -U,  --user-agent=AGENT      標識為 AGENT 而不是 Wget/VERSION。
 88        --no-http-keep-alive    禁用 HTTP keep-alive (永久連接)。
 89        --no-cookies            不使用 cookies。
 90        --load-cookies=FILE     會話開始前從 FILE 中載入 cookies。
 91        --save-cookies=FILE     會話結束后保存 cookies 至 FILE。
 92        --keep-session-cookies  載入並保存會話 (非永久) cookies。
 93        --post-data=STRING      使用 POST 方式；把 STRING 作為數據發送。
 94        --post-file=FILE        使用 POST 方式；發送 FILE 內容。
 95        --content-disposition   當選中本地文件名時
 96                                允許 Content-Disposition 頭部 (尚在實驗)。
 97        --content-on-error      output the received content on server errors.
 98        --auth-no-challenge     發送不含服務器詢問的首次等待
 99                                的基本 HTTP 驗證信息。
100 
101 HTTPS (SSL/TLS) 選項：
102        --secure-protocol=PR     choose secure protocol, one of auto, SSLv2,
103                                 SSLv3, TLSv1, TLSv1_1 and TLSv1_2.
104        --no-check-certificate   不要驗證服務器的證書。
105        --certificate=FILE       客戶端證書文件。
106        --certificate-type=TYPE  客戶端證書類型，PEM 或 DER。
107        --private-key=FILE       私鑰文件。
108        --private-key-type=TYPE  私鑰文件類型，PEM 或 DER。
109        --ca-certificate=FILE    帶有一組 CA 認證的文件。
110        --ca-directory=DIR       保存 CA 認證的哈希列表的目錄。
111        --random-file=FILE       帶有生成 SSL PRNG 的隨機數據的文件。
112        --egd-file=FILE          用於命名帶有隨機數據的 EGD 套接字的文件。
113 
114 FTP 選項：
115        --ftp-user=USER         設置 ftp 用戶名為 USER。
116        --ftp-password=PASS     設置 ftp 密碼為 PASS。
117        --no-remove-listing     不要刪除‘.listing’文件。
118        --no-glob               不在 FTP 文件名中使用通配符展開。
119        --no-passive-ftp        禁用“passive”傳輸模式。
120        --preserve-permissions  保留遠程文件的權限。
121        --retr-symlinks         遞歸目錄時，獲取鏈接的文件 (而非目錄)。
122 
123 WARC options:
124        --warc-file=FILENAME      save request/response data to a .warc.gz file.
125        --warc-header=STRING      insert STRING into the warcinfo record.
126        --warc-max-size=NUMBER    set maximum size of WARC files to NUMBER.
127        --warc-cdx                write CDX index files.
128        --warc-dedup=FILENAME     do not store records listed in this CDX file.
129        --no-warc-compression     do not compress WARC files with GZIP.
130        --no-warc-digests         do not calculate SHA1 digests.
131        --no-warc-keep-log        do not store the log file in a WARC record.
132        --warc-tempdir=DIRECTORY  location for temporary files created by the
133                                  WARC writer.
134 
135 遞歸下載：
136   -r,  --recursive          指定遞歸下載。
137   -l,  --level=NUMBER       最大遞歸深度 (inf 或 0 代表無限制，即全部下載)。
138        --delete-after       下載完成后刪除本地文件。
139   -k,  --convert-links      讓下載得到的 HTML 或 CSS 中的鏈接指向本地文件。
140   --backups=N   before writing file X, rotate up to N backup files.
141   -K,  --backup-converted   在轉換文件 X 前先將它備份為 X.orig。
142   -m,  --mirror             -N -r -l inf --no-remove-listing 的縮寫形式。
143   -p,  --page-requisites    下載所有用於顯示 HTML 頁面的圖片之類的元素。
144        --strict-comments    用嚴格方式 (SGML) 處理 HTML 注釋。
145 
146 遞歸接受/拒絕：
147   -A,  --accept=LIST               逗號分隔的可接受的擴展名列表。
148   -R,  --reject=LIST               逗號分隔的要拒絕的擴展名列表。
149        --accept-regex=REGEX        regex matching accepted URLs.
150        --reject-regex=REGEX        regex matching rejected URLs.
151        --regex-type=TYPE           regex type (posix|pcre).
152   -D,  --domains=LIST              逗號分隔的可接受的域列表。
153        --exclude-domains=LIST      逗號分隔的要拒絕的域列表。
154        --follow-ftp                跟蹤 HTML 文檔中的 FTP 鏈接。
155        --follow-tags=LIST          逗號分隔的跟蹤的 HTML 標識列表。
156        --ignore-tags=LIST          逗號分隔的忽略的 HTML 標識列表。
157   -H,  --span-hosts                遞歸時轉向外部主機。
158   -L,  --relative                  只跟蹤有關系的鏈接。
159   -I,  --include-directories=LIST  允許目錄的列表。
160   --trust-server-names             use the name specified by the redirection
161                                    url last component.
162   -X,  --exclude-directories=LIST  排除目錄的列表。
163   -np, --no-parent                 不追溯至父目錄。

 

1、使用 wget 下載單個文件 

以下的例子是從網絡下載一個文件並保存在當前目錄

在下載的過程中會顯示進度條，包含（下載完成百分比，已經下載的字節，當前下載速度，剩余下載時間）。

1 wget http://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz

2、使用 wget -O 下載並以不同的文件名保存 

1 [root@network test]# wget https://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz
2 [root@network test]# ls
3 wordpress-4.9.4-zh_CN.tar.gz

我們可以使用參數-O來指定一個文件名：

1 wget -O wordpress.tar.gz  http://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz
2 wordpress.tar.gz

3、使用 wget -c 斷點續傳 

使用wget -c重新啟動下載中斷的文件:

對於我們下載大文件時突然由於網絡等原因中斷非常有幫助，我們可以繼續接着下載而不是重新下載一個文件

 

1  wget -c https://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz

4、使用 wget -b 后台下載

對於下載非常大的文件的時候，我們可以使用參數-b進行后台下載

1 [root@network test]# wget -b https://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz
2 繼續在后台運行，pid 為 1463。
3 將把輸出寫入至 “wget-log”。

你可以使用以下命令來察看下載進度

 1 [root@network test]# tail -f wget-log
 2   8550K .......... .......... .......... .......... .......... 96%  814K 0s
 3   8600K .......... .......... .......... .......... .......... 97% 9.53M 0s
 4   8650K .......... .......... .......... .......... .......... 98% 86.8M 0s
 5   8700K .......... .......... .......... .......... .......... 98%  145M 0s
 6   8750K .......... .......... .......... .......... .......... 99% 67.4M 0s
 7   8800K .......... .......... .......... .......... .......... 99%  107M 0s
 8   8850K .......... .........                                  100% 1.95M=16s
 9 
10 2018-11-10 15:39:07 (564 KB/s) - 已保存 “wordpress-4.9.4-zh_CN.tar.gz.2” [9082696/9082696])

5、偽裝代理名稱下載 

有些網站能通過根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以通過–user-agent參數偽裝。

6、使用 wget –spider 測試下載鏈接

當你打算進行定時下載，你應該在預定時間測試下載鏈接是否有效。我們可以增加–spider參數進行檢查。

 1 wget –spider URL 
 2 如果下載鏈接正確，將會顯示 
 3  
 4 wget –spider URL 
 5 Spider mode enabled. Check if remote file exists. 
 6 HTTP request sent, awaiting response… 200 OK 
 7 Length: unspecified [text/html] 
 8 Remote file exists and could contain further links, 
 9 but recursion is disabled — not retrieving. 
10 這保證了下載能在預定的時間進行，但當你給錯了一個鏈接，將會顯示如下錯誤 
11  
12 wget –spider url 
13 Spider mode enabled. Check if remote file exists. 
14 HTTP request sent, awaiting response… 404 Not Found 
15 Remote file does not exist — broken link!!! 

你可以在以下幾種情況下使用spider參數：

1 定時下載之前進行檢查
2 間隔檢測網站是否可用
3 檢查網站頁面的死鏈接

7、使用 wget –tries 增加重試次數 

如果網絡有問題或下載一個大文件也有可能失敗。wget默認重試20次連接下載文件。如果需要，你可以使用–tries增加重試次數。

1 wget –tries=40 URL 

8、使用 wget -i 下載多個文件 

 1 首先，保存一份下載鏈接文件 
 2  
 3 cat > filelist.txt 
 4 url1 
 5 url2 
 6 url3 
 7 url4 
 8 接着使用這個文件和參數-i下載 
 9  
10 wget -i filelist.txt

9、使用 wget –mirror 鏡像網站 

 

10、使用 wget –reject 過濾指定格式下載 

你想下載一個網站，但你不希望下載圖片，你可以使用以下命令。

1 wget –reject=gif url 

11、使用 wget -o 把下載信息存入日志文件 

你不希望下載信息直接顯示在終端而是在一個日志文件，可以使用以下命令：

1 wget -o download.log URL

 

使用wget -O下載並以不同的文件名保存(-O：下載文件到對應目錄，並且修改文件名稱)

1	wget -O wordpress.zip http: //www .minjieren.com /download .aspx? id =1080

使用wget -b后台下載

1	wget -b <a href= "http://www.minjieren.com/wordpress-3.1-zh_CN.zip" >http: //www .minjieren.com /wordpress-3 .1-zh_CN.zip< /a >

1	備注： 你可以使用以下命令來察看下載進度： tail  -f wget-log

利用-spider: 模擬下載，不會下載，只是會檢查是否網站是否好着

1	[root@localhost ~] # wget --spider  www.baidu.com    #不下載任何文件

模擬下載打印服務器響應

1	[root@localhost ~] # wget -S  www.baidu.com     # 打印服務器響應

設定指定次數

1 2	[root@localhost ~] #  wget -r --tries=2  www.baidu.com       (指定嘗試2次，2次后不再嘗試)   [root@localhost ~] # wget -r --tries=2 -q www.baidu.com    (指定嘗試，且不打印中間結果)