你應該了解的所有wget命令
翻譯自All the Wget Commands You Should Know
如何下載整個網站用來離線瀏覽？怎樣將一個網站上的所有MP3文件保存到本地的一個目錄中？怎么才能將需要登陸的網頁后面的文件下載下來？怎樣構建一個迷你版的Google？
Wget是一個自由的工具，可在包括Mac，Window和Linux在內的多個平台上使用，它可幫助你實現所有上述任務，而且還有更多的功能。與大多數下載管理器不同的是，wget可跟着網頁上的HTTP鏈接，遞歸地下載相關的文件。有個士兵就用過這個工具來從美軍內網上下載數千個機密文件，並發布到了維基解密上。
wget下載得到整個網站的鏡像 用wget下載得到整個網站的鏡像
使用Wget扒行網站—-20個實用例子
Wget是一個極為強大的工具，但和大部分其它命令行程序一樣，它所支持的大量選項會嚇跑新的用戶。因而，這里我們會列出一些wget命令，以幫助你完成一些普通的任務，包括下載單個文件和對整個網站做備份，等。你如果有時間通讀wget手冊，自然會大受裨益。但是對於忙碌的人們來說，這里給出的卻是隨時可執行的命令。
- 從網上下載單個文件
wget http://example.com/file.iso
2) 下載一個文件，但以不同的名字存為本地文件
wget --output-document=filename.html example.com
3) 下載一個文件，存到指定的目錄
wget --directory-prefix=folder/subfolder example.com
4) 恢復之前中斷的一個wget下載
wget --continue example.com/big.file.iso
wget -c example.com/big.file.iso
5) 下載一個文件，但只在服務器上的版本比本地版本新時才會真正執行
wget --continue --timestamping wordpress.org/latest.zip
6) 用wget下載多個網址，這些網址存於一個文本文件中，一行一個網址
wget --input list-of-file-urls.txt
7) 從服務器下載一些以連續序號為文件名的文件
wget http://example.com/images/{1..20}.jpg
wget http://example.com/images/pre-{1..20}-post.jpg
8) 下載一個網頁，包括它所有的內容，比如樣式表和包含的圖片，它們是確保網頁離線顯示所必需的
wget -page-requisites --span-hosts --convert-links --adjust-extension http://example.com/dir/file
wget -p -H -k -E http://example.com/dir/file
用Wget對網站進行鏡像備份
9) 下載整個網站，包括它所有鏈接的頁面和文件
wget --execute robots=off --recursive --no-parent --continue --no-clobber http://example.com/
wget -e robots=off -r -np -c -nc http://example.com/
10) 從網站上一個子目錄中下載所有MP3文件
wget --level=1 --recursive --no-parent --accept mp3,MP3 http://example.com/mp3/
wget -l 1 -r -np -A mp3,MP3 http://example.com/mp3/
11) 將一個網站上的所有圖片下載到同一個目錄中
wget --directory-prefix=files/pictures --no-directories --recursive --no-clobber --accept jpg,gif,png,jpeg http://example.com/images/
wget -P files/pictures -nd -r -nc -A jpg,gif,png,jpeg http://example.com/images/
12) 從一個網站上下載PDF文件，采用遞歸的方式，但不跳出指定的網域
wget --mirror --domains=abc.com,files.abc.com,docs.abc.com --accept=pdf http://abc.com/
wget -m -D abc.com,files.abc.com,docs.abc.com -A pdf http://abc.com/
13) 從一個網站上下載所有文件，但是排除某些目錄
wget --recursive --no-clobber --no-parent --exclude-directories /forums,/support http://example.com
wget -r -nc -np -X /forums,/support http://example.com
用Wget下載受限內容
Wget可用於下載網站上登陸頁面之后的內容，或避開HTTP參照位址(referer)和User Agent字符串對抓屏的限制。
- 下載網站上的文件，假設此網站檢查User Agent和HTTP參照位址(referer)
wget --referer=/5.0 --user-agent="Firefox/4.0.1" http://nytimes.com
15) 從密碼保護網站上下載文件
wget --http-user=labnol --http-password=hello123 http://example.com/secret/file.zip
16) 抓取登陸界面后面的頁面。你需要將用戶名和密碼替換成實際的表格域值，而URL應該指向(實際的)表格提交頁面
wget --cookies=on --save-cookies cookies.txt --keep-session-cookies --post-data 'user=labnol&password=123' http://example.com/login.php
wget --cookies=on --load-cookies cookies.txt --keep-session-cookies http://example.com/paywall
用wget獲得文件細節
17) 在不下載的情況下，得到一個文件的大小 (在網絡響應中尋找用字節表示的文件長度)
wget --spider --server-response http://example.com/file.iso
wget --spider -S http://example.com/file.iso
18) 下載一個文件，但不存儲為本地文件，而是在屏幕上顯示其內容
wget --output-document=- --quiet google.com/humans.txt
wget -O- -q google.com/humans.txt
- 得到網頁的最后修改日期 (檢查HTTP頭中的Last Modified標簽)
wget --server-response --spider http://www.labnol.org/
wget -S --spider http://www.labnol.org/
20) 檢查你的網站上的鏈接是否都可用。spider選項將令wget不會在本地保存網頁
wget --output-file=logfile.txt --recursive --spider http://example.com
wget -O logfile.txt -r --spider http://example.com
另見Essential Linux Commands
wget —- 如何對服務器友好一些？
wget工具本質上是一個抓取網頁的網絡爬蟲，但有些網站主機通過robots.txt文件來屏幕這些網絡爬蟲。另外，對於使用了rel-nofollow屬性的網頁，wget也不會扒取它的鏈接。
不過，你可以強迫wget忽略robots.txt'和nofollow指令，只需在所有wget命令行中加上–execute robots=off選項即可。如果一個網頁主機通過查看User Agent字段來屏幕wget請求，你也總是可以用–user-agent=Mozilla`選項來偽裝成火狐瀏覽器。
wget命令會增加網站服務器的負擔，因為它不斷地追蹤鏈接，並下載文件。因而，一個好的網頁抓取工具應該限制下載速度，而且還要在連接的抓取請求之間設置一個停頓，以緩解服務器的負擔。
wget --limit-rate=20k --wait=60 --random-wait --mirror example.com
在上面的示例中，我們將下載帶寬限制在了20KB/s，而且wget會在任意位置隨機停頓30s至90s時間，然后再開始下一次下載請求。
最后是一個小測試，你認為下列wget命令是干什么用的？
wget --span-hosts --level=inf --recursive dmoz.org