windows下cmd使用wget命令(含安裝包)


一、下載

        官網:http://gnuwin32.sourceforge.net/packages/wget.htm

        下載地址:http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe

二、安裝與系統環境變量配置

2.1 安裝

        雙擊一步步安裝即可

2.2 配置系統環境變量

        新建變量“GNU_HOME”:GNU_HOME=C:\Program Files (x86)\GnuWin32

        在“Path”變量中添加:;%GNU_HOME%\bin

 

使用:wget -c -r -X -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/

在下載時。有用到外部域名的圖片或連接。如果需要同時下載就要用-H參數。
wget -np -nH -r –span-hosts www.xianren.org/pub/path/
-c 斷點續傳
-r 遞歸下載,下載指定網頁某一目錄下(包括子目錄)的所有文件
-nd 遞歸下載時不創建一層一層的目錄,把所有的文件下載到當前目錄
-np 遞歸下載時不搜索上層目錄,如wget -c -r www.xianren.org/pub/path/
沒有加參數-np,就會同時下載path的上一級目錄pub下的其它文件
-k 將絕對鏈接轉為相對鏈接,下載整個站點后脫機瀏覽網頁,最好加上這個參數
-L 遞歸時不進入其它主機,如wget -c -r www.xianren.org/
如果網站內有一個這樣的鏈接:
www.xianren.org,不加參數-L,就會像大火燒山一樣,會遞歸下載www.xianren.org網站
-p 下載網頁所需的所有文件,如圖片等
-A 指定要下載的文件樣式列表,多個樣式用逗號分隔
-i 后面跟一個文件,文件內指明要下載的URL

 

Wget 的使用
  

1)支持斷點下傳功能

2)同時支持FTP和HTTP下載方式

3)支持代理服務器

4)設置方便簡單

5)程序小,完全免費;  

命令格式:  
  wget [參數列表] [目標軟件、網頁的網址]
  
  1、啟動類參數
  
  這一類參數主要提供軟件的一些基本信息;
  
  -V,--version 顯示軟件版本號然后退出;
  -h,--help顯示軟件幫助信息;
  -e,--execute=COMMAND 執行一個 “.wgetrc”命令
  
  以上每一個功能有長短兩個參數,長短功能一樣,都可以使用。需要注意的是,這里的-e參數是執行一個.wgettrc的命令,.wgettrc命令其實是一個參數列表,直接將軟件需要的參數寫在一起就可以了。
  
  2、文件處理參數
  
  這類參數定義軟件log文件的輸出方式等;
  
  -o,--output-file=FILE 將軟件輸出信息保存到文件;
  -a,--append-output=FILE將軟件輸出信息追加到文件;
  -d,--debug顯示輸出信息;
  -q,--quiet 不顯示輸出信息;
  -i,--input-file=FILE 從文件中取得URL;
  
  以上參數對於攻擊者比較有用,我們來看看具體使用;
  
  例1:下載192.168.1.168首頁並且顯示下載信息
  wget -dhttp://192.168.1.168
  
  例2:下載192.168.1.168首頁並且不顯示任何信息
  wget -qhttp://192.168.1.168
  
  例3:下載filelist.txt中所包含的鏈接的所有文件
  wget -i filelist.txt
  
  
  wget -np -m -l5 http://jpstone.bokee.com //不下載本站所鏈接的其它站點內容,5級目錄結構
  3、下載參數
  
  下載參數定義下載重復次數、保存文件名等;
  
  -t,--tries=NUMBER 是否下載次數(0表示無窮次)
  -O --output-document=FILE下載文件保存為別的文件名
  -nc, --no-clobber 不要覆蓋已經存在的文件
  -N,--timestamping只下載比本地新的文件
  -T,--timeout=SECONDS 設置超時時間
  -Y,--proxy=on/off 關閉代理
  
  例:下載192.168.1.168的首頁並將下載過程中的的輸入信息保存到test.htm文件中
  wget -o test.htmhttp://192.168.1.168
  
  4、目錄參數
  
  目錄參數主要設置下載文件保存目錄與原來文件(服務器文件)的目錄對應關系;
  
  -nd --no-directories 不建立目錄
  -x,--force-directories 強制建立目錄
  可能現在我們對這里的目錄還不是很了解,我們來看一個舉例
  
  例:下載192.168.1.168的首頁,並且保持網站結構
  wget -xhttp://192.168.1.168
  
  
  5、HTTP參數
  
  HTTP參數設置一些與HTTP下載有關的屬性;
  
  --http-user=USER設置HTTP用戶
  --http-passwd=PASS設置HTTP密碼
  --proxy-user=USER設置代理用戶
  --proxy-passwd=PASS設置代理密碼
  
  以上參數主要設置HTTP和代理的用戶、密碼;
  
  6、遞歸參數設置
  
  在下載一個網站或者網站的一個目錄的時候,我們需要知道的下載的層次,這些參數就可以設置;
  -r,--recursive 下載整個網站、目錄(小心使用)
  -l,--level=NUMBER 下載層次
  
  例:下載整個網站
  wget -rhttp://192.168.1.168
  
  7、遞歸允許與拒絕選項參數
  
  下載一個網站的時候,為了盡量快,有些文件可以選擇下載,比如圖片和聲音,在這里可以設置;
  
  -A,--accept=LIST 可以接受的文件類型
  -R,--reject=LIST拒絕接受的文件類型
  -D,--domains=LIST可以接受的域名
  --exclude-domains=LIST拒絕的域名
  -L,--relative 下載關聯鏈接
  --follow-ftp 只下載FTP鏈接
  -H,--span-hosts 可以下載外面的主機
  -I,--include-directories=LIST允許的目錄
  -X,--exclude-directories=LIST 拒絕的目錄
  
  
  如何設定wget所使用的代理服務器
  wget可以使用用戶設置文件".wgetrc"來讀取很多設置,我們這里主要利用這個文件來是
  設置代理服務器。使用者用什么用戶登錄,那么什么用戶主目錄下的".wgetrc"文件就起
  作用。例如,"root"用戶如果想使用".wgetrc"來設置代理服務器,"/root/.wgetrc"就起
  作用,下面給出一個".wgetrc"文件的內容,讀者可以參照這個例子來編寫自己的"wgetrc"文件:
  http-proxy = 111.111.111.111:8080
  ftp-proxy = 111.111.111.111:8080
  這兩行的含義是,代理服務器IP地址為:111.111.111.111,端口號為:80。第一行指定
  HTTP協議所使用的代理服務器,第二行指定FTP協議所使用的代理服務器。
  
  
  
  WGet使用指南
  wget是一個從網絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協議,可以使用HTTP代理.
  
  所謂的自動下載是指,wget可以在用戶退出系統的之后在后台執行。這意味這你可以登錄系統,啟動一個wget下載任務,然后退出系統,wget將在后台執行直到任務完成,相對於其它大部分瀏覽器在下載大量數據時需要用戶一直的參與,這省去了極大的麻煩。
  
  wget 可以跟蹤HTML頁面上的鏈接依次下載來創建遠程服務器的本地版本,完全重建原始站點的目錄結構。這又常被稱作”遞歸下載”。在遞歸下載的時候,wget 遵循Robot Exclusion標准(/robots.txt). wget可以在下載的同時,將鏈接轉換成指向本地文件,以方便離線瀏覽。
  
  wget 非常穩定,它在帶寬很窄的情況下和不穩定網絡中有很強的適應性.如果是由於網絡的原因下載失敗,wget會不斷的嘗試,直到整個文件下載完畢。如果是服務 器打斷下載過程,它會再次聯到服務器上從停止的地方繼續下載。這對從那些限定了鏈接時間的服務器上下載大文件非常有用。
  
  wget的常見用法
  wget的使用格式
  
  Usage: wget [OPTION]... [URL]...用wget做站點鏡像:
  wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
  # 或者
  wget -mhttp://www.tldp.org/LDP/ab...在不穩定的網絡上下載一個部分下載的文件,以及在空閑時段下載
  wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
  # 或者從filelist讀入要下載的文件列表
  wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &上面的代碼還可以用來在網絡比較空閑的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL鏈接拷貝到內存中然后粘貼到文件 filelist.txt中,在晚上要出去系統前執行上面代碼的第二條。
  
  使用代理下載
  wget -Y on -p -khttps://sourceforge.net/pr...代理可以在環境變量或wgetrc文件中設定
  
  # 在環境變量中設定代理
  export PROXY=http://211.90.168.94:8080/
  # 在~/.wgetrc中設定代理
  http_proxy =http://proxy.yoyodyne.com:..
  ftp_proxy =http://proxy.yoyodyne.com:...各種選項分類列表
  啟動
  -V, --version 顯示wget的版本后退出
  -h, --help 打印語法幫助
  -b, --background 啟動后轉入后台執行
  -e, --execute=COMMAND 執行`.wgetrc"格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc記錄和輸入文件
  -o, --output-file=FILE 把記錄寫到FILE文件中
  -a, --append-output=FILE 把記錄追加到FILE文件中
  -d, --debug 打印調試輸出
  -q, --quiet 安靜模式(沒有輸出)
  -v, --verbose 冗長模式(這是缺省設置)
  -nv, --non-verbose 關掉冗長模式,但不是安靜模式
  -i, --input-file=FILE 下載在FILE文件中出現的URLs
  -F, --force-html 把輸入文件當作HTML格式文件對待
  -B, --base=URL 將URL作為在-F -i參數指定的文件中出現的相對鏈接的前綴
  --sslcertfile=FILE 可選客戶端證書
  --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
  --egd-file=FILE 指定EGD socket的文件名下載
  --bind-address=ADDRESS 指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
  -t, --tries=NUMBER 設定最大嘗試鏈接次數(0 表示無限制).
  -O --output-document=FILE 把文檔寫到FILE文件中
  -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
  -c, --continue 接着下載沒下載完的文件
  --progress=TYPE 設定進程條標記
  -N, --timestamping 不要重新下載文件除非比本地文件新
  -S, --server-response 打印服務器的回應
  --spider 不下載任何東西
  -T, --timeout=SECONDS 設定響應超時的秒數
  -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
  --waitretry=SECONDS 在重新鏈接之間等待1...SECONDS秒
  --random-wait 在下載之間等待0...2*WAIT秒
  -Y, --proxy=on/off 打開或關閉代理
  -Q, --quota=NUMBER 設置下載的容量限制
  --limit-rate=RATE 限定下載輸率目錄
  -nd --no-directories 不創建目錄
  -x, --force-directories 強制創建目錄
  -nH, --no-host-directories 不創建主機目錄
  -P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
  --cut-dirs=NUMBER 忽略 NUMBER層遠程目錄HTTP 選項
  --http-user=USER 設定HTTP用戶名為 USER.
  --http-passwd=PASS 設定http密碼為 PASS.
  -C, --cache=on/off 允許/不允許服務器端的數據緩存 (一般情況下允許).
  -E, --html-extension 將所有text/html文檔以.html擴展名保存
  --ignore-length 忽略 `Content-Length"頭域
  --header=STRING 在headers中插入字符串 STRING
  --proxy-user=USER 設定代理的用戶名為 USER
  --proxy-passwd=PASS 設定代理的密碼為 PASS
  --referer=URL 在HTTP請求中包含 `Referer: URL"頭
  -s, --save-headers 保存HTTP頭到文件
  -U, --user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.
  --no-http-keep-alive 關閉 HTTP活動鏈接 (永遠鏈接).
  --cookies=off 不使用 cookies.
  --load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
  --save-cookies=FILE 在會話結束后將 cookies保存到 FILE文件中FTP 選項
  -nr, --dont-remove-listing 不移走 `.listing"文件
  -g, --glob=on/off 打開或關閉文件名的 globbing機制
  --passive-ftp 使用被動傳輸模式 (缺省值).
  --active-ftp 使用主動傳輸模式
  --retr-symlinks 在遞歸的時候,將鏈接指向文件(而不是目錄)遞歸下載
  -r, --recursive 遞歸下載--慎用!
  -l, --level=NUMBER 最大遞歸深度 (inf 或 0 代表無窮).
  --delete-after 在現在完畢后局部刪除文件
  -k, --convert-links 轉換非相對鏈接為相對鏈接
  -K, --backup-converted 在轉換文件X之前,將之備份為 X.orig
  -m, --mirror 等價於 -r -N -l inf -nr.
  -p, --page-requisites 下載顯示HTML文件的所有圖片遞歸下載中的包含和不包含(accept/reject)
  -A, --accept=LIST 分號分隔的被接受擴展名的列表
  -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
  -D, --domains=LIST 分號分隔的被接受域的列表
  --exclude-domains=LIST 分號分隔的不被接受的域的列表
  --follow-ftp 跟蹤HTML文檔中的FTP鏈接
  --follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的列表
  -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標簽的列表
  -H, --span-hosts 當遞歸時轉到外部主機
  -L, --relative 僅僅跟蹤相對鏈接
  -I, --include-directories=LIST 允許目錄的列表
  -X, --exclude-directories=LIST 不被包含目錄的列表
  -np, --no-parent 不要追溯到父目錄
  
  
  Wget使用技巧 
  wget的使用形式是:
  wget [參數列表] URL
  首先來介紹一下wget的主要參數:
  ・ -b:讓wget在后台運行,記錄文件寫在當前目錄下"wget-log"文件中;
  ・ -t [nuber of times]:嘗試次數,當wget無法與服務器建立連接時,嘗試連接多少次
  。比如"-t
  120"表示嘗試120次。當這一項為"0"的時候,指定嘗試無窮多次直到連接成功為止,這個
  設置非常有用,當對方服務器突然關機或者網絡突然中斷的時候,可以在恢復正常后繼續
  下載沒有傳完的文件;
  ・ -c:斷點續傳,這也是個非常有用的設置,特別當下載比較大的文件的時候,如果中
  途意外中斷,那么連接恢復的時候會從上次沒傳完的地方接着傳,而不是又從頭開始,使
  用這一項需要遠程服務器也支持斷點續傳,一般來講,基於UNIX/Linux的Web/FTP服務器
  都支持斷點續傳;
  ・ -T [number of seconds]:超時時間,指定多長時間遠程服務器沒有響應就中斷連接
  ,開始下一次嘗試。比如"-T
  120"表示如果120秒以后遠程服務器沒有發過來數據,就重新嘗試連接。如果網絡速度比
  較快,這個時間可以設置的短些,相反,可以設置的長一些,一般最多不超過900,通常
  也不少於60,一般設置在120左右比較合適;
  ・ -w [number of seconds]:在兩次嘗試之間等待多少秒,比如"-w 100"表示兩次嘗試
  之間等待100秒;
  ・ -Y on/off:通過/不通過代理服務器進行連接;
  ・ -Q [byetes]:限制下載文件的總大小最多不能超過多少,比如"-Q2k"表示不能超過2K
  字節,"-Q3m"表示最多不能超過3M字節,如果數字后面什么都不加,就表示是以字節為單
  位,比如"-Q200"表示最多不能超過200字節;
  ・ -nd:不下載目錄結構,把從服務器所有指定目錄下載的文件都堆到當前目錄里;
  ・ -x:與"-nd"設置剛好相反,創建完整的目錄結構,例如"wget -ndhttp://www.gnu.org"將創建在當前目錄下創建"w...,然后按照服務器
  實際的目錄結構一級一級建下去,直到所有的文件都傳完為止;
  ・ -nH:不創建以目標主機域名為目錄名的目錄,將目標主機的目錄結構直接下到當前目
  錄下;
  ・ --http-user=username
  ・ --http-passwd=password:如果Web服務器需要指定用戶名和口令,用這兩項來設定;
  ・ --proxy-user=username
  ・ --proxy-passwd=password:如果代理服務器需要輸入用戶名和口令,使用這兩個選項
  ;
  ・ -r:在本機建立服務器端目錄結構;
  ・ -l [depth]:下載遠程服務器目錄結構的深度,例如"-l 5"下載目錄深度小於或者等
  於5以內的目錄結構或者文件;
  ・ -m:做站點鏡像時的選項,如果你想做一個站點的鏡像,使用這個選項,它將自動設
  定其他合適的選項以便於站點鏡像;
  ・ -np:只下載目標站點指定目錄及其子目錄的內容。這也是一個非常有用的選項,我們
  假設某個人的個人主頁里面有一個指向這個站點其他人個人主頁的連接,而我們只想下載
  這個人的個人主頁,如果不設置這個選項,甚至--有可能把整個站點給抓下來,這顯然是
  我們通常不希望的;
  ü 如何設定wget所使用的代理服務器
  wget可以使用用戶設置文件".wgetrc"來讀取很多設置,我們這里主要利用這個文件來是
  設置代理服務器。使用者用什么用戶登錄,那么什么用戶主目錄下的".wgetrc"文件就起
  作用。例如,"root"用戶如果想使用".wgetrc"來設置代理服務器,"/root/.wgert"就起
  作用,下面給出一個".wge
  trc"文件的內容,讀者可以參照這個例子來編寫自己的"wgetrc"文件:
  http-proxy = 111.111.111.111:8080
  ftp-proxy = 111.111.111.111:8080
  這兩行的含義是,代理服務器IP地址為:111.111.111.111,端口號為:80。第一行指定
  HTTP協議所使用的代理服務器,第二行指定FTP協議所使用的代理服務器。
  wget 使用實例:
  wget是一個命令行工具,用於批量下載文件,支持HTTP和FTP。究竟比其他的工具好在哪里?看看內容吧 
  
  wget基本上所有的Linux版本都自己帶了,但是有多少人在用呢?呵呵,如果你沒有用過,不妨試試。Windows下面的用戶可以使用GNUwin32的項目,wget,基本功能完全一致。好吧,我們來以幾個簡單的例子看看wget的威力。
  
  如果我們想下載ftp里面某個目錄里面的所有文件,我們也可以不用ftp這個笨蛋,呵呵,可以享受cute ftp等圖形化工具的拖一個目錄的輕松了。如
  
  
  wget -rftp://10.8.8.8/movie/
  
  呵呵,等吧!下完了,發覺有些不對勁,怎么出來個10.8.8.8的目錄,進去看看,又是一個movie,哦,wget將目錄結構和網站標題都給記錄下來了,不要??沒有問題!比如說還是這個例子
  
  wget -r -ndftp://10.8.8.8/movie/
  
  結果什么目錄都沒有了,faint!怎么會這樣?呵呵,你如果想要這樣就讓它這樣吧,否則使用
  
  wget -r -nHftp://10.8.8.8/movie/
  
  恩?movie也不要?OK,那就這樣
  
  wget -r -nH --cut-dirs=1ftp://10.8.8.8/movie/
  
  這有什么用啊?cuteftp比他好用多了,而且,你這斷了線能連嗎?呵呵,不好意思,可以連
  
  wget -c -r -nH --cut-dirs=1ftp://10.8.8.8/movie/
  
  
  但 是cuteftp能做下面的事情嗎?比如,現在很多網站使用Apache建站,並不提供ftp服務,但是Apache有一個indexing功能,可以提 供一個類似於ftp的界面,好多文件我想下啊,怎么辦?由於是HTTP協議,CuteFTP無能為力了,倒是flash get等有什么get all這種功能,不知道他們對於目錄處理怎么樣。但是wget一點問題都沒有,不信?我們拿CTAN為例(例子並不恰當,CTAN有FTP服務),我們下 載這里面所有的宏包,呵呵
  
  wget -r -khttp://www.txia.com/blog
  
  -k表示將連接轉換為本地連接。但是現在同樣有上面的問題啊,那就把你需要的加上吧,另外也許你根本不需要向下走那么多層,比如,我們就要到第二層,那么
  
  wget -r -l2 -khttp://www.txia.com/blog
  
  現在新的問題是,由於網頁有一個排序功能,很討厭,因為下載的時候把網頁重復了好多次,那么我們可使用-A和-R開關控制下載類型,並且可以使用通配符,呵呵,現在隨心所欲了吧
  
  wget -r -R "*.htm*?*" -khttp://www.txia.com/blog
  
  這次沒有那種網頁了吧?-R的意義在於拒絕下載匹配類型的文件,-A表示僅僅接受的文件類型,如-A "*.gif"將僅下載gif圖片,如果有多個允許或者不允許,可以使用,分開。
  
  那 么,我們現在在使用代理服務器,怎么辦呢?呵呵,很高興你選擇了wget,你可以使用它的配置文件,環境變量來利用代理。這里推薦使用環境變量,如在 bash里面我們可以把天天用的proxy加到.bash_profile里面,這是Linux標准寫法(很多軟件都用的,什么apt-get,yum等 等)
  
  export http_proxy=http://10.20.30.40:8080
  
  然后,proxy就默認打開了,如果需要暫時關閉,可以使用
  
  wget --proxy=off -r -khttp://www.txia.com/blog
  
  當然,寫一個.wgetrc文件也可以,該文件可以從/usr/local/etc里面找到,里面有很詳細的注釋,我就不多說了。
  
  下載網頁的時候比較麻煩的事情是,有的網頁被同時指向了很多遍,那么為了避免多次下載,我們使用
  
  wget -nc -r -khttp://www.txia.com/blog
  
  可以避免這件事情。為了不被有的連接指向非http://www.txia.com/blog內層目錄,我們還應該加上
  
  wget -nc -np -r -khttp://www.txia.com/blog
  
  避免下載非該目錄里面的文件,這也避免了到不同的host上面去。當然,如果你希望有這個功能,在多個host之間跳來跳去的下載,可以使用
  
  wget -nc -np -H -r -khttp://www.txia.com/blog
  
  使得可以在多個host之間span,同時-I和-X可以使得我們僅僅跟蹤某些目錄或者不跟蹤某些目錄。如果某些HTML里面你需要的東西不是由這種東西作出來的,你就得使用--follow-tags和--ignore-tags了。
  
  嘿,我有個文件里面都是連接,怎么辦?要是不是html你只需要
  
  wget -i your.file
  
  如果是,那也不繁
  
  wget -F -i your.file
  
  
  
  wget 使用指南
  wget是一個從網絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協議,可以使用HTTP代理.
  
  所謂的自動下載是指,wget可以在用戶退出系統的之后在后台執行。這意味這你可以登錄系統,啟動一個wget下載任務,然后退出系統,wget將在后台執行直到任務完成,相對於其它大部分瀏覽器在下載大量數據時需要用戶一直的參與,這省去了極大的麻煩。
  
  wget 可以跟蹤HTML頁面上的鏈接依次下載來創建遠程服務器的本地版本,完全重建原始站點的目錄結構。這又常被稱作"遞歸下載"。在遞歸下載的時候,wget 遵循Robot Exclusion標准(/robots.txt). wget可以在下載的同時,將鏈接轉換成指向本地文件,以方便離線瀏覽。
  
  wget 非常穩定,它在帶寬很窄的情況下和不穩定網絡中有很強的適應性.如果是由於網絡的原因下載失敗,wget會不斷的嘗試,直到整個文件下載完畢。如果是服務 器打斷下載過程,它會再次聯到服務器上從停止的地方繼續下載。這對從那些限定了鏈接時間的服務器上下載大文件非常有用。
  
  wget的常見用法
  wget的使用格式
  
  Usage: wget [OPTION]... [URL]...
  
  用wget做站點鏡像:
  wget -r -p -np -khttp://dsec.pku.edu.cn/~us..
  -r 表示遞歸下載,會下載所有的鏈接,不過要注意的是,不要單獨使用這個參數,因為如果你要下載的網站也有別的網站的鏈接,wget也會把別的網站的東西下載 下來,所以要加上 -np這個參數,表示不下載別的站點的鏈接. -k表示將下載的網頁里的鏈接修改為本地鏈接.-p獲得所有顯示網頁所需的元素,比如圖片什么的.
  
  # 或者
  wget -mhttp://www.tldp.org/LDP/ab..
  
  
  在不穩定的網絡上下載一個部分下載的文件,以及在空閑時段下載
  wget -t 0 -w 31 -chttp://dsec.pku.edu.cn/BBC.. -o down.log &
  # 或者從filelist讀入要下載的文件列表
  wget -t 0 -w 31 -c -Bftp://dsec.pku.edu.cn/linu.. -i filelist.txt -o down.log &
  
  上面的代碼還可以用來在網絡比較空閑的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL鏈接拷貝到內存中然后粘貼到文件filelist.txt中,在晚上要出去系統前執行上面代碼的第二條。
  
  使用代理下載
  wget -Y on -p -khttps://sourceforge.net/pr..
  
  代理可以在環境變量或wgetrc文件中設定
  # 在環境變量中設定代理
  export PROXY=http://211.90.168.94:8080/
  # 在~/.wgetrc中設定代理
  http_proxy =http://proxy.yoyodyne.com:..
  ftp_proxy =http://proxy.yoyodyne.com:..
  
  wget各種選項分類列表
  啟動
  -V, --version 顯示wget的版本后退出
  -h, --help 打印語法幫助
  -b, --background 啟動后轉入后台執行
  -e, --execute=COMMAND 執行`.wgetrc"格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc
  
  記錄和輸入文件
  -o, --output-file=FILE 把記錄寫到FILE文件中
  -a, --append-output=FILE 把記錄追加到FILE文件中
  -d, --debug 打印調試輸出
  -q, --quiet 安靜模式(沒有輸出)
  -v, --verbose 冗長模式(這是缺省設置)
  -nv, --non-verbose 關掉冗長模式,但不是安靜模式
  -i, --input-file=FILE 下載在FILE文件中出現的URLs
  -F, --force-html 把輸入文件當作HTML格式文件對待
  -B, --base=URL 將URL作為在-F -i參數指定的文件中出現的相對鏈接的前綴
  --sslcertfile=FILE 可選客戶端證書
  --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
  --egd-file=FILE 指定EGD socket的文件名
  
  下載
  --bind-address=ADDRESS 指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)
  -t, --tries=NUMBER 設定最大嘗試鏈接次數(0 表示無限制).
  -O --output-document=FILE 把文檔寫到FILE文件中
  -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
  -c, --continue 接着下載沒下載完的文件
  --progress=TYPE 設定進程條標記
  -N, --timestamping 不要重新下載文件除非比本地文件新
  -S, --server-response 打印服務器的回應
  --spider 不下載任何東西
  -T, --timeout=SECONDS 設定響應超時的秒數
  -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
  --waitretry=SECONDS 在重新鏈接之間等待1...SECONDS秒
  --random-wait 在下載之間等待0...2*WAIT秒
  -Y, --proxy=on/off 打開或關閉代理
  -Q, --quota=NUMBER 設置下載的容量限制
  --limit-rate=RATE 限定下載輸率
  
  目錄
  -nd --no-directories 不創建目錄
  -x, --force-directories 強制創建目錄
  -nH, --no-host-directories 不創建主機目錄
  -P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
  --cut-dirs=NUMBER 忽略 NUMBER層遠程目錄
  
  HTTP 選項
  --http-user=USER 設定HTTP用戶名為 USER.
  --http-passwd=PASS 設定http密碼為 PASS.
  -C, --cache=on/off 允許/不允許服務器端的數據緩存 (一般情況下允許).
  -E, --html-extension 將所有text/html文檔以.html擴展名保存
  --ignore-length 忽略 `Content-Length"頭域
  --header=STRING 在headers中插入字符串 STRING
  --proxy-user=USER 設定代理的用戶名為 USER
  --proxy-passwd=PASS 設定代理的密碼為 PASS
  --referer=URL 在HTTP請求中包含 `Referer: URL"頭
  -s, --save-headers 保存HTTP頭到文件
  -U, --user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.
  --no-http-keep-alive 關閉 HTTP活動鏈接 (永遠鏈接).
  --cookies=off 不使用 cookies.
  --load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
  --save-cookies=FILE 在會話結束后將 cookies保存到 FILE文件中
  
  FTP 選項
  -nr, --dont-remove-listing 不移走 `.listing"文件
  -g, --glob=on/off 打開或關閉文件名的 globbing機制
  --passive-ftp 使用被動傳輸模式 (缺省值).
  --active-ftp 使用主動傳輸模式
  --retr-symlinks 在遞歸的時候,將鏈接指向文件(而不是目錄)
  
  遞歸下載
  -r, --recursive 遞歸下載--慎用!
  -l, --level=NUMBER 最大遞歸深度 (inf 或 0 代表無窮).
  --delete-after 在現在完畢后局部刪除文件
  -k, --convert-links 轉換非相對鏈接為相對鏈接
  -K, --backup-converted 在轉換文件X之前,將之備份為 X.orig
  -m, --mirror 等價於 -r -N -l inf -nr.
  -p, --page-requisites 下載顯示HTML文件的所有圖片
  
  遞歸下載中的包含和不包含(accept/reject)
  -A, --accept=LIST 分號分隔的被接受擴展名的列表
  -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
  -D, --domains=LIST 分號分隔的被接受域的列表
  --exclude-domains=LIST 分號分隔的不被接受的域的列表
  --follow-ftp 跟蹤HTML文檔中的FTP鏈接
  --follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的列表
  -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標簽的列表
  -H, --span-hosts 當遞歸時轉到外部主機
  -L, --relative 僅僅跟蹤相對鏈接
  -I, --include-directories=LIST 允許目錄的列表
  -X, --exclude-directories=LIST 不被包含目錄的列表
  -np, --no-parent 不要追溯到父目錄
  
  問題
  在遞歸下載的時候,遇到目錄中有中文的時候,wget創建的本地目錄名會用URL編碼規則處理。如"天網防火牆"會被存為"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",這造成閱讀上的極大不方便。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM