wget -i index.html -F -B -c https://www.lmd.de/downloads
mwget
https://blog.csdn.net/b114213903/article/details/108223258
https://www.cnblogs.com/lingwang3/p/14121773.html
https://blog.csdn.net/hbuxiaofei/article/details/109011546
https://blog.csdn.net/dghggij/article/details/83654577 簡介
亂碼解決
https://blog.51cto.com/kusorz/1943234
curl示例:
curl http://www.example.com/123.txt|iconv -f gb2312 -c
-c 忽略無效字符
wget示例:
wget --restrict-file-names=nocontrol http://www.example.com/123.txt
下載頁面以及頁面 下鏈接,
適用於 目錄類型 頁面 帶很多其他文件需要下載
wget -F -B -c -r -np -k -L -p www.iro.umontreal.ca/~panneton/well/
缺少-F -B
先介紹幾個參數:-c 斷點續傳(備注:使用斷點續傳要求服務器支持斷點續傳),-r 遞歸下載(目錄下的所有文件,包括子目錄),-np 遞歸下載不搜索上層目錄,-k 把絕對鏈接轉為相對鏈接,這樣下載之后的網頁方便瀏覽。-L 遞歸時不進入其他主機,-p 下載網頁所需要的所有文件。
比如:
wget -c -r -np -k -L -p http://www.predictioncenter.org/download_area/CASP10/server_predictions/
缺少-F -B
wget下載一個頁面以及所需的所有文件(包括嵌入的js,css等)
wget -E -H -k -K -p http://jsonviewer.stack.hu
加載下載好的頁面 根據地址下載 頁面的鏈接
wget http://mirrors.aliyun.com/centos/7.6.1810/cloud/x86_64/openstack-rocky/
wget -i index.html -F -B http://mirrors.aliyun.com/centos/7.6.1810/cloud/x86_64/openstack-rocky/
如何在Windows下為wget設置http代理地址?
如果沒有參數運行我的wget打印:
D:\>wget
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:/progra~1/wget/etc/wgetrc
D:\Apps\Util\wget: missing URL
Usage: D:\Apps\Util\wget [OPTION]... [URL]...
Try `D:\Apps\Util\wget --help' for more options.
這可能意味着,就是找文件wgetrc在c:/progra~1/wget/etc/wgetrc。不幸的是,該位置不適用於非root用戶程序。我以為我可以修改SYSTEM_WGETRC或syswgetrc環境變量,但這看起來沒有效果
D:\>echo %SYSTEM_WGETRC%
d:\apps\util\wgetrc
D:\>echo %syswgetrc%
D:\APPS\Util\wgetrc
wget --help沒有告訴你太多。有關更多詳細信息,您可以查看在線wget手冊 或 man wget (它們是不同的東西,通常每個都值得檢查)
簡而言之,這是一個例子
C:\sdf>wget -e http_proxy=127.0.0.1:8118 www.google.com
還有一個
C:\sdf>set http_proxy=127.0.0.1:8118
C:\sdf>wget www.google.com
該手冊提到了wgetrc命令。您會在此處看到有關http代理的一些信息。
6.3 Wgetrc命令
http_proxy = string
使用字符串作為http代理,而不是環境中指定的字符串。
https_proxy = string
使用字符串作為https代理,而不是環境中指定的字符串。
8.1代理
Wget支持HTTP和ftp檢索的代理。Wget可以識別的指定代理位置的標准方法是使用以下環境變量:
http_proxy
https_proxy
如果設置,則http_proxy和https_proxy變量應分別包含http和https連接的代理的URL。
添加
關於wget手冊頁和“ wget手冊”。
命令行上的手冊頁是最新的,但是手冊(與手冊頁不同的實體)並不總是最新的wget版本。截至撰寫時(2015年9月)。http://www.gnu.org/software/wget/manual/wget.html 您可以在頂部看到該版本,並檢查它是否為最新的 http://ftp.gnu.org/gnu/wget/, 其中顯示了日期太。(您在archive.org上看到,例如,在2013年11月,gnu手冊已過時。在2013年11月,甚至在2014年3月,他們仍顯示wget 1.13.4,該數據來自2011年)
對於聯機幫助頁,如果要從命令行檢查,則它必須是您使用的版本,因此只需確保命令為最新/更新它,就可以了。您可能要檢查您正在使用的在線資源是否正在顯示最新的手冊頁。這其中似乎罰款https://www.kernel.org/doc/man-pages/ 鏈接http://man7.org/linux/man-pages/man1/wget.1.html 您還可以檢查其版本有針對ftp鏈接以確保它是最新版本。
在dos / windows命令行或批處理文件中,您可以指定
set http[s]_proxy=http[s]://proxyserver:port/
Linux中為wget命令設置代理
方法1:使用命令參數-e
wget本身沒有專門設置代理的命令行參數,但是有一個"-e"參數,可以在命令行上指定一個原本出現在".wgetrc"中的設置。於是可以變相在命令行上指定代理:-e, --execute=COMMAND 執行`.wgetrc'格式的命令
例如:wget -c -r -np -k -L -p -e "http_proxy=http://127.0.0.1:8087" http://www.subversion.org.cn/svnbook/1.4/
這種方式對於使用一個臨時代理尤為方便。
注: 如果是https,則參數為:-e "https_proxy=http://127.0.0.1:8087"
使用https時如果想要忽略服務器端證書的校驗,可以使用 -k 參數。
方法2:在環境變量中設置代理
export http_proxy=http://127.0.0.1:8087
方法3:使用配置文件
為wget使用代理,可以直接修改/etc/wgetrc,也可以在主文件夾下新建.wgetrc,並編輯相應內容,本文采用后者。
將/etc/wgetrc中與proxy有關的幾行復制到~/.wgetrc,並做如下修改:
#You can set the default proxies for Wget to use for http, https, and ftp.
# They will override the value in the environment.
https_proxy = http://127.0.0.1:8087/
http_proxy = http://127.0.0.1:8087/
ftp_proxy = http://127.0.0.1:8087/
# If you do not want to use proxy at all, set this to off.
use_proxy = on
這里 use_proxy = on 開啟了代理,如果不想使用代理,每次都修改此文件未免麻煩,我們可以在命令中使用-Y參數來臨時設置:-Y, --proxy=on/off 打開或關閉代理
wget和curl中使用代理
命令使用代理
wget/curl 都支持使用代理
wget -e “http_proxy=10.1.4.43:8080″ proxy.mimvp.com
curl -x 10.1.4.43:8080 proxy.mimvp.com
環境變量使用代理
curl、wget也支持通過環境變量http_proxy來設置要使用的代理服務器, 如下:
# 這個帳號使用的代理服務器
http_proxy=”http://mycache.mydomain.com:3128″
export http_proxy
如果代理服務器需要用戶名和密碼,只要將它們加入 URL。
例如:用戶名 myuser,密碼 mypwd,添加設定:
# 這個帳號使用的代理服務器和用戶名/密碼
http_proxy=”http://myuser:mypwd@mycache.mydomain.com:3128″
export http_proxy
然后直接wget proxy. .com 或者curl proxy. .com, 就是通過代理來訪問
WGET 通過代理下載文件
wget -e "http_proxy=http://root:123456@127.0.0.1:8080" http://www.163.com/download/test.zip
wget -e "http_代理服務器=http協議://賬號:密碼@IP:端口號" 下載資源的鏈接