wget命令下載頁面里所有資源文件


wget -i index.html -F -B -c https://www.lmd.de/downloads

mwget
https://blog.csdn.net/b114213903/article/details/108223258
https://www.cnblogs.com/lingwang3/p/14121773.html
https://blog.csdn.net/hbuxiaofei/article/details/109011546

https://blog.csdn.net/dghggij/article/details/83654577 簡介

亂碼解決

https://blog.51cto.com/kusorz/1943234

  
curl示例:
curl http://www.example.com/123.txt|iconv -f gb2312 -c 
-c 忽略無效字符
wget示例:
wget --restrict-file-names=nocontrol http://www.example.com/123.txt
  
  

下載頁面以及頁面 下鏈接,

適用於 目錄類型 頁面 帶很多其他文件需要下載
wget -F -B -c -r -np -k -L -p www.iro.umontreal.ca/~panneton/well/
缺少-F -B
先介紹幾個參數:-c 斷點續傳(備注:使用斷點續傳要求服務器支持斷點續傳),-r 遞歸下載(目錄下的所有文件,包括子目錄),-np 遞歸下載不搜索上層目錄,-k 把絕對鏈接轉為相對鏈接,這樣下載之后的網頁方便瀏覽。-L 遞歸時不進入其他主機,-p 下載網頁所需要的所有文件。

比如:
wget -c -r -np -k -L -p http://www.predictioncenter.org/download_area/CASP10/server_predictions/
缺少-F -B
wget下載一個頁面以及所需的所有文件(包括嵌入的js,css等)
wget -E -H -k -K -p http://jsonviewer.stack.hu
加載下載好的頁面 根據地址下載 頁面的鏈接
wget http://mirrors.aliyun.com/centos/7.6.1810/cloud/x86_64/openstack-rocky/
 
wget -i index.html -F -B http://mirrors.aliyun.com/centos/7.6.1810/cloud/x86_64/openstack-rocky/

如何在Windows下為wget設置http代理地址?

如果沒有參數運行我的wget打印:

D:\>wget
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = c:/progra~1/wget/etc/wgetrc
D:\Apps\Util\wget: missing URL
Usage: D:\Apps\Util\wget [OPTION]... [URL]...

Try `D:\Apps\Util\wget --help' for more options.
這可能意味着,就是找文件wgetrc在c:/progra~1/wget/etc/wgetrc。不幸的是,該位置不適用於非root用戶程序。我以為我可以修改SYSTEM_WGETRC或syswgetrc環境變量,但這看起來沒有效果

D:\>echo %SYSTEM_WGETRC%
d:\apps\util\wgetrc

D:\>echo %syswgetrc%
D:\APPS\Util\wgetrc
wget --help沒有告訴你太多。有關更多詳細信息,您可以查看在線wget手冊 或 man wget (它們是不同的東西,通常每個都值得檢查)

簡而言之,這是一個例子

C:\sdf>wget -e http_proxy=127.0.0.1:8118 www.google.com
還有一個

C:\sdf>set http_proxy=127.0.0.1:8118
C:\sdf>wget www.google.com
該手冊提到了wgetrc命令。您會在此處看到有關http代理的一些信息。

6.3 Wgetrc命令
http_proxy = string
使用字符串作為http代理,而不是環境中指定的字符串。
https_proxy = string
使用字符串作為https代理,而不是環境中指定的字符串。
8.1代理
Wget支持HTTP和ftp檢索的代理。Wget可以識別的指定代理位置的標准方法是使用以下環境變量:

http_proxy
https_proxy
如果設置,則http_proxy和https_proxy變量應分別包含http和https連接的代理的URL。
添加

關於wget手冊頁和“ wget手冊”。

命令行上的手冊頁是最新的,但是手冊(與手冊頁不同的實體)並不總是最新的wget版本。截至撰寫時(2015年9月)。http://www.gnu.org/software/wget/manual/wget.html 您可以在頂部看到該版本,並檢查它是否為最新的 http://ftp.gnu.org/gnu/wget/, 其中顯示了日期太。(您在archive.org上看到,例如,在2013年11月,gnu手冊已過時。在2013年11月,甚至在2014年3月,他們仍顯示wget 1.13.4,該數據來自2011年)

對於聯機幫助頁,如果要從命令行檢查,則它必須是您使用的版本,因此只需確保命令為最新/更新它,就可以了。您可能要檢查您正在使用的在線資源是否正在顯示最新的手冊頁。這其中似乎罰款https://www.kernel.org/doc/man-pages/ 鏈接http://man7.org/linux/man-pages/man1/wget.1.html 您還可以檢查其版本有針對ftp鏈接以確保它是最新版本。

在dos / windows命令行或批處理文件中,您可以指定

set http[s]_proxy=http[s]://proxyserver:port/

Linux中為wget命令設置代理

方法1:使用命令參數-e

wget本身沒有專門設置代理的命令行參數,但是有一個"-e"參數,可以在命令行上指定一個原本出現在".wgetrc"中的設置。於是可以變相在命令行上指定代理:-e, --execute=COMMAND   執行`.wgetrc'格式的命令

例如:wget -c -r -np -k -L -p -e "http_proxy=http://127.0.0.1:8087" http://www.subversion.org.cn/svnbook/1.4/

這種方式對於使用一個臨時代理尤為方便。

注: 如果是https,則參數為:-e "https_proxy=http://127.0.0.1:8087"

使用https時如果想要忽略服務器端證書的校驗,可以使用 -k 參數。

方法2:在環境變量中設置代理
export http_proxy=http://127.0.0.1:8087

方法3:使用配置文件

為wget使用代理,可以直接修改/etc/wgetrc,也可以在主文件夾下新建.wgetrc,並編輯相應內容,本文采用后者。

將/etc/wgetrc中與proxy有關的幾行復制到~/.wgetrc,並做如下修改:
#You can set the default proxies for Wget to use for http, https, and ftp.
# They will override the value in the environment.
https_proxy = http://127.0.0.1:8087/
http_proxy = http://127.0.0.1:8087/
ftp_proxy = http://127.0.0.1:8087/
 
# If you do not want to use proxy at all, set this to off.
use_proxy = on

這里 use_proxy = on 開啟了代理,如果不想使用代理,每次都修改此文件未免麻煩,我們可以在命令中使用-Y參數來臨時設置:-Y, --proxy=on/off           打開或關閉代理


wget和curl中使用代理

命令使用代理

wget/curl 都支持使用代理

wget -e “http_proxy=10.1.4.43:8080″  proxy.mimvp.com

curl -x 10.1.4.43:8080 proxy.mimvp.com

 

環境變量使用代理

curl、wget也支持通過環境變量http_proxy來設置要使用的代理服務器, 如下:

# 這個帳號使用的代理服務器
http_proxy=”http://mycache.mydomain.com:3128″
export http_proxy

如果代理服務器需要用戶名和密碼,只要將它們加入 URL。

例如:用戶名 myuser,密碼 mypwd,添加設定:

# 這個帳號使用的代理服務器和用戶名/密碼
http_proxy=”http://myuser:mypwd@mycache.mydomain.com:3128″
export http_proxy

然后直接wget proxy. .com 或者curl proxy. .com, 就是通過代理來訪問 

WGET 通過代理下載文件

wget -e "http_proxy=http://root:123456@127.0.0.1:8080" http://www.163.com/download/test.zip
wget -e "http_代理服務器=http協議://賬號:密碼@IP:端口號" 下載資源的鏈接


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM