wget 爬取網站網頁


相應的安裝命名

yum -y install wget

yum -y install setup

yum -y install perl

wget -r   -p -np -k -E  http://www.xxx.com 抓取整站

wget -l 1 -p -np -k       http://www.xxx.com 抓取第一級

-r 遞歸抓取
-k 抓取之后修正鏈接,適合本地瀏覽

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

wget -m -e robots=off -k -E "http://www.abc.net/"
可以將全站下載以本地的當前工作目錄,生成可訪問、完整的鏡像。

解釋:

-m  //鏡像,就是整站抓取
-e robots=off   //忽略robots協議,強制、流氓抓取
-k  //將絕對URL鏈接轉換為本地相對URL
-E //將所有text/html文檔以.html擴展名保存


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM