相應的安裝命名
yum -y install wget
yum -y install setup
yum -y install perl
wget -r -p -np -k -E http://www.xxx.com 抓取整站
wget -l 1 -p -np -k http://www.xxx.com 抓取第一級
-r 遞歸抓取
-k 抓取之后修正鏈接,適合本地瀏覽
http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html
wget -m -e robots=off -k -E "http://www.abc.net/"
可以將全站下載以本地的當前工作目錄,生成可訪問、完整的鏡像。
解釋:
-m //鏡像,就是整站抓取
-e robots=off //忽略robots協議,強制、流氓抓取
-k //將絕對URL鏈接轉換為本地相對URL
-E //將所有text/html文檔以.html擴展名保存