原理：下載你需要down的目錄頁面的index.html，可能名字不是如此！！！
之后用wget下載該文件里包含的所有鏈接！
例如：wget -vE -rLnp -nH --tries=20 --timeout=40 --wait=5 http://mirrors.163.com/gentoo/distfiles/
或者簡單點：wget -m http://mirrors.163.com/gentoo/distfiles/
你 會得到distfiles頁面的index.html文件，該文件內容當然不用說了，里面包含distfiles目錄下的所有源碼包的鏈接,要得到這個文 件很容易，一個-m參數也可以，但該文件比較大，為防止超時，等待等問題，可以加tries,timeout,wait等參數解決。
wget -nc -B http://mirrors.163.com/gentoo/distfiles/ -F -nH --cut-dirs=3 -i index.html
Ok！！！
后 來決定用tom的鏡像來同步下載，但是發現tom竟然不允許瀏覽訪問他們gentoo鏡像頁面當然也就得不到distfiles的 index.html，於是嘗試用163得到的index.html代替，畢竟里面存放的都是相對路徑，所以只需要用tom的distfiles目錄代替 163的路徑，同樣可以從tom下載163的index.html里列出來的鏡像文件！
參數解釋：
-B 給指定的文件里的URLs增加路徑前綴
-nc:下載時跳過已經存在的文件
-nH:不創建主機名目錄
-i : 下載所有在i參數后面指定的文件中列出的URLs.
-v : 顯示信息
F : 強制以html 保存
-r : 遞歸， 就是抓取子目錄的子目錄
L : 相對路徑
np : 不跳到父目錄
--cut-dirs 剪掉主機名后面的相對目錄數
例：
No options -> ftp.xemacs.org/pub/xemacs/
-nH -> pub/xemacs/
-nH --cut-dirs=1 -> xemacs/
-nH --cut-dirs=2 -> .
--cut-dirs=1 -> ftp.xemacs.org/xemacs/
...
還很多亂七八遭的參數，比如制定目錄啊，過濾啊，等等，
wget各種選項分類列表
* 啟動
-V, --version 顯示wget的版本后退出
-h, --help 打印語法幫助
-b, --background 啟動后轉入后台執行
-e, --execute=COMMAND 執行`.wgetrc'格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc
* 記錄和輸入文件
-o, --output-file=FILE 把記錄寫到FILE文件中
-a, --append-output=FILE 把記錄追加到FILE文件中
-d, --debug 打印調試輸出
-q, --quiet 安靜模式(沒有輸出)
-v, --verbose 冗長模式(這是缺省設置)
-nv, --non-verbose 關掉冗長模式，但不是安靜模式
-i, --input-file=FILE 下載在FILE文件中出現的URLs
-F, --force-html 把輸入文件當作HTML格式文件對待
-B, --base=URL 將URL作為在-F -i參數指定的文件中出現的相對鏈接的前綴
--sslcertfile=FILE 可選客戶端證書
--sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
--egd-file=FILE 指定EGD socket的文件名
* 下載
--bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)
-t, --tries=NUMBER 設定最大嘗試鏈接次數(0 表示無限制).
-O --output-document=FILE 把文檔寫到FILE文件中
-nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
-c, --continue 接着下載沒下載完的文件
--progress=TYPE 設定進程條標記
-N, --timestamping 不要重新下載文件除非比本地文件新
-S, --server-response 打印服務器的回應
--spider 不下載任何東西
-T, --timeout=SECONDS 設定響應超時的秒數
-w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
--waitretry=SECONDS 在重新鏈接之間等待1...SECONDS秒
--random-wait 在下載之間等待0...2*WAIT秒
-Y, --proxy=on/off 打開或關閉代理
-Q, --quota=NUMBER 設置下載的容量限制
--limit-rate=RATE 限定下載輸率
* 目錄
-nd --no-directories 不創建目錄,wget默認會創建一個目錄
-x, --force-directories 強制創建目錄
-nH, --no-host-directories 不創建主機目錄
-P, --directory-prefix=PREFIX 將文件保存到目錄 PREFIX/...
--cut-dirs=NUMBER 忽略 NUMBER層遠程目錄
* HTTP 選項
--http-user=USER 設定HTTP用戶名為 USER.
--http-passwd=PASS 設定http密碼為 PASS.
-C, --cache=on/off 允許/不允許服務器端的數據緩存 (一般情況下允許).
-E, --html-extension 將所有text/html文檔以.html擴展名保存
--ignore-length 忽略 `Content-Length'頭域
--header=STRING 在headers中插入字符串 STRING
--proxy-user=USER 設定代理的用戶名為 USER
--proxy-passwd=PASS 設定代理的密碼為 PASS
--referer=URL 在HTTP請求中包含 `Referer: URL'頭
-s, --save-headers 保存HTTP頭到文件
-U, --user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.
--no-http-keep-alive 關閉 HTTP活動鏈接 (永遠鏈接).
--cookies=off 不使用 cookies.
--load-cookies=FILE 在開始會話前從文件 FILE中加載cookie
--save-cookies=FILE 在會話結束后將 cookies保存到 FILE文件中
* FTP 選項
-nr, --dont-remove-listing 不移走 `.listing'文件
-g, --glob=on/off 打開或關閉文件名的 globbing機制
--passive-ftp 使用被動傳輸模式 (缺省值).
--active-ftp 使用主動傳輸模式
--retr-symlinks 在遞歸的時候，將鏈接指向文件(而不是目錄)
* 遞歸下載
-r, --recursive 遞歸下載－－慎用!
-l, --level=NUMBER 最大遞歸深度 (inf 或 0 代表無窮).
-l1 (L one) 遞歸一層,只下載指定文件夾中的內容, 不下載下一級目錄中的.
--delete-after 在現在完畢后局部刪除文件
-k, --convert-links 轉換非相對鏈接為相對鏈接
-K, --backup-converted 在轉換文件X之前，將之備份為 X.orig
-m, --mirror 等價於 -r -N -l inf -nr.
-p, --page-requisites 下載顯示HTML文件的所有圖片
* 遞歸下載中的包含和不包含(accept/reject)
-A, --accept=LIST 分號分隔的被接受擴展名的列表
-R, --reject=LIST 分號分隔的不被接受的擴展名的列表
-D, --domains=LIST 分號分隔的被接受域的列表
--exclude-domains=LIST 分號分隔的不被接受的域的列表
--follow-ftp 跟蹤HTML文檔中的FTP鏈接
--follow-tags=LIST 分號分隔的被跟蹤的HTML標簽的列表
-G, --ignore-tags=LIST 分號分隔的被忽略的HTML標簽的列表
-H, --span-hosts 當遞歸時轉到外部主機
-L, --relative 僅僅跟蹤相對鏈接
-I, --include-directories=LIST 允許目錄的列表
-X, --exclude-directories=LIST 不被包含目錄的列表
-np, --no-parent 不要追溯到父目錄
ftp協議發布的文件的話就比較簡單了，可以用 -r 參數 加通配符*來替代，完全可以實現遞歸下載！