python爬取FTP文件，並批量下載到本地。

背景

室友讓我幫他從一個國外的FTP服務器上面爬一些數據。以前只是從網頁上面爬，還沒有從FTP服務器爬過，然后網上大概搜了一下，寫了個簡單的小demo。

----------------------------------------------------------------------------------------------------------------------------

 安利一款自己在用的連接工具：

IIS7服務器管理工具是一款windows全系、Linux系統下鏈接並操控VPS、VNC、FTP等遠程服務器、雲服務器。
界面簡單明了，操作易上手，功能強大，支持批量導入服務器，並批量打開，多窗口化管理，除此之外，加載本地硬盤、硬盤映射、加載服務器的聲音，遠程聲卡讀取等，完全實現各類場景使用，對於FTP鏈接界面，朋友FTP定時上傳，定時下載（也可以說定時上傳下載 定時備份），對於經常使用FTP的小伙伴來說，非常適用。
工具支持自動更新，壓縮包只有7.62M，方便簡潔，一步到位。
下載地址：http://yczm.iis7.com/?tscc

 

 

----------------------------------------------------------------------------------------------------------------------------

補充知識

1. FTP(File Transfer Protocol，文件傳輸協議) 是TCP/IP協議組中的協議之一。FTP協議包括兩個組成部分，其一為FTP服務器，其二為FTP客戶端。其中FTP服務器用來存儲文件，用戶可以使用FTP客戶端通過FTP協議訪問位於FTP服務器上的資源。
2. 默認情況下FTP協議使用TCP端口中的 20和21這兩個端口，其中20用於傳輸數據，21用於傳輸控制信息。

需要用到的庫是：ftplib

 

ftplib模塊官方文檔：https://docs.python.org/3/library/ftplib.html#module-ftplib

ftp模塊常用函數和命令

from ftplib import FTP            # 導入ftplib模塊
ftp=FTP()                         # 獲取ftp變量
ftp.set_debuglevel(2)             # 打開調試級別2，顯示詳細信息
ftp.connect("host","port")          #連接的ftp sever服務器
ftp.login("usrname","password")      # 用戶登陸
print(ftp.getwelcome())            # 打印歡迎信息
ftp.cmd("xxx/xxx")                # 進入遠程目錄
ftp.retrbinaly("RETR filename.txt",file_handle,bufsize) # 接收服務器上文件並寫入本地文件
ftp.set_debuglevel(0)             #關閉調試模式
ftp.quit()                        #退出ftp

ftp.cwd(ftppath)                 # 設置ftp當前操作的路徑
ftp.dir()                         # 顯示目錄下所有文件信息
ftp.nlst()                        # 獲取目錄下的文件，返回一個list
ftp.mkd(pathname)                 # 新建遠程目錄
ftp.pwd()                         # 返回當前所在路徑
ftp.rmd(dirname)                  # 刪除遠程目錄
ftp.delete(filename)              # 刪除遠程文件
ftp.rename(fromname, toname) # 將fromname修改名稱為toname。
ftp.storbinaly("STOR filename.txt",fid,bufsize)  # 上傳目標文件
ftp.retrbinary("RETR filename.txt",fid,bufsize)  # 下載FTP文件

 

下面是要取爬取的目標FTP服務器，左邊是目錄，右邊是目錄里面的文件。

 

 

 

 

代碼如下：

由於這個服務器不需要賬號和密碼即可訪問，所以在進行鏈接FTP服務器的時候沒有傳入賬號和密碼參數。其次，如果目標服務器中既有文件夾又有文件，就把函數ftpDownload中注釋的部分取消注釋，再稍加修改即可。

import os
from ftplib import FTP


# 連接ftp服務器
def ftpConnect(ftpserver,port):
    ftp = FTP()
    try:
        ftp.connect(ftpserver, port)
        ftp.login()
    except:
        raise IOError('\n FTP connection failed, please check the code!')
    else:
        print(ftp.getwelcome())  # 打印登陸成功后的歡迎信息
        print('\n+------- ftp connection successful!!! --------+')
        return ftp


# 下載單個文件
def ftpDownloadFile(ftp, ftpfile, localfile):
    bufsize = 1024
    path = os.path.join(localfile,ftpfile)
    with open(path, 'wb') as fid:
        print('正在下載：',ftpfile)
        ftp.retrbinary('RETR {0}'.format(ftpfile), fid.write, bufsize)  # 接收服務器文件並寫入本地文件
        print('下載完畢。')
    return True


# 下載整個目錄下的文件
def ftpDownload(ftp, ftpath, localpath):
    '''
    :param ftp: 登陸ftp返回的信息
    :param ftpath: ftp中的目標路徑
    :param localpath: 存放下載文件的本地路徑
    :return:
    '''
    print('Remote Path: {0}'.format(ftpath))
    if not os.path.exists(localpath):
        os.makedirs(localpath)
    ftp.cwd(ftpath)
    print('成功進入ftp服務器：',ftpath)
    for file in ftp.nlst():
        print('file:',file)
        local = os.path.join(localpath, file)
        file_path = os.path.join(ftpath, file)
        if not os.path.exists(local):
            os.makedirs(local)
        ftp.cwd(file_path)
        print('進入子目錄：--', file_path)
        for sub_file in ftp.nlst():
            ftpDownloadFile(ftp, sub_file, local)
        ftp.cwd('..')68     return True


# 退出ftp連接
def ftpDisConnect(ftp):
    ftp.quit()

# 程序入口
if __name__ == '__main__':
    # 輸入參數
    ftpserver = 'www.ngs.noaa.gov'
    ftpath = '/cors/rinex/2018/001/'
    localpath = 'F:/data/'

    ftp = ftpConnect(ftpserver, 21)
    flag = ftpDownload(ftp, ftpath, localpath)
    print(flag)
    ftpDisConnect(ftp)
    print("\n+-------- OK!!! --------+\n")

 

最后，可能由於這個服務器是國外的原因，下載速度奇慢無比，還不如用專門的FTP下載軟件去下載。

 

參加文章：https://www.jianshu.com/p/055bbe9a2e7d