前段時間工作中需要將經過我司平台某些信息核驗數據提取后上傳到客戶的FTP服務器上,以便於他們進行相關的信息比對核驗。由於包含這些信息的主機只有4台,采取的策略是將生成的4個文件匯集到一個主機上,然后在這台主機上將文件上傳的目標ftp服務器。
1,建立主機A到其他三台主機之間的信任關系,以便於遠程拷貝文件
#生成主機A的本地認證秘鑰,可以選擇生成rsa或者dsa類型的秘鑰,這里選取rsa [root@A ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa >/dev/null 2>&1 #將本機的秘鑰拷貝的其他三台主機的authorized_keys文件中,由於只有三台主機,一個一個執行就行,如果主機數量多,可以使用expect腳本批量執行 [root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.B" [root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.C" [root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.D" #出現讓輸入B、C、D的root密碼時,輸入密碼后回車,出現如下提示時表示建立本機到目標主機的信任關系成功 Now try logging into the machine, with "ssh '-p 22 root@192.168.1.B'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting.
2,建立上傳文件到目標FTP服務器的腳本
客戶的要求是每天凌晨上傳前一天的數據,我們生成的數據文件都是以當天日期_主機名_Result.csv類型的。
#以下展示腳本的內容 [root@A getfile] cat upload_csv.sh #!/bin/bash #此腳本用於每天定時將生成的數據文件上傳到客戶FTP服務器 #指定上傳文件所在的主目錄 SRCDIR=/tmp/test_jr/getfile/files/ #指定所需上傳對端FTP服務器的目錄 DESDIR=/JRAQ_FILE/ #指定對端FTP服務器的用戶名和密碼 USER=finftp PASSWD="ABC@123" #指定目標FTP服務器的IP IP=3.3.3.3 #指定目標FTP服務器端口,一般都是默認 PORT=21 #指定所要上傳文件的日期 targetDay=`date -d "-1 days" +"%Y%m%d"` #獲取所要上傳的文件 cd $SRCDIR for host in 192.168.1.B 192.168.1.C 192.168.1.D do scp root@$host:$SRCDIR/$targetDay_*_Result.csv ./ done #判定文件是否獲取正確 [ $? -eq 0 ] || echo "Copy romote files failed, pls check." >>$SRCDIR/upload_file.log #上傳文件到FTP服務器 ftp -ivn <<EOF open $IP $PORT user $USER $PASSWD binary cd $DESDIR lcd $SRCDIR put ${targetDay}_*_Result.csv quit EOF #判定文件是否上傳成功 [ $? -eq 0 ] && echo "Upload $targetDay's files to romote FTP server successful." >>$SRCDIR/upload_file.log || echo "Upload files failed, pls check." >>$SRCDIR/upload_file.log
3,有可能用到的轉碼
由於csv文件是可以用Excel打開的,但是Excel打開utf-8編碼的文件時,所有中文名稱會顯示亂碼,此時就需要用到轉碼,比如將utf-8格式轉換成gbk編碼的,Excel就可以完美打開了。
[root@A ~]iconv -futf8 -tgbk -c -o file2.csv file1.csv #file1是待轉碼的文件 #file2是轉碼后文件名 #-f --from-code 即從那種格式轉化 #-t --to-code 轉化為那種格式 #-o --output 輸出的文件名 #-c 忽略輸出的非法字符 加這個參數是防止文件中有某些非法字符串,如果不加此參數iconv遇到非法字符串后會自動終止轉碼,即使后面還有正常的未轉碼的字符。