kettle 從sftp 下載今天生成的文件

將ftp上指定路徑下 今天生成的文件下載到本地 ；難點：文件名中有空格 需要處理 ；

獲取sftp上當天生成的文件腳本：

#!/bin/bash
function read_dir(){
today=`date +%Y-%m-%d`
IFS_old=$IFS
IFS=$'\n'

for file in `ls $1`
do
if [ -d $1"/"$file ] ;then 
    read_dir $1"/"$file
elif [ -f $1"/"$file ] ;then  
    longfile=`ls -l --time-style=long-iso $1"/"$file`
    check=`echo $longfile | grep $today`
    if [ -n "$check" ] ; then  
        echo $1"/"$file
    fi
fi

done
IFS=$IFS_old
}
read_dir $1

 

crontab 調度用

#!/bin/bash
path=/home/SFTP
bash $path/getTodayCreateFile.sh $path  >$path/todayCreateFileList.txt

 

 將文件名中包含空格的文件重新進行重名

# 去除projectHome 目錄下包含空格的文件名
cd $projectHome
find . -type f -name "* *" -print |
while read name; do
    na=$(echo $name | tr ' ' '_')
if [[ $name != $na ]]; then
    mv "$name" $na
fi
done

 

 

 job 通過JS 獲取當天日期

useDate =0;
if (useDate == 0) {
date = new java.util.Date();
//date.setDate(date.getDate()-1); //Go back 1 full day
dateFormat = new java.text.SimpleDateFormat("yyyyMMdd");
newDateStr = dateFormat.format(date);
parent_job.setVariable("currentDate", newDateStr);
}
true;