shell腳本抓取網頁信息

利用shell腳本分析網站數據

# define url
time=$(date +%F)
mtime=$(date +%T)
file=/abc/shell/abc/abc_$time.log
http=https://abc.com/abc/abc.do
key='tender_sum'

log_file=/abc/shell/abc/remind.log
check_log=/abc/shell/abc/check.log

function Mail(){
    mail -s "抓取成功" [e-mail] < $log_file
}

curl -d "user=abc&password=123" $http > $file 
echo $?

#抓第一段數組

name=`awk -F ',' '{print $13":"$32}' $file | awk -F ':' '{print $4}'`
echo "name=$name"

tender_sum=`awk -F ',' '{print $13":"$32}' $file | awk -F ':' '{print $2}'`
echo "tender_sum=$tender_sum"

borrow_sum=`awk -F 'borrow_sum' '{print $2}' $file | awk -F '[: ,]' '{print $2}'`
echo "borrow_sum=$borrow_sum"
flag=1
#如果有一個名字跟他相等，說明沒有新的內容
for title in `cat project_title.log`
    do
        if [ $name == $title ]
            then
                flag=0
        fi
    done

#出現了新的內容，判斷是否滿足條件，是則發郵件通知，並且將標題寫入project_title.log
if [ $flag == 1 ]
    then
        if [ $tender_sum == $borrow_sum ]
            then
                echo "內容$name已經更新成功，請登錄網站查看^_^" > $log_file
                Mail
                echo $name >> project_title.log
            else
                echo "內容$name更新進度：已更新-- $tender_sum --$mtime--" >> $check_log 
        fi
    else
        echo "沒有新的內容" >> $check_log
fi