hadoop與spark執行定時任務，linux執行定時任務

1、mapreduce任務可以用linux上的crontab來執行定時任務

　 用crontab執行定時任務時注意：手動運行腳本會執行，可是定時就不行。原因：應該重新指定環境變量

　

#!/bin/bash


#if [ -f ~/.bash_profile ];
#then
#  . ~/.bash_profile
#fi
. /etc/profile
spark-submit --class app.AllInfo --master yarn-cluster  --jars /home/lw/myapp/mylibs/spark_hbase_fat.jar /home/lw/myapp/weatherDisplay.jar

 

2、spark任務還可以用sparkStreamingContext來設置，spark任務執行時間間隔，來執行定時任務。

 

兩者區別：1由linux維護，2由spark維護