一、shell命令
1、后綴.sh 第一行需要加#!/bin/bash 沒有的話,需呀sh 命令執行
示例test.sh:
#!/bin/bash
date
./test.sh 提示沒有權限,此時,需要chmod 744 test.sh
二、調度工具
1、airflow
2、azkaban
3、rundeck
4、Linux自帶的調度工具:crontab
*代表每的意思
使用crontab --help可以看到,-e表示編輯,-l表示產看內容
示例:crontab -e
* * * * * /root/test.sh >> /root/test.log
分、小時、日、月、周
每隔10s執行一次調度一次
因為linux中只能到分鍾,因此,需要將1分鍾拆成6份,每份間隔10s,也就是10s調度一次了
test.sh
#!/bin/bash
for((i=1;i<=6;i++))
do
date
sleep 10s
done
exit
三、后台執行
后台執行線程的三種方式
1、./test.sh &
2、nohup ./test.sh &:用於手動啟動腳本,看日志,開發維護和測試
3、nohup ./test.sh > /root /test.log 2>&1 &:生產環境中使用
四、軟連接
定義:軟連接相當於windows系統的快捷方式,使用方式:ln -s 原path 目標path
1、比如CDH升級,如果源文件不見了,會出現光標跳動
解決方法:找原文件文件夾,或者是刪除快捷鍵文件文件夾,重新做新的高版本的軟連接
2、建議軟連接使用絕對路徑,比較明了
示例:ln -s /usr/java/jdk1.8.0_65 /usr/java/latestjdk
3、修改記錄日志目錄
一般來說CDH中的log目錄實在/var/log中,記錄方式逐次遞增
示例:
/var/log/hbase/xxx.log 1G
/var/log/hbase/xxx.log1 1G
...
/var/log/hbase/xxx.log10 1G
如果想把日志記錄到一個比較大的磁盤data01中
mkdir /data01/log
mv /var/log/hbase /data01/log/
建立軟連接
ln -s /data01/log/hbase /var/log/hbase
這里有個坑:就是講/var/log/hbase移動完之后,權限會發生變化,需要修改權限,此時如果忘記了,可以參考集群中其他的機器的全選