Spark——常用命令

 

• 查看正在處理（appStatus=SUBMITED、ACCEPTED、RUNNING）的應用

yarn application -list

 

• 查看所有的應用

yarn application -list -appStates ALL

 

• 查看某個應用的狀態

yarn application -status application_1596107846796_0002

 

• 查看某個應用的日志

# 在控制台查看日志
yarn logs -applicationId application_1596107846796_0002

# 把日志輸出到文件
yarn logs -applicationId application_1596867281939_0001>application_0001

注：1、應用的狀態為（FINISHED、KILLED）才能使用該命令查看日志

　　2、yarn-site.xml 要進行以下配置：

<!--log-->
 <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
 </property>
 <property>
        <name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name>
        <value>3600</value>
 </property>
 <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
 </property>

 

• 停止某個應用

yarn application -kill application_1596107846796_0002

注：直接在UI界面或者是終端kill掉任務都是不對的，該任務可能還會繼續執行下去，所以要用如下命令才算完全停止該job的執行