Spark——常用命令

 

• 查看正在处理（appStatus=SUBMITED、ACCEPTED、RUNNING）的应用

yarn application -list

 

• 查看所有的应用

yarn application -list -appStates ALL

 

• 查看某个应用的状态

yarn application -status application_1596107846796_0002

 

• 查看某个应用的日志

# 在控制台查看日志
yarn logs -applicationId application_1596107846796_0002

# 把日志输出到文件
yarn logs -applicationId application_1596867281939_0001>application_0001

注：1、应用的状态为（FINISHED、KILLED）才能使用该命令查看日志

　　2、yarn-site.xml 要进行以下配置：

<!--log-->
 <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
 </property>
 <property>
        <name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name>
        <value>3600</value>
 </property>
 <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
 </property>

 

• 停止某个应用

yarn application -kill application_1596107846796_0002

注：直接在UI界面或者是终端kill掉任务都是不对的，该任务可能还会继续执行下去，所以要用如下命令才算完全停止该job的执行