Spark:控制日志輸出級別

終端修改

在pySpark終端可使用下面命令來改變日志級別
sc.setLogLevel("WARN") # 或者INFO等

修改日志設置文件

** 通過調整日志的級別來控制輸出的信息量.減少Spark Shell使用過程中在終端顯示的日志. **

• 切換當前路徑到Spark安裝路徑
• 拷貝一份日志設置文件的模板文件
  cp log4j.properties.template log4j.properties.template
• 找到下面一行內容
  log4j.rootCategory=INFO, console
  改為如下
  log4j.rootCategory=WARN, console