在Spark應用程序中設置日志輸出級別

我們通常會使用IDE（例如Intellij IDEA）開發Spark應用，而程序調試運行時會在控制台中打印出所有的日志信息。它描述了（偽）集群運行、程序執行的所有行為。

在很多情況下，這些信息對於我們來說是無關緊要的，我們更關心的是最終結果，無論是正常輸出還是異常停止。

 

幸運的是，我們可以通過log4j主動控制日志輸出的級別。引入log4j.Logger和log4j.Level，並在對象中設置Logger.getLogger("org").setLevel(Level.ERROR)

import org.apache.log4j.{Level, Logger}

object Example {
  Logger.getLogger("org").setLevel(Level.ERROR)

  def main(args: Array[String]) {
    ......
  }
}

以此運行后，控制台只輸出ERROR級別信息，並不會錯過輸出結果和調試報錯。

 
Reference: http://stackoverflow.com/questions/32189206/how-to-setup-intellij-14-scala-worksheet-to-run-spark

END