在spark應用程序中設置輸出日志的級別

spark運行的時候會產生大量的消息，讓程序的運行結果看起來比較費勁

所以可以再程序中添加一些代碼，設置一下輸出日志的級別

import org.apache.log4j.{Level, Logger}

object Example {
  Logger.getLogger("org").setLevel(Level.ERROR)

  def main(args: Array[String]) {
    ......
  }
}

代碼中Level那里的參數，可以設置為WARN，或者ERROR，這個根據自身需求

直接設置為ERROR可能會錯過一些比較重要的警告信息，但是這樣輸出的內容也少，可以直接看到結果