當在本地運行 spark任務時,控制台會出現很多紅色的INFO信息,嚴重干擾視覺,如下所示:
解決辦法,點擊下載https://spark.apache.org/downloads.html spark,選擇自己maven中引入的spark版本,Hadoop版本應該可以隨便選擇(我是本地安裝了Hadoop,所以選擇了安裝的Hadoop版本):
點擊進入下載頁面,選擇HTTP下載安裝包:
解壓后,選擇 conf 文件夾下的 log4j.properties.template ,將其復制到IDEA項目 resources 目錄中,改名為 log4j.properties:
對 log4j.properties 做修改如下(INFO -> ERROR):
改為:
再運行spark程序,就不會出現 INFO信息了: