錯誤如下:
因為我配置spark的歷史紀錄文件夾的路徑在hdfs上面,spark需要訪問hdfs,所以編輯spark-defaults.conf文件的時候,spark.eventLog.dir的值的主機名端口號要和你hadoop中配置文件core-site中fs.defaultFS的值一致,並且文件夾要已經存在。
比如我的如上所示,我把spark.eventLog.dir改為hdfs://hadoop102:9000/directory就行了
錯誤如下:
因為我配置spark的歷史紀錄文件夾的路徑在hdfs上面,spark需要訪問hdfs,所以編輯spark-defaults.conf文件的時候,spark.eventLog.dir的值的主機名端口號要和你hadoop中配置文件core-site中fs.defaultFS的值一致,並且文件夾要已經存在。
比如我的如上所示,我把spark.eventLog.dir改為hdfs://hadoop102:9000/directory就行了
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。