配置spark历史服务出错java.net.ConnectException: Call From hadoop102/192.168.230.102 to hadoop102:8020 failed on connection exception


错误如下:

 

 因为我配置spark的历史纪录文件夹的路径在hdfs上面,spark需要访问hdfs,所以编辑spark-defaults.conf文件的时候,spark.eventLog.dir的值的主机名端口号要和你hadoop中配置文件core-site中fs.defaultFS的值一致,并且文件夹要已经存在。

 

 比如我的如上所示,我把spark.eventLog.dir改为hdfs://hadoop102:9000/directory就行了


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM