Spark运行中java.net.UnknownHostException: nameservice1的异常


一、概述

 使用IDEA调试spark程序时,spark通过thriftserver访问hive的元数据信息,如果不设置spark的warehouse目录会报nameservice1异常;这是因为本地目录访问不到nameservice信息,需要将nameservices配置到spark中。

二、问题解决

1、将CDH平台的hdfs-site.xml文件拷贝到spark的conf目录中

2、使用config方式配置warehouse路径

  config(“spark.sql.warehouse.dir”,“hdfs://192.168.86.120:9000/usr/hive/warehouse”)

或者使用:

3、使用config方式配置nameservices路径

config(“dfs.ha.namenodes.nameservices”,“192.168.86.120,192.168.86.121”)


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM