一、概述
使用IDEA調試spark程序時,spark通過thriftserver訪問hive的元數據信息,如果不設置spark的warehouse目錄會報nameservice1異常;這是因為本地目錄訪問不到nameservice信息,需要將nameservices配置到spark中。
二、問題解決
1、將CDH平台的hdfs-site.xml文件拷貝到spark的conf目錄中
2、使用config方式配置warehouse路徑
config(“spark.sql.warehouse.dir”,“hdfs://192.168.86.120:9000/usr/hive/warehouse”)
或者使用:
3、使用config方式配置nameservices路徑
config(“dfs.ha.namenodes.nameservices”,“192.168.86.120,192.168.86.121”)