Spark運行中java.net.UnknownHostException: nameservice1的異常


一、概述

 使用IDEA調試spark程序時,spark通過thriftserver訪問hive的元數據信息,如果不設置spark的warehouse目錄會報nameservice1異常;這是因為本地目錄訪問不到nameservice信息,需要將nameservices配置到spark中。

二、問題解決

1、將CDH平台的hdfs-site.xml文件拷貝到spark的conf目錄中

2、使用config方式配置warehouse路徑

  config(“spark.sql.warehouse.dir”,“hdfs://192.168.86.120:9000/usr/hive/warehouse”)

或者使用:

3、使用config方式配置nameservices路徑

config(“dfs.ha.namenodes.nameservices”,“192.168.86.120,192.168.86.121”)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM