在 windows 下搭建 IDEA + Spark 連接 Hive 的環境


   為了開發測試方便,想直接在 IDEA 里運行 Spark 程序,可以連接 Hive,需不是打好包后,放到集群上去運行。主要配置工作如下:

1. 把集群環境中的 hive-core.xml, hdfs-site.xml, core-site.xml 三個文件復制一份,放到 resource 目錄下。網上有說只需要放 hive-core.xml 就可以了。我部署的是高可用的集群,只復制 hive-core.xml 會報錯。三個都放就不會有問題了。

2. 在本機上解壓 hadoop 的安裝包,下載 winutils.exe 文件,放在 <hadoop安裝包目錄>/bin/ 下面。並創建如下的兩個 windows 的環境變量。HADOOP_HOME 就是指向的 <hadoop安裝包目錄>。

如果不做上面的操作的話,會出現如下的錯誤。  HDOOP_USER_NAME 的作用是指定以哪個用戶運行 Spark 程序,不指定的話,會連不上 Hadoop。

Failed to locate the winutils binary in the hadoop binary path  java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries. 

 注意:配置好環境變量后,關掉 IDEA ,重啟一下。要不然環境變量沒生效。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM