為了開發測試方便,想直接在 IDEA 里運行 Spark 程序,可以連接 Hive,需不是打好包后,放到集群上去運行。主要配置工作如下:
1. 把集群環境中的 hive-core.xml, hdfs-site.xml, core-site.xml 三個文件復制一份,放到 resource 目錄下。網上有說只需要放 hive-core.xml 就可以了。我部署的是高可用的集群,只復制 hive-core.xml 會報錯。三個都放就不會有問題了。
2. 在本機上解壓 hadoop 的安裝包,下載 winutils.exe 文件,放在 <hadoop安裝包目錄>/bin/ 下面。並創建如下的兩個 windows 的環境變量。HADOOP_HOME 就是指向的 <hadoop安裝包目錄>。
如果不做上面的操作的話,會出現如下的錯誤。 HDOOP_USER_NAME 的作用是指定以哪個用戶運行 Spark 程序,不指定的話,會連不上 Hadoop。
Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.
注意:配置好環境變量后,關掉 IDEA ,重啟一下。要不然環境變量沒生效。