hadoop client 客戶端模式搭建

在實際的開發環境中，在集群環境中開發往往存在很多安全隱患，例如集群文件被誤刪等等，所以一般的開發工作都是本地完成開發的。本地做MR開發時，由於沒有hadoop環境，所以調試工作往往變的很難進行，所以在本地搭建一個hadoop client，不僅能提供本地調試環境，還能從直接從本地訪問到hdfs 數據和提交任務到hadoop環境中。你可以在本地運行MR,不登陸服務器查看數據。本文只寫在windows環境下搭建，linux環境也差不多（更簡單），有需要可以留言。

---

hadoop 客戶端模式搭建

1、將集群的的配置文件復制到本地，並且配置ＨＡＤＯＯＰ_HOME,和環境變量（PATH）,如圖：


將hadoop的bin和sbin路徑配置好，如上圖，驗證，打開cmd,輸入hadoop -version。

2、修改配置文件：
（1）修改core-site.xml,修改 fs.default.name選項的值，使其指向集群master的地址。

(2)修改hadoop-env(windows修改.cmd文件)的jdk路徑。

需要修改的就只有上面兩項，是不是很簡單。

3、配置本地用戶變量，冒充hadoop用戶（我這里用的時虛擬機，所以用的root權限，可根據實際情況經行修改），如果不設置這一步，會報權限拒絕。

到這一步，hadoop的客戶端已經搭建完成了，你可以在本地運行MR,不登陸服務器查看數據。
4、寫在最后，其實hadoop client模式不僅僅只用於本地調試，還可以作為集群的堡壘機使用，使得集群環境和開發環境分離開來。

注：如需要hive,spark 等客戶端模式搭建文檔，如果遇到搭建問題可在博客留言，我會定期回復。