CDH高可用hadoop集群性能配置

---

---

 

1、HDFS的高可用配置

dfs.namenode.edits.dir (NameNode 編輯目錄) : 寫入 NameNode 編輯的本地文件系統上的目錄。未指定將存放在namenode數據目錄中。

dfs.journalnode.edits.dir (JournalNode 編輯目錄):用於存儲 NameNode 編輯的本地文件系統目錄。journalnode所在節點的目錄，存放editlog和其他信息。

               

               

                 

 

                   

 

 

                  

                   

 

 

 

 

 

 

2、YARN的高可用配置

在使用 yarn HA時，運行 hive on yarn 的任務無法得出結果時，並且出現以下錯誤

Caused by:javax.servlet.ServletException: Could not determine the proxy server for redirection

問題：無法確定用於重定向的代理服務器

解決：禁用 YARN HA，即ResourceManager只使用一個主節點，其實一般yarn HA仍然能運行 hive on yarn 的任務並且能得出正常結果，但是還是會報出同樣錯誤

                   

                   

 

                  

 

 

                    

 

 

當前運行的環境是 YARN HA(node1、node2均部署了ResourceManager)的情況下，執行 hive on spark 的程序，雖然能得出正常執行成功得出結果，

但是對應該程序的日志信息仍然報錯：無法確定用於重定向的代理服務器 Could not determine the proxy server for redirection。

select * from test_tb;

select count(*) from test_tb;

insert into test_tb values(2,'ushionagisa');