idea client 連接hadoop 或hive失敗問題排查思路

梳理下client 連接hadoop 或hive失敗問題排查思路

該思路也能舉一反三應用在其他服務上

問題舉例：

這是使用hive-client代碼訪問連接失敗的問題

 

 我們可以參考官方的排查思路

https://cwiki.apache.org/confluence/display/HADOOP2/ConnectionRefused

1.官方文章指出，絕大多數都是服務未啟動的原因，所以這里首先要查看 hadoop集群和hive元數據服務是否正常啟動

排除

 接下來我我們參考官方的思路

2.檢查是否配置的是遠程主機和hosts映射

本機C:\Windows\System32\drivers\etc\hosts文件

 

 排除

3.主機能否ping通 

 排除

如果不能ping通，則要查看下防火牆service iptables status

或者雲主機的網絡安全組規則

4.telnet IP port

 

 發現無法連接

又telnet bigdata 8088端口發現可以訪問

那么肯定是9000端口相關配置有問題

如果是雲主機的，網絡安全組規則端口未放行也可能

使用natstat -nlp查看端口

 

可以看到9000端口是被綁定到127.0.0端口的，外部無法訪問到

查看core-site.xml配置文件

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
 </property>

　果然這里是localhost

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://bigdata:9000</value>
 </property>

　修改后重啟集群 natstat -nlp

 

 后續連接也正常