我本機安裝的環境是centos7,並在本機上安裝了zookeeper,hadoop,hbase,hive等組件,
使用pdi7.1來連接hbase,把mysql表中的數據導出到hbase中去,沒有問題。
因為其他同事使用的是windows環境,在連接cdh vm的環境時,hbase一直連接可以,而執行有問題。
而在使用自己在虛機中安裝的hadoop環境時,hbase連接經常報找不到主機異常或連接拒絕等問題。
這類問題,基本都是hadoop core-site.xml中hdfs端口監聽的IP配置問題,和hbase hbase-site.xml中的配置有關,
還有/etc/hosts的配置有關。
現貼上我本機的相關配置文件,
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://0.0.0.0:9000</value> </property> <property> <name>hadoop.proxyuser.student.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.student.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hive.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hive.hosts</name> <value>*</value> </property> </configuration>
hbase hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://student:9000/user/hbase</value> </property> <property> <name>hbase.cluster.distributed </name> <value>true</value> </property> <property> <name>hbase.regionserver.ipc.address</name> <value>0.0.0.0</value> </property> <property> <name>hbase.master.ipc.address</name> <value>0.0.0.0</value> </property> <property> <name>hbase.thrift.info.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2182</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>student</value> </property> </configuration>
如果還報找不到主機異常,kettle java.net.UnknownHostException: C
你選擇的hbase-site.xm文件位於C盤,請修改為如下的方式,在前面添加文件協議:file:///
file:///C:\Users\Administrator\Desktop\hbase-site.xml